CN112001218A - 一种基于卷积神经网络的三维颗粒类别检测方法及系统 - Google Patents

一种基于卷积神经网络的三维颗粒类别检测方法及系统 Download PDF

Info

Publication number
CN112001218A
CN112001218A CN202010563714.9A CN202010563714A CN112001218A CN 112001218 A CN112001218 A CN 112001218A CN 202010563714 A CN202010563714 A CN 202010563714A CN 112001218 A CN112001218 A CN 112001218A
Authority
CN
China
Prior art keywords
dimensional
particle
neural network
layer
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010563714.9A
Other languages
English (en)
Other versions
CN112001218B (zh
Inventor
张法
郝语
万晓华
刘志勇
李锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202010563714.9A priority Critical patent/CN112001218B/zh
Publication of CN112001218A publication Critical patent/CN112001218A/zh
Application granted granted Critical
Publication of CN112001218B publication Critical patent/CN112001218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于卷积神经网络的三维颗粒类别检测方法和系统，包括：构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

Description

一种基于卷积神经网络的三维颗粒类别检测方法及系统
技术领域
本发明属于结构生物学冷冻电子断层成像技术领域，并特别涉及一种基于卷积神经网络的三维颗粒类别检测方法及系统。
背景技术
冷冻电子断层技术配合子区域平均技术可以获得更高分辨率的生物大分子的原位结构，其中的一个关键步骤是从电子断层重构中挑选大量的三维颗粒，目前挑选三维颗粒的方法分为手工挑选和自动挑选两大类。
一些软件包提供了从电子断层三维重构的视图中手工挑选的功能。通常做法是,在垂直于z轴的投影平面上选取颗粒中心点，在该点所在YZ截面和XZ 截面中进一步标记颗粒的三维坐标，可以通过对电子断层重构进行滤波、去噪和增强对比度等操作以提高颗粒挑选的准确率。一套电子断层重构图像中存在着成千上万的颗粒，因此手工挑选是费时费力的，并且会受到研究人员主观判断的影响。
自动颗粒挑选分为基于模板匹配的方法和不依赖模板的方法，前者更为常见。模版匹配通过计算模版和待匹配局部图像的互相关值，来确定匹配的程度，超过阈值的对象被视为颗粒。模版可以是结构简单的三维体，可以是经过低通滤波的已知结构，也可以是人工挑选以生成的初始模型。为了对模版匹配的结果进一步优化，基于支持向量机的方法被提出。该方法首先利用模版匹配产生候选对象，计算它们的相应特征，再使用SVM对候选对象进行二分类，该方法的特征构造会对结果产生很大影响。不依赖模板的方法有基于高斯差分图像变换的方法，该方法对两个高斯滤波后的图像做减法得到新的密度图，峰值表示潜在的颗粒，该方法的效果很依赖高斯差分变换的缩放因子的大小。
近几年，基于深度学习的三维挑颗粒方法得到发展，包括基于2.5维神经网络模型的方法和基于三维神经网络模型的方法。基于2.5维神经网络模型的方法将电子断层重构视为垂直z轴的一系列切片，所有的卷积操作都是在二维进行的。对某张切片的预测过程是，向网络输入当前切片及其相邻的几张切片，输出当前切片的分割结果。该方法没有充分利用z方向上的特征，只考虑了相邻几张切片的关联。基于三维神经网络模型的方法直接对电子断层重构的子区域进行预测，所有操作在三维上进行。该方法的模型参数庞大，往往需要大量的数据和时间进行模型训练。此外，基于深度学习的颗粒分类方法也被提出。通常使用深度学习的三维分类模型对颗粒进行预测，由于网络的输入尺寸是固定的，因此任何大小的待颗粒都需要被缩放到统一尺寸才能输入网络。
由于冷冻电子断层重构中存在着成千上万的三维颗粒，要处理如此大数量级的颗粒图像，研究人员也需要花费大量时间去进行人工标注，而标注工作是主观的，每个研究人员的标注结果往往会有差别。
模板匹配的方法不能挑选结构未知的生物大分子，也不利于结构变异性高的蛋白质(例如蛋白酶体)的识别，同时高对比度特征的干扰会出现假阳性匹配，此外还需要人为交互来设置相关阈值。
基于支持向量机的方法对模版匹配的候选对象进行二分类，忽略了那些没有被模版匹配检测到的颗粒，而且很难构造出具有普适性的特征以很好地应对不同成像条件下的不同种类的生物大分子，此外对每一种类别的生物大分子都需要从头训练一个分类器。
基于高斯差分图像变换的方法很依赖高斯差分变换的缩放因子的大小，需要不断尝试不同的参数组合以保证能最大程度地识别各种大小和形状的颗粒，因此处理新的数据时需要对参数进行调整。以上所有这些方法都没有利用高通量冷冻电子断层数据收集的优势。
基于深度学习的颗粒挑选方法借助了海量数据的优势，但仍存在不足之处。首先，三维颗粒的结构特征在二维空间上不足以体现，基于2.5维神经网络模型的方法忽略了颗粒在三维空间的特征，因此预测结果不如三维神经网络模型的准确。基于三维神经网络模型的方法，其网络构架往往是从经典的二维卷积神经网络衍生的，例如U-Net。该方法需要训练的模型参数庞大，需要大量的训练数据作为支持，而有限的数据集很容易导致训练出来的网络过拟合于某些特定的特征，该网络的训练数据集的标定工作量是极为庞大的。基于深度学习的颗粒分类方法只能处理固定尺寸的输入图像，需要将不同大小的颗粒图像缩放至统一尺寸，缩小图像必定会损失信息，放大图像必定会引入非真实信息，都会对最终分类的结果产生不好的影响。
冷冻电子断层技术凭借其无需纯化的优点，可适用于非晶体、非纯化、纳米尺度级别的、不具有全同特性的蛋白、病毒、细胞器以及复合大分子的三维结构研究。近年来，冷冻电子断层三维重构技术通过配合子区域平均技术，得到了一系列原位生物大分子高分辨率结构，极大地促进了结构生物学的发展。然而电子断层重构存在着低信噪比和各向异性分辨率的问题，因此自动挑选和分类颗粒是十分困难的。
发明内容
本发明的目的是解决冷冻电子断层重构中挑选和分类三维颗粒缺乏自动化，以及现有基于深度学习方法的模型参数过多的问题。本发明设计了一种基于卷积神经网络的自动化三维颗粒检测方法和系统。一方面可以利用卷积神经网络完成自动化的三维颗粒检测流程，针对不同类型的数据无需人工干预。另一方面，该三维多尺度密集卷积神经网络利用三维扩张卷积和稠密连接实现。三维扩张卷积可以获得不同尺度的特征信息，不会引入降采样的信息损失。稠密连接可以提高特征提取传递的能力，并且避免了梯度消失和过拟合的问题。结合二者优势可以大幅减少模型参数个数，提高网络性能，使小数据集的训练成为可能。
针对现有技术的不足，本发明提出一种基于卷积神经网络的三维颗粒类别检测方法，其中包括：
步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。
所述的基于卷积神经网络的三维颗粒类别检测方法，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。
所述的基于卷积神经网络的三维颗粒类别检测方法，其中该步骤1包括：
步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：
Figure RE-GDA0002742872730000041
其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 33×C个训练参数，s为扩张率；
步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核
Figure RE-GDA0002742872730000042
进行三维扩张卷积，层i通道j输出的特征图
Figure RE-GDA0002742872730000043
Figure RE-GDA0002742872730000044
Figure RE-GDA0002742872730000045
其中
Figure RE-GDA0002742872730000046
表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
步骤13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图
Figure RE-GDA0002742872730000047
Figure RE-GDA0002742872730000048
Figure RE-GDA0002742872730000049
步骤14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：
Figure RE-GDA00027428727300000410
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure RE-GDA00027428727300000411
在k通道的权重；
步骤15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N) 及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:
Figure RE-GDA0002742872730000051
其中
Figure RE-GDA0002742872730000052
F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率，Θ＝ {(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。
所述的基于卷积神经网络的三维颗粒类别检测方法，其中步骤2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒。
本发明还提出了一种基于卷积神经网络的三维颗粒类别检测系统，其中包括：
模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中该模块1包括：
模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：
Figure RE-GDA0002742872730000053
其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 33×C个训练参数，s为扩张率；
模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核
Figure RE-GDA0002742872730000061
进行三维扩张卷积，层i通道j输出的特征图
Figure RE-GDA0002742872730000062
Figure RE-GDA0002742872730000063
Figure RE-GDA0002742872730000064
其中
Figure RE-GDA0002742872730000065
表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图
Figure RE-GDA0002742872730000066
Figure RE-GDA0002742872730000067
Figure RE-GDA0002742872730000068
模块14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：
Figure RE-GDA0002742872730000069
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure RE-GDA00027428727300000610
在k通道的权重；
模块15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N) 及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:
Figure RE-GDA00027428727300000611
其中
Figure RE-GDA00027428727300000612
F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率，Θ＝ {(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。
与现有的基于深度学习的三维颗粒检测方法相比，本发明具有以下有益效果：
本发明提出了一种三维深度卷积神经网络具有少参数、高精度的特征，通过将三维扩张卷积提取的多尺度特征图稠密连接来实现。相比其他深度神经网络，本网络的参数个数显著减少，因此，模型所占的存储空间小，训练更快，不容易过拟合，可以实现针对小数据集的训练，节省了数据标注的成本。本网络所有层都是用相同的一组标准操作来计算，减轻了编程实现的难度。
本发明使用不同扩张率组合的三维扩张卷积提取多尺度特征，更好地保留了图像信息。以往的卷积神经网络使用降采样和上采样获取多尺度特征，每次降采样都会丢失一部分图像信息，后面的卷积也是在丢失信息的特征图上处理，加重了信息损失，降低了结果的精度。本网络无需降采样，使用较大的扩张率捕捉大尺度特征，使用较小的扩张率捕捉细节特征，特别是在提取大尺度特征上有明显的改善。本网络的三维扩张卷积层的扩张率是随着层数通道数循环变化的，可以在前几层获得大尺度特征，并将该特征传递给后面的层，提高结果的精度。
本发明实现了一套自动化三维颗粒定位和分类流程，预测过程无需人工干预，缩短了处理时间。深度学习借助大量数据的优势，对图像噪声有着鲁棒性和泛化能力，能够在训练的过程中有层次的自动提取图像中的特征，无需针对不同的图像特征调节模型参数。在预测过程中，本发明只需要输入电子断层重构图像，经过基于深度学习的自动化三维颗粒检测流程，就能得到颗粒的位置和分类信息，加快了处理速度，提高研究人员的工作效率。
附图说明
图1为三维混合尺度密集卷积神经网络结构示意图；
图2为颗粒挑选的工作流程图；
图3为颗粒分类的工作流程图；
图4为不同颗粒定位方法的评估图；
图5为不同颗粒分类方法的评估图。
具体实施方式
发明人在进行冷冻电子断层重构中三维颗粒的挑选和分类方法的研究时，发现现有方法存在三个问题。第一，现有工作普遍缺乏自动化的处理流程。当输入的电子断层重构由不同的成像参数所采集、包含不同种类的颗粒时，现有方法需要根据数据的属性调整所有交互参数，以人工干预的方式达到最佳效果。第二，现有的工作尚未针对冷冻电子数据高噪声的情况作出改善。当输入的电子断层重构图像信噪比很低的时候，现有方法的性能可能会受到影响。第三，基于深度学习的方法具有模型参数庞大的缺点。该类网络训练难度较大，训练时间长，对工作站的性能要求很高，且需要标注大量的训练集，工作量极大。
发明人考虑利用深度学习进行图像处理的优势来求解颗粒挑选问题。颗粒挑选的一个难点在于难以用传统的方法提取颗粒图像的特征。深度学习可以在训练的过程中有层次的自动提取图像中的特征，虽然颗粒具有很明显的个体差异，但是构成颗粒的基本单位是相似的。其噪声的形成原理和环境是相近的。这些抽象的特征都可以利用深度学习技术来提取。深度学习借助大量训练集的优势，能够更好地提取各种成像条件下的不同颗粒的特征，实现自动化的颗粒挑选工作。同时，某些深度学习的应用展现出对于噪声的鲁棒性。由于电子断层重构数据的信噪比极低，深度学习很适合处理本领域的数据。
发明人考虑利用三维扩张卷积和稠密神经网络的优点，提高特征提取传递的能力，大幅减少神经网络参数个数，使小数据集的训练成为可能。一方面，目前已有的颗粒挑选网络结构相对简单，对于信息利用不够充分。随着深度学习的发展，科研人员提出了许多优化神经网络的方法，其中一个较有成效的工作即为稠密网络的应用。通过在所有的网络层之间添加通信连接，使得网络中的每一层都可以接收它之前层的特征为输入。这种的稠密网络可以最大化所有的网络层之间的信息交换，更充分的利用多层特征，提高网络的性能。稠密网路可以增强网络之间的通讯，从而更加充分的利用网络的信息。并且一定程度上避免了梯度消失和过拟合的问题。另一方面，目前已有的颗粒挑选网络的特征提取过程，需要对图像做降采样，目的是在缩小特征图尺寸的同时增大感受野，但下采样会损失图像的信息。三维扩张卷积可以解决这个问题，采用带孔的卷积核来应对不同尺度的特征信息，这种方式可以更好的保留图像信息。
发明人提出的卷积神经网络采用了三维扩张卷积和稠密连接相结合的方式，该网络为三维混合尺度密集卷积神经网络3D MS-D，可以对三维电子断层重构数据进行体素分类。在此基础上，发明人提出了一个基于卷积神经网络的三维颗粒挑选和分类的方案，分为两个阶段实现。首先，颗粒挑选阶段利用卷积神经网络将电子断层重构分割为颗粒区域和非颗粒区域，结合均值漂移聚类算法确定颗粒的中心位置。其次，颗粒分类阶段利用卷积神经网络判别每个颗粒的类别。具体来说首先构建了一种卷积神经网络(步骤101到步骤105)，用数据集A训练该卷积神经网络，得到模型A，以解决颗粒挑选问题，用数据集B训练该卷积神经网络，得到模型B，以解决颗粒分类问题。颗粒定位流程 (步骤201到步骤204)颗粒分类流程(步骤301到步骤304)。
本发明包括以下关键点：
关键点1，本发明使用三维扩张卷积提取电子断层重构图像的多尺度特征。电子断层重构三维密度图定义为长m宽n高p的c个通道的一组体素
Figure RE-GDA0002742872730000091
Figure RE-GDA0002742872730000092
三维扩张卷积Dh,s使用了扩张率为s的卷积核h，扩张率
Figure RE-GDA0002742872730000093
层i的通道j的输出图像的卷积运算与扩张率s关联：
Figure RE-GDA0002742872730000094
其中
Figure RE-GDA0002742872730000095
表示层i-1的通道k产生的输出图像，
Figure RE-GDA0002742872730000096
表示用不同的卷积核
Figure RE-GDA0002742872730000097
对输入特征图Zi-1的每个通道进行卷积,然后将得到的图像求和，ci-1表示i-1层的通道数，
Figure RE-GDA0002742872730000098
表示产生层i的通道j的特征图的扩张率为sij的卷积核，扩张率sij∈ [1,16]等于sij＝(i+j)mod 16。在效果上，三维扩张卷积通过不同大小的扩展率组合提取不同图像比例的特征。不同于以往卷积神经网络使用降采样和上采样获取多尺度特征，本发明使用了三维扩张卷积提取多尺度特征且减少了降采样引入的信息损失。并且，通过较大的扩张率在网络的前几层就可以获得了图像的大尺度特征，并传递给后面的层。
关键点2，本发明提出的网络结构将三维扩张卷积提取的多尺度特征图紧密连接在一起。该网络传递所有前面的特征图{X,Z1,…,Zi-1}去计算层i的输出图像Zi，层i的通道j的输出图像
Figure RE-GDA0002742872730000101
Figure RE-GDA0002742872730000102
Figure RE-GDA0002742872730000103
其中
Figure RE-GDA0002742872730000104
表示层i的通道j图像的每个像素增加一个恒定偏置,激活函数
Figure RE-GDA0002742872730000105
采用了泄漏修正线性单元(LeakyReLU)，卷积核 h的大小为3×3×3个体素。最后，所有特征图的所有通道进行线性组合，应用激活函数σ'得到网络最终的输出图像y，输出图像y的k通道：
Figure RE-GDA0002742872730000106
其中这里b'k是输出图像y的k通道的恒定偏置，激活函数σ'采用 soft-max,wijk是
Figure RE-GDA0002742872730000107
在k通道的权重。网络需要训练的参数有卷积核hijkl、偏置bij、权重wijk以及偏置b'k。假设网络的深度为d，输入图像和输出图像的通道数相同为M，那么卷积核总个数
Figure RE-GDA0002742872730000108
权重总个数 Weights＝(d+M)M，偏置总个数Bias＝d+M，因此网络需要训练的参数总个数Filters+Weights+Bias。在效果上，本发明的卷积神经网络可以用相对少量的特征图和训练参数得到精准的结果。对于78层的本网络，有83283个训练参数，对于100层的本网络，有136468个训练参数，参数个数远远少于同层数的3D U-Net。此外，所有层都以相同的方式彼此连接，并且使用相同的一组标准操作来计算，使得本网络更容易实现和训练。
关键点3，聚类方法提高颗粒定位精度。首先，冷冻电子断层重构的三维密度图作为输入，经深度学习的分割网络预测，输出二值分割结果，该结果中体素的灰度值为0表示背景，灰度值为1表示颗粒。然后，在分割结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标。最后，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒，子类的中心点即为颗粒坐标。这是一种全新的颗粒定位流程，在分割结果的基础上可以利用聚类方法进一步提高定位精度。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
冷冻电子断层重构存在高噪声和各向异性分辨率的问题，导致三维颗粒的定位与分类十分困难。为了解决这一问题，本发明利用三维混合尺度密集卷积神经网络提取三维颗粒图像的特征，提高了定位和分类结果的准确率，实现了自动化的三维颗粒检测方法。本发明主要包含以下几个步骤：(1)构建三维混合尺度密集卷积神经网络；(2)构建基于深度学习的三维颗粒定位流程；(3) 构建基于深度学习的三维颗粒分类流程；(4)构建数据集；(5)模型训练和评价(6)模型推理
本发明具体包括以下步骤：
步骤1：构建三维混合尺度密集卷积神经网络3D MS-D，网络结构如图1 所示，此示例网络具有6层扩张卷积层，扩张率∈[1,3]。本网络主要包含三部分：混合尺度的三维扩张卷积、稠密连接、损失函数。具体搭建步骤如下：
步骤101：构建三维扩张卷积。对于C个通道的输入I，经过扩张率为s 的三维扩张卷积输出单一通道特征图O：
Figure RE-GDA0002742872730000111
其中(x,y,z)遍历输入三维体(三维冷冻电子断层图像)的每个位置，k表示输入图像的第k个通道，总共有C个通道，卷积核w包含33×C个训练参数。扩张率s提供了尺寸为(2s+1)3体素的感受野。当s＝1时，该扩张卷积变为标准的3×3×3的卷积操作。
三维扩张卷积是一个基础操作，步骤101说明了该操作的计算方法，相当于给出了三维扩张卷积的定义。因此这里的输入I和输出O是为了定义给出的。网络中层i通道j输出的特征图用
Figure RE-GDA0002742872730000112
表示。下述步骤102介绍了网络中三维扩张卷积的定义。
步骤102：构建混合尺度的三维扩张卷积。令扩张率s的大小与层数i和通道数j相关sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，那么对于有ci-1个通道的输入图像Zi-1，对每个输入通道k使用不同的卷积核
Figure RE-GDA0002742872730000113
进行三维扩张卷积，层i通道j输出的特征图
Figure RE-GDA0002742872730000114
Figure RE-GDA0002742872730000115
Figure RE-GDA0002742872730000116
其中
Figure RE-GDA0002742872730000121
表示层i的通道j图像的每个像素增加一个恒定偏置,激活函数
Figure RE-GDA0002742872730000122
采用了泄漏修正线性单元LeakyReLU，卷积核h 包含33×ci-1个训练参数。
步骤103：本网络结构将多尺度特征图稠密连接在一起。利用所有前面的特征图{X,Z1,…,Zi-1}计算层i的通道j的输出特征图
Figure RE-GDA0002742872730000123
Figure RE-GDA0002742872730000124
Figure RE-GDA0002742872730000125
其中X表示输入图像。
步骤104：所有特征图的所有通道进行线性组合，应用激活函数σ'得到网络最终的输出图像y，输出图像y的k通道：
Figure RE-GDA0002742872730000126
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure RE-GDA0002742872730000127
在k通道的权重。输出图像y是网络对输入图像X 预测出的分割图像，F(X)表示预测的分割图像y，Y表示真实的分割图像。
步骤105：给定长宽高分别为mi,ni,pi的三维图像Xi(i＝1,2,…,N)及对应的的真实标注Yi，负对数似然损失NLL函数:
Figure RE-GDA0002742872730000128
其中
Figure RE-GDA0002742872730000129
F(Xi；Θ)j,k,l是输入图像 Xi在softmax层输出的一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率， C表示类别数量，Θ＝{(w1,b1),(w2,b2),…,(wn,bn)}表示网络的模型参数。通过最小化F(X)和Y之间的NLL得到模型参数。
步骤2：构建基于深度学习的颗粒定位，主要步骤包含：重构体分块、卷积神经网络进行预测、合并结果、聚类提高定位精度。整体流程图如图1所示，具体搭建步骤如下：
步骤201：由于GPU内存大小的限制，需要采取分块预测再合并结果的策略。设定滑动窗口的尺寸为M×M×M，采取M/2步长在冷冻电子断层重构图像上滑动，得到一系列待检测三维重构的子区域。
步骤202：对每个电子断层重构子区域进行预测，卷积神经网络将子区域分割为颗粒区域和非颗粒区域，灰度值分别用1和0表示。此处使用的卷积神经网络深度为78，深度大小是由于硬件限制(显存大小限制)决定的，更深的层出会超出显存限制，理论上深一些精度会更好。
步骤203：合并子区域的预测结果。为了排除预测结果中不完整颗粒的影响，将位于边界的不完整颗粒的灰度值置0。然后将所有预测子区域重叠式地拼接，相同位置的灰度值若存在一次预测为1就置1，否则为0。拼接后的整体尺寸等同于原始电子断层重构体的大小。
步骤204：聚类方法提高定位精度。在分割结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标。将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒，子类i的中心点即为颗粒i的坐标(xi,yi,zi)。
步骤3：构建基于深度学习的颗粒分类，主要步骤包含：提取颗粒、卷积神经网络进行预测、去除非目标颗粒、统计最终结果。整体流程图如图2所示，具体搭建步骤如下：
步骤301：根据颗粒i的坐标(xi,yi,zi)，提取颗粒i的三维图像，尺寸为32× 32×32。
步骤302：假设电子断层重构中有N类颗粒，卷积神经网络对输入图像进行预测，输出图像中每个体素取值范围为0,1,2,…,N，灰度值0表示非颗粒区域，灰度值1,2,…,N表示是第几类颗粒。
步骤303：输入图像中可能存在不止一个颗粒，预测结果中的非目标颗粒可以通过掩膜去除。该掩膜只将位于中心的三维连通区域置1，否则置0。
步骤304：目标颗粒的体素灰度值分布在0,1,2,…,N，通过统计每个类别的频数，频数最高的类别为最终结果。
步骤4：构建数据集,本发明使用公开数据集(SHREC2019 track: Classificationin Cryo-Electron Tomogram)，该数据集包含10套尺寸为 512×512×512分辨率为1nm/voxel的电子断层重构图像，每套数据有平均2500个三维颗粒，颗粒共有12个类别。已知颗粒的坐标、姿态和类别，将颗粒的二值化模板进行旋转后置于相应坐标就可以得到标注图像。将三维图像进行剪裁有助于数据增广，步长为裁剪后边长的一半。用于定位网络的训练集尺寸为64×64×64,用于分类网络的训练集尺寸为32×32×32。训练集、验证集和测试集的比例为8:1:1。
步骤5：模型训练和评价。本发明使用上述数据集进行训练，用于定位的卷积神经网络的批尺寸为3，用于分类的卷积神经网络的批尺寸为100。两个网络均使用Adam优化器更新网络模型的权重，学习率为0.0001。通过全局精度来评价模型在验证集的表现，全局精度是指卷积神经网络正确标注的体素的百分比。采用早停法选取最佳模型，如果验证集的全局精度经过30个连续 epoch没有改善时终止训练，取全局精度最高的模型作为最终网络模型。
步骤6：模型推理。本发明使用上述步骤产生的模型对测试集进行推理。为评估测试数据上的定位表现，使用精确率Precision、召回率Recall、丢失率 Miss rate和F1-score作为评估准则。
Figure RE-GDA0002742872730000141
Figure RE-GDA0002742872730000142
Figure RE-GDA0002742872730000143
Figure RE-GDA0002742872730000144
其中TP、FP和FN分别表示被模型预测为正的正样本、被模型预测为正的负样本、被模型预测为负的正样本。还使用了来自SHREC2019的评估准则， MH表示重复的结果，RO表示超出颗粒所在区域的结果，AD表示预测中心到真实中心的平均欧拉距离。图4比较了本发明和其他颗粒定位方法的各项评估指标。图5比较了本发明和其他颗粒分类方法的各项评估指标。其中红色表示最好，绿色表示次好。可以看出本发明在颗粒定位上有着最好的表现，F1-score 高达0.89，平均距离AD为1.77，明显好于第二名。本发明在颗粒分类上也得到了出色的结果。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于卷积神经网络的三维颗粒类别检测系统，其中包括：
模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中该模块1包括：
模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：
Figure RE-GDA0002742872730000151
其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 33×C个训练参数，s为扩张率；
模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核
Figure RE-GDA0002742872730000152
进行三维扩张卷积，层i通道j输出的特征图
Figure RE-GDA0002742872730000153
Figure RE-GDA0002742872730000154
Figure RE-GDA0002742872730000155
其中
Figure RE-GDA0002742872730000156
表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图
Figure RE-GDA0002742872730000161
Figure RE-GDA0002742872730000162
Figure RE-GDA0002742872730000163
模块14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：
Figure RE-GDA0002742872730000164
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure RE-GDA0002742872730000165
在k通道的权重；
模块15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N) 及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:
Figure RE-GDA0002742872730000167
其中
Figure RE-GDA0002742872730000168
F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率，Θ＝ {(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。
所述的基于卷积神经网络的三维颗粒类别检测系统，其中模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。

Claims (8)

1.一种基于卷积神经网络的三维颗粒类别检测方法，其特征在于，包括：
步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。
2.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。
3.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该步骤1包括：
步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：
Figure FDA0002547064380000011
其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含33×C个训练参数，s为扩张率；
步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核
Figure FDA0002547064380000012
进行三维扩张卷积，层i通道j输出的特征图
Figure FDA0002547064380000013
Figure FDA0002547064380000014
Figure FDA0002547064380000021
其中
Figure FDA0002547064380000022
表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
步骤13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图
Figure FDA0002547064380000023
Figure FDA0002547064380000024
Figure FDA0002547064380000025
步骤14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：
Figure FDA0002547064380000026
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure FDA0002547064380000027
在k通道的权重；
步骤15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N)及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:
Figure FDA0002547064380000028
其中F(·):
Figure FDA0002547064380000029
F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率，Θ＝{(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL得到该训练参数。
4.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，步骤2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒。
5.一种基于卷积神经网络的三维颗粒类别检测系统，其特征在于，包括：
模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。
6.如权利要求5所述的基于卷积神经网络的三维颗粒类别检测系统，其特征在于，该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。
7.如权利要求5所述的基于卷积神经网络的三维颗粒类别检测系统，其特征在于，该模块1包括：
模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：
Figure FDA0002547064380000031
其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含33×C个训练参数，s为扩张率；
模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod 16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核
Figure FDA0002547064380000032
进行三维扩张卷积，层i通道j输出的特征图
Figure FDA0002547064380000033
Figure FDA0002547064380000034
Figure FDA0002547064380000035
其中
Figure FDA0002547064380000036
表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图
Figure FDA0002547064380000041
Figure FDA0002547064380000042
Figure FDA0002547064380000043
模块14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：
Figure FDA0002547064380000044
其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是
Figure FDA0002547064380000045
在k通道的权重；
模块15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N)及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:
Figure FDA0002547064380000046
其中F(·):
Figure FDA0002547064380000047
F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xi j,k,l被预测为各类的概率，Θ＝{(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL得到该训练参数。
8.如权利要求5所述的基于卷积神经网络的三维颗粒类别检测系统，其特征在于，模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。
CN202010563714.9A 2020-06-19 2020-06-19 一种基于卷积神经网络的三维颗粒类别检测方法及系统 Active CN112001218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010563714.9A CN112001218B (zh) 2020-06-19 2020-06-19 一种基于卷积神经网络的三维颗粒类别检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563714.9A CN112001218B (zh) 2020-06-19 2020-06-19 一种基于卷积神经网络的三维颗粒类别检测方法及系统

Publications (2)

Publication Number Publication Date
CN112001218A true CN112001218A (zh) 2020-11-27
CN112001218B CN112001218B (zh) 2023-05-30

Family

ID=73466650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563714.9A Active CN112001218B (zh) 2020-06-19 2020-06-19 一种基于卷积神经网络的三维颗粒类别检测方法及系统

Country Status (1)

Country Link
CN (1) CN112001218B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767402A (zh) * 2021-01-08 2021-05-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112801282A (zh) * 2021-03-24 2021-05-14 东莞中国科学院云计算产业技术创新与育成中心 三维图像处理方法、装置、计算机设备和存储介质
CN112834518A (zh) * 2021-01-06 2021-05-25 优刻得科技股份有限公司 颗粒缺陷检测方法、系统、设备和介质
CN113160152A (zh) * 2021-04-06 2021-07-23 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113177559A (zh) * 2021-04-22 2021-07-27 重庆兆光科技股份有限公司 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113689456A (zh) * 2021-08-18 2021-11-23 山东大学 基于深度学习的外泌体粒径分析装置及方法
CN115311338A (zh) * 2022-08-11 2022-11-08 浙江盛发纺织印染有限公司 军用帐篷内衬面料智能化生产系统及其方法
CN116153435A (zh) * 2023-04-21 2023-05-23 山东大学齐鲁医院 基于上色与三维结构的多肽预测方法及系统
CN118537706A (zh) * 2024-07-24 2024-08-23 成都农业科技职业学院 一种神经网络智能识别种子方法及系统
CN118616341A (zh) * 2024-08-08 2024-09-10 辽宁谷德新材料科技股份有限公司 一种耐火材料颗粒度控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040146196A1 (en) * 2001-06-21 2004-07-29 Van Heel Marin G Three-dimensional imaging of single particles
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
CN110032761A (zh) * 2019-03-07 2019-07-19 浙江工业大学 一种冷冻电镜单颗粒成像数据的分类方法
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN111210869A (zh) * 2020-01-08 2020-05-29 中山大学 一种蛋白质冷冻电镜结构解析模型训练方法和解析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040146196A1 (en) * 2001-06-21 2004-07-29 Van Heel Marin G Three-dimensional imaging of single particles
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN108898180A (zh) * 2018-06-28 2018-11-27 中国人民解放军国防科技大学 一种面向单颗粒冷冻电镜图像的深度聚类方法
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN110032761A (zh) * 2019-03-07 2019-07-19 浙江工业大学 一种冷冻电镜单颗粒成像数据的分类方法
CN111210869A (zh) * 2020-01-08 2020-05-29 中山大学 一种蛋白质冷冻电镜结构解析模型训练方法和解析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐珂等: "基于卷积神经网络的腹部组织器官表面的三维重建", 《科技创新与应用》 *
程凌鹏: "生物大分子高分辨率冷冻电镜三维重构技术", 《实验技术与管理》 *
邵书伟等: "基于改进的Adaboost冷冻电镜分子图像识别算法", 《微计算机信息》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112834518A (zh) * 2021-01-06 2021-05-25 优刻得科技股份有限公司 颗粒缺陷检测方法、系统、设备和介质
CN112767402A (zh) * 2021-01-08 2021-05-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112767402B (zh) * 2021-01-08 2024-06-07 北京闭环科技有限公司 一种基于三维卷积神经网络的图像分割方法及系统
CN112801282A (zh) * 2021-03-24 2021-05-14 东莞中国科学院云计算产业技术创新与育成中心 三维图像处理方法、装置、计算机设备和存储介质
CN113160152A (zh) * 2021-04-06 2021-07-23 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113160152B (zh) * 2021-04-06 2023-09-15 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113177559A (zh) * 2021-04-22 2021-07-27 重庆兆光科技股份有限公司 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113689456B (zh) * 2021-08-18 2023-07-25 山东大学 基于深度学习的外泌体粒径分析装置及方法
CN113689456A (zh) * 2021-08-18 2021-11-23 山东大学 基于深度学习的外泌体粒径分析装置及方法
CN115311338B (zh) * 2022-08-11 2023-04-07 浙江盛发纺织印染有限公司 军用帐篷内衬面料智能化生产系统及其方法
CN115311338A (zh) * 2022-08-11 2022-11-08 浙江盛发纺织印染有限公司 军用帐篷内衬面料智能化生产系统及其方法
CN116153435A (zh) * 2023-04-21 2023-05-23 山东大学齐鲁医院 基于上色与三维结构的多肽预测方法及系统
CN116153435B (zh) * 2023-04-21 2023-08-11 山东大学齐鲁医院 基于上色与三维结构的多肽预测方法及系统
CN118537706A (zh) * 2024-07-24 2024-08-23 成都农业科技职业学院 一种神经网络智能识别种子方法及系统
CN118616341A (zh) * 2024-08-08 2024-09-10 辽宁谷德新材料科技股份有限公司 一种耐火材料颗粒度控制方法

Also Published As

Publication number Publication date
CN112001218B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN112001218B (zh) 一种基于卷积神经网络的三维颗粒类别检测方法及系统
Acciai et al. Automated neuron tracing methods: an updated account
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN111275714B (zh) 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
US8885926B2 (en) Image and data segmentation
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN105139395B (zh) 基于小波池化卷积神经网络的sar图像分割方法
Meirovitch et al. A multi-pass approach to large-scale connectomics
CN104933709A (zh) 基于先验信息的随机游走ct肺组织图像自动分割方法
CN111027590B (zh) 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法
CN104217213B (zh) 一种基于对称性理论的医学图像多阶段分类方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN114581451A (zh) 一种基于散射图神经网络的大脑磁共振图像分割方法
Hao et al. VP-Detector: A 3D multi-scale dense convolutional neural network for macromolecule localization and classification in cryo-electron tomograms
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN107423771B (zh) 一种两时相遥感图像变化检测方法
CN112581483A (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN113160146B (zh) 一种基于图神经网络的变化检测方法
Wu et al. Fast particle picking for cryo-electron tomography using one-stage detection
CN116958132B (zh) 基于视觉分析的手术导航系统
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant