CN112001218B - 一种基于卷积神经网络的三维颗粒类别检测方法及系统 - Google Patents

Abstract

本发明提出一种基于卷积神经网络的三维颗粒类别检测方法和系统，包括：构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

Description

一种基于卷积神经网络的三维颗粒类别检测方法及系统

技术领域

本发明属于结构生物学冷冻电子断层成像技术领域，并特别涉及一种基于卷积神经网络的三维颗粒类别检测方法及系统。

背景技术

冷冻电子断层技术配合子区域平均技术可以获得更高分辨率的生物大分子的原位结构，其中的一个关键步骤是从电子断层重构中挑选大量的三维颗粒，目前挑选三维颗粒的方法分为手工挑选和自动挑选两大类。

一些软件包提供了从电子断层三维重构的视图中手工挑选的功能。通常做法是,在垂直于z轴的投影平面上选取颗粒中心点，在该点所在YZ截面和XZ 截面中进一步标记颗粒的三维坐标，可以通过对电子断层重构进行滤波、去噪和增强对比度等操作以提高颗粒挑选的准确率。一套电子断层重构图像中存在着成千上万的颗粒，因此手工挑选是费时费力的，并且会受到研究人员主观判断的影响。

自动颗粒挑选分为基于模板匹配的方法和不依赖模板的方法，前者更为常见。模版匹配通过计算模版和待匹配局部图像的互相关值，来确定匹配的程度，超过阈值的对象被视为颗粒。模版可以是结构简单的三维体，可以是经过低通滤波的已知结构，也可以是人工挑选以生成的初始模型。为了对模版匹配的结果进一步优化，基于支持向量机的方法被提出。该方法首先利用模版匹配产生候选对象，计算它们的相应特征，再使用SVM对候选对象进行二分类，该方法的特征构造会对结果产生很大影响。不依赖模板的方法有基于高斯差分图像变换的方法，该方法对两个高斯滤波后的图像做减法得到新的密度图，峰值表示潜在的颗粒，该方法的效果很依赖高斯差分变换的缩放因子的大小。

近几年，基于深度学习的三维挑颗粒方法得到发展，包括基于2.5维神经网络模型的方法和基于三维神经网络模型的方法。基于2.5维神经网络模型的方法将电子断层重构视为垂直z轴的一系列切片，所有的卷积操作都是在二维进行的。对某张切片的预测过程是，向网络输入当前切片及其相邻的几张切片，输出当前切片的分割结果。该方法没有充分利用z方向上的特征，只考虑了相邻几张切片的关联。基于三维神经网络模型的方法直接对电子断层重构的子区域进行预测，所有操作在三维上进行。该方法的模型参数庞大，往往需要大量的数据和时间进行模型训练。此外，基于深度学习的颗粒分类方法也被提出。通常使用深度学习的三维分类模型对颗粒进行预测，由于网络的输入尺寸是固定的，因此任何大小的待颗粒都需要被缩放到统一尺寸才能输入网络。

由于冷冻电子断层重构中存在着成千上万的三维颗粒，要处理如此大数量级的颗粒图像，研究人员也需要花费大量时间去进行人工标注，而标注工作是主观的，每个研究人员的标注结果往往会有差别。

模板匹配的方法不能挑选结构未知的生物大分子，也不利于结构变异性高的蛋白质(例如蛋白酶体)的识别，同时高对比度特征的干扰会出现假阳性匹配，此外还需要人为交互来设置相关阈值。

基于支持向量机的方法对模版匹配的候选对象进行二分类，忽略了那些没有被模版匹配检测到的颗粒，而且很难构造出具有普适性的特征以很好地应对不同成像条件下的不同种类的生物大分子，此外对每一种类别的生物大分子都需要从头训练一个分类器。

基于高斯差分图像变换的方法很依赖高斯差分变换的缩放因子的大小，需要不断尝试不同的参数组合以保证能最大程度地识别各种大小和形状的颗粒，因此处理新的数据时需要对参数进行调整。以上所有这些方法都没有利用高通量冷冻电子断层数据收集的优势。

基于深度学习的颗粒挑选方法借助了海量数据的优势，但仍存在不足之处。首先，三维颗粒的结构特征在二维空间上不足以体现，基于2.5维神经网络模型的方法忽略了颗粒在三维空间的特征，因此预测结果不如三维神经网络模型的准确。基于三维神经网络模型的方法，其网络构架往往是从经典的二维卷积神经网络衍生的，例如U-Net。该方法需要训练的模型参数庞大，需要大量的训练数据作为支持，而有限的数据集很容易导致训练出来的网络过拟合于某些特定的特征，该网络的训练数据集的标定工作量是极为庞大的。基于深度学习的颗粒分类方法只能处理固定尺寸的输入图像，需要将不同大小的颗粒图像缩放至统一尺寸，缩小图像必定会损失信息，放大图像必定会引入非真实信息，都会对最终分类的结果产生不好的影响。

冷冻电子断层技术凭借其无需纯化的优点，可适用于非晶体、非纯化、纳米尺度级别的、不具有全同特性的蛋白、病毒、细胞器以及复合大分子的三维结构研究。近年来，冷冻电子断层三维重构技术通过配合子区域平均技术，得到了一系列原位生物大分子高分辨率结构，极大地促进了结构生物学的发展。然而电子断层重构存在着低信噪比和各向异性分辨率的问题，因此自动挑选和分类颗粒是十分困难的。

发明内容

本发明的目的是解决冷冻电子断层重构中挑选和分类三维颗粒缺乏自动化，以及现有基于深度学习方法的模型参数过多的问题。本发明设计了一种基于卷积神经网络的自动化三维颗粒检测方法和系统。一方面可以利用卷积神经网络完成自动化的三维颗粒检测流程，针对不同类型的数据无需人工干预。另一方面，该三维多尺度密集卷积神经网络利用三维扩张卷积和稠密连接实现。三维扩张卷积可以获得不同尺度的特征信息，不会引入降采样的信息损失。稠密连接可以提高特征提取传递的能力，并且避免了梯度消失和过拟合的问题。结合二者优势可以大幅减少模型参数个数，提高网络性能，使小数据集的训练成为可能。

针对现有技术的不足，本发明提出一种基于卷积神经网络的三维颗粒类别检测方法，其中包括：

步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；

步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；

步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

所述的基于卷积神经网络的三维颗粒类别检测方法，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。

所述的基于卷积神经网络的三维颗粒类别检测方法，其中该步骤1包括：

步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 3³×C个训练参数，s为扩张率；

步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：

三维扩张卷积层中第i层第j通道的扩张率为s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；

步骤13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z₁,…,Z_i-1}稠密连接在一起计算层i的通道j的输出特征图

步骤14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：

其中b'_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,w_ijk是

在k通道的权重；

步骤15、长宽高分别为m_i,n_i,p_i的三维冷冻电子断层图像X_i(i＝1,2,…,N) 及对应的的真实标注Y_i，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:

其中

F(X_i；Θ)^j,k,l是一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率，Θ＝ {(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。

所述的基于卷积神经网络的三维颗粒类别检测方法，其中步骤2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒。

本发明还提出了一种基于卷积神经网络的三维颗粒类别检测系统，其中包括：

模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；

模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；

模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中该模块1包括：

模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 3³×C个训练参数，s为扩张率；

模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：

三维扩张卷积层中第i层第j通道的扩张率为s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；

模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z₁,…,Z_i-1}稠密连接在一起计算层i的通道j的输出特征图

模块14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：

其中b'_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,w_ijk是

在k通道的权重；

模块15、长宽高分别为m_i,n_i,p_i的三维冷冻电子断层图像X_i(i＝1,2,…,N) 及对应的的真实标注Y_i，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:

其中

F(X_i；Θ)^j,k,l是一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率，Θ＝ {(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。

与现有的基于深度学习的三维颗粒检测方法相比，本发明具有以下有益效果：

本发明提出了一种三维深度卷积神经网络具有少参数、高精度的特征，通过将三维扩张卷积提取的多尺度特征图稠密连接来实现。相比其他深度神经网络，本网络的参数个数显著减少，因此，模型所占的存储空间小，训练更快，不容易过拟合，可以实现针对小数据集的训练，节省了数据标注的成本。本网络所有层都是用相同的一组标准操作来计算，减轻了编程实现的难度。

本发明使用不同扩张率组合的三维扩张卷积提取多尺度特征，更好地保留了图像信息。以往的卷积神经网络使用降采样和上采样获取多尺度特征，每次降采样都会丢失一部分图像信息，后面的卷积也是在丢失信息的特征图上处理，加重了信息损失，降低了结果的精度。本网络无需降采样，使用较大的扩张率捕捉大尺度特征，使用较小的扩张率捕捉细节特征，特别是在提取大尺度特征上有明显的改善。本网络的三维扩张卷积层的扩张率是随着层数通道数循环变化的，可以在前几层获得大尺度特征，并将该特征传递给后面的层，提高结果的精度。

本发明实现了一套自动化三维颗粒定位和分类流程，预测过程无需人工干预，缩短了处理时间。深度学习借助大量数据的优势，对图像噪声有着鲁棒性和泛化能力，能够在训练的过程中有层次的自动提取图像中的特征，无需针对不同的图像特征调节模型参数。在预测过程中，本发明只需要输入电子断层重构图像，经过基于深度学习的自动化三维颗粒检测流程，就能得到颗粒的位置和分类信息，加快了处理速度，提高研究人员的工作效率。

附图说明

图1为三维混合尺度密集卷积神经网络结构示意图；

图2为颗粒挑选的工作流程图；

图3为颗粒分类的工作流程图；

图4为不同颗粒定位方法的评估图；

图5为不同颗粒分类方法的评估图。

具体实施方式

发明人在进行冷冻电子断层重构中三维颗粒的挑选和分类方法的研究时，发现现有方法存在三个问题。第一，现有工作普遍缺乏自动化的处理流程。当输入的电子断层重构由不同的成像参数所采集、包含不同种类的颗粒时，现有方法需要根据数据的属性调整所有交互参数，以人工干预的方式达到最佳效果。第二，现有的工作尚未针对冷冻电子数据高噪声的情况作出改善。当输入的电子断层重构图像信噪比很低的时候，现有方法的性能可能会受到影响。第三，基于深度学习的方法具有模型参数庞大的缺点。该类网络训练难度较大，训练时间长，对工作站的性能要求很高，且需要标注大量的训练集，工作量极大。

发明人考虑利用深度学习进行图像处理的优势来求解颗粒挑选问题。颗粒挑选的一个难点在于难以用传统的方法提取颗粒图像的特征。深度学习可以在训练的过程中有层次的自动提取图像中的特征，虽然颗粒具有很明显的个体差异，但是构成颗粒的基本单位是相似的。其噪声的形成原理和环境是相近的。这些抽象的特征都可以利用深度学习技术来提取。深度学习借助大量训练集的优势，能够更好地提取各种成像条件下的不同颗粒的特征，实现自动化的颗粒挑选工作。同时，某些深度学习的应用展现出对于噪声的鲁棒性。由于电子断层重构数据的信噪比极低，深度学习很适合处理本领域的数据。

发明人考虑利用三维扩张卷积和稠密神经网络的优点，提高特征提取传递的能力，大幅减少神经网络参数个数，使小数据集的训练成为可能。一方面，目前已有的颗粒挑选网络结构相对简单，对于信息利用不够充分。随着深度学习的发展，科研人员提出了许多优化神经网络的方法，其中一个较有成效的工作即为稠密网络的应用。通过在所有的网络层之间添加通信连接，使得网络中的每一层都可以接收它之前层的特征为输入。这种的稠密网络可以最大化所有的网络层之间的信息交换，更充分的利用多层特征，提高网络的性能。稠密网路可以增强网络之间的通讯，从而更加充分的利用网络的信息。并且一定程度上避免了梯度消失和过拟合的问题。另一方面，目前已有的颗粒挑选网络的特征提取过程，需要对图像做降采样，目的是在缩小特征图尺寸的同时增大感受野，但下采样会损失图像的信息。三维扩张卷积可以解决这个问题，采用带孔的卷积核来应对不同尺度的特征信息，这种方式可以更好的保留图像信息。

发明人提出的卷积神经网络采用了三维扩张卷积和稠密连接相结合的方式，该网络为三维混合尺度密集卷积神经网络3D MS-D，可以对三维电子断层重构数据进行体素分类。在此基础上，发明人提出了一个基于卷积神经网络的三维颗粒挑选和分类的方案，分为两个阶段实现。首先，颗粒挑选阶段利用卷积神经网络将电子断层重构分割为颗粒区域和非颗粒区域，结合均值漂移聚类算法确定颗粒的中心位置。其次，颗粒分类阶段利用卷积神经网络判别每个颗粒的类别。具体来说首先构建了一种卷积神经网络(步骤101到步骤105)，用数据集A训练该卷积神经网络，得到模型A，以解决颗粒挑选问题，用数据集B训练该卷积神经网络，得到模型B，以解决颗粒分类问题。颗粒定位流程 (步骤201到步骤204)颗粒分类流程(步骤301到步骤304)。

本发明包括以下关键点：

关键点1，本发明使用三维扩张卷积提取电子断层重构图像的多尺度特征。电子断层重构三维密度图定义为长m宽n高p的c个通道的一组体素

三维扩张卷积D_h,s使用了扩张率为s的卷积核h，扩张率

层i的通道j的输出图像的卷积运算与扩张率s关联：

其中

表示层i-1的通道k产生的输出图像，

表示用不同的卷积核

对输入特征图Z_i-1的每个通道进行卷积,然后将得到的图像求和，c_i-1表示i-1层的通道数，

表示产生层i的通道j的特征图的扩张率为s_ij的卷积核，扩张率s_ij∈ [1,16]等于s_ij＝(i+j)mod16。在效果上，三维扩张卷积通过不同大小的扩展率组合提取不同图像比例的特征。不同于以往卷积神经网络使用降采样和上采样获取多尺度特征，本发明使用了三维扩张卷积提取多尺度特征且减少了降采样引入的信息损失。并且，通过较大的扩张率在网络的前几层就可以获得了图像的大尺度特征，并传递给后面的层。

关键点2，本发明提出的网络结构将三维扩张卷积提取的多尺度特征图紧密连接在一起。该网络传递所有前面的特征图{X,Z₁,…,Z_i-1}去计算层i的输出图像Z_i，层i的通道j的输出图像

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,激活函数

采用了泄漏修正线性单元(LeakyReLU)，卷积核 h的大小为3×3×3个体素。最后，所有特征图的所有通道进行线性组合，应用激活函数σ'得到网络最终的输出图像y，输出图像y的k通道：

其中这里b'_k是输出图像y的k通道的恒定偏置，激活函数σ'采用 soft-max,w_ijk是

在k通道的权重。网络需要训练的参数有卷积核h_ijkl、偏置b_ij、权重w_ijk以及偏置b'_k。假设网络的深度为d，输入图像和输出图像的通道数相同为M，那么卷积核总个数

权重总个数 Weights＝(d+M)M，偏置总个数Bias＝d+M，因此网络需要训练的参数总个数Filters+Weights+Bias。在效果上，本发明的卷积神经网络可以用相对少量的特征图和训练参数得到精准的结果。对于78层的本网络，有83283个训练参数，对于100层的本网络，有136468个训练参数，参数个数远远少于同层数的3D U-Net。此外，所有层都以相同的方式彼此连接，并且使用相同的一组标准操作来计算，使得本网络更容易实现和训练。

关键点3，聚类方法提高颗粒定位精度。首先，冷冻电子断层重构的三维密度图作为输入，经深度学习的分割网络预测，输出二值分割结果，该结果中体素的灰度值为0表示背景，灰度值为1表示颗粒。然后，在分割结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标。最后，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒，子类的中心点即为颗粒坐标。这是一种全新的颗粒定位流程，在分割结果的基础上可以利用聚类方法进一步提高定位精度。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

冷冻电子断层重构存在高噪声和各向异性分辨率的问题，导致三维颗粒的定位与分类十分困难。为了解决这一问题，本发明利用三维混合尺度密集卷积神经网络提取三维颗粒图像的特征，提高了定位和分类结果的准确率，实现了自动化的三维颗粒检测方法。本发明主要包含以下几个步骤：(1)构建三维混合尺度密集卷积神经网络；(2)构建基于深度学习的三维颗粒定位流程；(3) 构建基于深度学习的三维颗粒分类流程；(4)构建数据集；(5)模型训练和评价(6)模型推理

本发明具体包括以下步骤：

步骤1：构建三维混合尺度密集卷积神经网络3D MS-D，网络结构如图1 所示，此示例网络具有6层扩张卷积层，扩张率∈[1,3]。本网络主要包含三部分：混合尺度的三维扩张卷积、稠密连接、损失函数。具体搭建步骤如下：

步骤101：构建三维扩张卷积。对于C个通道的输入I，经过扩张率为s 的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维体(三维冷冻电子断层图像)的每个位置，k表示输入图像的第k个通道，总共有C个通道，卷积核w包含3³×C个训练参数。扩张率s提供了尺寸为(2s+1)³体素的感受野。当s＝1时，该扩张卷积变为标准的3×3×3的卷积操作。

三维扩张卷积是一个基础操作，步骤101说明了该操作的计算方法，相当于给出了三维扩张卷积的定义。因此这里的输入I和输出O是为了定义给出的。网络中层i通道j输出的特征图用

表示。下述步骤102介绍了网络中三维扩张卷积的定义。

步骤102：构建混合尺度的三维扩张卷积。令扩张率s的大小与层数i和通道数j相关s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，那么对于有c_i-1个通道的输入图像Z_i-1，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,激活函数

采用了泄漏修正线性单元LeakyReLU，卷积核h 包含3³×c_i-1个训练参数。

步骤103：本网络结构将多尺度特征图稠密连接在一起。利用所有前面的特征图{X,Z₁,…,Z_i-1}计算层i的通道j的输出特征图

其中X表示输入图像。

步骤104：所有特征图的所有通道进行线性组合，应用激活函数σ'得到网络最终的输出图像y，输出图像y的k通道：

其中b'_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,w_ijk是

在k通道的权重。输出图像y是网络对输入图像X 预测出的分割图像，F(X)表示预测的分割图像y，Y表示真实的分割图像。

步骤105：给定长宽高分别为m_i,n_i,p_i的三维图像X_i(i＝1,2,…,N)及对应的的真实标注Y_i，负对数似然损失NLL函数:

其中

F(X_i；Θ)^j,k,l是输入图像 X_i在softmax层输出的一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率， C表示类别数量，Θ＝{(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示网络的模型参数。通过最小化F(X)和Y之间的NLL得到模型参数。

步骤2：构建基于深度学习的颗粒定位，主要步骤包含：重构体分块、卷积神经网络进行预测、合并结果、聚类提高定位精度。整体流程图如图1所示，具体搭建步骤如下：

步骤201：由于GPU内存大小的限制，需要采取分块预测再合并结果的策略。设定滑动窗口的尺寸为M×M×M，采取M/2步长在冷冻电子断层重构图像上滑动，得到一系列待检测三维重构的子区域。

步骤202：对每个电子断层重构子区域进行预测，卷积神经网络将子区域分割为颗粒区域和非颗粒区域，灰度值分别用1和0表示。此处使用的卷积神经网络深度为78，深度大小是由于硬件限制(显存大小限制)决定的，更深的层出会超出显存限制，理论上深一些精度会更好。

步骤203：合并子区域的预测结果。为了排除预测结果中不完整颗粒的影响，将位于边界的不完整颗粒的灰度值置0。然后将所有预测子区域重叠式地拼接，相同位置的灰度值若存在一次预测为1就置1，否则为0。拼接后的整体尺寸等同于原始电子断层重构体的大小。

步骤204：聚类方法提高定位精度。在分割结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标。将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒，子类i的中心点即为颗粒i的坐标(x_i,y_i,z_i)。

步骤3：构建基于深度学习的颗粒分类，主要步骤包含：提取颗粒、卷积神经网络进行预测、去除非目标颗粒、统计最终结果。整体流程图如图2所示，具体搭建步骤如下：

步骤301：根据颗粒i的坐标(x_i,y_i,z_i)，提取颗粒i的三维图像，尺寸为32× 32×32。

步骤302：假设电子断层重构中有N类颗粒，卷积神经网络对输入图像进行预测，输出图像中每个体素取值范围为0,1,2,…,N，灰度值0表示非颗粒区域，灰度值1,2,…,N表示是第几类颗粒。

步骤303：输入图像中可能存在不止一个颗粒，预测结果中的非目标颗粒可以通过掩膜去除。该掩膜只将位于中心的三维连通区域置1，否则置0。

步骤304：目标颗粒的体素灰度值分布在0,1,2,…,N，通过统计每个类别的频数，频数最高的类别为最终结果。

步骤4：构建数据集,本发明使用公开数据集(SHREC2019 track: Classificationin Cryo-Electron Tomogram)，该数据集包含10套尺寸为 512×512×512分辨率为1nm/voxel的电子断层重构图像，每套数据有平均2500个三维颗粒，颗粒共有12个类别。已知颗粒的坐标、姿态和类别，将颗粒的二值化模板进行旋转后置于相应坐标就可以得到标注图像。将三维图像进行剪裁有助于数据增广，步长为裁剪后边长的一半。用于定位网络的训练集尺寸为64×64×64,用于分类网络的训练集尺寸为32×32×32。训练集、验证集和测试集的比例为8:1:1。

步骤5：模型训练和评价。本发明使用上述数据集进行训练，用于定位的卷积神经网络的批尺寸为3，用于分类的卷积神经网络的批尺寸为100。两个网络均使用Adam优化器更新网络模型的权重，学习率为0.0001。通过全局精度来评价模型在验证集的表现，全局精度是指卷积神经网络正确标注的体素的百分比。采用早停法选取最佳模型，如果验证集的全局精度经过30个连续 epoch没有改善时终止训练，取全局精度最高的模型作为最终网络模型。

步骤6：模型推理。本发明使用上述步骤产生的模型对测试集进行推理。为评估测试数据上的定位表现，使用精确率Precision、召回率Recall、丢失率 Miss rate和F1-score作为评估准则。

其中TP、FP和FN分别表示被模型预测为正的正样本、被模型预测为正的负样本、被模型预测为负的正样本。还使用了来自SHREC2019的评估准则， MH表示重复的结果，RO表示超出颗粒所在区域的结果，AD表示预测中心到真实中心的平均欧拉距离。图4比较了本发明和其他颗粒定位方法的各项评估指标。图5比较了本发明和其他颗粒分类方法的各项评估指标。其中红色表示最好，绿色表示次好。可以看出本发明在颗粒定位上有着最好的表现，F1-score 高达0.89，平均距离AD为1.77，明显好于第二名。本发明在颗粒分类上也得到了出色的结果。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于卷积神经网络的三维颗粒类别检测系统，其中包括：

模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；

模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；

模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中该模块1包括：

模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含 3³×C个训练参数，s为扩张率；

模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：

三维扩张卷积层中第i层第j通道的扩张率为s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；

模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z₁,…,Z_i-1}稠密连接在一起计算层i的通道j的输出特征图

模块14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：

其中b'_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,w_ijk是

在k通道的权重；

模块15、长宽高分别为m_i,n_i,p_i的三维冷冻电子断层图像X_i(i＝1,2,…,N) 及对应的的真实标注Y_i，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:

其中

F(X_i；Θ)^j,k,l是一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率，Θ＝ {(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示训练参数，通过最小化F(X)和Y之间的NLL 得到该训练参数。

所述的基于卷积神经网络的三维颗粒类别检测系统，其中模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。

Claims (6)

1.一种基于卷积神经网络的三维颗粒类别检测方法，其特征在于，包括：

步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；

步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；

步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别；

其中该步骤2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒。

2.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。

3.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该步骤1包括：

步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含3³×C个训练参数，s为扩张率，m、n、p分别为该单一通道特征图O的长、宽、高；

步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：

三维扩张卷积层中第i层第j通道的扩张率为s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；

步骤13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z₁,…,Z_i-1}稠密连接在一起计算层i的通道j的输出特征图

步骤14、所有特征图的所有通道进行线性组合，应用激活函数σ′得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：

其中b′_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ′采用了soft-max函数,w_ijk是

在k通道的权重；

步骤15、长宽高分别为m_i,n_i,p_i的三维冷冻电子断层图像X_i(i＝1,2,…,N)及对应的真实标注Y_i，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:

其中F(·):

F(X_i；Θ)^j,k,l是一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率，Θ＝{(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示训练参数，通过最小化F(X)和Y之间的NLL得到该训练参数。

4.一种基于卷积神经网络的三维颗粒类别检测系统，其特征在于，包括：

模块1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；

模块2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；

模块3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别；

模块2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移系统对分割结果进行聚类，每个子类表示一个三维颗粒。

5.如权利要求4所述的基于卷积神经网络的三维颗粒类别检测系统，其特征在于，该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。

6.如权利要求4所述的基于卷积神经网络的三维颗粒类别检测系统，其特征在于，该模块1包括：

模块11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：

其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含3³×C个训练参数，s为扩张率，m、n、p分别为该单一通道特征图O的长、宽、高；

模块12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：

三维扩张卷积层中第i层第j通道的扩张率为s_ij＝(i+j)mod 16，Z_i-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核

进行三维扩张卷积，层i通道j输出的特征图

其中

表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；

模块13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z₁,…,Z_i-1}稠密连接在一起计算层i的通道j的输出特征图

模块14、所有特征图的所有通道进行线性组合，应用激活函数σ′得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：

其中b′_k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ′采用了soft-max函数,w_ijk是

在k通道的权重；

模块15、长宽高分别为m_i,n_i,p_i的三维冷冻电子断层图像X_i(i＝1,2,…,N)及对应的真实标注Y_i，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:

其中F(·):

F(X_i；Θ)^j,k,l是一个C维概率向量，表示体素X_i ^j,k,l被预测为各类的概率，Θ＝{(w₁,b₁),(w₂,b₂),…,(w_n,b_n)}表示训练参数，通过最小化F(X)和Y之间的NLL得到该训练参数。

Images