CN108898180A - 一种面向单颗粒冷冻电镜图像的深度聚类方法 - Google Patents

Abstract

针对现有颗粒图像分类方法时间开销太大且准确率不高的技术问题，本发明提供一种面向单颗粒冷冻电镜图像的深度聚类方法，包括以下步骤：第一步，数据预处理，并将数据送入自编码器进行预训练；第二步，训练自编码器：用编码器的输出向量特征聚类；用聚类结果计算损失函数；用随机梯度下降方法优化自编码器权值；第三步，将所有颗粒图像数据输入自编码器，得到聚类结果并分析聚类准确率，判断损失函数以及准确率变化是否小于阈值，如果小于阈值，输出聚类结果，结束；否则，转第二步。本发明可以在多种噪声数据下进行预训练，提高网络的降噪能力；并利用随机梯度下降方法自适应地训练损失函数的权重，进一步提高分类准确率。

Description

一种面向单颗粒冷冻电镜图像的深度聚类方法

技术领域

本发明属于机器学习领域，特别涉及一种面向单颗粒冷冻电镜图像的深度聚类方法。

背景技术

冷冻电镜技术作为高分辨率结构生物学研究的基础技术，是近年最为热门的结构生物学研究手段。经过多年的发展，冷冻电镜技术近年来取得了突破性进步，已经能够作为研究生物大分子结构与功能的有效手段。二维颗粒图像的分类是获取三维结构的重要一步，其主要目标是消除颗粒图像旋转和平移的误差，遵从类内紧致、类间离散的原则对图像进行分类，最终对同属一类的颗粒图像进行逐像素平均。这样分类的结果不仅可以提高信噪比，而且能够提高三维模型的分辨率。

如果忽略大分子的构象不同，投影图像之间的内在差异主要来自两个来源：投影方向和平面内旋转。在分类之前必须对齐颗粒图像，以最小化它们因为平移和平面内旋转造成的差异。一般用于2D颗粒投影图像的初始分类有两种流行的方法，即多模板对齐法(multi-reference alignment，MRA)和无模板对齐法(reference-free alignment，RFA)。在MRA中，重复执行2D图像对准步骤和聚类步骤直到收敛。在2D图像对准步骤中，每个图像相对于每个参考数据被递增地旋转和偏移。首先计算有旋转平移的图像和参考图像之间的所有可能的相关因子。图像和参考图像之间的距离被定义为它们之间的所有相关因子的最小值。在聚类步骤中，利用这些距离，通过K-means算法将所有图像分类。在RFA中，所有图像首先在全局上对准，尝试找到所有图像的旋转和平移，使平均偏差的平方和最小化。这些对齐的图像用作数据聚类算法的输入。

理论上如果不考虑颗粒的平移和平面内旋转，仅仅根据空间角度以及分子异构情况进行分类，传统方法是可以较好完成分类的。但是，由于颗粒图像的复杂性使得很难通过单一方法一次将所有颗粒进行分类，只能在对图像进行分类之前首先将颗粒进行对齐，之后再分类，如此迭代，才能实现单颗粒图像的分类，导致算法时间开销太大。并且由于颗粒图像分类既要考虑空间角度，又要考虑分子异构，传统的主成分分析算法(PrincipalComponent Analysis，PCA)等提取线性数据特征的方法在颗粒图像分类上往往效果不佳。而一般的基于深度学习的聚类方法对于类间间距较小、类内间距较大的情况区分度不好。

发明内容

针对现有颗粒图像分类技术时间开销太大且准确率不高的技术问题，本发明提供一种面向单颗粒冷冻电镜图像的深度聚类方法。

具体技术方案如下：

第一步，数据预处理，并将数据送入自编码器进行预训练；包括以下步骤：

1.1构建基于卷积神经网络的自编码器(Convolutional Neural NetworkAutoencoder)，简称自编码器，自编码器包含编码器(encoder)和解码器(decoder)，其中编码器依次包含输入层、两个卷积层、输出层；解码器以编码器的输出层为输入层，依次包含两个反卷积层和输出层；

1.2对图像进行预处理，得到预处理后的颗粒图像；对图像的预处理操作包括缩放图像尺寸以适应编码器输入层的大小，以及对图像像素值归一化，并减去像素均值以去除不同图像之间明暗变化的影响；

1.3将预处理后的颗粒图像作为输入图像，以每P张图像作为一个批次，输入到自编码器中，以解码器的输出结果和输入图像之间的均方误差作为损失函数掩码器，数据集循环训练次数设置为C，C为自然数，优选为50，用随机梯度下降方法训练自编码器；P为整数，一般为2的幂次，优选为32；

第二步，训练自编码器；包括以下步骤：

2.1从预处理后的颗粒图像中取Q张作为一个批次，用聚类算法K-means对预训练自编码器中编码器Encoder的输出向量特征聚类，即将编码器的输出层作为颗粒图像特征进行聚类，得到这一批图像的初始聚类结果；Q为整数，一般为2的幂次，优选为128；

2.2计算与初始聚类结果相关的聚类损失函数L_c(clustering loss)和验证损失函数L_v(verification loss)，并计算网络的损失函数(loss)；

聚类损失函数计算过程包含三部分：(1)当前聚类结果的分布p；(2)辅助目标函数q；(3)p与q之间的KL散度(Kullback-Leibler divergence)。其中p的计算公式为(1)：

其中z_i是第i(0≤i<N)个数据点经过自编码器得到的输出，α是t分布的自由度，一般取1，p_ij是数据i指派到聚类中心j的概率，μ_j是上一次迭代得到的聚类中心j的向量，μ_j′是任意聚类中心j′的向量。M是聚类中心的数量。

辅助目标函数q通过公式(2)计算：

其中f_j＝∑_jp_ij，f_j是自编码器中编码器Encoder的输出向量。

p和q之间的KL散度即聚类损失函数计算公式为(3)：

验证损失函数L_v通过公式(4)计算：

其中m是判断两个数据的特征是否属于同一类的阈值，根据实验数据不同，m取不同的值，根据经验选取。y_ij取0或者1，当i，j属于同一类时为0，不是同一类则为1。

重构损失函数L_r如公式(5)所示。其中X为输入数据，为自编码器输出数据。

则自编码器的损失函数为:

L＝λ_cL_c+λ_vL_v+λ_rL_r (6)

其中，L_c为聚类损失函数，L_v为验证损失函数，L_r为重构损失函数，即网络输入层和输出层之间的均方误差。λ_c、λ_v、λ_r分别为三个损失函数的权重。

2.3用随机梯度下降(Stochastic gradient descent，SGD)优化自编码器权值，最小化损失函数；

本发明基于Google公司发布的TensorFlow软件框架实现随机梯度下降，TensorFlow软件框架中封装了随机梯度下降算法。自编码器的训练过程中调用随机梯度下降完成损失函数相对于自编码器权值的优化过程。在自编码器前向传播过程计算损失函数，然后在反向传播过程中优化权值。如前所述，训练过程中，每批次输入Q张颗粒图像数据，在一次前向传播和反向传播之后，输入下一批Q张颗粒图像进行训练。当所有单颗粒冷冻电镜图像都输入到网络中训练一遍之后，转入第三步。

第三步，将要进行聚类的所有颗粒图像数据输入第二步训练得到的自编码器，用编码器的输出作为图像特征进行聚类，得到聚类结果并分析聚类准确率，判断损失函数是否开始小幅波动或者聚类准确率变化是否小于阈值，准确率变化的阈值一般为0.01％，如果小于阈值，输出聚类结果，结束；否则，转第二步。

与现有技术相比，本发明可以取得以下有益效果：

1)本发明设计了基于浅层卷积的自编码器。核心思想是原始图像数据通过自编码器进行特征提取，并且自编码器在多种噪声数据下进行预训练，提高网络的降噪能力。

2)本发明设计了聚类损失函数和验证损失函数用于训练自编码器。聚类损失函数是通过计算中间聚类结果和辅助目标函数之间的相对熵，即KL散度来减小相似图像之间的距离，验证损失函数是将不同类簇中心之间的距离作为损失函数项加入损失函数，增大不同类之间的距离。在此基础上，设计利用随机梯度下降方法自适应地训练损失函数的几项之间的权重，进一步提高分类准确率。

附图说明

图1为本发明总体流程图；

图2为本发明面向单颗粒冷冻电镜图像的深度聚类网络架构图。

具体实施方式

为了使本申请中的技术方案被更好地理解，下面将结合本申请实施例中的附图和具体实施方式，对本申请进行清楚、详细的描述：

A.基于卷积神经网络的自编码器(autoencoder)提取颗粒图像特征

基于卷积神经网络的自编码器是一种利用卷积神经网络对输入图像进行降维，并恢复原始图像的方法。通过基于卷积神经网络的自编码器的隐层网络可以输出图像的特征。单颗粒冷冻电镜图像噪声信号强，为了避免噪声对特征提取的干扰，本发明使用没有噪声信号的颗粒图像来对网络进行预训练。在输入的无噪声图像上增加高斯噪声、白噪声等噪声信号，通过网络恢复出无噪声的原始图像，这样训练得到的网络就具备了降噪的功能。同时，单颗粒冷冻电镜图像还存在面内旋转和平移，本发明仅适用一层或两层卷积层来提取特征，这样得到的浅层图像特征不会受到颗粒旋转和平移的影响。

B.利用聚类损失函数(clustering loss)和验证损失函数(verification loss)训练网络

通过神经网络处理图像进行聚类的目的在于将同一类的数据映射到较近的距离，而将不同类的数据映射到较远的距离。本发明设计了聚类损失函数来训练自编码器，能够实现同一类数据在子空间中距离较近的目的。其计算过程包含三部分：(1)当前聚类结果的分布p；(2)辅助目标函数q；(3)p与q之间的KL散度。其中p的计算公式为(1)：

其中z_i是第i(0≤i<N)个数据点经过自编码器得到的隐层输出，α是t分布的自由度，一般取1，p_ij是数据i指派到聚类中心j的概率。其中μ_j是上一次迭代得到的聚类中心j的向量，μ_j′是任意聚类中心j′的向量。M是聚类中心的数量。

辅助目标函数q通过公式(2)计算：

其中f_j＝∑_jp_ij，f_j是自编码器中编码器Encoder的输出向量。

p和q之间的KL散度计算公式为(3)：

为了增加不同类之间在子空间中的距离，本发明设计了验证损失函数。这个损失项通过对网络隐层输出向量中属于不同类的数据的距离进行惩罚，使得网络参数更偏向于扩大不同类数据的隐层输出的距离。

验证损失函数通过公式(4)计算：

其中m是判断两个数据的特征是否属于同一类的阈值，根据实验数据不同，m取不同的值，根据经验选取。y_ij取0或者1，当i，j属于同一类时为0，不是同一类则为1。

重构损失函数L_r如公式(5)所示。其中X为输入数据，为自编码器输出数据。

如图1所示，这两个损失函数作为损失项，加上网络输入层和输出层之间的均方误差构成的重构损失函数，一起组成本发明自编码器的损失函数：

L＝λ_cL_c+λ_vL_v+λ_rL_r (6)

其中，L_c为聚类损失函数，L_v为验证损失函数，L_r为重构损失函数，即网络输入层和输出层之间的均方误差。λ_c、λ_v、λ_r分别为三个损失函数的权重。

C.训练损失项的权重

重构损失函数，以及聚类损失函数、验证损失函数之间的权重也是影响网络训练效果和分类准确率的重要因素。本发明通过用随机梯度下降(Stochastic gradientdescent，SGD)优化自编码器权值，最小化损失函数。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，包括以下步骤：

第一步，数据预处理，并将数据送入自编码器进行预训练；

第二步，训练自编码器；

第三步，将要进行聚类的所有颗粒图像数据输入自编码器，用编码器的输出作为图像特征进行聚类，得到聚类结果并分析聚类准确率，判断损失函数是否开始小幅波动或者聚类准确率变化是否小于阈值，如果小于阈值，输出聚类结果，结束；否则，转第二步。

2.如权利要求1所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述第一步具体包括以下步骤：

1.1构建基于卷积神经网络的自编码器，简称自编码器，自编码器包含编码器和解码器，其中编码器依次包含输入层、两个卷积层、输出层；解码器以编码器的输出层为输入层，依次包含两个反卷积层和输出层；

1.2对图像进行预处理，得到预处理后的颗粒图像；

1.3将预处理后的颗粒图像作为输入图像，以每P张图像作为一个批次，输入到自编码器中，以解码器的输出结果和输入图像之间的均方误差作为损失函数掩码器，数据集循环训练次数设置为C，C为自然数，用随机梯度下降方法训练自编码器；P为整数，一般为2的幂次。

3.如权利要求1所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述第二步具体包括以下步骤：

2.1从预处理后的颗粒图像中取Q张作为一个批次，对预训练自编码器中编码器的输出向量特征聚类，即将编码器的输出层作为颗粒图像特征进行聚类，得到这一批图像的初始聚类结果；Q为整数，一般为2的幂次；

2.2计算与初始聚类结果相关的聚类损失函数L_c和验证损失函数L_v，并计算网络的损失函数；

聚类损失函数计算过程包含三部分：(1)当前聚类结果的分布p；(2)辅助目标函数q；(3)p与q之间的KL散度；其中p的计算公式为(1)：

其中z_i是第i个数据点经过自编码器得到的输出，0≤i<N，α是t分布的自由度，一般取1，p_ij是数据i指派到聚类中心j的概率，μ_j是上一次迭代得到的聚类中心j的向量，μ_j′是任意聚类中心j′的向量；M是聚类中心的数量；

辅助目标函数q通过公式(2)计算：

其中f_j＝∑_jp_ij，f_j是自编码器中编码器的输出向量；

p和q之间的KL散度即聚类损失函数计算公式为(3)：

验证损失函数L_v通过公式(4)计算：

其中m是判断两个数据的特征是否属于同一类的阈值，根据实验数据不同，m取不同的值，根据经验选取；y_ij取0或者1，当i，j属于同一类时为0，不是同一类则为1；

重构损失函数L_r如公式(5)所示；其中X为输入数据，为自编码器输出数据；

则自编码器的损失函数为：

L＝λ_cL_c+λ_vL_v+λ_rL_r (6)

其中，L_c为聚类损失函数，L_v为验证损失函数，L_r为重构损失函数，即网络输入层和输出层之间的均方误差；λ_c、λ_v、λ_r分别为三个损失函数的权重；

2.3用随机梯度下降方法优化自编码器权值，最小化损失函数。

4.如权利要求2所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述步骤1.2中，对图像的预处理操作包括缩放图像尺寸，对图像像素值归一化，并减去像素均值。

5.如权利要求2所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述步骤1.3中，C设置为50，P设置为32。

6.如权利要求3所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述步骤2.1中，Q设置为128。

7.如权利要求3所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述步骤2.3中，基于Google公司发布的TensorFlow软件框架中封装的随机梯度下降算法实现随机梯度下降；自编码器的训练过程中调用随机梯度下降完成损失函数相对于自编码器权值的优化过程；在自编码器前向传播过程计算损失函数，然后在反向传播过程中优化权值；训练过程中，每批次输入Q张颗粒图像数据，在一次前向传播和反向传播之后，输入下一批Q张颗粒图像进行训练；当所有单颗粒冷冻电镜图像都输入到网络中训练一遍之后，转入第三步。

8.如权利要求1至7中任意一项所述的面向单颗粒冷冻电镜图像的深度聚类方法，其特征在于，所述第三步，准确率变化的阈值为0.01％。