CN112465067A - 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 - Google Patents
基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 Download PDFInfo
- Publication number
- CN112465067A CN112465067A CN202011470196.2A CN202011470196A CN112465067A CN 112465067 A CN112465067 A CN 112465067A CN 202011470196 A CN202011470196 A CN 202011470196A CN 112465067 A CN112465067 A CN 112465067A
- Authority
- CN
- China
- Prior art keywords
- image
- particle
- encoder
- graph convolution
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,通过计算冷冻电镜单颗粒图片集的图片相似性矩阵,从而生成KNN网络;采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维,将KNN网络和图片特征矩阵输入图卷积自编解码器中的编码器,将高维的结点特征嵌入到低维的隐藏层空间中,得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K‑means聚类处理得到冷冻电镜单颗粒图像的聚类结果,最后对每个聚类簇的图像取平均即可得到最终的类平均图像。本发明使用网络化的相似性度量方法和局部线性嵌入提取方法,结合自编码器的隐藏层结点特征同时学习到网络的结构信息和结点本身的图像特征信息,使得聚类的鲁棒性得到提升,显著提高了图像质量。
Description
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法。
背景技术
冷冻电镜技术是一种把待检测大分子样本放入超低温环境中再使用电子显微镜进行观测的技术。对电子显微镜得到的二维图像进行重构即可得到生物大分子的三维模型。冷冻电镜单颗粒图像重构是最常用的一种冷冻电镜重构方法。在冷冻电镜的检测过程中,为了保证生物大分子的活性尽量不受电子辐射影响,电子显微镜使用的电子必须保证在一个很小的剂量下,因此冷冻电镜单颗粒图像的噪声很大,信噪比极低(通常低至以下),因而传统的聚类方法不太使用于冷冻电镜单颗粒图像聚类中。
目前现有的冷冻电镜单颗粒图像聚类算法大部分是基于图片间两两相似性进行度量的聚类算法,但是单颗粒图像间的相似性在低信噪比下很容易受到噪声影响,图片间的相似性可能被噪声而不是图片本身的类别特征所主导。
发明内容
本发明针对现有技术受噪声影响较大的缺陷,提出一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,使用网络化的相似性度量方法和局部线性嵌入提取方法,结合自编码器的隐藏层结点特征同时学习到网络的结构信息和结点本身的图像特征信息,使得聚类的鲁棒性得到提升,显著提高了图像质量。
本发明是通过以下技术方案实现的:
本发明涉及一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,通过计算冷冻电镜单颗粒图片集的图片相似性矩阵以生成K-最近邻法(KNN)网络;采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维,将KNN网络和图片特征矩阵输入图卷积自编解码器中的编码器,将高维的结点特征嵌入到低维的隐藏层空间中,得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K-means聚类处理得到冷冻电镜单颗粒图像的聚类结果,最后对每个聚类簇的图像取平均即可得到最终的类平均图像。
所述的图片相似性矩阵,采用协方差作为图片相似性度量准则,由冷冻电镜单颗粒图片集中所有单颗粒图片之间的协方差组成,具体为: 其中:P,Q为单颗粒图像对应的一维向量,μP和μQ为图像P和图像Q对应的期望,因为在实际场景中无法获得图像的期望,因此用单颗粒图片集的平均向量μ来近似图像P和图像Q的期望向量。
所述的KNN网络,根据图片相似性矩阵计算每个结点的K近邻结点,并连接任两个互为K近邻的结点得到。
所述的降维是指:将冷冻电镜单颗粒图片集中每张N×N的冷冻电镜单颗粒二维图像展开成一维向量并组合得到图片矩阵,其中:M为单颗粒图片总数,然后通过局部线性嵌入算法对图片矩阵从原始的图片维度N2降至1000,得到图片特征矩阵
所述的解码器由内积函数解码器和两层逆图卷积神经网络组成,其中:内积函数解码器将低维结点特征重构为结点的邻接矩阵形式,学习结点间的关系信息;两层逆图卷积神经网络将低维的结点特征还原至输入的结点维度,学习结点的特征。
所述的内积函数解码器进行以下处理:A'=Sigmoid(H(2)H(2)T),其中:H(2)为图卷积自编码器的隐藏层结点特征,A'为内积函数解码器重构的网络。
所述的K-means聚类处理,采用但不限于基于欧式空间的K-means聚类方法。
本发明涉及一种实现上述方法的系统,包括:网络构建单元、结点特征获取单元、图卷积自编码器单元以及K-means聚类单元,其中:网络构建单元与图卷积自编码器单元相连并传输网络结构信息,结点特征获取单元与图卷积自编码器单元相连并传输结点特征信息,图卷积自编码器单元通过图卷积神经网络提取输入的图特征并以内积函数和逆图卷积神经网络作为解码器,同时学习输入网络的结构信息和输入结点的图像特征信息,得到低维结点特征并输出至K-means聚类单元,通过K-means聚类模块得到最终的聚类结果以及类平均图像。
技术效果
本发明整体解决了现有技术无法处理高噪声的冷冻电镜单颗粒图像;与现有技术相比,本发明使用网络化作为相似性度量的方法,提升了相似性度量的鲁棒性,同时提出的适合于图像特征提取的图卷积自编码器方法,可以有效的提取网络的结构信息和结点的图像特征信息,进行二维聚类获取低噪声的类平均图像,提升了聚类结果。
附图说明
图1为基于图卷积自编码器的冷冻电镜单颗粒图像聚类算法流程图;
图2为GroEL真实冷冻电镜单颗粒图像样本示意图;
图3为GroEL真实结构示意图;
图4为基于本发明的聚类结果的类平均图像示意图;
图5为基于本发明的聚类类平均图像重构的初始模型结果示意图。
具体实施方式
本实施例中图卷积自编码器的编码层和解码层所使用的激活函数均为Sigmoid函数,优化器采用Adam优化器,内积解码器采用重构网络和输入网络的交叉熵作为损失函数,而逆图卷积解码器采用重构结点特征和输入结点特征的平方误差作为损失函数。图卷积编码器和逆图卷积编码器均为两层的图卷积神经网络,其中两层的神经个数分别设置为32,16。
如图2所示,为GroEL真实图像集中的GroEL蛋白的真实冷冻电镜单颗粒图像,该GroEL真实图像集为具有D7对称性的结构的4096张128×128的GroEL蛋白的冷冻电镜单颗粒图像。本实施例目标是将数据集中的单颗粒图像聚类到16个类别中,具体步骤包括:
第一步,采集单颗粒图像输入并将所有图像转换为一维向量,计算图像间的协方差,然后根据图片的协方差构建KNN网络。
第二步,使用局部线性嵌入算法对图像进行降维,降维后的特征即可作为第一步中的KNN网络的结点特征。
第三步,将前两步得到的KNN网络和结点特征输入到图卷积自编码器中,训练自编码器直至达到迭代步数上限。
第四步,使用K-means对图卷积自编码器的隐藏层特征进行聚类,并根据聚类结果对同一聚类簇的单颗粒图像求平均,得到最终的类平均图像,如图3所示,类平均图像的清晰度相比初始单颗粒图像有明显提升。
第五步,使用EMAN2的e2initial模块对得到的类平均图像进行重构得到初始模型,如图4所示,重构的初始模型能得到一个比较正确的结果。
经过具体实际实验,对GroEL真实图像集进行聚类,设置聚类数目为16,可以得到清晰的类平均图像,使用e2initial模块对类平均图像重构得到的初始模型可以得到与真实结构相近的模型结果。
与现有技术相比,本发明图卷积自编码器可以高效率的提取输入网络的结构信息和结点的特征信息,这是本发明性能提升的最重要的来源;同时使用网络化相似性替代了目前常用的图像间成对相似性,提升了相似性度量的鲁棒性,也为本发明的整体效果带来了一定提升。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (7)
1.一种基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,其特征在于,通过计算冷冻电镜单颗粒图片集的图片相似性矩阵以生成KNN网络;采用局部线性嵌入算法对每幅冷冻电镜单颗粒图像进行降维,将KNN网络和图片特征矩阵输入图卷积自编解码器中的编码器,将高维的结点特征嵌入到低维的隐藏层空间中,得到低维的隐藏层结点特征后通过图卷积自编解码器中的解码器进行K-means聚类处理得到冷冻电镜单颗粒图像的聚类结果,最后对每个聚类簇的图像取平均即可得到最终的类平均图像;
所述的解码器由内积函数解码器和两层逆图卷积神经网络组成,其中:内积函数解码器将低维结点特征重构为结点的邻接矩阵形式,学习结点间的关系信息;两层逆图卷积神经网络将低维的结点特征还原至输入的结点维度,学习结点的特征。
3.根据权利要求1所述的基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,其特征是,所述的KNN网络,根据图片相似性矩阵计算每个结点的K近邻结点,并连接任两个互为K近邻的结点得到。
6.根据权利要求1所述的基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法,其特征是,所述的冷冻电镜单颗粒图片集采用具有D7对称性的结构的4096张128×128的GroEL真实图像集。
7.一种实现上述任一权利要求所述方法的系统,其特征在于,包括:网络构建单元、结点特征获取单元、图卷积自编码器单元以及K-means聚类单元,其中:网络构建单元与图卷积自编码器单元相连并传输网络结构信息,结点特征获取单元与图卷积自编码器单元相连并传输结点特征信息,图卷积自编码器单元通过图卷积神经网络提取输入的图特征并以内积函数和逆图卷积神经网络作为解码器,同时学习输入网络的结构信息和输入结点的图像特征信息,得到低维结点特征并输出至K-means聚类单元,通过K-means聚类模块得到最终的聚类结果以及类平均图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011470196.2A CN112465067B (zh) | 2020-12-15 | 2020-12-15 | 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011470196.2A CN112465067B (zh) | 2020-12-15 | 2020-12-15 | 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112465067A true CN112465067A (zh) | 2021-03-09 |
CN112465067B CN112465067B (zh) | 2022-07-15 |
Family
ID=74804125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011470196.2A Active CN112465067B (zh) | 2020-12-15 | 2020-12-15 | 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465067B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920346A (zh) * | 2021-07-05 | 2022-01-11 | 西北工业大学 | 基于锚点孪生图自动编码器的大规模图像聚类方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069797A (zh) * | 2015-08-13 | 2015-11-18 | 上海交通大学 | 基于掩膜的冷冻电镜三维密度图分辨率检测方法 |
CN106951918A (zh) * | 2017-03-01 | 2017-07-14 | 上海交通大学 | 一种用于冷冻电镜分析的单颗粒图像聚类方法 |
CN108898180A (zh) * | 2018-06-28 | 2018-11-27 | 中国人民解放军国防科技大学 | 一种面向单颗粒冷冻电镜图像的深度聚类方法 |
CN109919204A (zh) * | 2019-02-23 | 2019-06-21 | 华南理工大学 | 一种面向噪声图像的深度学习聚类方法 |
CN109993208A (zh) * | 2019-03-04 | 2019-07-09 | 北京工业大学 | 一种有噪声图像的聚类处理方法 |
AU2020101108A4 (en) * | 2020-06-24 | 2020-07-30 | Institute Of Geology And Geophysics, Chinese Academy Of Sciences | A method for geophysical observation information fusion |
CN111553193A (zh) * | 2020-04-01 | 2020-08-18 | 东南大学 | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 |
CN111950594A (zh) * | 2020-07-14 | 2020-11-17 | 北京大学 | 基于子图采样的大规模属性图上的无监督图表示学习方法和装置 |
-
2020
- 2020-12-15 CN CN202011470196.2A patent/CN112465067B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069797A (zh) * | 2015-08-13 | 2015-11-18 | 上海交通大学 | 基于掩膜的冷冻电镜三维密度图分辨率检测方法 |
CN106951918A (zh) * | 2017-03-01 | 2017-07-14 | 上海交通大学 | 一种用于冷冻电镜分析的单颗粒图像聚类方法 |
CN108898180A (zh) * | 2018-06-28 | 2018-11-27 | 中国人民解放军国防科技大学 | 一种面向单颗粒冷冻电镜图像的深度聚类方法 |
CN109919204A (zh) * | 2019-02-23 | 2019-06-21 | 华南理工大学 | 一种面向噪声图像的深度学习聚类方法 |
CN109993208A (zh) * | 2019-03-04 | 2019-07-09 | 北京工业大学 | 一种有噪声图像的聚类处理方法 |
CN111553193A (zh) * | 2020-04-01 | 2020-08-18 | 东南大学 | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 |
AU2020101108A4 (en) * | 2020-06-24 | 2020-07-30 | Institute Of Geology And Geophysics, Chinese Academy Of Sciences | A method for geophysical observation information fusion |
CN111950594A (zh) * | 2020-07-14 | 2020-11-17 | 北京大学 | 基于子图采样的大规模属性图上的无监督图表示学习方法和装置 |
Non-Patent Citations (4)
Title |
---|
SHI-HAO FENG ET AL: "Topology Prediction Improvement of α-helical Transmembrane Proteins Through Helix-tail Modeling and Multiscale Deep Learning Fusion", 《JOURNAL OF MOLECULAR BIOLOGY》 * |
刘亚秋等: "基于实型遗传算法的抽头延迟线滤波器及其在自适应逆控制中的应用", 《控制与决策》 * |
杨东海等: "无监督混阶栈式稀疏自编码器的图像分类学习", 《计算机应用》 * |
杨锋等: "基于改进谱聚类与粒子群优化的图像分割算法", 《微电子学与计算机》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920346A (zh) * | 2021-07-05 | 2022-01-11 | 西北工业大学 | 基于锚点孪生图自动编码器的大规模图像聚类方法 |
CN113920346B (zh) * | 2021-07-05 | 2024-03-01 | 西北工业大学 | 基于锚点孪生图自动编码器的大规模图像聚类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112465067B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lepcha et al. | Image super-resolution: A comprehensive review, recent trends, challenges and applications | |
CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
Hayat | Multimedia super-resolution via deep learning: A survey | |
Bai et al. | Deep learning methods for solving linear inverse problems: Research directions and paradigms | |
Dong et al. | Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization | |
CN110232341B (zh) | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 | |
Li et al. | Deep learning methods in real-time image super-resolution: a survey | |
CN111768342A (zh) | 基于注意力机制和多级反馈监督的人脸超分辨方法 | |
Hayat | Super-resolution via deep learning | |
Izadi et al. | Image denoising in the deep learning era | |
CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
CN111640059B (zh) | 基于高斯混合模型的多字典图像超分辨方法 | |
Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
Liu et al. | Single image super resolution techniques based on deep learning: Status, applications and future directions | |
CN110321777A (zh) | 一种基于栈式卷积稀疏去噪自编码器的人脸识别方法 | |
Li et al. | Low-rank analysis–synthesis dictionary learning with adaptively ordinal locality | |
CN112465067B (zh) | 基于图卷积自编码器的冷冻电镜单颗粒图像聚类实现方法 | |
Ziwei et al. | Overview on image super resolution reconstruction | |
CN101430760B (zh) | 基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法 | |
Kumar et al. | Compression of CT images using contextual vector quantization with simulated annealing for telemedicine application | |
CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
Cui et al. | Fast hierarchical deep unfolding network for image compressed sensing | |
Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
Bai et al. | Survey of learning based single image super-resolution reconstruction technology | |
Sekar et al. | Deep wavelet architecture for compressive sensing recovery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |