CN113160152A - 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 - Google Patents
一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 Download PDFInfo
- Publication number
- CN113160152A CN113160152A CN202110367587.XA CN202110367587A CN113160152A CN 113160152 A CN113160152 A CN 113160152A CN 202110367587 A CN202110367587 A CN 202110367587A CN 113160152 A CN113160152 A CN 113160152A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- particle
- sampling
- threshold segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 83
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000010187 selection method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000001000 micrograph Methods 0.000 claims abstract description 25
- 238000010606 normalization Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 239000011164 primary particle Substances 0.000 claims description 3
- 230000008014 freezing Effects 0.000 abstract description 3
- 238000007710 freezing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 238000001493 electron microscopy Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000234 capsid Anatomy 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000635 electron micrograph Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，首先输入冷冻电镜图像数据，并对图像数据进行归一化处理；然后对归一化处理后的图像文件依次缩小，生成一系列不同尺度的图像；接着将不同尺度图像恢复为与归一化图像具有相同尺寸的图像；将由多尺度图像恢复的图像累加取均值，获取融合图像；对融合图像，分离颗粒图像与背景，获得颗粒区域图像；对阈值分割得到的颗粒区域图像去除异常区域；最后根据去除异常区域后颗粒区域图像，计算轮廓中心，得到冷冻电镜图像中颗粒的位置坐标。本发明简化了颗粒挑选流程，提高了颗粒挑选效率，提高了颗粒挑选的召回率与精确率。
Description
技术领域
本发明属于结构生物学分析技术领域，涉及一种冷冻电镜单颗粒挑选方法，特别涉及一种基于Lanczos采样多尺度图像融合和阈值分割的冷冻电镜单颗粒挑选方法。
背景技术
冷冻电子显微镜(Cryogenic Electron Microscopy，Cryo-EM)技术是目前测定生物大分子结构的强有力手段及主流方法之一。使用冷冻电镜技术重构生物分子三维结构的总体步骤大致可分为4步：样本纯化与制备、数据采集与分析、二维颗粒图像挑选与分类、三维结构重构。由于生物样本的制备技术和电子显微镜硬件系统的限制，使得冷冻电镜采集到的图像信噪比极低，且存在部分非样本颗粒干扰，使得自动挑选冷冻电镜图像中的样本颗粒较为困难。
目前比较流行的颗粒挑选方法根据挑选过程是否需要颗粒图像作为参考信息，颗粒挑选方法大致分为两类：一是需要颗粒图像，这些颗粒图像可以来自手动选择的颗粒图像、相似分子的颗粒图像或者根据三维模型合成的颗粒图像，这种方法将颗粒图像作为模板或数据集来实现颗粒的自动拾取；二是不需要颗粒图像作为参考模板，其中大部分方法需要一些先验知识，选取部分参数确定颗粒的大致形状。
使用模板的方法往往需要全部角度的投影图像，若模板图像不全，可能会导致较多的漏选。使用深度学习方法来挑选颗粒则需要足够多的人工标注图像做训练集，且最终挑选结果受训练集影响较大。第二组颗粒挑选方法无需手动选择或标记颗粒图像，但对图像质量要求较高，在质量偏低的电镜图像上难以取得好的结果。主流的颗粒挑选方法存在着以下缺点：
1)需要大量的人工生成的训练集或者优质颗粒模板，适应范围较窄，只对特定的颗粒图像有效；
2)时间复杂度高，难以复现和推广。
发明内容
为了解决上述技术问题，本发明提供了一种基于Lanczos采样多尺度图像融合和阈值分割算法的颗粒挑选方法，用于增强电镜图像的质量，降低噪声对颗粒区域的影响，使得边缘更加明晰，从而从图像中分割出颗粒区域，最终实现提高冷冻电镜颗粒挑选的效率，简化颗粒挑选流程。
本发明所采用的技术方案是：一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，包括以下步骤：
步骤1：输入冷冻电镜图像文件，并使用百分位归一化方法将冷冻电镜图像文件转化为jpg格式图像文件；
步骤2：对归一化处理后的图像文件使用基于Lanczos算法的插值方法，将图像依次缩小，生成一系列不同尺度的图像；
步骤3：对所有不同尺度的图像使用基于Lanczos算法的插值方法，将不同尺度图像恢复为与归一化图像具有相同尺寸的图像；
步骤4：将由多尺度图像恢复的图像累加取均值，获取融合图像；
步骤5：对融合图像使用基于最大类间方差的阈值分割法，分离颗粒图像与背景，获得颗粒区域图像；
步骤6：对阈值分割得到的颗粒区域图像使用形态学处理、点融合处理、边界点清理等方式去除异常区域；
步骤7：根据去除异常区域后颗粒区域图像使用寻找轮廓算法，并计算轮廓中心，得到冷冻电镜图像中颗粒的位置坐标。
本发明提供的一种基于Lanczos采样多尺度图像融合和阈值分割算法的颗粒挑选方法，提高了冷冻电镜颗粒挑选的效率，简化了颗粒挑选流程。其中，基于Lanczos采样多尺度图像融合的方法用于增强电镜图像的质量，降低噪声对颗粒区域的影响，并使得边缘更加明晰。随后使用图像阈值分割算法对融合图像进行分割，以区分背景与颗粒，最终得到颗粒的位置坐标。
附图说明
图1.是本发明实施例的流程示意图；
图2.是本发明与其它两种方法颗粒挑选结果对比图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，包括以下步骤：
步骤1：输入冷冻电镜图像数据集EMPIAR-10033中的冷冻电镜原始图像文件，并使用百分位归一化方法将冷冻电镜图像文件转化为jpg格式图像文件；
具体实现包括以下子步骤：
步骤1.1：根据原始电镜图像数据计算图像的概率密度函数f(x)和图像累积分布函数F(x)；
步骤1.2：确定归一化使用的百分位数α，本实施案例中取α＝0.01，图像的概率密度函数、图像累积分布函数、百分位数α、下α分位点ylowfra与上α分位点yhighfra的关系如下：
式中f(x)为图像的概率密度函数(PDF)，F(x)图像累积分布函数(CFD)，根据上式计算出图像概率密度函数的下α分位点ylowfra与上α分位点yhighfra；x为图像的像素值；
步骤1.3：对于一幅尺寸为m*n原始冷冻电镜图像使用百分位归一化处理，本实施案例中m＝n＝4096，归一化方式如下：
式中y[i,j]表示图像第i行第j列像素值，y’[i,j]表示归一化后像素值，式中m、n分别图像的行数和列数，0≤i≤m，0≤j≤n，round()函数表示四舍五入取整函数。ylowfra与yhighfra分别表示图像概率密度函数的下α分位点ylowfra与上α分位点。
本实施例中，除百分位归一化外，常见的还有最大最小值归一化，通过对冷冻电镜图像的分析，发现即98％的数值仅分布与最小值与最大值之间15％左右区域的范围内，所以使用百分位归一化，忽略少量数据，而使大部分数据能够充分展开，也可以达到提高对比度是目的。
步骤2：对归一化处理后的图像文件使用基于Lanczos算法的插值方法，将图像缩小依次，生成一系列不同尺度的图像；
具体实现包括以下子步骤：
步骤2.1：计算Lanczos采样所需的Lanczos核和插值公式，Lanczos核如下，
式中a是一个正整数，为采样窗口大小；x为待插值点位置。
对于二维插值函数：
式中L(x,y)＝L(x)L(y)，式中a是一个正整数，为采样窗口大小，a是一个正整数，一般为2或3，本实施案例中取a＝3，用于确定采样窗口大小，i和j为样本序列坐标，x和y为待插值点的位置坐标；s(i,j)为采样窗口内的像素点的值。
步骤2.2：根据Lanczos核和插值公式，生成下采样图像，对于尺寸为m*n的图像I，缩放系数为r，采样窗口为win(a)，图像经过缩放后形成尺寸为(m·r)*(n·r)的新图像I’，对于新图像中的每一点[i’,j’]在原图中插值的坐标为[x,y]，那么对图像的下采样过程即为：
其中x＝i'/r,y＝j'/r。为了便于叙述，记I’＝subsampling(I)为使用Lanczos采样对图像I下采样得到新的图像I’，本说明中设r＝0.5。对于未进行下采样的初始电镜图像I，其尺寸为m*n，用I0表示未缩小的图像，I1、I2......It分别表示第1次、第2次......第t次下采样图像，其尺寸依次为(m/2)*(n/2)、(m/4)*(n/4)......(m/2t)*(n/2t)，多级下采样获得多尺度图像的过程为：
式中Ik表示第k次下采样得到的图像，Ik-1为上级下采样的结果图像，其中下采样总次数t的计算方法为：
式中min(m,n)表示取m、n中较小者，
表示对x向下取整，本实施案例中t＝7。
本实施例中，也可以采用其他的插值方式，如最近邻插值、双线性插值、双三次插值等方法也可达到类似效果，但综合考虑降低图像抗锯齿、混叠效果与计算量等因素，所以采用Lanczos插值。下面图像放大(恢复)过程也是如此。
步骤3：对所有不同尺度的图像使用基于Lanczos算法的插值方法，将不同尺度图像恢复为与归一化图像具有相同尺寸的图像，具体实现方法如下：
图像放大过程使用的插值函数依旧步骤2所述的Lanczos算法，且对图像的上采样过程与对图像的下采样过程所使用的公式相同，记I’＝upsampling(I)为使用Lanczos算法对图像I上采样得到新的图像I’。记I1’、I2’......It’分别表示I1、I2......It放大的图像，其尺寸均为m*n，则由多尺度图像恢复图像的过程为：
式中Ik表示第k次下采样得到的图像，Ik’为由Ik直接上采样(放大)得到的图像，对于每次放大图像，图像的缩放系数为r＝2k；
步骤4：将由多尺度图像恢复的图像累加取均值，获取融合图像，由恢复的图像得到融合图像公式为：
式中Id表示最终的融合图像，I0为进行下采样的初始电镜图像，t为下采样总次数，本实施方法中t＝7；
本实施例中，图像缩小与恢复使用的插值方式，除了Lanczos插值，使用最近邻插值、双线性插值、双三次插值等插值方法也可以达到类似效果；图像融合过程除了使用本实施例的相同的权重叠加的方式融合，也可以对不同图像Ik’赋予不同的权重叠加融合，还可以对每个Ik’计算其中每一个像素的权重，然后叠加融合。
步骤5：对融合图像使用基于最大类间方差的阈值分割法，分离颗粒图像与背景，获得颗粒区域；方法如下：
设图像有K个类c1,c2,c3,......ck，类间方差可归纳为如下公式，
式中：
其中pi为灰度值i在图像中出现的频率，mG为全局灰度平均值。K个类由K-1个阈值分割，这些阈值k1*,k2*,k3*,......kK-1*使得类间方差最大，
式中L-1为最大灰度值，本实施案例中L＝256,K＝2，使用上式计算得到阈值k1*，令融合图像中像素值大于阈值k1*的值等于255，小于或等于阈值k1*的值等于0，得到对融合图像阈值分割后的结果图；
本实施例中，除了“基于最大类间方差的阈值分割法”，还有聚类分析法、基于信息距离或信息熵的阈值分割、模型匹配阈值法、共生矩阵阈值法等方法，使用这些方法可能达到更好的结果，但这些分割法比较复杂、计算量较大。本实施例使用的方法操作比较简单，也具有良好的分割性能。
步骤6：对阈值分割得到的颗粒区域图像使用形态学处理、点融合处理、边界点清理等方式去除异常区域，分割后的结果图使用点融合的方式进行处理，进行形态学处理，去除背景中被分割出来的噪点，并且可以融合距离较近的小区域。
步骤7：根据去除异常区域后颗粒区域图像使用寻找轮廓的算法，找到所有不连通的区域，并且计算每个区域的中心坐标，最后判断颗粒中心距离图像边缘距离，若小于颗粒直径则舍弃该坐标，最终形成的点集即是初步颗粒挑选得到的颗粒中心坐标集。
以下通过对比实验来对本发明的效果做进一步的阐述。
1.仿真条件:
实验所使用的数据集冷冻电镜数据集为电子显微镜公共图像档案馆EMPAIR中的人副肠孤病毒(HPeV3,Human Parechovirus 3)的病毒颗粒衣壳电镜图像数据集EMPIAR-10033。实验中，本发明的各种方法所使用的语言都由python实现,对比方法(Autocryopicker中的K-means,IBC方法)的运行的软件为MATLAB。
2.实验内容和结果
将电镜图像数据集EMPIAR-10033中的原始电镜图像作为本发明方法与两种对比方法的输入数据。
在本发明方法处理流程中，图像数据经过百分位归一化处理后，使用基于Lanczos算法的插值方法获得7张多尺度图像，然后将多尺度恢复为7张相同尺寸图像，将这7张恢复的图像相加取均值得到融合的图像，再使用阈值分割法获得颗粒区域，随后使用点融合、形态学处理等方法去除异常区域，获得颗粒区域，最后使用寻找轮廓的算法，找到所有不连通的区域，并且计算每个区域的中心坐标，最后判断颗粒中心距离图像边缘距离，若小于颗粒直径则舍弃该坐标，最终形成的点集即是初步颗粒挑选得到的颗粒中心坐标集。对比方法处理流程中，原始电镜图像作为输入数据，图像经过预处理后分别使用K-means和IBC方法计算图像中的颗粒坐标。
使用召回率(Recall)与精确率(Precision)来评价颗粒挑选效果，其中召回率为算法挑选出来颗粒中正确颗粒占人工挑选颗粒的比例，精确率为算法挑选出的颗粒中正确颗粒所占的比例。
本发明于对比方法的颗粒挑选结果如图2，实验数据结果如下表：
本发明方法召回率为97.4％，比IBC方法的95.5％高1.9个百分点，比K-means方法的91.6％高5.8个百分点。从精确率上来看，本方法的精确率为94.9％，比IBC方法的92.5％高2.4个百分点，比K-means方法的81.6％高13.3个百分点。由颗粒挑选的结果对比可知，本发明使用的基于Lancozs采样的图像融合方法与基于最大类间方差图像阈值分割方法能够在冷冻电镜颗粒挑选中获得更优的结果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于，包括以下步骤：
步骤1：输入冷冻电镜图像数据，并对图像数据进行归一化处理；
步骤2：对归一化处理后的图像文件依次缩小，生成一系列不同尺度的图像；
步骤3：将不同尺度图像恢复为与归一化图像具有相同尺寸的图像；
步骤4：将由多尺度图像恢复的图像累加取均值，获取融合图像；
步骤5：对融合图像，分离颗粒图像与背景，获得颗粒区域图像；
步骤6：对阈值分割得到的颗粒区域图像去除异常区域；
步骤7：根据去除异常区域后颗粒区域图像，计算轮廓中心，得到冷冻电镜图像中颗粒的位置坐标。
2.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤1中，使用百分位归一化方法将冷冻电镜图像文件转化为jpg格式图像文件；
具体包括以下子步骤：
步骤1.1：根据原始冷冻电镜图像数据计算图像的概率密度函数PDF和图像累积分布函数CFD；
步骤1.2：确定归一化使用的百分位数α，图像的概率密度函数、图像累积分布函数、百分位数α、下α分位点ylowfra与上α分位点yhighfra的关系为：
式中f(x)为图像的概率密度函数PDF，F(x)图像累积分布函数CFD，根据上式计算出图像概率密度函数的下α分位点ylowfra与上α分位点yhighfra；x为图像的像素值；
步骤1.3：对于一幅尺寸为m×n原始冷冻电镜图像使用百分位归一化处理，归一化处理函数为：
式中y[i,j]表示图像第i行第j列像素值，y’[i,j]表示归一化后像素值，式中m、n分别图像的行数和列数，0≤i≤m，0≤j≤n，round()函数表示四舍五入取整函数。
3.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤2中，对归一化处理后的图像文件使用基于Lanczos算法的插值方法，将图像依次缩小；
具体包括以下子步骤：
步骤2.1：计算Lanczos采样所需的Lanczos核和插值公式；
Lanczos核为：
式中a是一个正整数，为采样窗口大小；x为待插值点位置；
对于二维插值函数：
式中，L(x,y)＝L(x)L(y)，a是一个正整数，用于确定采样窗口大小；i和j为样本序列坐标，x和y为待插值点的位置坐标；s(i,j)为采样窗口内的像素点的值；
步骤2.2：根据Lanczos核和插值公式，生成下采样图像；对于尺寸为m×n的图像I，缩放系数为r，采样窗口为win(a)，图像经过缩放后形成尺寸为(m·r)×(n·r)的新图像I’，对于新图像中的每一点[i’,j’]在原图中插值的坐标为[x,y]，那么对图像的下采样过程即为：
其中x＝i'/r,y＝j'/r；
记I’＝subsampling(I)，为使用Lanczos采样对图像I下采样得到新的图像I’；对于未进行下采样的归一化处理后的冷冻电镜图像I，其尺寸为m×n，用I0表示未缩小的图像，I1、I2......It分别表示第1次、第2次......第t次下采样图像，其尺寸依次为(m/2)*(n/2)、(m/4)*(n/4)、......、(m/2t)*(n/2t)，多级下采样获得多尺度图像的过程为：
式中，Ik表示第k次下采样得到的图像，Ik-1为第k-1次下采样的结果图像，其中下采样总次数t的计算方法为：
式中min(m,n)表示取m、n中较小者，
表示对x向下取整。
4.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤3中，对所有不同尺度的图像使用基于Lanczos算法的插值方法，将不同尺度图像恢复为与归一化图像具有相同尺寸的图像。
5.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤4中，图像融合的方式如下，
式，中Id表示最终的融合图像，I0为步骤1中进行归一化处理后的电镜图像，t为下采样总次数；Ik表示第k次下采样得到的图像，I'k为由Ik直接上采样放大得到的图像，t为下采样次数。
6.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤5中，对融合图像使用基于最大类间方差的阈值分割法分割，获取颗粒区域；
设图像有K个类c1,c2,c3,......ck，类间方差为：
式中
其中pi为灰度值i在图像中出现的频率，mG为全局灰度平均值；K个类由K-1个阈值分割，这些阈值k1*,k2*,k3*,......kK-1*使得类间方差最大，
式中L-1为最大灰度值，使用上式计算得到阈值k1*，令融合图像中像素值大于阈值k1*的值等于255，小于或等于阈值k1*的值等于0，得到对融合图像阈值分割后的结果图。
7.根据权利要求1所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤6中，对分割后的结果图使用点融合的方式进行处理，进行形态学处理，去除背景中被分割出来的噪点，并且融合距离小于预设值的区域。
8.根据权利要求1-7任意一项所述的基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法，其特征在于：步骤7中，使用寻找轮廓的算法，找到所有不连通的区域，并且计算每个区域的中心坐标，最后判断颗粒中心距离图像边缘距离，若小于颗粒直径则舍弃该坐标，最终形成的点集即是初步颗粒挑选得到的颗粒中心坐标集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367587.XA CN113160152B (zh) | 2021-04-06 | 2021-04-06 | 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110367587.XA CN113160152B (zh) | 2021-04-06 | 2021-04-06 | 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160152A true CN113160152A (zh) | 2021-07-23 |
| CN113160152B CN113160152B (zh) | 2023-09-15 |
Family
ID=76888441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110367587.XA Active CN113160152B (zh) | 2021-04-06 | 2021-04-06 | 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160152B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359057A (zh) * | 2022-10-20 | 2022-11-18 | 中国科学院自动化研究所 | 基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110038510A1 (en) * | 2009-08-17 | 2011-02-17 | Kenichiro Nakamura | Image processing apparatus, image processing method, and program |
| CN103279957A (zh) * | 2013-05-31 | 2013-09-04 | 北京师范大学 | 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 |
| CN108898180A (zh) * | 2018-06-28 | 2018-11-27 | 中国人民解放军国防科技大学 | 一种面向单颗粒冷冻电镜图像的深度聚类方法 |
| CN109118546A (zh) * | 2018-08-30 | 2019-01-01 | 东南大学 | 一种基于单帧图像的景深等级估计方法 |
| CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
| CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
-
2021
- 2021-04-06 CN CN202110367587.XA patent/CN113160152B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110038510A1 (en) * | 2009-08-17 | 2011-02-17 | Kenichiro Nakamura | Image processing apparatus, image processing method, and program |
| CN103279957A (zh) * | 2013-05-31 | 2013-09-04 | 北京师范大学 | 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 |
| CN108898180A (zh) * | 2018-06-28 | 2018-11-27 | 中国人民解放军国防科技大学 | 一种面向单颗粒冷冻电镜图像的深度聚类方法 |
| CN109118546A (zh) * | 2018-08-30 | 2019-01-01 | 东南大学 | 一种基于单帧图像的景深等级估计方法 |
| CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
| CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| TRENT1985: "几种插值算法对比研究", 《CSDN》 * |
| TRENT1985: "几种插值算法对比研究", 《CSDN》, 20 April 2015 (2015-04-20), pages 1 - 2 * |
| 赵小川: "《MATLAB图像处理》", 1 January 2019, pages: 148 - 150 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359057A (zh) * | 2022-10-20 | 2022-11-18 | 中国科学院自动化研究所 | 基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160152B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154192B (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
| CN108053417B (zh) | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 | |
| CN111275714B (zh) | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 | |
| Wei et al. | Relevance vector machine for automatic detection of clustered microcalcifications | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| CN112001218B (zh) | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| Schmitt et al. | Morphological multiscale decomposition of connected regions with emphasis on cell clusters | |
| CN113205509B (zh) | 一种基于位置卷积注意力网络的血管斑块ct影像分割方法 | |
| CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| CN108550131B (zh) | 基于特征融合稀疏表示模型的sar图像车辆检测方法 | |
| CN115393293A (zh) | 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN116630971A (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
| Sravanthi et al. | Brain tumor detection using image processing | |
| CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
| CN113160152B (zh) | 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法 | |
| CN115100123A (zh) | 一种结合UNet和主动轮廓模型的大脑提取方法 | |
| CN114037720A (zh) | 基于半监督学习的病理图像分割与分类的方法及装置 | |
| CN113850792A (zh) | 一种基于计算机视觉的细胞分类计数方法及系统 | |
| CN116188786B (zh) | 一种肝胆管及胆道结石的图像分割系统 | |
| CN113808140B (zh) | 一种间隙区域感知的铝硅合金显微图像分割方法 | |
| CN113744241A (zh) | 基于改进slic算法的细胞图像分割方法 | |
| CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |