CN107481224A - 基于线粒体结构的图像配准方法及装置、存储介质及设备 - Google Patents
基于线粒体结构的图像配准方法及装置、存储介质及设备 Download PDFInfo
- Publication number
- CN107481224A CN107481224A CN201710610438.5A CN201710610438A CN107481224A CN 107481224 A CN107481224 A CN 107481224A CN 201710610438 A CN201710610438 A CN 201710610438A CN 107481224 A CN107481224 A CN 107481224A
- Authority
- CN
- China
- Prior art keywords
- mitochondria
- region
- image
- corresponding relation
- electronic speculum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003470 mitochondria Anatomy 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 67
- 210000004126 nerve fiber Anatomy 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 210000000746 body region Anatomy 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000002389 environmental scanning electron microscopy Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000004895 subcellular structure Anatomy 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000186216 Corynebacterium Species 0.000 description 1
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 description 1
- 241001529936 Murinae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000002438 mitochondrial effect Effects 0.000 description 1
- 230000030544 mitochondrion distribution Effects 0.000 description 1
- 210000002686 mushroom body Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域和神经科学领域，具体提出了一种基于线粒体结构的图像配准方法及装置、存储介质及设备，旨在解决神经组织的电镜切片图像配准精度低的技术问题。为此目的，本发明中图像配准方法，通过获取神经组织的电镜序列切片图像，并对所获取的电镜序列切片图像检测线粒体区域，依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系，依据所匹配的对应关系，对电镜序列切片图像进行图像变形，完成图像配准。同时，本发明中的图像配准装置、存储介质及设备，可以执行上述图像配准方法的各步骤。本发明的技术方案，可以提高神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
Description
技术领域
本发明涉及图像处理和神经科学领域，具体涉及一种基于线粒体结构的图像配准方法及装置、存储介质及设备。
背景技术
随着越来越多的国家和组织启动了脑科学研究计划，人类对大脑图谱的构建工作在毫米尺度的宏观层面和微米尺度的介观层面取得了很大进展，相比之下，脑图谱在纳米尺度微观层面的研究进展稍缓慢，但近几年该工作也相继展开成果初显。为了了解神经环路的物理结构和功能之间的关系，微观层面纳米尺度的神经元形态和连接结构的三维重建意义重大，该工作主要包括神经组织切片、电镜成像以及海量图像数据重建分析等步骤。由于神经组织样品在切片、染色和电镜成像过程中会出现不同程度的组织形变、污染、褶皱、撕裂、旋转、偏移、热损伤甚至切片丢失等问题，对切片的电镜图像序列进行配准十分必要，图像配准可以有效的去除图像中不规则畸变获得神经组织序列切片三维图像库，为后续神经结构分割和三维重建工作提供较好的数据基础。
关于神经组织电镜图像配准目前已有的方法大多数是基于Scale-invariantfeature transform(SIFT)特征的，一般方法是先提取图像的SIFT特征进行匹配，然后通过RANSAC算法滤除匹配错误的特征点对，再依据上下层图像间的特征点对完成图像配准。但由于神经组织切片图像中含有大量相似的突触结构和亚细胞结构(如线粒体、囊泡等)，这些相似的结构会导致大量的SIFT特征误匹配，用RANSAC方法无法充分滤除匹配错误的特征点对，进而影响最终的图像配准精度。
因此，目前急需一种精准的神经组织的电镜序列切片图像的配准方法，从而避免特征点误匹配的情况，为后续神经结构分割和三维重建工作提供较好的数据基础。
发明内容
为了解决现有技术中的上述问题，即为了解决如何提高神经组织的电镜序列切片图像配准精准度的技术问题，本发明提供了一种基于线粒体结构的图像配准方法及装置、存储介质及设备。
在第一方面，本发明中基于线粒体结构的图像配准方法包括：
获取神经组织的电镜序列切片图像；
检测所获取的电镜序列切片图像的线粒体区域；
依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系；
依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准。
优选地，所述依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系之前，包括：
对所述线粒体区域进行筛选，选取满足预设筛选条件的线粒体区域；其中，所述预设筛选条件为线粒体区域的各预设参数的检测误差均小于各对应的误差阈值；
对筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
优选地，“依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系”，包括：
以所述线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
优选地，所述依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准之前，包括：
对匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系。
优选地，“获取神经组织的电镜序列切片图像”包括：采用扫描电镜ATUM-SEM获取所述神经阻滞电镜序列切片图像。
优选地，“检测所获取的电镜序列切片图像的线粒体区域”包括：采用AdaptiveBoosting算法检测所述电镜序列切片图像的线粒体区域；
“匹配各切片图像之间的对应关系”包括：采用Coherent Point Drift算法匹配各切片图像之间的对应关系；
“依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形”包括：采用移动最小二乘法对电镜序列切片图像进行刚性变换，得到配准后的电镜序列切片图像。
优选地，“对所述线粒体区域进行筛选”包括：采用Random Forest算法对所述线粒体区域进行筛选；
“对筛选后的各线粒体区域进行分割”包括：采用区域增长算法对筛选后的各线粒体区域进行分割。
优选地，“对匹配后的对应关系进行筛选”包括：采用Random Sample AndConsensus算法对匹配后的对应关系进行筛选；
在第二方面，本发明中基于线粒体结构的图像配准装置包括：
获取模块，配置为获取神经组织的电镜序列切片图像；
检测模块，配置为检测所获取的电镜序列切片图像的线粒体区域；
匹配模块，配置为依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系；
变形模块，配置为依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准。
优选地，所述图像配准装置还包括：
第一筛选模块，配置为对所述检测模块检测到的线粒体区域进行筛选，选取满足预设筛选条件的线粒体区域；其中，所述预设筛选条件为线粒体区域的各预设参数的检测误差均小于各对应的误差阈值；
分割模块，配置为对所述第一筛选模块筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
优选地，所述匹配模块包括匹配单元，所述配置单元配置为以所述线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
优选地，所述图像配准装置还包括第二筛选模块；所述第二筛选模块配置为对所述匹配模块匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系。
第三方面，本发明中计算机可读存储介质中存储有计算机程序，所述程序适用于由处理器加载并执行以实现上述技术方案所述的基于线粒体结构的图像配准方法中的步骤。
第四方面，本发明中计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述技术方案所述的基于线粒体结构的图像配准方法中的步骤。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中基于线粒体结构的图像配准方法，通过对神经组织的电镜序列切片图像提取线粒体区域，并依据线粒体区域的特征点，匹配各切片图像之间的对应关系，避免了神经组织电镜切片图像中类似的突触结构和亚细胞结构导致的大量SIFI特征误匹配，从而提高了神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
2、本发明中基于线粒体结构的图像配准装置，通过匹配模块配置为依据所检测的西线粒体区域的特征点，匹配各切片图像之间的对应关系，避免了神经组织电镜切片图像中类似的突触结构和亚细胞结构导致的大量SIFI特征误匹配，从而提高了神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
3、本发明中计算机可读存储介质，存储有计算机程序，适用于由处理器加载并执行以实现上述技术方案所述的基于线粒体图像配准方法中的步骤，从而提高了神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
4、本发明中计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述技术方案所述的基于线粒体结构的图像配准方法中的步骤，从而提高了神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
附图说明
图1是本发明实施例中一种基于线粒体结构的图像配准方法的主要步骤流程图；
图2是本发明实施例中满足预设筛选条件的线粒体区域；
图3是本发明实施例中不满足预设筛选条件的线粒体区域；
图4是本发明实施例中一种基于线粒体结构的图像配准装置的结构图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
目前，采用基于SIFT特征的图像配准方法，会由于神经组织中包含的线粒体等结构造成SIFT特征误匹配，进而降低图像配准精度。基于此，本发明提供了一种基于线粒体结构的图像配准方法，该方法依据线粒体区域的特征点，匹配电镜序列切片图像中各切片图像之间的对应关系，最后对电镜序列切片图像进行图像变形，完成图像配准。
下面结合附图，对本发明实施例中基于线粒体结构的图像配准方法进行说明。
参阅附图1，图1示例性示出了本实施例中线粒体结构的图像配准方法的主要步骤。如图1所示，本实施例中线粒体结构的图像配准方法可以包括下述步骤：
步骤S101，获取神经组织的电镜序列切片图像。
具体地，本实施例中电镜序列切片图像为利用扫描电镜采集到的神经组织的切片图像。在本实施例的一个优选实施方案中可以采用扫描电镜ATUM-SEM获取所述神经组织的电镜序列切片图像。
本发明提出的基于线粒体结构的神经组织序列切片图像配准算法对神经组织电镜图像配准具有普适性，例如鼠脑组织的电子显微镜图像、果蝇蘑菇体的电子显微镜图像等等。
步骤S102，检测所获取的电镜序列切片图像的线粒体区域。
具体地，本实施例中可以采用Adaptive Boosting算法检测电镜序列切片图像的线粒体区域。“Adaptive Boosting”可以缩写为Adaboost，它是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，然后将这些弱分类起集合起，构成一个更强的最终分类器。其自适应在于：前一个基本分类器中分类错误样本的权值会得到加强，加权后的全体样本再次被用来训练下一个新的分类器，直到达到某个预定的足够小的错误率或者达到预先指定的最大迭代次数。给定一个训练数据集T＝{(x1，y1),(x2，y2),…(xn，yn)},其中实例x∈X,yi属于标记集合{+1，-1},Adaboost算法最终的表达式如公式(1)所示：
其中，t＝1,2，……T表示迭代的轮数，ht(x)为迭代到第t轮得到的基本分类器，∈t为ht(x)在训练数据集上分类误差率，且∈t＝P(ht(xi)≠yi)，α表示权值，由公式得到，H(x)为最终分类器。本实施例中应用上述Adaboost算法进行线粒体区域检测，首先要将线粒体区域和非线粒体区域分别划分为正样本和负样本，并通过Adaboost算法进行训练，而后应用训练得到的分类器对切片序列图像中的线粒体区域进行检测，初步得到线粒体区域检测结果。
步骤S103，依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系。
具体地，本实施例中可以采用Coherent Point Drift算法匹配各切片图像之间的对应关系。Coherent Point Drift(CPD)算法把点集配准算法看作为一个概率密度估计问题，该算法把一组点作为高斯混合模型(GMM)的质心，另一组点作为数据点，通过计算高斯混合模型对数据点的后验概率进行点集配准，后验概率最大的位置即对应最终的一致配准处。这种方法可以估计复杂的非刚性变换，而且在含有噪声的情况下有较强的鲁棒性。在本发明中我们应用CPD算法寻找上下层切片之间对应线粒体中心点之间的对应关系，即找到两张图像中的特征点对。
步骤S104，依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准。
具体地，本实施例中可以采用移动最小二乘法对电镜序列切片图像进行刚性变换，得到配准后的电镜序列切片图像。移动最小二乘法通过设置一组控制点来控制图像变形，本实施例中采用获取的对应关系中的对应点作为控制点，移动最小二乘算法可以采用一系列线性函数包括仿射变换、相似变换和光线变换进行图像变形，为了尽可能保持图像中神经结构的原有形状，本实施例中使用刚性变换进行图像变形。
首先在原图上设置一组控制点p并给出控制点的位置，然后给出图像形变后对应控制点的位置q，依据两组控制点建立函数f，该函数需满足三个条件：(1)插值性，图像形变的p点需映射到q点位置，即f(pi)＝qi,i表示第i个控制点；(2)平滑性，函数f应该尽可能产生光滑的变形；(3)确定性，即如果所有对应的控制点位置都没有发生变化。移动最小二乘选用刚性变换的计算函数如公式(2)所示：
min∑iwi|lv(pi)-qi|2 (2)
其中，p代表一系列设置的控制点,q为控制点的形变位置，依据移动最小二乘法算法建立满足上述三个特性的形变函数f＝lv(x)，公式中函数lv(x)是指对应图像中的一个点v进行变换，求解公式最小值找到合适的变换函数。本发明中将待配准的两幅图像中的线粒体区域的对应点分别设置为控制点集p和q，通过求取优化公式的最小值进行图像变换。
本步骤中应用的基于移动最小二乘法进行图像变形的方法并不是将形变函数作用于每一个像素点，而是将图像网格化之后将形变函数应用于网格顶点，对其他像素点采用双线性差值的方法进行变换，在配准精度和计算量之间进行折中。
进一步地，在本实施例的一个优选实施方案中，图1所示的图像配准方法在执行步骤S103之前，还包括下述步骤：
步骤A1，对步骤S102得到的线粒体区域进行筛选，选择满足预设筛选条件的线粒体区域。其中，预设筛选条件指的是线粒体区域的各预设参数的检测误差均小于各对应的误差阈值。预设参数可以为线粒体区域的几何参数，如线粒体区域质心、长短轴比、周长比、面积比和曲率。
继续参阅图2和3，图2示例性示出了本实施例中满足预设筛选条件的线粒体区域，图3示例性示出了本实施例中不满足预设筛选条件的线粒体区域。如图2和3所示，本实施例中满足预设筛选条件的线粒体区域的形状呈圆形或近似圆形。
具体地，本实施例中可以采用Random Forest算法对线粒体区域进行筛选。在该步骤中，首先人工选取一部分分割的线粒体区域和非线粒体区域分别作为正样本、负样本，并且加入两类样本的相关几何特性(区域质心、长短轴比、周长面积比、曲率)作为特征，对分类器进行训练，得到一个合适的分类模型。然后，将每张切片图像中Adaboost检测结果的分割结果输入Random Forest分类器进行筛选，根据区域质心、长短轴比、周长面积比、曲率的误差，选择区域质心、长短轴比、周长面积比、曲率误差值小于对应阈值的线粒体区域，并记录其位置信息。
步骤A2，对步骤A1筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
具体地，本实施例中可以采用区域增长算法对筛选后的各线粒体区域进行分割。Adaboost检测结果用矩形框标记图像中的线粒体结构，基于此，本实施例通过区域增长的方法进行线粒体结构的分割。基于稀疏标记的区域增长算法是在待分割的区域内进行标记，该标记作为种子点并通过多次迭代种子点增长最终分割出该区域，本实施例中通过Adaboost检测结果中的矩形框自动计算矩形框中心点，并将其作为分割区域的种子点，通过最小化目标函数得到线粒体的分割区域，线粒体的分割区域的计算函数如公式(3)所示：
其中，i表示图像编号，Ωi为二维图像区域，ui表示第i张切片的分割结果，ui>0.5为前景,ui<0.5为背景，gi为一个将图像强边缘转化为极小值的函数，f为用户的输入的稀疏标记，在本实施例中种子点f为Adaboost检测的线粒体区域中心点，该算法就是在这个优化公式的不断迭代中找到公式取得最小值时候的ui，即2D线粒体分割结果。
进一步地，在本实施例的一个优选实施方案中，图1所示的步骤S103可以按照下述方法匹配各切片图像之间的对应关系：以线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
进一步地，在本实施例的一个优选实施方案中，图1所示的图像配准方法在执行步骤S104之前，还包括下述步骤：
对步骤S103匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系，即正确的对应关系
具体地，本实施例中可以采用Random Sample And Consensus(RANSAC)算法对匹配后的对应关系进行筛选，得到正确的对应关系。其中，正确的对应关系指的是同一个线粒体在上下两层切片图像上的线粒体区域中，两个中心点所形成的对应关系。
本实施例中基于兼具下述特点的线粒体结构，对电镜序列切片图像进行图像配准，可以提高神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配：
1、图像中各个部分都能提取特征点。
线粒体分布较均匀，而且在许多细胞中都有分布。其分布状态能够保障图像的各个部分都有特征点可以被提取。
2、便于检测。
线粒体呈圆球状或短棒状，在切片中呈圆形或近似圆形，便于进行检测。
3、可以保证线粒体特征点之间的连续性。
线粒体一般为0.5-1um,切片厚度为50nm，这样一个线粒体大约会出现在连续的10到20张切片中，可以保证切片之间的特征点连续性，有助于图像配准。
基于线粒体能够保证图像各个部分都有特征点被提取、便于进行检测以及切片图像之间的特征点连续性好的特性，提高了神经组织电镜序列切片图像配准的精准度，避免了图像配准过程中的误匹配。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于上述图像配准方法的实施例，本发明还提供了一种基于线粒体结构的图像配准装置。
下面结合附图，对本发明实施例中基于线粒体结构的图像配准装置进行说明。
参阅附图4，图4示例性示出了本实施例中图像配准装置的结构。如图4所示，本实施例中图像配准装置包括获取模块、检测模块、匹配模块和变形模块。其中，获取模块可以配置为获取神经组织的电镜序列切片图像。检测模块可以配置为检测获取模块所获取的电镜序列切片图像的线粒体区域。匹配模块可以配置为依据检测模块所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系。变形模块可以配置为依据匹配模块所匹配的对应关系，对电镜序列切片图像进行图像变形，完成图像配准。
进一步地，本实施例中图像配准装置还包括下述结构：
第一筛选模块，可以配置为对检测模块检测到的线粒体区域进行筛选，选取满足预设筛选条件的线粒体区域；
分割模块，可以配置为对第一筛选模块筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
进一步地，本实施例中匹配模块还可以包括匹配单元，配置为以线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
进一步地，本实施例中图像配准装置还可以包括第二筛选模块。该第二筛选模块可以配置为对匹配模块匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系。
上述图像配准装置实施例可以用于执行上述图像配准方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像配准的具体工作过程及有关说明，可以参考前述图像配准方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，上述图像配准还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图2中示出。
应该理解，图2中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
本领域技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
基于上述图像配准方法的实施例，本发明还提供了一种计算机可读存储介质。本实施例中计算机可读存储介质中存储有计算机程序，适用于由处理器加载并执行以实现上述基于线粒体结构的图像配准方法实施例中的步骤。
基于上述图像配准方法的实施例，本发明还提供了一种计算机设备。本实施例中计算机设备可以包括存储器、处理器及存储在存储上并可在处理器上运行的计算机程序，处理器执行程序时实现上述基于线粒体结构的图像配准方法实施例中的步骤。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (14)
1.一种基于线粒体结构的图像配准方法，其特征在于，所述方法包括：
获取神经组织的电镜序列切片图像；
检测所获取的电镜序列切片图像的线粒体区域；
依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系；
依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准。
2.根据权利要求1所述的方法，其特征在于，
所述依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系之前，包括：
对所述线粒体区域进行筛选，选取满足预设筛选条件的线粒体区域；其中，所述预设筛选条件为线粒体区域的各预设参数的检测误差均小于各对应的误差阈值；
对筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
3.根据权利要求1或2所述的方法，其特征在于，
“依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系”，包括：
以所述线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
4.根据权利要求1或2所述的方法，其特征在于，
所述依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准之前，包括：
对匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系。
5.根据权利要求1所述的方法，其特征在于，
“获取神经组织的电镜序列切片图像”包括：采用扫描电镜ATUM-SEM获取所述神经组织的电镜序列切片图像。
6.根据权利要求1或2所述的方法，其特征在于，
“检测所获取的电镜序列切片图像的线粒体区域”包括：采用Adaptive Boosting算法检测所述电镜序列切片图像的线粒体区域；
“匹配各切片图像之间的对应关系”包括：采用Coherent Point Drift算法匹配各切片图像之间的对应关系；
“依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形”包括：采用移动最小二乘法对电镜序列切片图像进行刚性变换，得到配准后的电镜序列切片图像。
7.根据权利要求2所述的方法，其特征在于，
“对所述线粒体区域进行筛选”包括：采用Random Forest算法对所述线粒体区域进行筛选；
“对筛选后的各线粒体区域进行分割”包括：采用区域增长算法对筛选后的各线粒体区域进行分割。
8.根据权利要求4所述的方法，其特征在于，
“对匹配后的对应关系进行筛选”包括：采用Random Sample And Consensus算法对匹配后的对应关系进行筛选。
9.一种基于线粒体结构的图像配准装置，其特征在于，所述装置包括：
获取模块，配置为获取神经组织的电镜序列切片图像；
检测模块，配置为检测所获取的电镜序列切片图像的线粒体区域；
匹配模块，配置为依据所检测的线粒体区域的特征点，匹配各切片图像之间的对应关系；
变形模块，配置为依据所匹配的对应关系，对所述电镜序列切片图像进行图像变形，完成图像配准。
10.根据权利要求9所述的图像配准装置，其特征在于，所述装置还包括：
第一筛选模块，配置为对所述检测模块检测到的线粒体区域进行筛选，选取满足预设筛选条件线粒体区域；其中，所述预设筛选条件为线粒体区域的各预设参数的检测误差均小于各对应的误差阈值；
分割模块，配置为对所述第一筛选模块筛选后的各线粒体区域进行分割，得到各线粒体区域的各线粒体结构。
11.根据权利要求9或10所述的图像配准装置，其特征在于，
所述匹配模块包括匹配单元；所述匹配单元配置为以所述线粒体区域中线粒体结构的中心点为特征点，匹配各切片图像之间的对应关系。
12.根据权利要求9或10所述的图像配准装置，其特征在于，所述装置还包括第二筛选模块；所述第二筛选模块，配置为对所述匹配模块匹配后的对应关系进行筛选，得到匹配准确度大于预设阈值的对应关系。
13.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-8所述的基于线粒体结构的图像配准方法中的步骤。
14.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8所述的基于线粒体结构的图像配准方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710610438.5A CN107481224A (zh) | 2017-07-25 | 2017-07-25 | 基于线粒体结构的图像配准方法及装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710610438.5A CN107481224A (zh) | 2017-07-25 | 2017-07-25 | 基于线粒体结构的图像配准方法及装置、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107481224A true CN107481224A (zh) | 2017-12-15 |
Family
ID=60595788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710610438.5A Pending CN107481224A (zh) | 2017-07-25 | 2017-07-25 | 基于线粒体结构的图像配准方法及装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481224A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020057391A (ja) * | 2018-10-03 | 2020-04-09 | エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ | 画像セグメント化を使用した物体追跡 |
| CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤（北京）网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
| CN114049252A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
| CN114113084A (zh) * | 2021-11-11 | 2022-03-01 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| CN116246019A (zh) * | 2023-02-27 | 2023-06-09 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
| CN118134818A (zh) * | 2024-05-07 | 2024-06-04 | 深圳市生强科技有限公司 | 基于荧光玻片的扫描和ai荧光图像处理方法及其应用 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105659288A (zh) * | 2013-10-30 | 2016-06-08 | 皇家飞利浦有限公司 | 组织切片图像的配准 |
-
2017
- 2017-07-25 CN CN201710610438.5A patent/CN107481224A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105659288A (zh) * | 2013-10-30 | 2016-06-08 | 皇家飞利浦有限公司 | 组织切片图像的配准 |
Non-Patent Citations (2)
| Title |
|---|
| HUIWEN CAO等: ""Microscopic neural image registration based on the structure of mitochondria"", 《CONFERENCE ON MEDICAL IMAGING -IMAGE PROCESSING》 * |
| 胡谋法等: ""一种低能见度下红外机场区域识别新方法"", 《信号处理》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020057391A (ja) * | 2018-10-03 | 2020-04-09 | エフ イー アイ カンパニＦｅｉ Ｃｏｍｐａｎｙ | 画像セグメント化を使用した物体追跡 |
| JP7419007B2 (ja) | 2018-10-03 | 2024-01-22 | エフ イー アイ カンパニ | 画像セグメント化を使用した物体追跡 |
| CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤（北京）网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
| CN113902780B (zh) * | 2021-08-31 | 2023-02-21 | 数坤(北京)网络科技股份有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
| CN114049252A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
| CN114113084A (zh) * | 2021-11-11 | 2022-03-01 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| WO2023082650A1 (zh) * | 2021-11-11 | 2023-05-19 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| CN116246019A (zh) * | 2023-02-27 | 2023-06-09 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
| CN116246019B (zh) * | 2023-02-27 | 2024-01-05 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
| CN118134818A (zh) * | 2024-05-07 | 2024-06-04 | 深圳市生强科技有限公司 | 基于荧光玻片的扫描和ai荧光图像处理方法及其应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107481224A (zh) | 基于线粒体结构的图像配准方法及装置、存储介质及设备 | |
| CN107437092B (zh) | 基于三维卷积神经网络的视网膜oct图像的分类方法 | |
| CN107977969B (zh) | 一种内窥镜荧光图像的分割方法、装置及存储介质 | |
| CN110110617A (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
| CN107977952A (zh) | 医学图像分割方法及装置 | |
| CN110097968A (zh) | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 | |
| Strisciuglio et al. | Robust inhibition-augmented operator for delineation of curvilinear structures | |
| CN107229917A (zh) | 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法 | |
| CN111784721A (zh) | 基于深度学习的超声内窥图像智能分割与量化方法及系统 | |
| Zhao et al. | Synthesizing filamentary structured images with GANs | |
| CN108765540B (zh) | 一种基于图像与集成学习的重光照方法 | |
| CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区系统 | |
| CN109344845A (zh) | 一种基于Triplet深度神经网络结构的特征匹配方法 | |
| FR2942669A1 (fr) | Methodes de segmentation d'images et de detection de structures particulieres. | |
| Wei et al. | A novel method for automatic camouflage pattern synthesize | |
| Xu et al. | Unsupervised industrial anomaly detection with diffusion models | |
| Badretale et al. | Fully convolutional architecture for low-dose CT image noise reduction | |
| CN111815692A (zh) | 无伪影数据及有伪影数据的生成方法、系统及存储介质 | |
| CN108596900B (zh) | 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备 | |
| CN116228753A (zh) | 肿瘤预后评估方法、装置、计算机设备和存储介质 | |
| Yu et al. | A deep learning framework for square kilometre array science data challenge 1 | |
| CN113781496A (zh) | 基于cbct脊椎图像的椎弓根螺钉通道自动规划系统和方法 | |
| de Almeida Simões | Image Quality Improvement of Medical Images Using Deep Learning for Computer-Aided Diagnosis | |
| CN110070173A (zh) | 一种基于纵横子片的深度神经网络分割方法 | |
| Miloševic et al. | Box-counting method in quantitative analysis of images of the brain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |
|
| RJ01 | Rejection of invention patent application after publication |