CN107545567A - 生物组织序列切片显微图像的配准方法及装置 - Google Patents
生物组织序列切片显微图像的配准方法及装置 Download PDFInfo
- Publication number
- CN107545567A CN107545567A CN201710638426.3A CN201710638426A CN107545567A CN 107545567 A CN107545567 A CN 107545567A CN 201710638426 A CN201710638426 A CN 201710638426A CN 107545567 A CN107545567 A CN 107545567A
- Authority
- CN
- China
- Prior art keywords
- image
- msubsup
- micro
- mrow
- corresponding points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000001000 micrograph Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000000523 sample Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 239000012472 biological sample Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理和神经科学领域，具体涉及一种生物组织序列切片显微图像的配准方法及装置。旨在解决无法在生物组织相邻切片显微图像间寻找到真实可靠的对应点信息的问题。为此目的，本发明中提出了一种生物组织序列切片显微图像的配准方法，包括：获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；调整所获取的各对应点的位置；依据调整后的各对应点的位置，对生物组织序列切片显微图像进行图像形变。通过本发明可以找到相邻切片显微图像之间真实可靠的对应点信息，从而保证了生物组织序列切片显微图像配准的精度。
Description
技术领域
本发明涉及图像处理和神经科学领域，具体涉及一种生物组织序列切片显微图像的配准方法及装置。
背景技术
目前，基于电镜成像技术的生物组织序列切片显微图像三维重建方法主要包括序列断面成像方法和序列切片成像方法。其中，序列断面成像方法的步骤主要包括：将生物组织样品固定在电镜样品腔室内，在对其表明成像后通过钻石刀切削或采用离子束轰击的方式去除十纳米厚度的样品表面，再次对处理过的样品进行成像，重复上述过程直至获得所有样品的图像。通过上述成像方法获得的图像序列能够很容易进行配置，但是在成像过程中无法保留样品，进而无法对样品进行二次成像。序列切片成像方法是通过超薄切片机将生物组织样品切割为数十纳米厚度的切片，并收集在导电载体上，再放到电镜中进行成像。该方法能够保留切片并多次利用，且可以通过多台电镜并行成像的方式加速图像获取，相比于序列断面成像方法，序列切片成像方法更加适用于大样品块的高精度重建。但序列切片成像方法由于在制样、切片、收集和成像过程中会出现不同程度的组织形变，以及褶皱、撕裂等问题，因此需要更为复杂的配准算法将这些切片显微图像进行三维重建。
序列切片成像方法的三维非线性配置方法主要包括尺度不变算子方法和块匹配方法。其中，尺度不变算子方法是选择一幅图像作为基准层图像，依次向前和向后配准相邻层的图像，直至所有的图像两两配准完毕。该方法虽然降低了三维图像配准的难度，但其中误差的累积和传播会极大的影响最终的配准结果，尤其是对于远离基准层的图像，为满足图像序列配准结果的连续性，其形变要远大于真实情况。
另一种是块匹配方法，其主要步骤包括：首先，假设生物样品的形状在相邻切片图像中平滑变化，而且每个切片图像所受到的非线性形变是相互独立的，与相邻切片无关。然后，将每个切片图像表示为一个三角形弹簧网格，通过两两块匹配寻找网格顶点在其他切片中的对应位置，切片内和切片间的位置关系由网格顶点间虚拟的弹性势能来体现弹性约束，在配准过程中附加全局弹性约束来最小化非线性形变。为了保证块匹配结果的有效性，该方法要求相邻切片间图像内容不能发生太大变化，即对切片厚度提出苛刻要求。对于切片上存在褶皱、撕裂等生物样品形状变化剧烈的异常情况，该方法也无法进行有效处理。
同时，由于生物组织样品的微观结构不具备规则的形状，即生物组织样品在不同切片间的图像的内容应该是不相同的，只是在切片厚度比较小的情况下具有一定的相似性，因此所以无论是采用尺度不变算子还是块匹配，都无法在相邻切片显微图像间寻找到真实可靠的对应点信息，从而导致生物组织序列切片显微图像的配准精度较低。
发明内容
为了解决现有技术中的上述问题，即为了解决无法在相邻切片显微图像间寻找到真实可靠的对应点信息的技术问题，本发明的一方面，提出了一种生物组织序列切片显微图像的配准方法，包括：
获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；
调整所获取的各对应点的位置；
依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变。
优选地，“获取所述生物组织序列切片显微图像中各相邻切片显微图像的对应点”包括采用SIFT flow算法获取各相邻层生物组织序列切片显微图像的对应点。
优选地，“采用SIFT flow算法获取各相邻层图像的对应点”具体包括：
采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配；
在所述匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且所述第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同；
选取第一切片显微图像中与所述变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
优选地，“调整所获取的各对应点的位置”包括按照下式所示的方法调整所获取的各对应点的位置：
其中，所述i为切片显微图像的序号，所述k和l分别为切片显微图像中对应点的序号，且l≠k，所述为第i个切片显微图像中的第k个对应点的位置坐标，所述为所述位置坐标的位移向量，所述E(w)为位移向量w的能量函数，所述α和β分别为常数。
优选地，“依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变”包括：采用移动最小二乘法对生物组织序列切片显微图像进行图像形变，具体包括：
按照下式所示的方法获取切片显微图像中所述预设网格顶点在图像形变后的位置坐标：
采用双线性插值法获取所述切片显微图像中除去预设网格顶点后所有对应点在图像性形变后的位置坐标；
其中，所述v为图像形变之前切片显微图像中预设网格顶点的位置坐标，所述k为切片显微图像中对应点的序号，所述pk为图像形变之前切片显微图像中第k个对应点的位置坐标，所述qk为图像形变之后切片显微图像中第k个对应点的位置坐标，qk＝pk+wk，所述wk为切片显微图像中第k个对应点的位移向量，所述λk为权重，且所述α为常数，所述lv是位置坐标v对应位置点处的刚性变换矩阵。
本发明的第二方面，提出了一种生物组织序列切片显微图像的配准装置，所述配准装置包括：
获取模块，配置为获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；
调整模块，配置为调整所获取的各对应点的位置；
形变模块，配置为依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变。
优选地，所述获取模块还包括：
第一单元，配置为采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配；
第二单元，配置为在所述匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且所述第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同；
第三单元，配置为选取第一切片显微图像中与所述变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
优选地，调整模块包括调整单元，所述调整单元配置为按照下式所示的方法调整所述获取模块获取的各对应点的位置：
其中，所述i为切片显微图像的序号，所述k和l分别为切片显微图像中对应点的序号，且l≠k，所述为第i个切片显微图像中的第k个对应点的位置坐标，所述为所述位置坐标的位移向量，所述E(w)为位移向量w的能量函数，所述α和β分别为常数。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，适用于由处理器加载并执行以实现上述的生物组织序列切片显微图像的配准方法。
本发明的第四方面，提出了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述的生物组织序列切片显微图像的配准方法。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中生物组织序列切片显微图像的配准方法包括：获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；调整所获取的各对应点的位置；依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变。该方法在切片显微图像出现组织形变、褶皱以及撕裂问题时，还可以在各相邻切片显微图像间找到真实可靠的对应点信息，避免了配准过程中误差的累积和传播对配准结果的影响，从而提高生物组织序列切片显微图像的配准的精度。
2、相比较传统的尺度不变算子，采用SIFT flow算法获取各相邻层生物组织序列切片显微图像的对应点，利用了图像中稠密的特征点，避免了由于生物组织中存在许多相似结构造成的误匹配，也使得在处理形变较大的三维场景匹配时更为鲁棒。
3、通过采用SIFT flow算法获取各相邻层生物组织序列切片显微图像的对应点，并在匹配好的切片显微图像中设定两个具有相同位置的网格，仅选取网格的顶点作为对应点，一方面减少了计算量，另外一方面采用该方法提取的对应点能够均匀地分布在图像中，避免了局部区域缺少对应点而导致配准误差较大。
4、在调整对应点的位置的过程中，采用最小化能量函数来计算对应点的位移向量，可以使对应点的位移向量尽可能的小和相似，从而减少切片显微图像的非线性形变。
5、对切片显微图像进行图像形变的过程中通过最小二乘方法进行刚性变换，使得局部图像的刚性和尺度都得以保持，从而使得生物样品能够尽可能的保持其局部的结构的刚性程度。
附图说明
图1是本发明实施例中生物组织序列切片显微图像的配准方法的主要步骤流程示意图；
图2是本发明实施例中生物组织序列切片显微图像的配准装置的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
下面结合附图，对本发明实施例中生物组织序列切片显微图像的图像配准方法进行说明。
如图1所示，本实施例中生物组织序列切片显微图像的配准方法包括步骤S100、S200以及S300。
步骤S100，获取生物组织序列切片显微图像中各相邻切片显微图像的对应点。具体地，本实施例中可以采用SIFT flow算法获取各相邻层生物组织序列切片显微图像的对应点，具体包括：
步骤S101，采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配；
步骤S102，在所述匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且所述第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同；
步骤S103，选取第一切片显微图像中与所述变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
对于生物组织序列切片显微图像而言，在相邻切片显微图像上寻找可靠的对应点是非常困难的。这是由于生物样品的结构是不断变化的，在不同切片上体现出不同的形貌特征。当切片的厚度较薄时，相邻切片间存在一定的相似性，且相似程度取决于样品的局部结构变化特点和切片的厚度。当切片厚度较薄时，相邻切片间的相似程度增加，有利于图像配准，但同时对制样过程提出了较高的要求，在切片收集过程中也容易产生褶皱、损坏等问题。而当切片较厚时，在相邻切片间寻找可靠的对应点比较困难，这是因为传统的尺度不变算子或块匹配算法受匹配区域的相似程度影响较大。此外，生物组织中存在许多相似的结构，如果仅利用图像中稀疏的特征点，很容易导致误匹配。
相比较传统的尺度不变算子，SIFT-flow方法作为一类稠密的特征匹配算法，在处理形变较大的三维场景匹配时更为鲁棒。因此，我们采用SIFT-flow方法在相邻切片上提取对应点。
尽管匹配好的图像上所有的点都可以作为对应点，但考虑到后续算法的计算负担，仅选取部分点作为相邻切片显微图像的对应点。在匹配好的切片图像上设定两个具有相同位置的网格，对应点取为网格的顶点，形变前网格顶点的位置可以利用SIFT-flow计算得到的形变场反推得到。网格的密度对计算量有很大的影响，密度越大，所涉及的对应点越多，配准精度越高，但计算量越大。利用该方法提取的对应点能够均匀的分布在图像中，避免局部区域由于缺少对应点导致配准误差较大。
步骤S200，调整所获取的各对应点的位置。
具体地，本实施例中可以按照下式(1)所示的方法调整步骤S100所获取的各对应点的位置：
公式(1)中各参数含义为：i为切片显微图像的序号，k和l分别为切片显微图像中对应点的序号，且l≠k，为第i个切片显微图像中的第k个对应点的位置坐标，为所述位置坐标的位移向量，所述E(w)为位移向量w的能量函数，α和β分别为常数。
其中，第一项是数据项，限定相邻切片显微图像的对应点具有一致的坐标，即对应点在调整后具有相同的x-y坐标；第二项是平滑项，限定相邻对应点具有相似的位移向量；第三项限定位移向量尽可能的小，α用来控制能量函数E(w)中平滑项的比重，β用来控制能量函数E(w)中限定位移向量项的比重。
两两相邻的切片显微图像提取得到的对应点位置需要进行调整，使得这些对应点位置保持一致。尽管在切片中存在各种形变，但大多数的切片图像仍然反映了生物组织真实的结构。通过最小化能量函数来计算对应点的位移向量可以使对应点的位移向量尽可能的小和相似，以减小切片的非线性形变。
步骤S300，依据调整后的各对应点的位置，对生物组织序列切片显微图像进行图像形变。
具体地，本实施例中可以采用移动最小二乘法对生物组织序列切片显微图像进行图像形变，具体包括：
按照下式(2)所示的方法获取切片显微图像中所述预设网格顶点在图像形变后的位置坐标：
采用双线性插值法获取所述切片显微图像中除去预设网格顶点后所有对应点在图像性形变后的位置坐标；
公式(2)中各参数含义为：v为图像形变之前切片显微图像中预设网格顶点的位置坐标，k为切片显微图像中对应点的序号，pk为图像形变之前切片显微图像中第k个对应点的位置坐标，qk为图像形变之后切片显微图像中第k个对应点的位置坐标，qk＝pk+wk，wk为切片显微图像中第k个对应点的位移向量，λk为权重，且α为常数，lv是位置坐标v对应位置点处的刚性变换矩阵。
通过移动最小二乘方法所得到的形变结果是全局平滑的，而且通过刚性变换，局部图像的刚性和尺度都得以保持，这样使得生物样品能够尽可能的保持其局部结构的刚性。本步骤中应用的基于移动最小二乘法进行图像变形的方法并不是将形变函数作用于每一个像素点，而是将图像网格化之后将形变函数应用于网格顶点，对其他像素点采用双线性差值的方法进行变换，在配准精度和计算量之间进行折中。
基于上述生物组织序列切片显微图像的配准方法的实施例，本发明还提供了一种生物组织序列切片显微图像的配准装置。下面结合附图，对本发明实施例中生物组织序列切片显微图像的配准装置进行说明。
如图2所示，本实施例中生物组织序列切片显微图像的配准装置包括获取模块、调整模块和形变模块。其中，获取模块可以配置为获取生物组织序列切片显微图像中各相邻切片显微图像的对应点。调整模块可以配置为调整所获取的各对应点的位置。形变模块可以配置为依据调整后的各对应点的位置，对生物组织序列切片显微图像进行图像形变。
进一步地，本实施例中获取模块还可以包括第一单元、第二单元和第三单元。其中，第一单元可以配置为采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配。第二单元可以配置为在匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同。第三单元可以配置为选取第一切片显微图像中与变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
进一步地，本实施例中调整模块还可以包括调整单元，所述调整单元可以按照公式(1)所示的方法调整获取的各对应点的位置。
上述生物组织序列切片显微图像的配准方法的实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的生物组织序列切片显微图像的配准装置的具体工作过程及有关说明，可以参考前述生物组织序列切片显微图像的配准方法，在此不再赘述。
本领域技术人员可以理解，上述生物组织序列切片显微图像的配准方法还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图中示出。
本领域技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
基于上述生物组织序列切片显微图像的配准方法的实施例，本发明还提供了一种存储装置。本实施例中存储装置中存储有多条程序，该程序适用于由处理器加载并执行以实现上述生物组织序列切片显微图像的配准方法。
基于上述生物组织序列切片显微图像的配准方法的实施例，本发明还提供了一种处理装置。本实施例中处理装置可以包括处理器和存储设备。其中，处理器适于执行各条程序，存储设备适于存储多条程序，并且这些程序适于由处理器加载并执行以实现上述生物组织序列切片显微图像的配准方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种生物组织序列切片显微图像的配准方法，其特征在于，所述配准方法包括：
获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；
调整所获取的各对应点的位置；
依据所述调整后的各对应点的位置，对所述切片显微图像进行图像形变。
2.根据权利要求1所述的配准方法，其特征在于，
“获取所述生物组织序列切片显微图像中各相邻切片显微图像的对应点”包括采用SIFT flow算法获取各相邻层生物组织序列切片显微图像的对应点。
3.根据权利要求2所述的配准方法，其特征在于，
“采用SIFT flow算法获取各相邻层图像的对应点”具体包括：
采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配；
在所述匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且所述第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同；
选取第一切片显微图像中与所述变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
4.根据权利要求1至3任一项所述的配准方法，其特征在于，
“调整所获取的各对应点的位置”包括按照下式所示的方法调整所获取的各对应点的位置：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>E</mi>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mstyle>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
</mstyle>
<mstyle>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
</mstyle>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<mi>&alpha;</mi>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mi>l</mi>
<mrow>
<mi>l</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munderover>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>w</mi>
<mi>l</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<mi>l</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>+</mo>
<mi>&beta;</mi>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，所述i为切片显微图像的序号，所述k和l分别为切片显微图像中对应点的序号，且l≠k，所述为第i个切片显微图像中的第k个对应点的位置坐标，所述为所述位置坐标的位移向量，所述E(w)为位移向量w的能量函数，所述α和β分别为常数。
5.根据权利要求4所述的配准方法，其特征在于，
“依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变”包括：采用移动最小二乘法对生物组织序列切片显微图像进行图像形变，具体包括：
按照下式所示的方法获取切片显微图像中所述预设网格顶点在图像形变后的位置坐标：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>v</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<msub>
<mi>&lambda;</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>l</mi>
<mi>v</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>q</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
采用双线性插值法获取所述切片显微图像中除去预设网格顶点后所有对应点在图像性形变后的位置坐标；
其中，所述v为图像形变之前切片显微图像中预设网格顶点的位置坐标，所述k为切片显微图像中对应点的序号，所述pk为图像形变之前切片显微图像中第k个对应点的位置坐标，所述qk为图像形变之后切片显微图像中第k个对应点的位置坐标，qk＝pk+wk，所述wk为切片显微图像中第k个对应点的位移向量，所述λk为权重，且所述α为常数，所述lv是位置坐标v对应位置点处的刚性变换矩阵。
6.一种生物组织序列切片显微图像的配准装置，其特征在于，所述配准装置包括：
获取模块，配置为获取生物组织序列切片显微图像中各相邻切片显微图像的对应点；
调整模块，配置为调整所获取的各对应点的位置；
形变模块，配置为依据所述调整后的各对应点的位置，对所述生物组织序列切片显微图像进行图像形变。
7.根据权利要求6所述的生物组织序列切片显微图像的配准装置，其特征在于，所述获取模块还包括：
第一单元，配置为采用SIFT flow算法对两个相邻切片显微图像中的第一切片显微图像进行图像变形，并将变形后的第一切片显微图像与所述两个相邻切片显微图像中的第二切片显微图像进行匹配；
第二单元，配置为在所述匹配后的第一切片显微图像和第二切片显微图像上分别设置网格，且所述第一切片显微图像和第二切片显微图像中对应网格的位置坐标相同；
第三单元，配置为选取第一切片显微图像中与所述变形后的第一切片显微图像中网格顶点对应的位置点作为其对应点；以及，选取第二切片显微图像中网格顶点对应的位置点作为其对应点。
8.根据权利要求6或7所述的生物组织序列切片显微图像的配准装置，其特征在于，所述调整模块包括调整单元，所述调整单元配置为按照下式所示的方法调整所述获取模块获取的各对应点的位置：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>E</mi>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mstyle>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
</mstyle>
<mstyle>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
</mstyle>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<mi>&alpha;</mi>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mi>l</mi>
<mrow>
<mi>l</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munderover>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>w</mi>
<mi>l</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>p</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>p</mi>
<mi>l</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>+</mo>
<mi>&beta;</mi>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，所述i为切片显微图像的序号，所述k和l分别为切片显微图像中对应点的序号，且l≠k，所述为第i个切片显微图像中的第k个对应点的位置坐标，所述为所述位置坐标的位移向量，所述E(w)为位移向量w的能量函数，所述α和β分别为常数。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-5任一项所述的生物组织序列切片显微图像的配准方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-5任一项所述的生物组织序列切片显微图像的配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710638426.3A CN107545567B (zh) | 2017-07-31 | 2017-07-31 | 生物组织序列切片显微图像的配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710638426.3A CN107545567B (zh) | 2017-07-31 | 2017-07-31 | 生物组织序列切片显微图像的配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107545567A true CN107545567A (zh) | 2018-01-05 |
| CN107545567B CN107545567B (zh) | 2020-05-19 |
Family
ID=60970436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710638426.3A Active CN107545567B (zh) | 2017-07-31 | 2017-07-31 | 生物组织序列切片显微图像的配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107545567B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242894A (zh) * | 2018-08-06 | 2019-01-18 | 广州视源电子科技股份有限公司 | 一种基于移动最小二乘法的图像对齐方法及系统 |
| CN109584368A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 生物样品三维结构的构建方法及装置 |
| CN110596068A (zh) * | 2019-10-11 | 2019-12-20 | 中国科学院自动化研究所 | 基于线扫描的条带序列切片光学成像装置及成像方法 |
| CN110751680A (zh) * | 2019-10-17 | 2020-02-04 | 中国科学院云南天文台 | 一种具有快速对齐算法的图像处理方法 |
| CN111751371A (zh) * | 2020-06-24 | 2020-10-09 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
| CN112381718A (zh) * | 2020-11-24 | 2021-02-19 | 中国科学院自动化研究所 | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 |
| CN112396608A (zh) * | 2020-11-30 | 2021-02-23 | 中国科学院自动化研究所 | 基于x光图像的生物组织电镜图像校正方法、系统和装置 |
| CN114049252A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
| CN114113084A (zh) * | 2021-11-11 | 2022-03-01 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| CN116246019A (zh) * | 2023-02-27 | 2023-06-09 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103543168A (zh) * | 2013-10-12 | 2014-01-29 | 华南理工大学 | 一种多层封装基板缺陷的x射线检测方法及系统 |
| CN104751455A (zh) * | 2015-03-13 | 2015-07-01 | 华南农业大学 | 一种作物图像稠密匹配方法及系统 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN106203269A (zh) * | 2016-06-29 | 2016-12-07 | 武汉大学 | 一种基于可形变局部块的人脸超分辨率处理方法及系统 |
| CN106407988A (zh) * | 2016-09-05 | 2017-02-15 | 中国科学院自动化研究所 | 基于电镜序列切片图像的突触检测方法 |
-
2017
- 2017-07-31 CN CN201710638426.3A patent/CN107545567B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103543168A (zh) * | 2013-10-12 | 2014-01-29 | 华南理工大学 | 一种多层封装基板缺陷的x射线检测方法及系统 |
| CN104751455A (zh) * | 2015-03-13 | 2015-07-01 | 华南农业大学 | 一种作物图像稠密匹配方法及系统 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN106203269A (zh) * | 2016-06-29 | 2016-12-07 | 武汉大学 | 一种基于可形变局部块的人脸超分辨率处理方法及系统 |
| CN106407988A (zh) * | 2016-09-05 | 2017-02-15 | 中国科学院自动化研究所 | 基于电镜序列切片图像的突触检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| CE LIU 等: "SIFT Flow: Dense Correspondence across Scenes and its Applications", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| HUIWEN CAO 等: "Microscopic neural image registration based on the structure of mitochondria", 《SPIE MEDICAL IMAGING》 * |
| XI CHEN 等: "Wrinkle Image Registration for Serial Microscopy Sections", 《2015 11TH INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS》 * |
| 汤敏 等: "生物组织连续切片的两步配准及快速重建", 《中国图象图形学报》 * |
| 苏昭: "图像配准算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109242894A (zh) * | 2018-08-06 | 2019-01-18 | 广州视源电子科技股份有限公司 | 一种基于移动最小二乘法的图像对齐方法及系统 |
| CN109584368B (zh) * | 2018-10-18 | 2021-05-28 | 中国科学院自动化研究所 | 生物样品三维结构的构建方法及装置 |
| CN109584368A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 生物样品三维结构的构建方法及装置 |
| CN110596068A (zh) * | 2019-10-11 | 2019-12-20 | 中国科学院自动化研究所 | 基于线扫描的条带序列切片光学成像装置及成像方法 |
| CN110751680A (zh) * | 2019-10-17 | 2020-02-04 | 中国科学院云南天文台 | 一种具有快速对齐算法的图像处理方法 |
| CN111751371B (zh) * | 2020-06-24 | 2021-01-08 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
| CN111751371A (zh) * | 2020-06-24 | 2020-10-09 | 武汉中纪生物科技有限公司 | 一种免疫组化数字玻片阅片系统及方法 |
| CN112381718A (zh) * | 2020-11-24 | 2021-02-19 | 中国科学院自动化研究所 | 基于仿射变换的显微序列图像自动拼接方法、系统及装置 |
| CN112396608A (zh) * | 2020-11-30 | 2021-02-23 | 中国科学院自动化研究所 | 基于x光图像的生物组织电镜图像校正方法、系统和装置 |
| CN112396608B (zh) * | 2020-11-30 | 2021-05-04 | 中国科学院自动化研究所 | 基于x光图像的生物组织电镜图像校正方法、系统和装置 |
| CN114049252A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
| CN114113084A (zh) * | 2021-11-11 | 2022-03-01 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| WO2023082650A1 (zh) * | 2021-11-11 | 2023-05-19 | 福州迈新生物技术开发有限公司 | 一种基于数字病理图像的实时伴随阅片方法和存储设备 |
| CN116246019A (zh) * | 2023-02-27 | 2023-06-09 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
| CN116246019B (zh) * | 2023-02-27 | 2024-01-05 | 上海迪派生物科技有限公司 | 一种病理切片的3d重建方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107545567B (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545567A (zh) | 生物组织序列切片显微图像的配准方法及装置 | |
| CN109754361A (zh) | 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积 | |
| Lanzavecchia et al. | Conical tomography of freeze-fracture replicas: a method for the study of integral membrane proteins inserted in phospholipid bilayers | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| CN108986891A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN105654483A (zh) | 三维点云全自动配准方法 | |
| JP2010154920A (ja) | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム | |
| CN114638292B (zh) | 一种基于多尺度分析的人工智能病理辅助诊断系统 | |
| CN110251231A (zh) | 超声三维重建的方法及装置 | |
| CN107481224A (zh) | 基于线粒体结构的图像配准方法及装置、存储介质及设备 | |
| US7912271B2 (en) | Method for determining final projection matrices | |
| WO2020082934A1 (zh) | 一种抑制伪影的光声图像重建方法 | |
| CN107516314A (zh) | 医学图像超体素分割方法和装置 | |
| Škorvánková et al. | Automatic estimation of anthropometric human body measurements | |
| Toscano et al. | Teeth mold point cloud completion via data augmentation and hybrid rl-gan | |
| Simons et al. | Ontogeny and phylogeny of the cercopithecine cranium: A geometric morphometric approach to comparing shape change trajectories | |
| TW201835800A (zh) | 用於確定/校正缺陷的方法和相關的裝置 | |
| CN107194998B (zh) | 一种多层三维点云单层化的方法 | |
| Ding et al. | Automatic 3D reconstruction of SEM images based on Nano-robotic manipulation and epipolar plane images | |
| WO2009125755A1 (ja) | 開曲線フーリエ記述子を用いたｘ線画像処理方法及びシステム | |
| CN112396608B (zh) | 基于x光图像的生物组织电镜图像校正方法、系统和装置 | |
| JP2003265463A (ja) | 画像診断支援システム及び画像診断支援プログラム | |
| Baba et al. | A novel “ghost”-free tomographic image reconstruction method applicable to rotary-shadowed replica specimens | |
| Chen et al. | Hybrid‐attention densely connected U‐Net with GAP for extracting livers from CT volumes | |
| CN114049252A (zh) | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |