CN115690178A - 基于深度学习的跨模块非刚体配准方法、系统及介质 - Google Patents
基于深度学习的跨模块非刚体配准方法、系统及介质 Download PDFInfo
- Publication number
- CN115690178A CN115690178A CN202211296302.9A CN202211296302A CN115690178A CN 115690178 A CN115690178 A CN 115690178A CN 202211296302 A CN202211296302 A CN 202211296302A CN 115690178 A CN115690178 A CN 115690178A
- Authority
- CN
- China
- Prior art keywords
- image
- points
- point
- similarity
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000006073 displacement reaction Methods 0.000 claims abstract description 63
- 239000013598 vector Substances 0.000 claims abstract description 45
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的跨模块非刚体配准方法、系统及介质，包括：获取不同模态的三维影像，包括至少一幅参考影像和至少一幅浮动影像；获取三维影像的待配准区域，在参考影像的待配准区域内检测影像特征点；以每个影像特征点为中心，得到预设大小的图像块；将图像块输入到相似性网络，得到浮动影像的对应范围内的相似性图；将影像特征点的坐标信息和对应的相似性图输入位移网络，得到位移向量，对无影像特征点区域进行插值，得到位移向量场；根据位移向量场对浮动影像进行空间变换，得到配准结果。本发明通过提取影像特征点降低了低信息量点的干扰，提高了配准效率，尤其是当影像尺寸较大时效果更佳显著。
Description
技术邻域
本发明涉及图像处理技术领域，具体地，涉及一种基于深度学习的跨模块非刚体配准方法、系统及介质。
背景技术
现代医疗诊断离不开各种医学影像的支持，医学多模态成像一般包含计算机断层扫描(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)以及超声成像(Ultrasound,US)等，他们的成像各有特点，CT对于人体密度高的组织成像清晰，如骨骼、肝脏、肺和肾等组织，成像优势明显；MRI对软组织成像分辨率高等。多种影像模态的融合可以提供互补信息，更好地达到诊断、评估或介入的目的。例如，在计算机辅助诊断中，多模态影像的融合可以充分结合不同模态影像反映的组织特征，对是否存在病灶、病灶的性质以及范围给出更加准确的判读。而在微创手术导航中，术前影像和术中影像的融合可以实现术前规划与术中影像的叠加，可以为医生提供更加丰富直观的信息，提高介入过程中图像引导的质量，从而提高手术质量，改善临床结果。然而，不同模态的影像通常是使用不同的扫描仪器在不同时间点获得的，这一过程中伴有患者姿态和内部解剖结构的变化，因此，实现多模态影像融合的前提是进行多模态医学影像的配准，配准的精度直接决定着融合的效果。
跨模态医学影像配准是一个具有挑战性的问题，不同模态医学影像灰度分布之间的关系往往是复杂而未知的，此外，在一种模态中存在结构和特征，可能在另一种模态中缺失。传统的跨模态配准方法可以大致分为基于灰度值相似性的配准方法和基于解剖特征的配准方法。基于灰度值的配准方法主要使用跨模态灰度值相似性测度，例如互信息、互相关等；基于解剖特征的配准方法主要依赖于在不同模态影像中识别的标志点。近年来，深度学习技术发展迅速，在图像配准邻域也得到越来越多的研究和应用，有望解决传统配准中配准速度慢、配准精度不足等问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的跨模块非刚体配准方法、系统及介质。
根据本发明提供的一种基于深度学习的跨模块非刚体配准方法，包括：
获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像；获取三维影像的待配准区域，在所述参考影像的待配准区域内检测影像特征点，所述影像特征点为在邻域内能够与其他点的影像特征进行区分的点；以每个所述影像特征点为中心，得到预设大小的图像块；将所述图像块输入到相似性网络，得到所述浮动影像的对应范围内的相似性图；将所述影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量；基于所述位移向量对无影像特征点区域进行插值，得到位移向量场；根据所述位移向量场对所述浮动影像进行空间变换，得到配准结果。
优选地，所述待配准区域通过人工交互确定，或根据图像的灰度阈值确定，或对图像中的特定结构进行自动检测分割确定。
优选地，所述影像特征点的获取方式包括：
从参考影像的待配准区域进行体素点采样，根据采样点邻域内的灰度方差和梯度值确定特征评分，将特征评分高于预设值的点作为影像特征点；
或，对参考影像的待配准区域中的特定结构进行分割，根据特定结构每个边界点与其周围的边界点的位置关系计算特征评分，将特征评分值大于预设值的点作为影像特征点。
优选地，根据Foerstner算子确定图像I中位于坐标p处的体素点计算特征评分S(p)，其表达式为：
其中，Kσ表示方差为σ的高斯核函数，
为图像I的空间梯度在坐标p处的值，Tr(·)表示求矩阵的迹。
优选地，所述配准方法还包括：
影像特征点优化步骤：对所述影像特征点的数目和分布进行优化，所述优化方法采用以下任意一种：
优化影像特征点的分布：使用设定大小的采样窗口对参考影像扫描，当采样窗口中出现两个及以上影像特征点时，只保留特征评分值最大的影像特征点；
或，优化影响特征点的数目和分布：当影像特征点的数目大于预设值时，从检测到的影像特征点中随机选取一个点作为初始优化点集，每次从剩余的影像特征点中选择距离优化点集最远的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值，所述影像特征点距离优化点集的距离为该点到优化点集中所有影像特征点的欧式距离的最小值；
或，优化影像特征点的数目和分布：当影像特征点的数目大于预设值时，利用所有的影像特征点构建八叉树结构，根据宽度优先原则将当前八分体中特征评分值最大的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值。
优选地，所述相似性网络的输入为参考影像和浮动影像对应的图像块，所述参考影像的图像块尺寸为W1×H1×D1，所述浮动影像的图像块包含指定检测范围，其尺寸为W2×H2×D2，并且满足W1≤W2,H1≤H2,D1≤D2；
所述相似性网络的输出为对应影像特征点的相似性图，所述相似性图的尺寸为(W2-W1)/q+1×(H2-H1)/q+1×(D2-D1)/q+1，其中q为降采样系数。
优选地，所述位移网络包括编码器、图卷积网络和解码器；所述编码器的输入为相似性图，所述图卷积网络接收所述编码器的输出以及对应影像特征点的坐标信息，所述解码器的输出为位移热度图；把所述位移热度图中的值作为对应位移向量的权重进行加权平均，得到最终位移向量；所述编码器和解码器之间有跳接相连。
优选地，所述配准方法还包括：
使用指定特征计算所述参考影像和所述浮动影像之间局部结构的相似性；根据所述相似性和平滑约束构建目标函数，通过最小化所述目标函数对位移向量场进行局部优化。
根据本发明提供的一种基于深度学习的跨模块非刚体配准系统，包括：
待配准区域获取模块：获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像，获取三维影像的待配准区域；
影像特征点检测模块：在所述参考影像的待配准区域内检测影像特征点，所述影像特征点为在邻域内能够与其他点的影像特征进行区分的点；
相似性图获取模块：以每个所述影像特征点为中心，得到预设大小的图像块；将所述图像块输入到相似性网络，得到所述浮动影像的对应范围内的相似性图；
位移向量场获取模块：将所述影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量；基于所述位移向量对无影像特征点区域进行插值，得到位移向量场；
配准模块：根据所述位移向量场对所述浮动影像进行空间变换，得到配准结果。
根据本发明提供的一种介质，所述介质为计算机可读存储介质，所述计算机可读存储介质上存储有基于深度学习的跨模块非刚体配准程序，所述基于深度学习的跨模块非刚体配准程序被处理器执行时实现上述的基于深度学习的跨模块非刚体配准方法。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过提取影像特征点降低了低信息量点的干扰，提高了配准效率，尤其是当影像尺寸较大时效果更佳显著。
2、本发明使用所有特征点的相似性图进行全局优化，去除了准确检测两个模态中对应点的前置要求，同时，考虑了所有特征点的空间分布信息，提高了算法的稳健性。
3、本发明引入深度学习一方面用于充分提取相同解剖结构在不同模态之间的对应信息，另一方面可以避免传统方法中迭代求解造成的较大的时间开销。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明配准方法的流程图；
图2为本发明相似性网络结构示意图；
图3为本发明位移网络结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本邻域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本邻域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明公开了一种基于深度学习的跨模块非刚体配准方法，参照图1所示，包括以下步骤：
步骤S1：获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像。通过读入包含同一病人同一区域的不同模态的三维影像，指定模态1为参考影像，模态2为浮动影像并插值成与模态1相同的空间分辨率。获取两种影像的待配准区域。
三维影像可以是CT、MRI、超声(三维超声或者由一系列二维超声影像重建的三维超声影像)等。配准过程中会寻求对浮动影像的最优空间变换，将其映射到参考影像的坐标系中,使两种模态影像中对应的人体解剖点达到空间上的一致。
待配准区域可以通过人工交互确定，也可以根据图像的灰度阈值确定，还可以对图像中的特定结构进行自动检测分割确定。一个特例是待配准区域为整幅影像。
步骤S2：在参考影像的待配准区域内检测影像特征点，从参考影像的待配准区域进行点采样，根据采样点的邻域信息得到特征评分，将特征评分值大于设定阈值的点作为影像特征点。影像特征点的获取方式为：
从参考影像的待配准区域进行网格采样或随机采样，使用基于采样点邻域内的灰度方差、梯度值等构建的三维算子确定特征评分，将特征评分高于预设值的点作为影像特征点。例如Foerstner算子是一种常用的三维特征点检测算子，可以用来对图像I中位于坐标p处的像素点计算特征评分S(p)，其表达式如下：
其中，Kσ表示方差为σ的高斯核函数，
为图像I的空间梯度在坐标p处的值，Tr(·)表示求矩阵的迹。
获取影像特征点的另一种实现方式是对参考影像的待配准区域中的特定结构进行分割，根据特定结构每个边界点与其周围的边界点的位置关系计算特征评分，将特征评分值大于预设值的点作为影像特征点。例如，通过计算每个边界点与其周围边界点的位置关系计算曲率值，将曲率值大于设定阈值的点作为影像特征点。
步骤3：优化影像特征点的数据及分布，为了防止影像特征点集中在同一个区域，对影像特征点数目及分布，防止后续所得到的图像块中存有大量的影像特征点。优化方法可采用以下任意一种：
优化影像特征点的分布：使用设定大小的采样窗口对参考影像扫描，当采样窗口中出现两个及以上影像特征点时，只保留特征评分值最大的影像特征点。
或，优化影响特征点的数目和分布：当影像特征点的数目大于预设值时，从检测到的影像特征点中随机选取一个点作为初始优化点集，每次从剩余的影像特征点中选择距离优化点集最远的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值，所述影像特征点距离优化点集的距离为该点到优化点集中所有影像特征点的欧式距离的最小值。
或，优化影像特征点的数目和分布：当影像特征点的数目大于预设值时，利用所有的影像特征点构建八叉树结构，根据宽度优先原则将当前八分体中特征评分值最大的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值。
步骤S4：以每个影像特征点为中心，取以其为中心包含指定范围邻域的图像块，将图像块输入到相似性网络，得到浮动影像的对应范围内的相似性图。
参照图2所示，相似性网络的输入为参考影像和浮动影像对应的图像块，所述参考影像的图像块尺寸为W1×H1×D1，所述浮动影像的图像块包含指定检测范围，其尺寸为W2×H2×D2，并且满足W1≤W2,H1≤H2,D1≤D2；所述相似性网络的输出为对应影像特征点的相似性图，所述相似性图的尺寸为(W2-W1)/q+1×(H2-H1)/q+1×(D2-D1)/q+1，其中q为降采样系数；相似性图中任一点值的大小表示：基于局部影像特征预测的该值在浮动影像中所对应位置与参考影像中特征点对应于同一解剖点的可能性大小。
上述相似性网络为基于自监督训练的卷积神经网络，使用相似性图峰值构建对比损失函数，判断浮动影像图像块中是否包含与参考影像特征点所对应的解剖结构。
步骤S5：将影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量。
参照图3所示，所述位移网络包括编码器、图卷积网络和解码器。其中，编码器的输入为相似性图，图卷积网络接收所述编码器的输出以及对应影像特征点的坐标信息，所述解码器的输出为位移热度图，位移热度图中任一点值的大小表示：基于所有特征点位置分布及对应相似性图预测的该值在浮动影像中所对应位置与参考影像中特征点对应于同一解剖点的可能性大小。把所述位移热度图中的值作为对应位移向量的权重进行加权平均，得到最终位移向量。编码器和解码器之间有跳接相连吗，实际应用中，还可以对多个位移网络结构进行级联。
步骤S6：基于所述位移向量对无影像特征点区域进行插值，得到位移向量场。
位移向量场的一种存储方式为6维矩阵，其中前3个维度与模态1影像尺寸相同，后三个维度表示将对应像素点映射到模态2影像的位移向量。
为保证位移向量场的平滑，可以使用三次线性插值。
步骤S7：对位移向量场进行局部优化，得到最终的位移向量场。
一种具体的优化方式是使用指定特征计算所述参考影像和所述浮动影像之间局部结构的相似性；根据所述相似性和平滑约束构建目标函数，通过最小化所述目标函数对位移向量场进行局部优化。例如，模态无关邻域描述符(modality independentneighborhood descriptor，MIND)为一种常见的跨模态图像特征，可以将其作为指定特征，分别从两个模态的图像中进行提取，并用两个模态影像的模态无关邻域描述符的平方差衡量局部结构的相似性。也可以使用相似性网络，用其输出代替上述指定特征相似性构建目标函数，进行位移向量场局部优化。
步骤S8：根据优化后的位移向量场对浮动影像进行空间变换，得到配准结果。
本发明还公开了一种基于深度学习的跨模块非刚体配准系统，包括：
待配准区域获取模块：获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像，获取三维影像的待配准区域；
影像特征点检测模块：在所述参考影像的待配准区域内检测影像特征点，所述影像特征点为在邻域内能够与其他点的影像特征进行区分的点；
相似性图获取模块：以每个所述影像特征点为中心，得到预设大小的图像块；将所述图像块输入到相似性网络，得到所述浮动影像的对应范围内的相似性图；
位移向量场获取模块：将所述影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量；基于所述位移向量对无影像特征点区域进行插值，得到位移向量场；
配准模块：根据所述位移向量场对所述浮动影像进行空间变换，得到配准结果。
本发明还公开了一种介质，所述介质为计算机可读存储介质，例如计算机硬盘等，所述计算机可读存储介质上存储有基于深度学习的跨模块非刚体配准程序，所述基于深度学习的跨模块非刚体配准程序被处理器执行时实现上述的基于深度学习的跨模块非刚体配准方法。
本邻域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本邻域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度学习的跨模块非刚体配准方法，其特征在于，包括：
获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像；获取三维影像的待配准区域，在所述参考影像的待配准区域内检测影像特征点，所述影像特征点为在邻域内能够与其他点的影像特征进行区分的点；以每个所述影像特征点为中心，得到预设大小的图像块；将所述图像块输入到相似性网络，得到所述浮动影像的对应范围内的相似性图；将所述影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量；基于所述位移向量对无影像特征点区域进行插值，得到位移向量场；根据所述位移向量场对所述浮动影像进行空间变换，得到配准结果。
2.根据权利要求1所述的基于深度学习的跨模块非刚体配准方法，其特征在于：所述待配准区域通过人工交互确定，或根据图像的灰度阈值确定，或对图像中的特定结构进行自动检测分割确定。
3.根据权利要求1所述的基于深度学习的跨模块非刚体配准方法，其特征在于：所述影像特征点的获取方式包括：
从参考影像的待配准区域进行体素点采样，根据采样点邻域内的灰度方差和梯度值确定特征评分，将特征评分高于预设值的点作为影像特征点；
或，对参考影像的待配准区域中的特定结构进行分割，根据特定结构每个边界点与其周围的边界点的位置关系计算特征评分，将特征评分值大于预设值的点作为影像特征点。
4.根据权利要求3所述的基于深度学习的跨模块非刚体配准方法，其特征在于：根据Foerstner算子确定图像I中位于坐标p处的体素点计算特征评分S(p)，其表达式为：
其中，Kσ表示方差为σ的高斯核函数，
为图像I的空间梯度在坐标p处的值，Tr(·)表示求矩阵的迹。
5.根据权利要求3所述的基于深度学习的跨模块非刚体配准方法，其特征在于，还包括：
影像特征点优化步骤：对所述影像特征点的数目和分布进行优化，所述优化方法采用以下任意一种：
优化影像特征点的分布：使用设定大小的采样窗口对参考影像扫描，当采样窗口中出现两个及以上影像特征点时，只保留特征评分值最大的影像特征点；
或，优化影响特征点的数目和分布：当影像特征点的数目大于预设值时，从检测到的影像特征点中随机选取一个点作为初始优化点集，每次从剩余的影像特征点中选择距离优化点集最远的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值，所述影像特征点距离优化点集的距离为该点到优化点集中所有影像特征点的欧式距离的最小值；
或，优化影像特征点的数目和分布：当影像特征点的数目大于预设值时，利用所有的影像特征点构建八叉树结构，根据宽度优先原则将当前八分体中特征评分值最大的点加入优化点集中，直到优化点集中影像特征点的数目达到预设值。
6.根据权利要求1所述的基于深度学习的跨模块非刚体配准方法，其特征在于：所述相似性网络的输入为参考影像和浮动影像对应的图像块，所述参考影像的图像块尺寸为W1×H1×D1，所述浮动影像的图像块包含指定检测范围，其尺寸为W2×H2×D2，并且满足W1≤W2,H1≤H2,D1≤D2；
所述相似性网络的输出为对应影像特征点的相似性图，所述相似性图的尺寸为(W2-W1)/q+1×(H2-H1)/q+1×(D2-D1)/q+1，其中q为降采样系数。
7.根据权利要求1所述的基于深度学习的跨模块非刚体配准方法，其特征在于：所述位移网络包括编码器、图卷积网络和解码器；所述编码器的输入为相似性图，所述图卷积网络接收所述编码器的输出以及对应影像特征点的坐标信息，所述解码器的输出为位移热度图；把所述位移热度图中的值作为对应位移向量的权重进行加权平均，得到最终位移向量；所述编码器和解码器之间有跳接相连。
8.根据权利要求1所述的基于深度学习的跨模块非刚体配准方法，其特征在于，还包括：
使用指定特征计算所述参考影像和所述浮动影像之间局部结构的相似性；根据所述相似性和平滑约束构建目标函数，通过最小化所述目标函数对位移向量场进行局部优化。
9.一种基于深度学习的跨模块非刚体配准系统，其特征在于，包括：
待配准区域获取模块：获取不同模态的三维影像，所述三维影像包括至少一幅参考影像和至少一幅浮动影像，获取三维影像的待配准区域；
影像特征点检测模块：在所述参考影像的待配准区域内检测影像特征点，所述影像特征点为在邻域内能够与其他点的影像特征进行区分的点；
相似性图获取模块：以每个所述影像特征点为中心，得到预设大小的图像块；将所述图像块输入到相似性网络，得到所述浮动影像的对应范围内的相似性图；
位移向量场获取模块：将所述影像特征点的坐标信息和对应的所述相似性图输入位移网络，得到位移向量；基于所述位移向量对无影像特征点区域进行插值，得到位移向量场；
配准模块：根据所述位移向量场对所述浮动影像进行空间变换，得到配准结果。
10.一种介质，其特征在于：所述介质为计算机可读存储介质，所述计算机可读存储介质上存储有基于深度学习的跨模块非刚体配准程序，所述基于深度学习的跨模块非刚体配准程序被处理器执行时实现如权利要求1-8中任一项所述的基于深度学习的跨模块非刚体配准方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211296302.9A CN115690178A (zh) | 2022-10-21 | 2022-10-21 | 基于深度学习的跨模块非刚体配准方法、系统及介质 |
| PCT/CN2022/142807 WO2024082441A1 (zh) | 2022-10-21 | 2022-12-28 | 基于深度学习的多模态影像配准方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211296302.9A CN115690178A (zh) | 2022-10-21 | 2022-10-21 | 基于深度学习的跨模块非刚体配准方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115690178A true CN115690178A (zh) | 2023-02-03 |
Family
ID=85066044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211296302.9A Pending CN115690178A (zh) | 2022-10-21 | 2022-10-21 | 基于深度学习的跨模块非刚体配准方法、系统及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115690178A (zh) |
| WO (1) | WO2024082441A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118154481B (zh) * | 2024-05-09 | 2024-07-26 | 杭州脉流科技有限公司 | 头颈ct影像的倾斜校正方法、计算机设备、可读存储介质和程序产品 |
| CN118157992B (zh) * | 2024-05-10 | 2024-08-09 | 江苏云网数智信息技术有限公司 | 智能化网络安全防护方法及系统 |
| CN118428993B (zh) * | 2024-07-04 | 2024-09-17 | 青岛科技大学 | 基于动态取样和自适应特征融合的个性化兼容性建模方法和系统 |
| CN118447357A (zh) * | 2024-07-08 | 2024-08-06 | 卡本(深圳)医疗器械有限公司 | 基于人工智能的多模态图像融合方法、系统、存储介质和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104867126B (zh) * | 2014-02-25 | 2017-10-17 | 西安电子科技大学 | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 |
| CN109064502B (zh) * | 2018-07-11 | 2021-10-22 | 西北工业大学 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN111210467A (zh) * | 2018-12-27 | 2020-05-29 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113763441B (zh) * | 2021-08-25 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 无监督学习的医学图像配准方法及系统 |
-
2022
- 2022-10-21 CN CN202211296302.9A patent/CN115690178A/zh active Pending
- 2022-12-28 WO PCT/CN2022/142807 patent/WO2024082441A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024082441A1 (zh) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ferrante et al. | Slice-to-volume medical image registration: A survey | |
| CN110148142B (zh) | 图像分割模型的训练方法、装置、设备和存储介质 | |
| Zhao et al. | Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method | |
| CN115690178A (zh) | 基于深度学习的跨模块非刚体配准方法、系统及介质 | |
| EP3509013A1 (en) | Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure | |
| CN112967236B (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
| US8437521B2 (en) | Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging | |
| US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
| US9155470B2 (en) | Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography | |
| US8958614B2 (en) | Image-based detection using hierarchical learning | |
| van Rikxoort et al. | Automatic segmentation of the liver in computed tomography scans with voxel classification and atlas matching | |
| Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
| Che et al. | Ultrasound registration: A review | |
| US20070047840A1 (en) | System and method for salient region feature based 3d multi modality registration of medical images | |
| Coupé et al. | 3D rigid registration of intraoperative ultrasound and preoperative MR brain images based on hyperechogenic structures | |
| Habijan et al. | Overview of the whole heart and heart chamber segmentation methods | |
| CN111311655B (zh) | 多模态图像配准方法、装置、电子设备、存储介质 | |
| Ibragimov et al. | Segmentation of tongue muscles from super-resolution magnetic resonance images | |
| Park et al. | Recent development of computer vision technology to improve capsule endoscopy | |
| CN112184720B (zh) | 一种ct图像的内直肌和视神经分割方法及系统 | |
| US7983464B2 (en) | System and method for corpus callosum segmentation in magnetic resonance images | |
| Zheng | Cross-modality medical image detection and segmentation by transfer learning of shapel priors | |
| CN117408908B (zh) | 一种基于深度神经网络的术前与术中ct图像自动融合方法 | |
| CN113222979A (zh) | 一种基于多图谱的颅底卵圆孔自动分割方法 | |
| CN116612166A (zh) | 一种多模态影像的配准融合算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |