CN113538533A - 一种脊柱配准方法、装置、设备及计算机存储介质 - Google Patents

一种脊柱配准方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN113538533A
CN113538533A CN202110690088.4A CN202110690088A CN113538533A CN 113538533 A CN113538533 A CN 113538533A CN 202110690088 A CN202110690088 A CN 202110690088A CN 113538533 A CN113538533 A CN 113538533A
Authority
CN
China
Prior art keywords
image
unit
rigid
registration
spine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110690088.4A
Other languages
English (en)
Other versions
CN113538533B (zh
Inventor
冯前进
赵磊
周宇佳
庞树茂
苏志海
吕海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202110690088.4A priority Critical patent/CN113538533B/zh
Publication of CN113538533A publication Critical patent/CN113538533A/zh
Application granted granted Critical
Publication of CN113538533B publication Critical patent/CN113538533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种脊柱配准方法、装置、设备及计算机存储介质，脊柱配准方法包括：获取待配准的MR图像和CT图像；利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，特征提取单元、全连接单元、特征变换单元和融合单元依次连接，特征提取单元跳跃连接融合单元，刚弹性脊柱配准模型包括空间变换层，空间变换层连接融合单元，空间变换层用于根据待配准的MR图像生成配准后的MR图像；获取刚弹性脊柱配准模型输出的配准结果。本发明采用神经网络算法，脊柱配准运行时间短，配准精度高，应用时无需提供骨性结构的信息，能够满足多模态图像引导的手术导航应用要求。

Description

一种脊柱配准方法、装置、设备及计算机存储介质
技术领域
本发明涉及脊柱配准研究领域，特别是一种脊柱配准方法、装置、设备及计算机存储介质。
背景技术
腰椎间盘突出是最常见的骨科疾病，发病率约20％，其中10-15％的病人需要手术治疗。椎间盘消融术是在图像辅助下利用C型臂X光机对病变椎间隙准确定位，将射频消融针头插入病变椎间盘组织中，通过消融与热凝相结合完成对髓核的分解、气化、消融、皱缩、固化，减小髓核体积，使突出的椎间盘回缩，解除对脊髓和神经根的压迫，从而达到治疗的目的，极大程度上减少了对脊柱固有结构的损伤，降低了患者术后恢复时间。椎间盘消融术已成为椎间盘手术的重要治疗方式。
目前，椎间盘消融术采用C型臂X光机引导下完成，存在图像引导不直观、观察视野小等问题，加之椎间盘周边遍布重要神经与血管，对手术定位要求很高，因此存在手术操作难度大、严重依赖医生经验、手术风险较大等问题。总体来看，基于图像的手术导航系统有望改善这种情况。分析椎间盘消融的手术过程可知，导航系统需要对脊柱、椎间盘及其周边的血管、神经根提供精确的定位信息。必须利用术前磁共振(Magnetic ResonanceImaging，MRI)获得椎骨、椎间盘及其周边的血管、神经根图像；利用CT(ComputedTomography)获得脊柱骨性结构图像；通过多模态脊柱图像配准技术将不同模态图像配准在同一个坐标空间，进而进行融合显示，提供病变部位椎骨、椎间盘、血管、神经等组织的增强呈现，实现手术路径规划、引导与术中观察。
传统方法多采用在标准弹性配准框架中加入“刚性约束”方式以保证椎骨的刚性形变。例如在弹性图像配准算法中加入图像中解剖结构的刚性信息，通过约束图像中刚性区域的形变场的雅可比矩阵是正交阵来保证刚性区域的形变是刚性的。此类方法采用传统弹性配准框架，计算量巨大(运行时间>5分钟)，难以满足手术导航应用要求。
另一类传统方法为分步配准方法，需要先计算每个椎骨与椎间盘对应的刚性变换，然后将求得数个刚性变换融合优化得到最终的形变场。例如，通过手动选特征点，然后基于到骨性结构的距离进行加权得到最终的形变场。此类方法多需人工参与，难以满足手术导航应用要求。
此外，以上的传统方法在应用时必须提供脊柱骨性结构的信息，才能保持椎骨的刚性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种脊柱配准方法、装置、设备及计算机存储介质。
根据本发明提供的脊柱配准方法，包括：
获取待配准的MR图像和CT图像；
利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，所述特征提取单元用于接收待配准的MR图像和CT图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层，所述空间变换层连接所述融合单元，所述空间变换层用于根据待配准的MR图像生成配准后的MR图像；
获取所述刚弹性脊柱配准模型输出的配准结果。
根据本发明的一些实施例，所述特征提取单元包括依次连接的第一提取卷积层、第二提取卷积层、第三提取卷积层和第四提取卷积层，所述第一提取卷积层用于接收MR图像和CT图像，所述第四提取卷积层连接所述全连接单元。
根据本发明的一些实施例，所述全连接单元包括第一全连接层以及若干个第二全连接层，所述第一全连接层连接所述第四提取卷积层，各个所述第二全连接层并联连接所述第一全连接层。
根据本发明的一些实施例，所述特征变换单元包括特征变换层，所述特征变换层的数量与所述第二全连接层相同，各个所述第二全连接层与所述特征变换层一一对应连接，所述融合单元包括依次连接的第一融合卷积层、第二融合卷积层、第三融合卷积层和第四融合卷积层，所述第一提取卷积层和各个所述特征变换层连接所述第四融合卷积层，所述第二提取卷积层和各个所述特征变换层连接所述第三融合卷积层，所述第三提取卷积层和各个所述特征变换层连接所述第二融合卷积层，所述第四提取卷积层和各个所述特征变换层连接所述第一融合卷积层。
根据本发明的一些实施例，脊柱配准方法还包括：
构建所述刚弹性脊柱配准模型；
获取用于训练的MR图像、CT图像、MR分割图像、CT分割图像；
依据损失函数对所述刚弹性脊柱配准模型进行训练；
对训练后的所述刚弹性脊柱配准模型进行测试，获取训练好的所述刚弹性脊柱配准模型。
根据本发明的一些实施例，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
使用DICE损失单元根据MR分割图像、CT分割图像计算第一损失L1；
使用最小二乘损失单元根据MR分割图像计算第二损失L2；
使用归一化互相关损失单元根据CT图像和配准后的MR图像计算第三损失L3。
根据本发明的一些实施例，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
计算全局损失L，所述全局损失L满足公式L＝L1+0.1*L2+L3；
依据所述全局损失L对所述刚弹性脊柱配准模型进行训练。
根据本发明提供的脊柱配准装置，包括：
第一获取模块，所述第一获取模块用于获取待配准的MR图像和CT图像；
处理模块，所述处理模块用于利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，所述特征提取单元用于接收待配准的MR图像和CT图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层，所述空间变换层连接所述融合单元，所述空间变换层用于根据待配准的MR图像生成配准后的MR图像；
第二获取模块，所述第二获取模块用于获取所述刚弹性脊柱配准模型输出的配准结果。
根据本发明提供的设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由所述处理器处理时用于实现本发明提供的脊柱配准方法。
根据本发明提供的计算机存储介质，计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由处理器处理时用于实现如本发明提供的脊柱配准方法。
本发明的有益效果是：
本发明提供的脊柱配准方法使用神经网络模型进行多模态脊柱图像的刚弹性配准，能够同时估计骨性结构的刚性变换与软组织结构的弹性形变，脊柱配准方法在应用时无需提供骨性结构的信息，解决了传统刚性约束算法在应用时需要提供骨性结构的信息的瓶颈，本发明的脊柱配准方法采用神经网络模型进行配准，相比于传统算法的运行时间短，不需要人工参与，配准精度高，能够满足多模态图像引导的手术导航应用要求。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明提供的刚弹性脊柱配准模型的结构示意图；
图2是使用本发明提供的脊柱配准方法进行脊柱配准的效果示意图。
附图标记：
第一提取卷积层11、第二提取卷积层12、第三提取卷积层13、第四提取卷积层14、
第一全连接层21、第二全连接层22、
特征变换层31、
第一融合卷积层41、第二融合卷积层42、第三融合卷积层43、第四融合卷积层44、
第五融合卷积层5、形变场6、空间变换层7、
第一DICE损失层81、第二DICE损失层82、最小二乘损失层83、归一化互相关损失层84。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
首先，对本申请实施例中涉及的相关名词术语进行介绍和说明：
MR图像：利用术前磁共振(Magnetic Resonance Imaging，MRI)获得的椎骨、椎间盘及其周边的血管、神经根图像。
CT图像：利用CT(Computed Tomography)获得的脊柱骨性结构图像。
MR分割图像：对MR图像的骨性结构进行标记后获得的MR掩膜图像，用于提取MR图像的特征。
CT分割图像：对CT图像的骨性结构进行标记后获得的CT掩膜图像，用于提取CT图像的特征。
配准：将不同MR图像和CT图像配准在同一个坐标空间，以便于进行融合显示。
骨性结构信息：椎骨的信息，椎骨是刚性结构，骨性结构信息用于约束算法以使配准时椎骨的形状不发生变化，避免产生不合理的解，本申请实施例中骨性结构信息可以由掩膜图像(分割图像)或掩膜图像定义或计算出来的其它图像提供。
现有的配准方法采用的算法计算量较大，解算耗时较长。解算时，需要提供骨性结构信息对算法进行约束，而骨性结构信息一般需要手动标注生成，使用不便。
根据本发明提供的脊柱配准方法，包括：
获取待配准的MR图像和CT图像；
利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，特征提取单元用于接收待配准的MR图像和CT图像，特征提取单元、全连接单元、特征变换单元和融合单元依次连接，特征提取单元跳跃连接融合单元，刚弹性脊柱配准模型包括空间变换层7，空间变换层7连接融合单元，空间变换层7用于根据待配准的MR图像生成配准后的MR图像；
获取刚弹性脊柱配准模型输出的配准结果。
根据本发明提供的脊柱配准方法，通过采用神经网络算法进行配准，能够提高算法的解算速度，神经网络算法可以运行在GPU平台上，进一步降低运行时间(运行时间<25秒)。神经网络算法训练完成后不需要提供骨性结构信息即可进行解算，使得脊柱配准方法不需要人工参与，使用方便。脊柱配准方法能够满足手术导航的应用要求。
可以理解的是，刚弹性脊柱配准模型通过以下逻辑进行配准：
将MR图像作为待配准图像，CT图像作为参考图像进行前处理，前处理后的图像输入特征提取单元，特征提取单元提取图像的多尺度特征图。
特征提取单元的输出输入全连接单元，全连接单元估计出每个骨性结构(椎骨)对应的刚性形变场参数，利用估计出的参数产生相应椎骨的刚性矩阵{Xi}，i＝[1,2,…,N]。其中N为图像中椎骨的数量，Xi为第i个椎骨的刚性形变场参数。
特征变换单元将全连接单元产生的刚性矩阵转换为不同尺度的特征图。
融合单元接收来自特征提取单元的特征图以及特征变换单元的特征图，根据特征图估计形变场6。
空间变换层7根据形变场6对输入的MR图像进行空间变换，即得到基于参考CT图像进行配准后的MR图像。
在此，融合单元和特征提取单元设置了跳跃连接，从而使刚弹性脊柱配准模型能够克服梯度消失和梯度爆炸的问题，并且有助于提高训练效果，提高输出结果的精确性。前处理指将MR图像和CT图像组合并调整至合适的规格，例如前处理可以包括将MR图像和CT图像拼接起来。
图2显示了本发明提供的脊柱配准方法与传统方法的比较，其中A行为原始图像，B行为处理后的图像，第1列为未配准的MR图像，第2列为作为参照的CT图像，可见A2和B2之间存在较大的差别。3至5列为采用传统方法配准后的MR图像，与B2对比，可以认识到配准后仍存在一定的差异，6和7列为根据本发明提供的脊柱配准方法配准后的MR图像，与B2对比，差异相比于传统方法进一步缩小，本发明提供的脊柱配准方法能够提高输出结果的精确性。
在一些实施例中，特征提取单元包括依次连接的第一提取卷积层11、第二提取卷积层12、第三提取卷积层13和第四提取卷积层14，第一提取卷积层11用于接收MR图像和CT图像，第四提取卷积层14连接全连接单元。
在一些实施例中，全连接单元包括第一全连接层21以及若干个第二全连接层22，第一全连接层21连接第四提取卷积层14，各个第二全连接层22并联连接第一全连接层21。全连接单元首先通过flatten层将特征提取单元提取的数据转换为一维矩阵，采用第一全连接层21和第二全连接层22估计出每个骨性结构椎骨对应的刚性形变场参数，利用估计出的参数产生相应椎骨的刚性矩阵{Xi}。第二全连接层22的数量与输入的MR图像和CT图像中椎骨的数量一致，例如如图2所示，输入的MR图像和CT图像具有5个椎骨，相应地全连接单元包括5个第二全连接层22，一个第二全连接层22输出一个椎骨的刚性矩阵{Xi}。
在一些实施例中，特征变换单元包括特征变换层31，特征变换层31的数量与第二全连接层22相同，第二全连接层22与特征变换层31连接，融合单元包括依次连接的第一融合卷积层41、第二融合卷积层42、第三融合卷积层43和第四融合卷积层44，第一提取卷积层11和各个特征变换层31连接第四融合卷积层44，第二提取卷积层12和各个特征变换层31连接第三融合卷积层43，第三提取卷积层13和各个特征变换层31连接第二融合卷积层42，第四提取卷积层14和各个特征变换层31连接第一融合卷积层41。
在一些实施例中，融合单元包括第五融合卷积层5，第四融合卷积层44连接第五融合卷积层5，第五融合卷积层5输出的特征图通过上采样层得到最终用于配准的形变场6。
根据本发明提供的脊柱配准方法，还包括：
构建刚弹性脊柱配准模型；
获取用于训练的MR图像、CT图像、MR分割图像、CT分割图像；
依据损失函数对刚弹性脊柱配准模型进行训练；
对训练后的刚弹性脊柱配准模型进行测试，获取训练好的刚弹性脊柱配准模型。
刚弹性脊柱配准模型采用有监督训练方式，通过损失函数对训练进行监督。训练采用预先标记好的MR分割图像和CT分割图像进行特征提取，MR分割图像和CT分割图像的标记可由专家手工进行。通过对刚弹性脊柱配准模型进行训练和测试，能够提高刚弹性脊柱配准模型的配准准确度。训练完成后，刚弹性脊柱配准模型使用时无需再参考MR分割图像和CT分割图像。
在一些实施例中，依据损失函数对刚弹性脊柱配准模型进行训练这一步骤，还包括：
使用DICE损失单元根据MR分割图像、CT分割图像计算第一损失L1；
使用最小二乘损失单元根据MR分割图像计算第二损失L2；
使用归一化互相关损失单元84根据CT图像和配准后的MR图像计算第三损失L3。
在一些实施例中，DICE损失单元包括第一DICE损失层81和第二DICE损失层82。第一DICE损失层81和第二DICE损失层82的输出加权获得L1。例如如图1所示，第一DICE损失层81的输入为MR分割图像、CT分割图像和各个第二全连接层22的刚性矩阵{Xi}，第一DICE损失层81首先将MR分割图像和刚性矩阵{Xi}组合产生配准后的MR分割图像，随后通过DICE损失函数评估配准后的MR分割图像与作为参照的CT分割图像的相似度，从而得到L11。可以理解的是，相似度越高，说明全连接单元输出的刚性矩阵{Xi}用于配准时的准确度越好。第二DICE损失层82的输入为MR分割图像、CT分割图像和空间变换层7，第二DICE损失层82首先将MR分割图像和空间变换层7组合产生配准后的MR分割图像，随后通过DICE损失函数评估配准后的MR分割图像与作为参照的CT分割图像的相似度，从而得到L12。将L11和L12按照一定的加权相加即获得第一损失L1。
在一些实施例中，L1满足公式L1＝0.1*L11+0.9*L12，从而强调空间变换层7的配准效果在损失函数中的地位。
在一些实施例中，最小二乘损失单元包括最小二乘损失层83，最小二乘损失层83的输入为MR分割图像以及形变场6。参照图1，最小二乘损失单元83按如下步骤求取L2：
MR分割图像包含N个椎体的分割图像
Figure BDA0003125855220000081
通过MR分割图像将形变场6进行裁剪，得到N个刚性区域的形变场
Figure BDA0003125855220000082
根据
Figure BDA0003125855220000083
计算每个刚性区域内所有点在配准前后的位置：
Figure BDA0003125855220000084
其中
Figure BDA0003125855220000085
分别为第i个刚性区域中的点集在配准前后的坐标，
Figure BDA0003125855220000086
为矩阵，矩阵每列对应刚性区域中一个点的三维坐标；
利用最小二乘估计得到每个刚性区域内的刚性变换参数矩阵
Figure BDA0003125855220000087
Figure BDA0003125855220000088
依据求得的刚性变换参数矩阵，计算每一个刚性区域刚弹性形变场与理想刚性形变场之间的误差
Figure BDA0003125855220000089
计算第二损失
Figure BDA00031258552200000810
可以理解的是，骨性结构经过配准后不应发生变形，刚弹性形变场与理想刚性形变场之间的误差越小，说明刚弹性脊柱配准模型的结构越合理，用于配准时的准确度越好。
在一些实施例中，归一化互相关损失单元包括归一化互相关损失层84，归一化互相关损失层84的输入为配准后的MR图像以及作为参照的CT图像，归一化互相关损失单元84评估配准后的MR图像与作为参照的CT图像的相似度。可以理解的是，相似度越高，说明刚弹性脊柱配准模型用于配准时的准确度越好。
在一些实施例中，依据损失函数对刚弹性脊柱配准模型进行训练这一步骤，还包括：
计算全局损失L，全局损失L满足公式L＝L1+0.1*L2+L3；
依据全局损失L对刚弹性脊柱配准模型进行训练。
通过对第一损失、第二损失和第三损失进行加权，降低第二损失的权重，从而优化全局损失，使得损失函数的训练效果更加理想。
根据本发明提供的脊柱配准装置，包括：
第一获取模块，第一获取模块用于获取待配准的MR图像和CT图像；
处理模块，处理模块用于利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，特征提取单元用于接收待配准的MR图像和CT图像，特征提取单元、全连接单元、特征变换单元和融合单元依次连接，特征提取单元跳跃连接融合单元，刚弹性脊柱配准模型包括空间变换层7，空间变换层7连接融合单元，空间变换层7用于根据待配准的MR图像生成配准后的MR图像；
第二获取模块，第二获取模块用于获取刚弹性脊柱配准模型输出的配准结果。
本发明提供的脊柱配准装置可用于执行本发明任意实施例所提供的脊柱配准方法，脊柱配准装置具备执行本发明任意实施例所提供的脊柱配准方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的脊柱配准方法。
根据本发明提供的设备，包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集在由处理器处理时用于实现本发明任意实施例所提供的脊柱配准方法。
本发明提供的设备可用于实现本发明任意实施例所提供的脊柱配准方法，本发明提供的设备具体实现的功能以及有益效果与本发明任意实施例所提供的脊柱配准方法具体实现的功能以及有益效果相同。
根据本发明提供的计算机存储介质，计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集在由处理器处理时用于实现本发明任意实施例所提供的脊柱配准方法。
本发明提供的计算机存储介质可用于实现本发明任意实施例所提供的脊柱配准方法，本发明提供的计算机存储介质具体实现的功能以及有益效果与本发明任意实施例所提供的脊柱配准方法具体实现的功能以及有益效果相同。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种脊柱配准方法，其特征在于，包括：
获取待配准的MR图像和CT图像；
利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，所述特征提取单元用于接收待配准的MR图像和CT图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层(7)，所述空间变换层(7)连接所述融合单元，所述空间变换层(7)用于根据待配准的MR图像生成配准后的MR图像；
获取所述刚弹性脊柱配准模型输出的配准结果。
2.根据权利要求1所述的脊柱配准方法，其特征在于：所述特征提取单元包括依次连接的第一提取卷积层(11)、第二提取卷积层(12)、第三提取卷积层(13)和第四提取卷积层(14)，所述第一提取卷积层(11)用于接收MR图像和CT图像，所述第四提取卷积层(14)连接所述全连接单元。
3.根据权利要求2所述的脊柱配准方法，其特征在于：所述全连接单元包括第一全连接层(21)以及若干个第二全连接层(22)，所述第一全连接层(21)连接所述第四提取卷积层(14)，各个所述第二全连接层(22)并联连接所述第一全连接层(21)。
4.根据权利要求3所述的脊柱配准方法，其特征在于：所述特征变换单元包括特征变换层(31)，所述特征变换层(31)的数量与所述第二全连接层(22)相同，所述第二全连接层(22)与所述特征变换层(31)一一对应连接，所述融合单元包括依次连接的第一融合卷积层(41)、第二融合卷积层(42)、第三融合卷积层(43)和第四融合卷积层(44)，所述第一提取卷积层(11)和各个所述特征变换层(31)连接所述第四融合卷积层(44)，所述第二提取卷积层(12)和各个所述特征变换层(31)连接所述第三融合卷积层(43)，所述第三提取卷积层(13)和各个所述特征变换层(31)连接所述第二融合卷积层(42)，所述第四提取卷积层(14)和各个所述特征变换层(31)连接所述第一融合卷积层(41)。
5.根据权利要求1所述的脊柱配准方法，其特征在于，脊柱配准方法还包括：
构建所述刚弹性脊柱配准模型；
获取用于训练的MR图像、CT图像、MR分割图像、CT分割图像；
依据损失函数对所述刚弹性脊柱配准模型进行训练；
对训练后的所述刚弹性脊柱配准模型进行测试，获取训练好的所述刚弹性脊柱配准模型。
6.根据权利要求5所述的脊柱配准方法，其特征在于，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
使用DICE损失单元根据MR分割图像、CT分割图像计算第一损失L1；
使用最小二乘损失单元根据MR分割图像计算第二损失L2；
使用归一化互相关损失单元根据CT图像和配准后的MR图像计算第三损失L3。
7.根据权利要求6所述的脊柱配准方法，其特征在于，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
计算全局损失L，所述全局损失L满足公式L＝L1+0.1*L2+L3；
依据所述全局损失L对所述刚弹性脊柱配准模型进行训练。
8.一种脊柱配准装置，其特征在于，包括：
第一获取模块，所述第一获取模块用于获取待配准的MR图像和CT图像；
处理模块，所述处理模块用于利用训练好的刚弹性脊柱配准模型对MR图像和CT图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，所述特征提取单元用于接收待配准的MR图像和CT图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层(7)，所述空间变换层(7)连接所述融合单元，所述空间变换层(7)用于根据待配准的MR图像生成配准后的MR图像；
第二获取模块，所述第二获取模块用于获取所述刚弹性脊柱配准模型输出的配准结果。
9.一种设备，其特征在于：设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由所述处理器处理时用于实现如权利要求1至7任一项所述的脊柱配准方法。
10.一种计算机存储介质，其特征在于：计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由处理器处理时用于实现如权利要求1至7任一项所述的脊柱配准方法。
CN202110690088.4A 2021-06-22 2021-06-22 一种脊柱配准方法、装置、设备及计算机存储介质 Active CN113538533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110690088.4A CN113538533B (zh) 2021-06-22 2021-06-22 一种脊柱配准方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110690088.4A CN113538533B (zh) 2021-06-22 2021-06-22 一种脊柱配准方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113538533A true CN113538533A (zh) 2021-10-22
CN113538533B CN113538533B (zh) 2023-04-18

Family

ID=78125449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690088.4A Active CN113538533B (zh) 2021-06-22 2021-06-22 一种脊柱配准方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113538533B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782454A (zh) * 2022-06-23 2022-07-22 四川省肿瘤医院 用于盆腔肿瘤影像术前导航的图像识别系统
CN117237426A (zh) * 2023-09-18 2023-12-15 北京大学第三医院（北京大学第三临床医学院） 一种基于腰椎双斜位x光片的椎骨配准方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210465A (zh) * 2019-12-31 2020-05-29 上海联影智能医疗科技有限公司 图像配准方法、装置、计算机设备和可读存储介质
US20200202515A1 (en) * 2018-12-21 2020-06-25 General Electric Company Systems and methods for deep learning based automated spine registration and label propagation
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
WO2020259600A1 (en) * 2019-06-24 2020-12-30 Conova Medical Technology Limited A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN112598649A (zh) * 2020-12-24 2021-04-02 电子科技大学 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
EP3828818A1 (en) * 2019-11-29 2021-06-02 Siemens Healthcare GmbH Method and system for identifying pathological changes in follow-up medical images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200202515A1 (en) * 2018-12-21 2020-06-25 General Electric Company Systems and methods for deep learning based automated spine registration and label propagation
WO2020259600A1 (en) * 2019-06-24 2020-12-30 Conova Medical Technology Limited A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person
US20220254018A1 (en) * 2019-06-24 2022-08-11 Conova Medical Technology Limited Device, process and system for diagnosing and tracking of the development of the spinal alignment of a person
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
EP3828818A1 (en) * 2019-11-29 2021-06-02 Siemens Healthcare GmbH Method and system for identifying pathological changes in follow-up medical images
CN111210465A (zh) * 2019-12-31 2020-05-29 上海联影智能医疗科技有限公司 图像配准方法、装置、计算机设备和可读存储介质
CN111862174A (zh) * 2020-07-08 2020-10-30 清华大学深圳国际研究生院 一种跨模态医学图像配准方法及装置
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112598649A (zh) * 2020-12-24 2021-04-02 电子科技大学 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUMAO PANG 等: "SpineParseNet: Spine Parsing for Volumetric MR Image by a Two-Stage Segmentation Framework With Semantic Image Representation" *
YANG LEI 等: "4D-CT deformable image registration using multiscale unsupervised deep learning" *
田娟秀 等: "医学图像分析深度学习方法研究与挑战" *
顾菊平 等: "面向脊柱生物建模的图像分割与配准研究综述" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782454A (zh) * 2022-06-23 2022-07-22 四川省肿瘤医院 用于盆腔肿瘤影像术前导航的图像识别系统
CN114782454B (zh) * 2022-06-23 2022-09-09 四川省肿瘤医院 用于盆腔肿瘤影像术前导航的图像识别系统
CN117237426A (zh) * 2023-09-18 2023-12-15 北京大学第三医院（北京大学第三临床医学院） 一种基于腰椎双斜位x光片的椎骨配准方法
CN117237426B (zh) * 2023-09-18 2024-03-22 北京大学第三医院（北京大学第三临床医学院） 一种基于腰椎双斜位x光片的椎骨配准方法

Also Published As

Publication number Publication date
CN113538533B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Markelj et al. A review of 3D/2D registration methods for image-guided interventions
US8953856B2 (en) Method and system for registering a medical image
US9292917B2 (en) Method and system for model-based fusion of computed tomography and non-contrasted C-arm computed tomography
CN107595387A (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
US8942455B2 (en) 2D/3D image registration method
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
EP1719078B1 (en) Device and process for multimodal registration of images
JP5486197B2 (ja) 椎骨中心検出装置および方法並びにプログラム
US9142020B2 (en) Osteo-articular structure
JP6426608B2 (ja) 解析モルフォミクス：高速医用画像自動解析法
CN113538533B (zh) 一种脊柱配准方法、装置、设备及计算机存储介质
WO2012158585A2 (en) Surgical assistance planning method using lung motion analysis
Varnavas et al. Increasing the automation of a 2D-3D registration system
Castro-Mateos et al. 3D segmentation of annulus fibrosus and nucleus pulposus from T2-weighted magnetic resonance images
CN105339804B (zh) 根据MR Dixon数据的皮质骨分割
US9576353B2 (en) Method for verifying the relative position of bone structures
CN109741290B (zh) 用于神经追踪的方法、非暂时性计算机可读媒体及设备
Morooka et al. A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures
Qi et al. Automatic scan plane identification from 2d ultrasound for pedicle screw guidance
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115358995A (zh) 基于多模态信息融合的全自动空间注册系统
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
Cresson et al. Coupling 2D/3D registration method and statistical model to perform 3D reconstruction from partial X-rays images data
US11406471B1 (en) Hand-held stereovision system for image updating in surgery
Khallaghi et al. Biomechanically constrained groupwise statistical shape model to ultrasound registration of the lumbar spine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant