CN113160290A - 2d-3d医学图像配准方法、装置及可读存储介质 - Google Patents
2d-3d医学图像配准方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN113160290A CN113160290A CN202110351782.3A CN202110351782A CN113160290A CN 113160290 A CN113160290 A CN 113160290A CN 202110351782 A CN202110351782 A CN 202110351782A CN 113160290 A CN113160290 A CN 113160290A
- Authority
- CN
- China
- Prior art keywords
- volume data
- image
- degree
- medical image
- registration method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 25
- 238000012952 Resampling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种2D‑3D医学图像配准方法、装置及可读存储介质，包括：根据3D体数据的当前位姿，生成所述3D体数据的投影图像；将投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用4×4变换矩阵更新3D体数据的位姿，并生成更新后的3D体数据的投影图像，以及将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至所述多自由度动作值满足迭代停止条件。即，通过输出的多自由度动作值直接判断是否停止迭代，使用较少步数迭代即可得到2D‑3D自动配准结果，配准精确高。
Description
技术领域
本发明涉及图像配准技术领域，特别涉及一种2D-3D医学图像配准方法、装置及可读存储介质。
背景技术
临床手术中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即2D-3D医学图像。
2D-3D医学图像配准通过找到术前3D体数据(例如CT断层扫描或磁共振成像)的六自由度位姿，使从该体数据中得到的感兴趣区域结构，例如血管树的VR显示图像，与术中2D图像(例如X-ray透视图像)对齐融合，进行运动补偿，从而实现图像引导手术治疗。
现有的2D-3D医学图像配准方案包括：
(1)预定义若干个离散的、可能的动作，将训练好的模型应用至参考图像与浮动图像上，并输出各个动作的动作价值，从动作价值集合中选取最大动作价值，并对浮动图像执行最大动作价值对应的建议动作，重复步骤，使用由多次迭代产生的最终变换参数配准多个医学图像；
(2)对图像中感兴趣的医疗装置(如膝关节假体、经食道的超声心动图探头)自动定位，截取边缘图像块输入深度学习网络，根据监督学习训练2D-3D配准，训练好的网络直接回归目标配准参数；
(3)针对双平板的C臂设备，对两个投影方向分别进行自适应匹配点定位，并换算配准参数。
然而，以上配准方案分别存在有以下不足：
第(1)种方案为基于动作价值的方案，需要预定义六自由度离散的动作集合，例如建议动集为{沿xyz轴移动±1mm，绕xyz轴旋转±1度}，即预定义了12种建议动作，该方案只能实现离散的动作变换，且每一步只能选择一个自由度的空间变换，配准精度和性能均有限。特别是对于感兴趣区域为血管等比较精细的结构，该方案难以达到临床需求。
第(2)种方案针对的场景较限定，目标医疗装置形状较单一，均密度较大且边缘清晰，对于普通场景，该方案不可行，而且直接回归目标配准参数难度较大。
第(3)种方案针对硬件为双平板的场景，对普通单平板的设备不可行。
发明内容
本发明的目的在于提供一种2D-3D医学图像配准方法、装置及可读存储介质，以解决现有2D-3D医学图像配准方法中的一个或多个问题。
为解决上述技术问题，本发明提供一种2D-3D医学图像配准方法，包括：
根据3D体数据的当前位姿，生成所述3D体数据的投影图像；
将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；
判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。
可选的，在所述的2D-3D医学图像配准方法中，所述3D体数据为进行血管分割和渲染后的3D体数据。
可选的，在所述的2D-3D医学图像配准方法中，在根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像之前，还包括：按目标分辨率对所述3D体数据进行重采样处理，以缩小所述3D体数据的尺寸。
可选的，在所述的2D-3D医学图像配准方法中，所述根据3D体数据的当前位姿，生成所述投影图像的方法包括：
根据3D体数据的当前位姿，模拟形成所述2D图像的硬件信息，生成与所述2D图像相同视野方向和相同视野范围的所述投影图像。
可选的，在所述的2D-3D医学图像配准方法中，所述硬件信息至少包括：射线源与平板间的距离、射线源与等中心点距离、射线源旋转角度以及等中心点位置。
可选的，在所述的2D-3D医学图像配准方法中，在将所述投影图像和所述2D图像输入训练好的神经网络模型，输出多自由度动作值之前，所述2D-3D医学图像配准方法还包括：
对所述投影图像和与所述2D图像按照设定像素值进行归一化处理，并重采样至设定尺寸。
可选的，所述迭代停止条件包括：所述多自由度动作值均小于预设阈值。
可选的，在所述的2D-3D医学图像配准方法中，所述迭代停止条件包括：迭代次数达到预设次数。
本发明还提供一种2D-3D医学图像配准装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，执行如上所述的2D-3D医学图像配准方法。
本发明还提供一种可读存储介质，所述可读存储介质存储有程序，所述程序被执行时，执行如上所述的2D-3D医学图像配准方法。
综上所述，本发明提供的2D-3D医学图像配准方法、装置及可读存储介质，包括：根据3D体数据的当前位姿，生成所述3D体数据的投影图像；将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。即，通过输出的连续变量的多自由度动作值直接判断是否停止迭代，使用较少步数迭代即可得到2D-3D自动配准结果，而且每次迭代即涉及到多自由度的动作变换，因此配准精确高，有更好地实现术中运动补偿，另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。
附图说明
图1为本发明一实施例提供的2D-3D医学图像配准方法的流程图；
图2为本发明实施例中ActorCritic网络的训练过程示意图。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
如图1所示，本发明实施例提供一种2D-3D医学图像配准方法，用于3D体数据与术中2D图像的对齐融合，所述2D-3D医学图像配准方法包括如下步骤：
S11，根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像；
S12，将所述投影图像和所述2D图像输入训练好的神经网络模型，输出多自由度动作值；
S13，判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并重复步骤S11～S12，得到更新后的所述多自由度动作值。
本发明实施例提供的所述2D-3D医学图像配准方法，通过将3D体数据的投影图像和2D图像输入训练好的神经网络模型，以输出一多自由度动作值，通过输出的所述多自由度动作值与预设阈值的大小，来判断3D体数据与术中2D图像是否对齐融合。输出的所述多自由度动作值越小，表示3D体数据与术中2D图像的对齐融合效果越好，因此，若输出的所述多自由度动作值中之一大于预设阈值，则表明当前3D体数据与术中2D图像的对齐融合不够。当利用所述多自由度动作值计算得到一4×4变换矩阵，并利用所述4×4变换矩阵更新所述3D体数据的位姿后，3D体数据与术中2D图像的对齐融合程度变大，而与此同时，通过神经网络模型输出的多自由度动作值也将变小，如此迭代，当输出的多自由度动作值均小于预设阈值，则表示3D体数据与术中2D图像的对齐融合完成。由此可见，本发明实施例提供的所述2D-3D医学图像配准方法通过输出的连续变量的多自由度动作值直接判断是否停止迭代，每次迭代即涉及到多自由度的动作变换，因此使用较少步数迭代即可得到精确的2D-3D自动配准结果。而且每次迭代得到的多自由度的动作变换非离散值，因此配准精确高，有更好地实现术中运动补偿。另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。
以下对上述各步骤做进一步详细描述。为了方便起见，在下文的描述中，神经网络模型输出的多自由度动作值均以六自由度动作值(xyz三个方向上的平移及旋转)来进行示例，但应理解，所述多自由度动作值例如还可为三自由度动作值(xyz三个方向上的平移)等，本申请不以此为限。
较佳的，本实施例提供的所述2D-3D医学图像配准方法应用在判断出3D体数据与术中2D图像未对齐之后，具体的，在执行步骤S11之前，先执行如下步骤：
对3D体数据进行血管分割和渲染；将进行血管分割和渲染后的所述3D体数据与术中2D数据进行融合；若不对齐，则说明患者发生移动，执行步骤S11～S13。
因此，较佳的，步骤S11中，所述3D体数据为进行血管分割和渲染之后的3D体数据。
步骤S11中，根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像之前，较佳的，对所述3D体数据进行预处理，所述预处理包括：按目标分辨率对所述3D体数据进行重采样处理。其中，所述目标分辨率大于所述3D体数据原本的分辨率，亦即，通过对所述3D体数据进行重采样处理，所述3D体数据尺寸缩小，从而有利于后续2D图像的生成。
在另外一些实施例，若在进行配准之前，不先进行3D体数据与术中2D图像是否对齐的判断，或者，在生成3D体数据的投影图像不采用进行血管分割和渲染之后的3D体数据时，那么，在生成所述3D体数据的投影图像之前，所述预处理还包括至少去除所述3D体数据中的床板部分，以更精确地估计3D体数据的位姿。
本实施例步骤S11中，所述根据3D体数据的当前位姿，生成所述投影图像的方法包括：根据3D体数据的当前位姿，模拟形成所述2D图像的硬件信息，生成与所述2D图像相同视野方向和相同视野范围的所述投影图像。其中，所述硬件信息至少包括：射线源与平板间的距离、射线源与等中心点距离、射线源旋转角度以及等中心点位置，可选的，还可包括：射线半锥角和/或射线能量值。
具体的，术前3D体数据的模态与感兴趣区域(通常指器官、肿瘤、以及放疗中的辅助勾画)不同，可采用不同方式生成所述投影图像，如CT数据可利用2D数字重建放射影像技术(Digitally reconstructed radiograph,DRR)生成所述投影图像。若仅关注心脏部分的配准，可根据术前体数据分割心脏模型，分割出心脏体数据，并生成心脏体数据的2D投影图像，2D投影图像中仅有心脏部分。
在步骤S12中，在将所述投影图像和所述2D图像输入至训练好的神经网络模型之前，较佳的，对所述投影图像和与所述2D图像按照设定像素值进行归一化处理，并插值至设定尺寸，以使步骤S12中，在利用训练好的神经网络模型输出六自由度动作值时，保证所述投影图像和所述2D图像能够正常输入至训练好的所述神经网络模型。
本实施例中，所述设定像素值的取值为[0-1]，即，将所述投影图像和所述2D图像的像素值归一化处理至[0-1]之间，并将其重采样至192*192的尺寸，另外一些实施例中，还可将所述投影图像和所述2D图像重采样至其它尺寸等，重采样的具体尺寸与所采用神经网络模型的特性有关，在此不再赘述。
步骤S12中，所述神经网络模型可利用第一神经网络和第二神经网络训练得到，当训练次数达到设定值(例如约240万次)时，则将当前所述第一神经网络作为训练好的所述神经网络模型。其中，所述第一神经网络的输入为当前状态st，所述当前状态包括样本2D图像和对应的3D体数据的投影图像，所述第一神经网络的输出为六自由度动作值at＝{tx,ty,tz,θx,θy,θz}，所述第二神经网络的输入为所述当前状态st和所述六自由度动作值at，输出为评估所述六自由度动作值的奖励值r(st,,at)。当所述第一神经网络和所述第二神经网络迭代训练至所述r(st,,at)与真实值之间的差值小于预设值时，表示对于所述第二神经网络的训练差不多完成，若此时，训练次数还未达到设定值，则继续训练，直至完成对于所述第一神经网络的训练。
如图2所示，所述神经网络模型的训练具体可采用强化学习ActorCritic网络方案，即所述第一神经网络采用Actor深度学习网络(以下简称Actor)，所述第二神经网络采用Critic深度学习网络(以下简称Critic)，其中，Actor负责根据所述当前状态st输出六自由度动作值at＝{tx,ty,tz,θx,θy,θz}，Critic负责根据所述当前状态st和所述六自由度动作值at，输出评估所述六自由度动作值at的奖励值r(st,,at)，Critic仅在训练过程中作为辅助，训练结束后仅使用Actor作为训练好的所述神经网络模型。具体的，所述第一神经网络可采用卷积神经网络，例如残差网络Resnet等，本申请对此不作限制。
本实施例中，训练过程可采用强化学习常用的经验回放，包括如下步骤：
(1)创建缓存空间(Buffer)；
(2)初始化2D-3D配准环境；
(3)Actor与环境进行互动，根据当前状态st返回六自由度动作值at，得到环境反馈奖励值rt+1和下一状态st+1。记录经验值{st,at,rt+1,st+1}并保存到Buffer中。
(4)若在Actor与环境的互动下达到配准状态，或迭代次数大于预设值(例如可设置为200)时，则返回步骤(2)。
(5)当Buffer记录经验值达到一定数量后，从中随机采样指定数据的经验值组成数据集(batch)，进行Actor和Critic训练。
(6)Buffer满了后，新经验值覆盖旧经验值。经验值收集的过程(步骤2、步骤3和步骤4)一直重复到训练结束，期间Buffer内经验不断更新，与环境互动的Actor也不断随训练更新。收集的经验值中r也会从杂乱无章到基本为正数，说明Actor执行的动作合理。
本实施中，将所述环境反馈奖励值rt+1定义为执行动作后，3D体数据变换矩阵与金标准变换矩阵之间距离D的缩小程度，亦称之为金标准奖励值rg。若靠近金标准变换矩阵，则rg为正，否则为负。rg的计算公式如下:
rg＝D(Tg，Tt)-D(Tg，Tt+1)
其中，t表示当前时刻，at表示当前动作，Tg表示金标准矩阵，Tt表示当前时刻变换矩阵，at·Tt表示下一时刻变换矩阵，D表示输入的两个变换矩阵之间的距离。
下一时刻变换矩阵Tt+1由当前时刻at与当前时刻Tt相乘得到，如下：
Tt+1＝at·Tt
其中，at为当前动作。
即，rg的公式进一步如下:
rg＝D(Tg，Tt)-D(Tg，at·Tt)
在进行训练时，训练数据集包括：若干张2D图像、与每张2D图像对应的3D体数据、以及与每张2D图像对应的3D体数据的初始变换矩阵Ts。理论上，3D体数据在执行Ts后，3D体数据的投影图像与目标2D图像配准。因此，如果在3D体数据扫描后，被照射对象没有发生移动，则Ts为单位矩阵，3D体数据的投影图像与2D图像一直保持配准对齐的状态。步骤(2)中，每次初始化2D-3D配准环境时，从训练数据集中选取目标2D图像和对应的3D体数据，设定体数据训练初始位姿Ts_train，Ts_train为Ts基础上进行一定的随机旋转和平移(例如，可设置为随机平移±20mm、旋转±20°)，最后计算金标准变换矩阵Tg，即3D体数据在Ts_train基础上执行了Tg变换后达到投影图像与目标2D图像配准的效果。
在实际应用中，可不断对训练数据集进行更新，例如，可不定期从医院获取最新拍摄的病人的X射线图片和相应的CT体数据对训练数据集进行更新，从而以提高模型训练的精准度。
另外，训练过程中采用的损失函数，可包括2部分，分别为：critic_loss和actor_loss，分别针对critic和actor网络的训练。其中critic_loss为目标奖励值(即前文所述金标准奖励值rg)与Critic输出的奖励值Critic(batch.st,batch.at)之间的均方损失函数(MSE loss)；actor_loss为由Critic评估的奖励值的负数的均值函数。critic_loss和actor_loss的公式如下：
critic_loss＝MSE_loss(Critic(batch.st，batch.at),rg)
actor_loss＝-mean(Critic(batch.st，Actor(batch.st)))
其中，batch为从上述经验回放Buffer中抽取的经验batch，rg为金标准奖励值。
通过上述两个损失函数计算得到的损失值，不断调整Critic和Actor的模型参数，从而，使得随着训练的推进，Critic网络评估奖励值会越来越接近真实值，Actor网络也逐渐偏向输出使Critic奖励值高的动作。
步骤S12中的所述神经网络模型可采用上述方法事先训练完成，使得在进行2D-3D医学图像配准时，将术中2D图像和对应3D体数据的投影图像输入至训练好的所述神经网络模型后，即可输出直接输出连续变量的六自由度动作值，进而使得步骤S13中，可根据六自由度动作值判断是否完成2D-3D医学图像的配准，若判断出六自由度动作值均小于预设阈值(例如0.01)，则表示2D-3D医学图像配准完成，停止迭代，如判断出六自由度动作值中的一个或多个不小于预设阈值，则基于当前输出的所述六自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并重复步骤S11～S12，直至所述六自由度动作值均小于预设阈值，其中，所述4×4变换矩阵的计算公式(该计算公式中以对六自由度动作值的计算做出示例)如下：
其中，c代表余弦函数cos，s代表正弦函数sin。在另外一些实施例中，所述迭代停止条件还包括：迭代次数达到预设次数(例如20次)。当迭代次数达到预设次数时，若所述六自由度动作值依旧不满足均小于预设阈值，则输出所述3D体数据的位姿。
本实施例还提供一种2D-3D医学图像配准装置，所述2D-3D医学图像配准装置包括：处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本实施例所述的2D-3D医学图像配准方法。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述服务器端的各种功能。所述存储器可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本实施例还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如本实施例所述的2D-3D医学图像配准方法。
所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。
综上所述，本发明提供的2D-3D医学图像配准方法、装置及可读存储介质，包括：根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像；将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，并将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。即，通过输出的连续变量的多自由度动作值直接判断是否停止迭代，每次迭代即涉及到多自由度的动作变换，因此使用较少步数迭代即可得到2D-3D自动配准结果。而且每次迭代得到多自由度的动作变换非离散值，因此配准精确高，有更好地实现术中运动补偿。另外，对医疗装置本身没有要求，因此在实际应用时，普适性高。
此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。
Claims (10)
1.一种2D-3D医学图像配准方法，其特征在于，包括：
根据3D体数据的当前位姿，生成所述3D体数据的投影图像；
将所述投影图像和术中2D图像输入训练好的神经网络模型，输出多自由度动作值；
判断当前是否满足迭代停止条件，若是，则停止迭代，若否，则基于所述多自由度动作值计算一个4×4变换矩阵，利用所述4×4变换矩阵更新所述3D体数据的位姿，并生成更新后的所述3D体数据的投影图像，以及将再次生成的所述投影图像和所述2D图像输入所述神经网络模型，以更新所述多自由度动作值，直至满足迭代停止条件。
2.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，所述3D体数据为进行血管分割和渲染后的3D体数据。
3.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，在根据所述3D体数据的当前位姿，生成所述3D体数据的投影图像之前，所述2D-3D医学图像配准方法还包括：按目标分辨率对所述3D体数据进行重采样处理，以缩小所述3D体数据的尺寸。
4.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，所述根据3D体数据的当前位姿，生成所述投影图像的方法包括：
根据3D体数据的当前位姿，模拟形成所述2D图像的硬件信息，生成与所述2D图像相同视野方向和相同视野范围的所述投影图像。
5.如权利要求4所述的2D-3D医学图像配准方法，其特征在于，所述硬件信息至少包括：射线源与平板间的距离、射线源与等中心点距离、射线源旋转角度以及等中心点位置。
6.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，在将所述投影图像和所述2D图像输入训练好的神经网络模型，输出多自由度动作值之前，所述2D-3D医学图像配准方法还包括：
对所述投影图像和与所述2D图像按照设定像素值进行归一化处理，并重采样至设定尺寸。
7.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，所述迭代停止条件包括：所述多自由度动作值均小于预设阈值。
8.如权利要求1所述的2D-3D医学图像配准方法，其特征在于，所述迭代停止条件包括：迭代次数达到预设次数。
9.一种2D-3D医学图像配准装置，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，执行如权利要求1～8任一项所述的2D-3D医学图像配准方法。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有程序，所述程序被执行时，执行如权利要求1～8任一项所述的2D-3D医学图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351782.3A CN113160290A (zh) | 2021-03-31 | 2021-03-31 | 2d-3d医学图像配准方法、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351782.3A CN113160290A (zh) | 2021-03-31 | 2021-03-31 | 2d-3d医学图像配准方法、装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160290A true CN113160290A (zh) | 2021-07-23 |
Family
ID=76885862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110351782.3A Pending CN113160290A (zh) | 2021-03-31 | 2021-03-31 | 2d-3d医学图像配准方法、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160290A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024002360A1 (zh) * | 2022-06-30 | 2024-01-04 | 武汉联影智融医疗科技有限公司 | 配准方法、装置、计算机设备和可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| CN111583099A (zh) * | 2020-04-14 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 图像摆正方法、计算机设备和存储介质 |
-
2021
- 2021-03-31 CN CN202110351782.3A patent/CN113160290A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403446A (zh) * | 2016-05-18 | 2017-11-28 | 西门子保健有限责任公司 | 用于使用智能人工代理的图像配准的方法和系统 |
| CN111583099A (zh) * | 2020-04-14 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 图像摆正方法、计算机设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024002360A1 (zh) * | 2022-06-30 | 2024-01-04 | 武汉联影智融医疗科技有限公司 | 配准方法、装置、计算机设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161326B (zh) | 用于可变形图像配准的无监督深度学习的系统和方法 | |
| JP7453309B2 (ja) | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 | |
| US7940999B2 (en) | System and method for learning-based 2D/3D rigid registration for image-guided surgery using Jensen-Shannon divergence | |
| US8145012B2 (en) | Device and process for multimodal registration of images | |
| Turgeon et al. | 2D‐3D registration of coronary angiograms for cardiac procedure planning and guidance | |
| US20100080354A1 (en) | Subtraction of a segmented anatomical feature from an acquired image | |
| CN111415404B (zh) | 术中预设区域的定位方法、装置、存储介质及电子设备 | |
| CN112927315A (zh) | 用于x射线成像中的金属伪影避免的方法 | |
| US10614598B2 (en) | Systems and methods for generating 2D projection from previously generated 3D dataset | |
| CN115526929A (zh) | 基于图像的配准方法和装置 | |
| CN113160290A (zh) | 2d-3d医学图像配准方法、装置及可读存储介质 | |
| Kaiser et al. | Significant acceleration of 2D-3D registration-based fusion of ultrasound and x-ray images by mesh-based DRR rendering | |
| WO2023276810A1 (ja) | 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル | |
| Zhang et al. | Deformable registration of lateral cephalogram and cone‐beam computed tomography image | |
| CN110473241A (zh) | 图像配准方法、存储介质及计算机设备 | |
| JP2023149127A (ja) | 画像処理装置、方法およびプログラム | |
| Lecomte et al. | CNN-based real-time 2D-3D deformable registration from a single X-ray projection | |
| Steininger et al. | A novel class of machine-learning-driven real-time 2D/3D tracking methods: texture model registration (TMR) | |
| Mao et al. | CT image registration in sinogram space | |
| TWI836491B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
| TWI836493B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
| TWI842001B (zh) | 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 | |
| US11664116B2 (en) | Medical image data | |
| TWI836492B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
| Zeng et al. | Hierarchical 3-d registration of computed tomography to ultrasound using reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |