CN113920178B - 一种基于标记点的多视觉2d-3d图像配准方法及系统 - Google Patents

一种基于标记点的多视觉2d-3d图像配准方法及系统 Download PDF

Info

Publication number
CN113920178B
CN113920178B CN202111321674.8A CN202111321674A CN113920178B CN 113920178 B CN113920178 B CN 113920178B CN 202111321674 A CN202111321674 A CN 202111321674A CN 113920178 B CN113920178 B CN 113920178B
Authority
CN
China
Prior art keywords
dimensional
image
drr
points
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111321674.8A
Other languages
English (en)
Other versions
CN113920178A (zh
Inventor
李松峰
魏军
赖耀明
蒋斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baishi Data Technology Co ltd
Perception Vision Medical Technology Co ltd
Original Assignee
Guangzhou Baishi Data Technology Co ltd
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baishi Data Technology Co ltd, Perception Vision Medical Technology Co ltd filed Critical Guangzhou Baishi Data Technology Co ltd
Priority to CN202111321674.8A priority Critical patent/CN113920178B/zh
Publication of CN113920178A publication Critical patent/CN113920178A/zh
Application granted granted Critical
Publication of CN113920178B publication Critical patent/CN113920178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及图像处理领域，具体公开了一种基于标记点的多视觉2D‑3D图像配准方法及系统，其中方法包括：将获取的DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；采用神经网络，分别将DR图像和DRR图像输入，并输出K对匹配点；对K对第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。该方案比传统方法的运算时间更快，具有更强的可解释性。

Description

一种基于标记点的多视觉2D-3D图像配准方法及系统
技术领域
本发明涉及图像处理领域，特别是关于一种基于标记点的多视觉2D-3D图像配准方法及系统。
背景技术
临床医学中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即2D-3D医学图像。
2D-3D图像配准是指病人的术前拍摄的三维CT图像与术中拍摄的二维X-ray图像进行配准，使配准后的三维CT图像尽量接近术中实际的人体姿态，使通过该配准后的CT图像进行重建得到的二维图像(digitally reconstructed radiographs，DRR)与X-ray图像尽量相似。该技术主要应用于肺结节穿刺定位手术等。
传统的2D-3D图像配准方法运算时间较慢，可解释性较弱，不利于推广应用。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于标记点的多视觉2D-3D图像配准方法及系统，其能够提高运算效率，可解释性更强。
本发明提供了一种基于标记点的多视觉2D-3D图像配准方法，包括以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure GDA0003525479470000021
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure GDA0003525479470000022
Figure GDA0003525479470000023
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
优选地，所述S2具体包括：
所述神经网络的输入为单个二维的DR图像或DRR图像，所述神经网络的输出为与输入尺寸相同的K个通道的概率图，单个概率图中的像素的值表示该像素是对应标记点的概率，取该概率图中的概率最大值对应的像素即为对应标记点的位置。
优选地，所述神经网络为以Unet为基础的U型结构，所述U型结构的左侧编码器由四个残差模块(Residual Modules)和四个下采样交替组成，所述U型结构的右侧解码器由四个Residual Modules和四个上采样交替组成，并通过残差连接(skip-connection)将所述主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
优选地，所述S3具体包括：
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵
Figure GDA0003525479470000031
Figure GDA0003525479470000032
Figure GDA0003525479470000033
为点
Figure GDA0003525479470000034
的第1个维度的坐标值，
Figure GDA0003525479470000035
为点
Figure GDA0003525479470000036
的第2个维度的坐标值；
Figure GDA0003525479470000037
Figure GDA0003525479470000038
其中，Ak为N个
Figure GDA0003525479470000039
矩阵拼接组成，同理Bk为N个
Figure GDA00035254794700000310
矩阵拼接组成；则第k个三维标记点的坐标为：
Figure GDA00035254794700000311
其中，
Figure GDA00035254794700000312
为Ak的广义逆矩阵；
分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure GDA00035254794700000313
与CT对应的三维标记点集
Figure GDA00035254794700000314
Figure GDA00035254794700000315
便得到了K对匹配点。
优选地，所述S4具体包括：
得到所有匹配点对后，通过下式计算最小化，得到刚性配准的变换矩阵R和位移向量t的最优解：
Figure GDA0003525479470000041
最优解为：
Figure GDA0003525479470000042
Figure GDA0003525479470000043
Figure GDA0003525479470000044
U，5，V＝SVD(H)
R＝VU
t＝mean(PDR)-Rmean(pDRR)
其中，PDR为DR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDR)为K个匹配点的均值，大小为3x1，同理PDRR与mean(PDRR)，SVD(H)为对H做奇异值分解；
PDRR为DRR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDRR)为DRR图像中K个匹配点的均值；
得到刚性配准的变换矩阵R和位移向量t后，基于此对DRR重复执行上式计算最小化，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对计算刚性配准，从而使R和t的结果更加精准。
本发明还提供了一种基于标记点的多视觉2D-3D图像配准系统，包括：
数据采集模块，用于获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
标记模块，用于将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
匹配模块，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure GDA0003525479470000051
Figure GDA0003525479470000052
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure GDA0003525479470000053
Figure GDA0003525479470000054
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
刚性配准模块，用于对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
本发明还提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于标记点的多视觉2D-3D图像配准方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于标记点的多视觉2D-3D图像配准方法的步骤。
与现有技术相比，根据本发明的一种基于标记点的多视觉2D-3D图像配准方法及系统，其中方法包括：获取目标对戏的二维DR图像，以及对目标对象的三维CT图像进行重建得到N个二维DRR图像；将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；采用神经网络，分别将DR图像和DRR图像输入，并输出K对匹配点；对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。该方案比传统方法的运算时间更快，具有更强的可解释性。
附图说明
图1是根据本发明基于标记点的多视觉2D-3D图像配准方法的流程示意图；
图2为本发明提供的一种可能的电子设备的硬件结构示意图；
图3为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，根据本发明优选实施方式的一种S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure GDA0003525479470000061
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure GDA0003525479470000062
Figure GDA0003525479470000063
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
在一个具体的实施场景中：
S1、准备配准用的图像；
步骤S1具体包括以下步骤：
S11、在术中对人体拍摄N个视觉(多个不同位置的X射线源，N≥2)的二维X-ray图像(DR图像)，记作DR1、DR2、…、DRN。
S12、通过相机标定算法得到每个视觉的内参和外参。
S13、对术前拍摄的三维CT图像进行重建得到N个二维图像(digitallyreconstructed radiographs，DRR)，记作DRR1、DRR2、…、DRRN。
S2、训练神经网络用于识别二维图像中的标记点；
步骤S2具体包括以下步骤：
S21、神经网络的输入为单个二维的DR图像或DRR图像，输出为K个通道的与输入尺寸相同的概率图，单个概率图中的某个像素的值表示该像素是对应标记点的概率，取该热力图中的最大值的像素即为对应标记点的位置。
S22、标记点是结合人为标注和已有算法的结果在三维CT图像上标识，再映射至二维图像用于神经网络的监督学习。标记点包括但不限于肋骨及脊柱等骨骼结构、肺部及肝脏等器官的外轮廓上的角点、外侧切点等。
S23、所述神经网络的结构以Unet为基础，U型结构的左侧编码器由4个ResidualModules和下采样交替组成，U型结构的右侧解码器由4个Residual Modules和上采样交替组成，并通过skip-connection将所述主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
S24、网络训练完成后，把N个DR图像和N个DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果。
S3、对于DR图像和DRR图像，分别把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到三维标记点坐标，得到了K对匹配点；
步骤S3具体包括以下步骤：
S31、对于第k个三维标记点的N个视觉的DR或DRR二维图像的神经网络预测结果为
Figure GDA0003525479470000081
其中
Figure GDA0003525479470000082
表示第k个标记点在第n个二维图像的坐标。
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵：
Figure GDA0003525479470000083
Figure GDA0003525479470000084
其中：
Figure GDA0003525479470000085
为点
Figure GDA0003525479470000086
的第1个维度的坐标值，
Figure GDA0003525479470000087
为点
Figure GDA0003525479470000088
的第2个维度的坐标值。
Figure GDA0003525479470000089
Figure GDA00035254794700000810
其中，Ak为N个
Figure GDA00035254794700000811
矩阵拼接组成，同理Bk。则第k个三维标记点的坐标为：
Figure GDA00035254794700000812
其中，
Figure GDA00035254794700000813
为Ak的广义逆矩阵。
S32、分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure GDA0003525479470000091
与CT对应的三维标记点集
Figure GDA0003525479470000092
便得到了K对匹配点。
S4、通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，并可以通过迭代的方式优化该结果；
步骤S4具体包括以下步骤：
S41、得到所有匹配点对后，通过下式进行最小化，得到刚性配准的变换矩阵R和位移向量t的最优解：
Figure GDA0003525479470000093
最优解为：
Figure GDA0003525479470000094
Figure GDA0003525479470000095
Figure GDA0003525479470000096
U，5，V＝SVD(H)
R＝VU
t＝mean(PDR)-R mean(PDRR)
其中，PDR为DR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDR)为K个匹配点的均值，大小为3x1，同理PDRR与mean(PDRR)。SVD(H)为对H做奇异值分解。
S42、得到刚性配准的变换矩阵R和位移向量t后，可基于此对DRR图像重复执行上述步骤，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对计算刚性配准，从而使R和t的结果更加精准。
本发明公开了一种基于标记点的多视觉2D-3D图像配准方法，方法包括：在术中对人体拍摄多个视觉的二维X-ray图像(DR图像)，对术前拍摄的三维CT图像进行重建得到多个视觉的二维DRR图像；训练神经网络分别识别多个DR图像和DRR图像的二维标记点结果；对于DR图像，通过反向映射算法得到与人体对应的三维标记点集，对于DRR图像，得到与CT对应的三维标记点集，便得到了匹配点集；通过最小化匹配点集的点距离总和，拟合出刚性配准的变换矩阵，并可以通过迭代的方式优化该结果，并可以通过迭代的方式优化该结果。本发明能本发明通过神经网络进行2D-3D图像配准，比传统方法的运算时间更快；采用匹配点进行配准，可解释性更强，且对刚性配准及非刚性配准均能实现。
请参阅图2为本发明实施例提供的电子设备的实施例示意图。如图2所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure GDA0003525479470000101
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure GDA0003525479470000102
Figure GDA0003525479470000103
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
请参阅图3为本发明提供的一种计算机可读存储介质的实施例示意图。如图3所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure GDA0003525479470000111
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure GDA0003525479470000112
Figure GDA0003525479470000113
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明通过神经网络进行2D-3D图像配准，比传统方法的运算时间更快。
(2)本发明采用匹配点进行配准，可解释性更强。
(3)本发明本发明采用匹配点进行配准，对刚性配准及非刚性配准均能实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种基于标记点的多视觉2D-3D图像配准方法，其特征在于，包括以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure FDA0003525479460000011
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure FDA0003525479460000012
Figure FDA0003525479460000013
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
2.如权利要求1所述的基于标记点的多视觉2D-3D图像配准方法，其特征在于，所述S2具体包括：
所述神经网络的输入为单个二维的DR图像或DRR图像，所述神经网络的输出为与输入尺寸相同的K个通道的概率图，单个概率图中的像素的值表示该像素是对应标记点的概率，取该概率图中的概率最大值对应的像素即为对应标记点的位置。
3.如权利要求2所述的基于标记点的多视觉2D-3D图像配准方法，其特征在于，所述神经网络为以Unet为基础的U型结构，所述U型结构的左侧编码器由四个残差模块(ResidualModules)和四个下采样交替组成，所述U型结构的右侧解码器由四个Residual Modules和四个上采样交替组成，并通过残差连接(skip-connection)将主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
4.如权利要求1所述的基于标记点的多视觉2D-3D图像配准方法，其特征在于，所述S3具体包括：
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵
Figure FDA0003525479460000021
Figure FDA0003525479460000022
Figure FDA0003525479460000023
为点
Figure FDA0003525479460000024
的第1个维度的坐标值，
Figure FDA0003525479460000025
为点
Figure FDA0003525479460000026
的第2个维度的坐标值；
Figure FDA0003525479460000027
Figure FDA0003525479460000028
其中，Ak为N个
Figure FDA0003525479460000029
矩阵拼接组成，同理Bk为N个
Figure FDA00035254794600000210
矩阵拼接组成；则第k个三维标记点的坐标为：
Figure FDA00035254794600000211
其中，
Figure FDA00035254794600000212
为Ak的广义逆矩阵；
分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure FDA00035254794600000213
与CT对应的三维标记点集
Figure FDA00035254794600000214
Figure FDA0003525479460000031
便得到了K对匹配点。
5.如权利要求1所述的基于标记点的多视觉2D-3D图像配准方法，其特征在于，所述S4具体包括：
得到所有匹配点对后，通过下式计算最小化，得到刚性配准的变换矩阵R和位移向量t的最优解：
Figure FDA0003525479460000032
最优解为：
Figure FDA0003525479460000033
Figure FDA0003525479460000034
Figure FDA0003525479460000035
U,S,V＝SVD(H)
R＝VU
t＝mean(PDR)-R mean(PDRR)
其中，PDR为DR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDR)为K个匹配点的均值，大小为3x1，同理PDRR与mean(PDRR)，SVD(H)为对H做奇异值分解；
PDRR为DRR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDRR)为DRR图像中K个匹配点的均值；
得到刚性配准的变换矩阵R和位移向量t后，基于此对DRR重复执行上式计算最小化，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对计算刚性配准，从而使R和t的结果更加精准。
6.一种基于标记点的多视觉2D-3D图像配准系统，其特征在于，包括：
数据采集模块，用于获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
标记模块，用于将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
匹配模块，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure FDA0003525479460000041
Figure FDA0003525479460000042
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure FDA0003525479460000043
Figure FDA0003525479460000044
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
刚性配准模块，用于对K对所述第一组三维标记点集进行最小化得到刚性配准的变换矩阵R和位移向量t的最优解，然后基于此对第二组三维标记点集进行最小化以重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与第一组三维标记点集组成匹配点对计算刚性配准，以使R和t的结果更加精准。
7.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-5任一项所述的基于标记点的多视觉2D-3D图像配准方法的步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-5任一项所述的基于标记点的多视觉2D-3D图像配准方法的步骤。
CN202111321674.8A 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像配准方法及系统 Active CN113920178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111321674.8A CN113920178B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111321674.8A CN113920178B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN113920178A CN113920178A (zh) 2022-01-11
CN113920178B true CN113920178B (zh) 2022-04-12

Family

ID=79245695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111321674.8A Active CN113920178B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113920178B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842004B (zh) * 2022-07-04 2022-10-21 真健康（北京）医疗科技有限公司 基于神经网络模型的穿刺位置验证方法及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102697561A (zh) * 2012-05-17 2012-10-03 深圳市一体医疗科技股份有限公司 一种无创体外固定标记点肿瘤定位系统及定位方法
US8411914B1 (en) * 2006-11-28 2013-04-02 The Charles Stark Draper Laboratory, Inc. Systems and methods for spatio-temporal analysis
CN104134210A (zh) * 2014-07-22 2014-11-05 兰州交通大学 基于组合相似性测度的2d-3d医学图像并行配准方法
CN105615909A (zh) * 2014-11-26 2016-06-01 株式会社东芝 图像处理装置、图像处理程序、图像处理方法以及治疗系统
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108846830A (zh) * 2018-05-25 2018-11-20 妙智科技（深圳）有限公司 对ct中腰椎自动定位的方法、装置以及存储介质
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN113298854A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113298855A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN113421226A (zh) * 2021-06-03 2021-09-21 山东师范大学 基于互信息的ct-dr多模态食管图像配准方法及系统
CN113450396A (zh) * 2021-06-17 2021-09-28 北京理工大学 基于骨骼特征的三维/二维图像配准方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11684308B2 (en) * 2017-01-11 2023-06-27 Aalborg Universitet Method and system for measuring the laxity of a joint of a human or an animal

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411914B1 (en) * 2006-11-28 2013-04-02 The Charles Stark Draper Laboratory, Inc. Systems and methods for spatio-temporal analysis
CN102697561A (zh) * 2012-05-17 2012-10-03 深圳市一体医疗科技股份有限公司 一种无创体外固定标记点肿瘤定位系统及定位方法
CN104134210A (zh) * 2014-07-22 2014-11-05 兰州交通大学 基于组合相似性测度的2d-3d医学图像并行配准方法
CN105615909A (zh) * 2014-11-26 2016-06-01 株式会社东芝 图像处理装置、图像处理程序、图像处理方法以及治疗系统
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN108846830A (zh) * 2018-05-25 2018-11-20 妙智科技（深圳）有限公司 对ct中腰椎自动定位的方法、装置以及存储介质
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112614169A (zh) * 2020-12-24 2021-04-06 电子科技大学 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN113298854A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113298855A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN113421226A (zh) * 2021-06-03 2021-09-21 山东师范大学 基于互信息的ct-dr多模态食管图像配准方法及系统
CN113450396A (zh) * 2021-06-17 2021-09-28 北京理工大学 基于骨骼特征的三维/二维图像配准方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Fast DRR Generation Scheme for 3D-2D Image Registration Based on the Block Projection Method;Zhiping Mu;《2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;20161219;609-617 *
Fast DRR generation for 2D to 3D registration on GPUs;Gábor János Tornai 等;《Faculty of Information Technology》;20120831;4795-4799 *
一种基于2D/3D配准的脊柱术中校正方法*;曾玲 等;《中国组织工程研究与临床康复》;20110326;第15卷(第13期);2327-2330 *
基于DRR及相似性测度的2D－3D医学图像配准算法;麦永锋 等;《北京生物医学工程》;20210622;第40卷(第3期);263-272 *
股骨三维模型重建中的2D-3D非刚性配准方法研究;孙绍滨;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20140415(第（2014）04期);I138-876 *
脊柱微创手术机器人单椎体图像配准方法;宋国立 等;《科学通报》;20131220;第58卷;166-174 *

Also Published As

Publication number Publication date
CN113920178A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
US9901407B2 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109272024B (zh) 一种基于卷积神经网络的图像融合方法
CN108245788B (zh) 一种双目测距装置及方法、包括该装置的加速器放疗系统
CN106504321A (zh) 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN112562082A (zh) 一种三维人脸重建方法及系统
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
WO2020087257A1 (zh) 图像引导方法及装置、医疗设备、计算机可读存储介质
CN108320325A (zh) 牙列模型的生成方法及装置
CN113298855B (zh) 基于自动勾画的图像配准方法
CN113920178B (zh) 一种基于标记点的多视觉2d-3d图像配准方法及系统
US20210121244A1 (en) Systems and methods for locating patient features
CN111080681A (zh) 一种基于LoG算子的3D/2D医学图像配准方法
CN113920179B (zh) 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统
GB2358752A (en) Surface or volumetric data processing method and apparatus
Ben-Hamadou et al. A novel 3D surface construction approach: Application to three-dimensional endoscopic data
EP3234917B1 (en) Method and system for calculating a displacement of an object of interest
CN113487579B (zh) 自动勾画模型的多模态迁移方法
CN115018890A (zh) 一种三维模型配准方法及系统
Wang et al. Depth-layer-based patient motion compensation for the overlay of 3D volumes onto X-ray sequences
US10832422B2 (en) Alignment system for liver surgery
EP3432262A1 (en) Method and system for dynamic multi dimensional images of an object
Charreyron et al. Visual-kinematic monocular SLAM using a magnetic endoscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant