CN113920179B - 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统 - Google Patents

一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统 Download PDF

Info

Publication number
CN113920179B
CN113920179B CN202111321693.0A CN202111321693A CN113920179B CN 113920179 B CN113920179 B CN 113920179B CN 202111321693 A CN202111321693 A CN 202111321693A CN 113920179 B CN113920179 B CN 113920179B
Authority
CN
China
Prior art keywords
dimensional
image
point
points
rigid registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111321693.0A
Other languages
English (en)
Other versions
CN113920179A (zh
Inventor
李松峰
魏军
赖耀明
蒋斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baishi Data Technology Co ltd
Perception Vision Medical Technology Co ltd
Original Assignee
Guangzhou Baishi Data Technology Co ltd
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baishi Data Technology Co ltd, Perception Vision Medical Technology Co ltd filed Critical Guangzhou Baishi Data Technology Co ltd
Priority to CN202111321693.0A priority Critical patent/CN113920179B/zh
Publication of CN113920179A publication Critical patent/CN113920179A/zh
Application granted granted Critical
Publication of CN113920179B publication Critical patent/CN113920179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域，具体公开了一种基于标记点的多视觉2D‑3D图像非刚性配准方法及系统，其中方法包括：获取目标对戏的二维DR图像，以及对目标对象的三维CT图像进行重建得到N个二维DRR图像；将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；采用神经网络，分别将DR图像和DRR图像输入，并输出K对匹配点；通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。该方案比传统方法的运算时间更快，具有更强的可解释性。

Description

一种基于标记点的多视觉2D-3D图像非刚性配准方法及系统
技术领域
本发明涉及图像处理领域，具体公开了一种基于标记点的多视觉2D-3D图像非刚性配准方法及系统。
背景技术
临床医学中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即2D-3D医学图像。
2D-3D图像配准是指病人的术前拍摄的三维CT图像与术中拍摄的二维X-ray图像进行配准，使配准后的三维CT图像尽量接近术中实际的人体姿态，使通过该配准后的CT图像进行重建得到的二维图像(digitally reconstructed radiographs，DRR)与X-ray图像尽量相似。该技术主要应用于肺结节穿刺定位手术等。
传统的2D-3D图像配准方法运算时间较慢，可解释性较弱，不利于推广应用。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于标记点的多视觉2D-3D图像非刚性配准方法及系统，其能够提高运算效率，可解释性更强。
本发明提供了一种基于标记点的多视觉2D-3D图像非刚性配准方法，包括以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure BDA0003345515890000021
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure BDA0003345515890000022
Figure BDA0003345515890000023
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
优选地，所述S2具体包括：
所述神经网络的输入为单个二维的DR图像或DRR图像，所述神经网络的输出为与输入尺寸相同的K个通道的概率图，单个概率图中的像素的值表示该像素是对应标记点的概率，取该概率图中的概率最大值对应的像素即为对应标记点的位置。
优选地，所述神经网络为以Unet为基础的U型结构，所述U型结构的左侧编码器由四个残差模块(Residual Modules)和四个下采样交替组成，所述U型结构的右侧解码器由四个Residual Modules和四个上采样交替组成，并通过残差连接(skip-connection)将所述主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
优选地，所述S3具体包括：
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵
Figure BDA0003345515890000031
Figure BDA0003345515890000032
Figure BDA0003345515890000033
为点
Figure BDA0003345515890000034
的第1个维度的坐标值，
Figure BDA0003345515890000035
为点
Figure BDA0003345515890000036
的第2个维度的坐标值；
Figure BDA0003345515890000037
Figure BDA0003345515890000038
其中，Ak为N个
Figure BDA0003345515890000039
矩阵拼接组成，同理Bk为N个
Figure BDA00033455158900000310
矩阵拼接组成；则第k个三维标记点的坐标为：
Figure BDA00033455158900000311
其中，
Figure BDA00033455158900000312
为Ak的广义逆矩阵；
分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure BDA00033455158900000313
与CT对应的三维标记点集
Figure BDA00033455158900000314
Figure BDA00033455158900000315
便得到了K对匹配点。
优选地，所述S4具体包括：
得到刚性配准的变换矩阵R和位移向量t后，基于此重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准。
优选地，所述S4具体包括：
初始化位移场三维矩阵为零矩阵，其大小与三维CT相同，对矩阵中属于CT的匹配点的像素赋值为与该点对应的属于目标对象的匹配点的物理坐标的差值；然后采用如下基于控制点的样条插值法得到位移场矩阵剩余像素点的值；
Figure BDA0003345515890000041
B0(t)＝(1-t)3/6
B1(t)＝(3t3-6t2+4)/6
B2(t)＝(-3t3+3t2+3t+1)/6
B3(t)＝t3/6
其中(x,y，z)为位移场矩阵中某个已赋值的像素点在此新坐标系下的坐标位置，
Figure BDA0003345515890000047
表示x的往下取整，
Figure BDA0003345515890000048
为坐标位置在
Figure BDA0003345515890000045
Figure BDA0003345515890000046
的控制点，f(x，y,z)为该像素点的位移值，f'(x,y,z)为通过该像素点附近的16个控制点拟合的近似值，B为权重，t为位移变量。
优选地，所述S4具体包括：
对于某个像素点，满足f(x,y,z)＝f'(x,y,z)的控制点的值有多种解，因此加上最小化上式的约束条件后求解，得到控制点的最优解为：
Figure BDA0003345515890000042
Figure BDA0003345515890000043
其中，φi,j,k为
Figure BDA0003345515890000044
的简写。
优选地，所述S4之后还包括：
当能求解控制点φi,j,k的像素点不只一个时，各像素点通过上式求解得到该控制点的最优解可能不同，通过最小化下式，得到φi,j,k的最终解：
min e(φi,j,k)＝∑s(wsφi,j,k-wsφs)2
最终解为：
Figure BDA0003345515890000051
其中：
Figure BDA0003345515890000052
Figure BDA0003345515890000053
Si,j,k＝{(xs,ys,zs)|i-2≤xs<i+2,j-2≤ys<j+2,k-2≤zs<k+2}
Si,j,k为参与求解控制点φi,j,k的所有已赋值的像素点的集合；φs为通过坐标为(xs,ys,zs)的像素点得到的控制点最优解，ws为中间变量；
当能求解控制点φi,j,k的像素点个数为0时，对其赋值为0。
优选地，所述S4之后还包括：
在得到所有控制点的值后，位移场中剩余像素点的位移值均通过与其最接近的16个控制点拟合得到；
由于位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次，便得到非刚性配准的位移场三维矩阵；
得到非刚性配准的位移场三维矩阵后，可基于此对DRR重复执行上述步骤，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准，从而使位移场三维矩阵的结果更加精准。
本发明还提供了一种基于标记点的多视觉2D-3D图像非刚性配准系统，包括：
数据采集模块，用于获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
标记模块，用于将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
匹配模块，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure BDA0003345515890000061
Figure BDA0003345515890000062
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure BDA0003345515890000063
Figure BDA0003345515890000064
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
非刚性配准模块，用于通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
与现有技术相比，根据本发明的一种基于标记点的多视觉2D-3D图像非刚性配准方法及系统，其中方法包括：获取目标对戏的二维DR图像，以及对目标对象的三维CT图像进行重建得到N个二维DRR图像；将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；采用神经网络，分别将DR图像和DRR图像输入，并输出K对匹配点；通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。该方案比传统方法的运算时间更快，具有更强的可解释性。
附图说明
图1是根据本发明基于标记点的多视觉2D-3D图像非刚性配准方法的流程示意图；
图2为本发明提供的一种可能的电子设备的硬件结构示意图；
图3为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，根据本发明优选实施方式的一种基于标记点的多视觉2D-3D图像非刚性配准方法，包括以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数。在术中对人体拍摄N个视觉(多个不同位置的X射线源，N≥2)的二维X-ray图像(DR图像)，记作DR1、DR2、…、DRN，并通过相机标定算法得到各自的内参和外参，用于对术前拍摄的三维CT图像进行重建得到N个二维图像(digitallyreconstructed radiographs，DRR)，记作DRR1、DRR2、…、DRRN。
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果。训练神经网络用于识别二维图像中的标记点。把N个DR图像和N个DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果。
S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure BDA0003345515890000081
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure BDA0003345515890000082
Figure BDA0003345515890000083
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点。对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的三维标记点坐标，得到三维点集
Figure BDA0003345515890000084
Figure BDA0003345515890000085
同理对于DRR图像，得到与CT对应的三维标记点集
Figure BDA0003345515890000086
Figure BDA0003345515890000087
便得到了K对匹配点。
S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
在一个具体的实施场景中，具体步骤如下：
S1，在术中对人体拍摄N个视觉(多个不同位置的X射线源，N≥2)的二维X-ray图像(DR图像)，记作DR1、DR2、…、DRN，并通过相机标定算法得到各自的内参和外参，用于对术前拍摄的三维CT图像进行重建得到N个二维图像(digitally reconstructed radiographs，DRR)，记作DRR1、DRR2、…、DRRN。
S2，训练神经网络用于识别二维图像中的标记点。把N个DR图像和N个DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果。
对于DR图像，把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的三维标记点坐标，得到三维点集
Figure BDA0003345515890000088
Figure BDA0003345515890000089
同理对于DRR图像，得到与CT对应的三维标记点集
Figure BDA00033455158900000810
Figure BDA00033455158900000811
便得到了K对匹配点。
S3，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，并可以通过迭代的方式优化该结果。
在刚性配准的基础上，利用K对匹配点通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，并可以通过迭代的方式优化该结果。
本发明的一种基于标记点的多视觉2D-3D图像配准方法的一个具体实施的工作流程包括：
S1、准备配准用的图像；
步骤S1具体包括以下步骤：
S11、在术中对人体拍摄N个视觉(多个不同位置的X射线源，N≥2)的二维X-ray图像(DR图像)，记作DR1、DR2、…、DRN。
S12、通过相机标定算法得到每个视觉的内参和外参。
S13、对术前拍摄的三维CT图像进行重建得到N个二维图像(digitallyreconstructed radiographs，DRR)，记作DRR1、DRR2、…、DRRN。
S2、训练神经网络用于识别二维图像中的标记点；
步骤S2具体包括以下步骤：
S21、神经网络的输入为单个二维的DR图像或DRR图像，输出为K个通道的与输入尺寸相同的概率图，单个概率图中的某个像素的值表示该像素是对应标记点的概率，取该热力图中的最大值的像素即为对应标记点的位置。
S22、标记点是结合人为标注和已有算法的结果在三维CT图像上标识，再映射至二维图像用于神经网络的监督学习。标记点包括但不限于肋骨及脊柱等骨骼结构、肺部及肝脏等器官的外轮廓上的角点、外侧切点等。
S23、所述神经网络的结构以Unet为基础，U型结构的左侧编码器由4个ResidualModules和下采样交替组成，U型结构的右侧解码器由4个Residual Modules和上采样交替组成，并通过skip-connection将所述主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
S24、网络训练完成后，把N个DR图像和N个DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果。
S3、对于DR图像和DRR图像，分别把N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到三维标记点坐标，得到了K对匹配点；
步骤S3具体包括以下步骤：
S31、对于第k个三维标记点的N个视觉的DR或DRR二维图像的神经网络预测结果为
Figure BDA0003345515890000101
其中
Figure BDA0003345515890000102
表示第k个标记点在第n个二维图像的坐标。
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵：
Figure BDA0003345515890000103
Figure BDA0003345515890000104
其中：
Figure BDA0003345515890000105
为点
Figure BDA0003345515890000106
的第1个维度的坐标值，
Figure BDA0003345515890000107
为点
Figure BDA0003345515890000108
的第2个维度的坐标值。
Figure BDA0003345515890000109
Figure BDA00033455158900001010
其中，Ak为N个
Figure BDA00033455158900001011
矩阵拼接组成，同理Bk。则第k个三维标记点的坐标为：
Figure BDA00033455158900001012
其中，
Figure BDA00033455158900001013
为Ak的广义逆矩阵。
S32、分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure BDA00033455158900001014
与CT对应的三维标记点集
Figure BDA00033455158900001015
Figure BDA0003345515890000111
便得到了K对匹配点。
S4、通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，并可以通过迭代的方式优化该结果；
步骤S4具体包括以下步骤：
S41、得到所有匹配点对后，通过下式进行最小化，得到刚性配准的变换矩阵R和位移向量t的最优解：
Figure BDA0003345515890000112
最优解为：
Figure BDA0003345515890000115
Figure BDA0003345515890000113
Figure BDA0003345515890000114
U,S,V＝SVD(H)
R＝VU
t＝mean(PDR)-R mean(PDRR)
其中，PDR为DR图像中K个匹配点组成的矩阵，大小为3xK，mean(PDR)为K个匹配点的均值，大小为3x1，同理PDRR与mean(PDRR)。SVD(H)为对H做奇异值分解。
S42、得到刚性配准的变换矩阵R和位移向量t后，可基于此对DRR图像重复执行上述步骤，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对计算刚性配准，从而使R和t的结果更加精准。
S5、在刚性配准的基础上，利用K对匹配点通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，并可以通过迭代的方式优化该结果；
步骤S5具体包括以下步骤：
S51、得到刚性配准的变换矩阵R和位移向量t后，基于此重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准。
S52、初始化位移场三维矩阵为零矩阵，其大小与三维CT相同，对矩阵中属于CT的匹配点的像素赋值为与该点对应的属于人体的匹配点的物理坐标的差值；然后采用如下基于控制点的样条插值法得到位移场矩阵剩余像素点的值；
Figure BDA0003345515890000121
B0(t)＝(1-t)3/6
B1(t)＝(3t3-6t2+4)/6
B2(t)＝(-3t3+3t2+3t+1)/6
B3(t)＝t3/6
假设由一组m×n×l个控制点组成的网格作为新的像素坐标系，其中(x,y,z)为位移场矩阵中某个已赋值的像素点在此新坐标系下的坐标位置，
Figure BDA0003345515890000123
表示x的往下取整，
Figure BDA0003345515890000124
为坐标位置在
Figure BDA0003345515890000125
Figure BDA0003345515890000126
的控制点，f(x,y,z)为该像素点的位移值，f'(x,y,z)为通过该像素点附近的16个控制点拟合的近似值，B为权重，t为位移变量；
Figure BDA0003345515890000122
对于某个像素点，满足f(x,y,z)＝f'(x,y,z)的控制点的值有多种解，因此加上最小化上式的约束条件后求解，得到控制点的最优解为：
Figure BDA0003345515890000131
Figure BDA0003345515890000132
其中，φi,j,k为
Figure BDA0003345515890000133
的简写；
当能求解控制点φi,j,k的像素点不只一个时，各像素点通过上式求解得到该控制点的最优解可能不同，通过最小化下式，得到φi,j,k的最终解：
min e(φi,j,k)＝∑s(wsφi,j,k-wsφs)2
最终解为：
Figure BDA0003345515890000134
其中：
Figure BDA0003345515890000135
Figure BDA0003345515890000136
Si,j,k＝{(xs,ys,zs)|i-2≤xs<i+2,j-2≤ys<j+2,k-2≤zs<k+2}
Si,j,k为参与求解控制点φi,j,k的所有已赋值的像素点的集合；φs为通过坐标为(xs,ys,zs)的像素点得到的控制点最优解；
当能求解控制点φi,j,k的像素点个数为0时，对其赋值为0；
在得到所有控制点的值后，位移场中剩余像素点的位移值均通过其附近的16个控制点拟合得到；
由于位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次，便得到非刚性配准的位移场三维矩阵。
S53、得到非刚性配准的位移场三维矩阵后，可基于此对DRR重复执行上述步骤，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准，从而使位移场三维矩阵的结果更加精准。
本发明公开了一种基于标记点的多视觉2D-3D图像非刚性配准方法，方法包括：在术中对人体拍摄多个视觉的二维X-ray图像(DR图像)，对术前拍摄的三维CT图像进行重建得到多个视觉的二维DRR图像；训练神经网络分别识别多个DR图像和DRR图像的二维标记点结果；对于DR图像，通过反向映射算法得到与人体对应的三维标记点集，对于DRR图像，得到与CT对应的三维标记点集，便得到了匹配点集；通过最小化匹配点集的点距离总和，拟合出刚性配准的变换矩阵，并可以通过迭代的方式优化该结果；在刚性配准的基础上，利用匹配点集通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，并可以通过迭代的方式优化该结果。本发明能本发明通过神经网络进行2D-3D图像配准，比传统方法的运算时间更快；采用匹配点进行配准，可解释性更强，且对刚性配准及非刚性配准均能实现。
请参阅图2为本发明实施例提供的电子设备的实施例示意图。如图2所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure BDA0003345515890000151
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure BDA0003345515890000152
Figure BDA0003345515890000153
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
请参阅图3为本发明提供的一种计算机可读存储介质的实施例示意图。如图3所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure BDA0003345515890000154
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure BDA0003345515890000155
Figure BDA0003345515890000156
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明通过神经网络进行2D-3D图像配准，比传统方法的运算时间更快。
(2)本发明采用匹配点进行配准，可解释性更强。
(3)本发明本发明采用匹配点进行配准，对刚性配准及非刚性配准均能实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，包括以下步骤：
S1，获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为不小于2的正整数；
S2，将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
S3，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure FDA0003555454220000011
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure FDA0003555454220000012
Figure FDA0003555454220000013
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
S4，通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
2.如权利要求1所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S2具体包括：
所述神经网络的输入为单个二维的DR图像或DRR图像，所述神经网络的输出为与输入尺寸相同的K个通道的概率图，单个概率图中的像素的值表示该像素是对应标记点的概率，取该概率图中的概率最大值对应的像素即为对应标记点的位置。
3.如权利要求2所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述神经网络为以Unet为基础的U型结构，所述U型结构的左侧编码器由四个残差模块Residual Modules和四个下采样交替组成，所述U型结构的右侧解码器由四个ResidualModules和四个上采样交替组成，并通过残差连接skip-connection将主网络的编码器中部分较浅层的高分辨率特征与解码器中对应层的特征进行融合，以补充由下采样带来的细节损失，解码器最后一个Residual Modules后接一个通道数为K的卷积层，输出多通道概率图。
4.如权利要求1所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S3具体包括：
记第n个视觉的内参矩阵为Intrin，大小为3x3，其X射线源位置相对于第1个视觉的X射线源位置的偏移量为Offsetn，大小为3x1，记矩阵
Figure FDA0003555454220000021
Figure FDA0003555454220000022
Figure FDA0003555454220000023
为点
Figure FDA0003555454220000024
的第1个维度的坐标值，
Figure FDA0003555454220000025
为点
Figure FDA0003555454220000026
的第2个维度的坐标值；
Figure FDA0003555454220000027
Figure FDA0003555454220000028
其中，Ak为N个
Figure FDA0003555454220000029
矩阵拼接组成，同理Bk为N个
Figure FDA00035554542200000210
矩阵拼接组成；则第k个三维标记点的坐标为：
Figure FDA00035554542200000214
其中，
Figure FDA00035554542200000215
为Ak的广义逆矩阵；n≤N；
分别对DR图像和DRR图像的K个标记点作上述步骤，得到与人体对应的三维标记点集
Figure FDA00035554542200000211
与CT对应的三维标记点集
Figure FDA00035554542200000212
Figure FDA00035554542200000213
便得到了K对匹配点。
5.如权利要求1所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S4具体包括：
得到刚性配准的变换矩阵R和位移向量t后，基于此重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准。
6.如权利要求5所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S4具体包括：
初始化位移场三维矩阵为零矩阵，其大小与三维CT相同，对矩阵中属于CT的匹配点的像素赋值为与该点对应的属于目标对象的匹配点的物理坐标的差值；然后采用如下基于控制点的样条插值法得到位移场矩阵剩余像素点的值；
Figure FDA0003555454220000031
B0(t)＝(1-t)3/6
B1(t)＝(3t3-6t2+4)/6
B2(t)＝(-3t3+3t2+3t+1)/6
B3(t)＝t3/6
其中(x，y，z)为位移场矩阵中某个已赋值的像素点在此新坐标系下的坐标位置，
Figure FDA0003555454220000032
为坐标位置在
Figure FDA0003555454220000033
Figure FDA0003555454220000034
的控制点，f(x，y，z)为该像素点的位移值，f′(x，y，z)为通过该像素点附近的16个控制点拟合的近似值，B为权重，t为位移变量。
7.如权利要求6所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S4具体包括：
对于某个像素点，满足f(x，y，z)＝f′(x，y，z)的控制点的值有多种解，因此加上最小化上式的约束条件后求解，得到控制点的最优解为：
Figure FDA0003555454220000041
Figure FDA0003555454220000042
其中，φi，j，k为
Figure FDA0003555454220000043
的简写。
8.如权利要求7所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S4之后还包括：
当能求解控制点φi，j，k的像素点不只一个时，各像素点通过上式求解得到该控制点的最优解可能不同，通过最小化下式，得到φi，j，k的最终解：
min e(φi，j，k)＝∑s(wsφi，j，k-wsφs)2
最终解为：
Figure FDA0003555454220000044
其中：
Figure FDA0003555454220000045
Figure FDA0003555454220000046
Si，j，k＝{(xs，ys，zs)|i-2≤xs＜i+2，j-2≤ys＜j+2，k-2≤zs＜k+2}
Si，j，k为参与求解控制点φi，h，k的所有已赋值的像素点的集合；φs为通过坐标为(xs，ys，zs)的像素点得到的控制点最优解，ws为中间变量；
当能求解控制点φi，j，k的像素点个数为0时，对其赋值为0。
9.如权利要求8所述的基于标记点的多视觉2D-3D图像非刚性配准方法，其特征在于，所述S4之后还包括：
在得到所有控制点的值后，位移场中剩余像素点的位移值均通过与其最接近的16个控制点拟合得到；
由于位移值是三维向量，即x、y、z方向，故上述插值过程需重复3次，即每个方向分别进行一次，便得到非刚性配准的位移场三维矩阵；
得到非刚性配准的位移场三维矩阵后，可基于此对DRR重复执行上述步骤，即重新生成N个DRR图像，用神经网络预测二维标记点，反向映射得到三维标记点，与DR的三维标记点组成匹配点对进行非刚性配准，从而使位移场三维矩阵的结果更加精准。
10.一种基于标记点的多视觉2D-3D图像非刚性配准系统，其特征在于，包括：
数据采集模块，用于获取目标对象的N个视觉下的二维DR图像，记作DR1、DR2、…、DRN，并通过相机标定算法得到各DR图像的内参和外参，对目标对象的三维CT图像进行重建得到N个二维DRR图像，记作DRR1、DRR2、…、DRRN；其中N为不小于2的正整数；
标记模块，用于将各DR图像和DRR图像分别输入神经网络，得到每个图像的K个二维标记点结果；
匹配模块，对于DR图像，将N个视觉下的神经网络输出的二维标记点坐标通过反向映射算法得到与人体对应的第一组三维标记点集
Figure FDA0003555454220000051
Figure FDA0003555454220000052
同理对于DRR图像，得到与CT对应的第二组三维标记点集
Figure FDA0003555454220000053
Figure FDA0003555454220000054
所述第一组三维标记点集与所述第二组三维标记点集分别一一对应形成K对匹配点；
非刚性配准模块，用于通过最小化K对匹配点的点距离总和，拟合出刚性配准的变换矩阵，然后利用K对匹配点，通过基于控制点的插值法得到非刚性配准的位移场三维矩阵，最后通过迭代的方式优化该结果。
CN202111321693.0A 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统 Active CN113920179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111321693.0A CN113920179B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111321693.0A CN113920179B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统

Publications (2)

Publication Number Publication Date
CN113920179A CN113920179A (zh) 2022-01-11
CN113920179B true CN113920179B (zh) 2022-04-29

Family

ID=79245699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111321693.0A Active CN113920179B (zh) 2021-11-09 2021-11-09 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统

Country Status (1)

Country Link
CN (1) CN113920179B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128936A (zh) * 2023-02-15 2023-05-16 北京纳通医用机器人科技有限公司 配准方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785632A (zh) * 2021-02-13 2021-05-11 常州市第二人民医院 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN113255774A (zh) * 2021-05-27 2021-08-13 苏州雷泰医疗科技有限公司 基于解剖结构检测的自动摆位方法、装置及放射治疗设备
CN113298854A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113421226A (zh) * 2021-06-03 2021-09-21 山东师范大学 基于互信息的ct-dr多模态食管图像配准方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10818019B2 (en) * 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785632A (zh) * 2021-02-13 2021-05-11 常州市第二人民医院 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN113255774A (zh) * 2021-05-27 2021-08-13 苏州雷泰医疗科技有限公司 基于解剖结构检测的自动摆位方法、装置及放射治疗设备
CN113298854A (zh) * 2021-05-27 2021-08-24 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113421226A (zh) * 2021-06-03 2021-09-21 山东师范大学 基于互信息的ct-dr多模态食管图像配准方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IGCN:Image-to-graph convolutional network for 2d/3d deformable registration;Megumi et al.;《arxiv.org》;20211031;全文 *
基于深度学习的2D/3D医学图像配准研究;陈向前 等;《中国生物医学工程学报》;20200430;全文 *

Also Published As

Publication number Publication date
CN113920179A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109272024B (zh) 一种基于卷积神经网络的图像融合方法
CN113099208A (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
CN112562082A (zh) 一种三维人脸重建方法及系统
CN113298855B (zh) 基于自动勾画的图像配准方法
TWI785588B (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
US9042614B2 (en) Image registration method
CN111080681A (zh) 一种基于LoG算子的3D/2D医学图像配准方法
CN113920179B (zh) 一种基于标记点的多视觉2d-3d图像非刚性配准方法及系统
CN113870331B (zh) 一种基于深度学习的胸部ct与x光实时配准算法
CN111080778A (zh) 一种双目内窥镜软组织图像的在线三维重建方法
CN113920178B (zh) 一种基于标记点的多视觉2d-3d图像配准方法及系统
CN111080680A (zh) 一种面向患者的三维胸部器官重建方法和系统
CN112308764A (zh) 图像配准方法及装置
GB2358752A (en) Surface or volumetric data processing method and apparatus
CN109903264B (zh) 数字人图像与ct图像的配准方法及系统
Jia et al. Improving intraoperative liver registration in image-guided surgery with learning-based reconstruction
CN117788617A (zh) 一种基于多头注意力的运动流形分解模型的pet呼吸运动图像伪影配准校正方法
CN109559296A (zh) 基于全卷积神经网络和互信息的医学图像配准方法及系统
CN115457142B (zh) 一种mr混合摄影相机的标定方法和系统
CN109872353A (zh) 基于改进迭代最近点算法的白光数据与ct数据配准方法
CN115018890A (zh) 一种三维模型配准方法及系统
CN113850710A (zh) 一种跨模态医学影像精准转换方法
Deng et al. Study of visual SLAM methods in minimally invasive surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant