CN110009669A - 一种基于深度强化学习的3d/2d医学图像配准方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的3D/2D医学图像配准方法，先获取2D和3D医学图像并进行预处理，得到多分辨率的参考图像和浮动图像；然后搭建深度强化学习网络，对术前待配准3D图像做特定方向投影，得到不同变换参数的DRR图像，再计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像，最后利用深度强化学习网络对选出的DRR图像进行图像配准。

Description

一种基于深度强化学习的3D/2D医学图像配准方法

技术领域

本发明属于图像配准技术领域，更为具体地讲，涉及一种基于深度强化学习的3D/2D医学图像配准方法。

背景技术

临床手术中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即配准术前3D图像和术中2D图像。

目前的配准方法可分为基于灰度的方法、基于特征的方法和基于深度学习的方法。基于特征的配准方法又可分为基于外部特征和基于内部特征，基于外部特征通过在患者体内植入特异成像性质的植入物后进行医学成像，通过距离函数量化待配准图像中植入特征信息之间的相似性，该方法直接将标记物植入患者体内会造成患者机体损伤，配准结果有一定误差；基于内部特征选取图像内部的解剖纹理特征替代外部侵入物特征，该方法需要对图像进行景区分割和特征提取，图像配准的精度在很大程度上取决于特征信息的提取精度。总的来说，基于特征的配准忽略了大量的图像信息，导致配准精度低，且需要人工干预。基于灰度的配准算法利用相似性测度量化投影生成的2D图像与术中2D图像的相似性程度，并以优化算法迭代地搜索最优的相似性测度值表示图像到达的最佳配准状态，即最优空间变换参数，更多灰度信息的使用意味着更多的处理数据，计算复杂，配准时间较长，实时性差。Shun Miao提出使用深度回归网络直接预测2D/3D配准变换参数，但预处理步骤复杂，网络结构冗长，需要大量数据，并且端到端直接预测变换参数不利于保证配准精度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度强化学习的3D/2D医学图像配准方法，通过多分辨率的深度强化学习网络来进行图像配准，从而提高配准精度。

为实现上述发明目的，本发明一种基于深度强化学习的3D/2D医学图像配准方法，其特征在于，包括以下步骤：

(1)、获取2D和3D医学图像

获取X射线图像作为配准过程的术中2D参考图像，获取医学CT作为配准过程的训练图像集和术前待配准3D图像；

(2)、训练图像集预处理

将训练图像集输入至X射线成像计算模型，再随机变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)，通过该模型生成DRR图像，其中，i＝1,2,…,n，n为DRR图像个数；

随机选取一部分DRR图像作为参考图像，另一部分作为浮动图像；

(3)、修改参考图像和浮动图像的分辨率，得到分辨率为p₁的参考图像和分辨率为p₂的参考图像，以及分辨率为p₁的浮动图像和分辨率为p₂的浮动图像；

(4)、搭建深度强化学习网络

设深度强化学习网络的编码部分包含四条卷积路径L₁、L₂、L₃、L₄，L₁中输入分辨率为p₁的参考图像，L₂中输入分辨率为p₂的参考图像，L₃中输入分辨率为p₁的浮动图像，L₄中输入分辨率为p₂的浮动图像；

设深度强化学习网络的解码部分为Dueling网络，通过全连接层连接编码部分，解码输出为12个沿着变换参数t_x、t_y、t_z、r_x、r_y、r_z的正向和负向运动的动作和12个对应的奖励Q值；

(5)、术前待配准3D图像做特定方向投影

对术前待配准3D图像做体数据的矢状面、冠状面、轴面以及六个对角面所对应的法线方向的特定投影，得到9幅具有不同变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)的DRR图像，i＝1,2,…,9；

(6)、计算相似性测度

先对9幅DRR图像和2D参考图像进行去噪处理，然后分别计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像；

(7)、利用深度强化学习网络进行图像配准

(7.1)、将选出的DRR图像与2D参考图像进行重采样，再将采样后的图像作为深度强化学习网络的输入参考图像和浮动图像；

(7.2)、深度强化学习网络解码输出12个奖励Q值和对应的12个动作，然后选出奖励Q值中变化最大的一个，最后根据变化最大的奖励Q值及其对应的动作更新变换参数T_x，再根据更新后的变换参数T_x更新选出的DRR图像，并计算选出的DRR图像与2D参考图像的配准精度；

(7.3)、重复步骤(7.1)-(7.2)，当配准精度达到预期要求时，迭代停止，得到配准后的图像。

本发明的发明目的是这样实现的：

本发明基于深度强化学习的3D/2D医学图像配准方法，先获取2D和3D医学图像并进行预处理，得到多分辨率的参考图像和浮动图像；然后搭建深度强化学习网络，对术前待配准3D图像做特定方向投影，得到不同变换参数的DRR图像，再计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像，最后利用深度强化学习网络对选出的DRR图像进行图像配准。

同时，本发明基于深度强化学习的3D/2D医学图像配准方法还具有以下有益效果：

(1)、采用多分辨率图像作为输入，较大的尺度隐含地提供空间信息，因为它们足够大以识别体素在图像中的位置，而较小的尺度提供关于体素的局部邻域的详细信息，克服单一尺度造成的空间信息不足或者局部信息不足。

(2)、采用Dueling网络分别计算环境本身的价值和选择动作带来的奖励，相较于单一流DQN网络，分解这两个部分会让学习目标更稳定，更精确，使得智能体既不会在学习过程中陷入局部最优值，也会使得智能体学习的目标更加精确。使收敛速度更快，解决动作数增加时网络的精度问题。

(3)、从九个特定投影方向进行DRR图像投影，能够有效划分变换参数空间，从中选取与X射线图像相似性测度较高的DRR图像，能够有效解决浮动图像初始化问题，减少后续迭代步数，提高配准精度，提高实时性。

附图说明

图1是本发明基于深度强化学习的3D/2D医学图像配准方法流程图；

图2是深度学习强化网络结构图；

图3是Dueling网络模块结构图；

图4是术前待配准3D图像做特定方向投影示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

GPU(Graphics Processing Unit)：图形处理器；

DRR(Digitally reconstructed radiographs)：数字重建放射影像；

Dueling网络：竞争网络。

图1是本发明基于深度强化学习的3D/2D医学图像配准方法流程图。

在本实施例中，如图1所示，本发明一种基于深度强化学习的3D/2D医学图像配准方法，包括以下步骤：

S1、获取2D和3D医学图像

获取X射线图像作为配准过程的术中2D参考图像，获取LIDC-IDRI胸部CT作为配准过程的训练图像集和术前待配准3D图像。

S2、训练图像集预处理

将训练图像集输入至X射线成像计算模型，再随机变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)，通过该模型生成DRR图像，其中，i＝1,2,…,n，n为DRR图像个数；

其中，X射线成像计算模型可以采用基于GPU的Ray-Casting算法实现，模型具体为：

其中，I为X射线经过衰减后的能量，I₀为X射线初始能量，μ_i为人体组织i对应的线性衰减系数，d_i为射线在该组织中经过的距离；

随机选取一部分DRR图像作为参考图像，另一部分作为浮动图像；

S3、修改参考图像和浮动图像的分辨率，得到分辨率为p₁＝128×128的参考图像和分辨率为p₂＝224×224的参考图像，以及分辨率为p₁的浮动图像和分辨率为p₂的浮动图像。

S4、搭建深度强化学习网络

在本实施例中，如图2所示，深度强化学习网络由编码和解码两部分构成，其中，编码部分将输入图像编码成特征，解码部分是对编码特征进行解码，以确定输出动作奖赏。

设深度强化学习网络的编码部分包含四条卷积路径L₁、L₂、L₃、L₄，L₁中输入分辨率为p₁的参考图像，L₂中输入分辨率为p₂的参考图像，L₃中输入分辨率为p₁的浮动图像，L₄中输入分辨率为p₂的浮动图像；

在本实施例中，卷积路径L₁由5个卷积层和全连接层fc₁构成，输入分辨率p₁＝128×128的参考图像，fc₁有1024个神经元，第一个卷积层有32个卷积核，核大小为5×5，步长为2；第二个卷积层有64个卷积核，核大小为3×3，步长为2；第三个卷积层有64个卷积核，核大小为3×3，步长为2；第四个卷积层有128个卷积核，核大小为3×3，步长为1；第五个卷积层有128个卷积核，核大小为3×3，步长为1；

卷积路径L₂由5个卷积层和全连接层fc₂构成，输入分辨率p₂＝224×224的参考图像，第一个卷积层有32个卷积核，核大小为7×7，步长为2；第二个卷积层有64个卷积核，核大小为5×5，步长为2；第三个卷积层有64个卷积核，核大小为3×3，步长为2；第四个卷积层有128个卷积核，核大小为3×3，步长为2；第五个卷积层有128个卷积核，核大小为3×3，步长为1；

卷积路径L₃由5个卷积层和全连接层fc₃构成，输入分辨率p₁＝128×128的浮动图像；

卷积路径L₄由5个卷积层和全连接层fc₄构成，输入分辨率p₂＝224×224的浮动图像。同分辨率下所对应的输入网络结构相同，在此不再赘述；

设深度强化学习网络的解码部分为Dueling网络，通过全连接层连接编码部分，解码输出为12个沿着变换参数t_x、t_y、t_z、r_x、r_y、r_z的正向和负向运动的动作和12个对应的奖励Q值；

在本实施例中，如图3所示，Dueling网络由4个全连接层fc₅、fc₆、fc₇、fc₈构成，全连接层fc₅、fc₆都含有1024个神经元，全连接层fc₅、fc₆将得到的特征分解成两部分，分别输入动作价值网络和状态价值网络中，即6个神经元的全连接层fc₇和1个神经元的全连接层fc₈，最后把2个价值网络输出相加得到12个奖励Q值。

S5、术前待配准3D图像做特定方向投影

如图4所示，对术前待配准3D图像做体数据的矢状面、冠状面、轴面以及六个对角面所对应的法线方向的特定投影，得到9幅具有不同变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)的DRR图像，i＝1,2,…,9。

S6、计算相似性测度

先对9幅DRR图像和2D参考图像进行去噪处理，然后分别计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像；

其中，通过计算互信息I(A,B)来计算相似性测度，即：

H(A)＝-∑P_A(a)logP_AB(a,b)

H(B)＝-∑P_B(b)logP_AB(a,b)

I(A,B)＝H(A)+H(B)-H(A,B)

其中，H(A)表示DRR图像的熵，H(B)表示2D参考图像的熵，H(A,B)表示DRR图像和2D参考图像的联合熵，a、b为两幅图像中相关像素点的值，P_A(a)表示DRR图像中像素a的概率分布函数，P_B(b)表示2D参考图像中像素b的概率分布函数，P_AB(a,b)为DRR图像和2D参考图像之间的联合概率分布函数。

S7、利用深度强化学习网络进行图像配准

S7.1、将选出的DRR图像与2D参考图像进行重采样，再将采样后的图像作为深度强化学习网络的输入参考图像和浮动图像；

S7.2、深度强化学习网络解码输出12个奖励Q值和对应的12个动作，然后选出奖励Q值中变化最大的一个，最后根据变化最大的奖励Q值及其对应的动作更新变换参数T_x，再根据更新后的变换参数T_x更新选出的DRR图像，并计算选出的DRR图像与2D参考图像的配准精度；

S7.3、重复步骤S7.1-S7.2，当配准精度达到预期要求时，迭代停止，得到配准后的图像。

综上所述，本发明所涉及的基于深度强化学习的2D/3D医学图像配准方法，其理论基础为多分辨率深度强化学习网络，通过多分辨率输入有效解决空间信息与局部信息的矛盾；同时利用Dueling网络结构使收敛速度更快，解决动作数增加时网络的精度问题；从九个特定方向投影，将参数空间划分，选择相似性测度高的DRR图像作为浮动图像有效解决输入初始化问题，加速迭代速度和提高配准精度。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于深度强化学习的3D/2D医学图像配准方法，其特征在于，包括以下步骤：

(1)、获取2D和3D医学图像

获取X射线图像作为配准过程的术中2D参考图像，获取医学CT作为配准过程的训练图像集和术前待配准3D图像；

(2)、训练图像集预处理

将训练图像集输入至X射线成像计算模型，再随机变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)，通过该模型生成DRR图像，其中，i＝1,2,…,n；

随机选取一部分DRR图像作为参考图像，另一部分作为浮动图像；

(3)、修改参考图像和浮动图像的分辨率，得到分辨率为p₁的参考图像和分辨率为p₂的参考图像，以及分辨率为p₁的浮动图像和分辨率为p₂的浮动图像；

(4)、搭建深度强化学习网络

设深度强化学习网络的编码部分包含四条卷积路径L₁、L₂、L₃、L₄，L₁中输入分辨率为p₁的参考图像，L₂中输入分辨率为p₂的参考图像，L₃中输入分辨率为p₁的浮动图像，L₄中输入分辨率为p₂的浮动图像；

设深度强化学习网络的解码部分为Dueling网络，通过全连接层连接编码部分，解码输出为12个沿着变换参数t_x、t_y、t_z、r_x、r_y、r_z的正向和负向运动的动作和12个对应的奖励Q值；

(5)、术前待配准3D图像做特定方向投影

对术前待配准3D图像做体数据的矢状面、冠状面、轴面以及六个对角面所对应的法线方向的特定投影，得到9幅具有不同变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)的DRR图像，i＝1,2,…,9；

(6)、计算相似性测度

先对9幅DRR图像和2D参考图像进行进行去噪处理，然后分别计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像；

(7)、利用深度强化学习网络进行图像配准

(7.1)、将选出的DRR图像与2D参考图像进行重采样，再将采样后的图像作为深度强化学习网络的输入参考图像和浮动图像；

(7.2)、深度强化学习网络解码输出12个奖励Q值和对应的12个动作，然后选出奖励Q值中变化最大的一个，最后根据变化最大的奖励Q值及其对应的动作更新变换参数T_x，再根据更新后的变换参数T_x更新选出的DRR图像，并计算选出的DRR图像与2D参考图像的配准精度；

(7.3)、重复步骤(7.1)-(7.2)，当配准精度达到预期要求时，迭代停止，得到配准后的图像。

2.根据权利要求1所述的基于深度强化学习的3D/2D医学图像配准方法，其特征在于，所述的X射线成像计算模型为：

其中，I为X射线经过衰减后的能量，I₀为X射线初始能量，μ_i为人体组织i对应的线性衰减系数，d_i为射线在该组织中经过的距离。

3.根据权利要求1所述的基于深度强化学习的3D/2D医学图像配准方法，其特征在于，所述的相似性测度的计算方法为：

通过计算互信息I(A,B)来计算相似性测度，即：

H(A)＝-∑P_A(a)logP_AB(a,b)

H(B)＝-∑P_B(b)logP_AB(a,b)

I(A,B)＝H(A)+H(B)-H(A,B)

其中，H(A)表示DRR图像的熵，H(B)表示2D参考图像的熵，H(A,B)表示DRR图像和2D参考图像的联合熵，a、b为两幅图像中相关像素点的值，P_A(a)表示DRR图像中像素a的概率分布函数，P_B(b)表示2D参考图像中像素b的概率分布函数，P_AB(a,b)为DRR图像和2D参考图像之间的联合概率分布函数。