CN114627054A - 基于多尺度强化学习的ct-x图像配准方法及装置 - Google Patents
基于多尺度强化学习的ct-x图像配准方法及装置 Download PDFInfo
- Publication number
- CN114627054A CN114627054A CN202210133633.4A CN202210133633A CN114627054A CN 114627054 A CN114627054 A CN 114627054A CN 202210133633 A CN202210133633 A CN 202210133633A CN 114627054 A CN114627054 A CN 114627054A
- Authority
- CN
- China
- Prior art keywords
- image
- drr
- scale
- registration
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002787 reinforcement Effects 0.000 title claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 20
- 230000000875 corresponding effect Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000014616 translation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
基于多尺度强化学习的CT‑X图像配准方法及装置，能够实现自动将术前CT图像配准至术中X图像上，配准时间短，配准精度高。方法包括：(1)设计带权重奖励的智能体；(2)对浮动图像进行空间降维；(3)浮动图像与目标图像域适应；(4)执行多尺度智能体策略。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于多尺度强化学习的CT-X图像配准方法，以及基于多尺度强化学习的CT-X图像配准装置。
背景技术
术前术中影像配准是手术导航应用中的关键技术。X-ray具有实时成像的特点，常用作微创手术的术中引导图像，如经颈静脉肝内门腔静脉分流术(Tips)、脊柱微创手术(MISS)等，但它是2D成像，缺乏深度信息、易产生伪影、成像质量低。如果CT影像扫描为3D成像，则成像质量高，但成像耗时，所以一般用于术前诊断。因此，传统手术中医生往往要多次对照术前3D影像(CT图像)和术中2D影像(X图像)，才能圆满完成手术。近年来，越来越多的研究将术前3D图像配准融合到术中2D图像，以完成高维信息到低维信息的补偿，为医生提供术中导航，进而减少医生的手术时间，降低患者的辐射暴露风险。
然而，术前CT图像到术中X图像的配准任务基于不同模态和不同维度，配准过程很难不在依赖临床经验和解剖学知识的专家指导下进行。目前临床中常采用手动的方法，或者采用半自动的方法来完成配准，如Philips Healthcare Vessel Navigator 1和GEVessel assist 2系统，或者结合额外的标志物(如铅点)来辅助完成。因此，CT与X图像的无标自动配准是一项具有挑战的任务，有助于减少冗长的学习曲线，降低配准时间，并且提升配准精度。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于多尺度强化学习的CT-X图像配准方法，其能够实现自动将术前CT图像配准至术中X图像上，配准时间短，配准精度高。
本发明的技术方案是：这种基于多尺度强化学习的CT-X图像配准方法，其包括以下步骤：
(1)设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
(2)对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
(3)浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
(4)执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
本发明通过输入三维CT图像和二维X图像，其中三维CT图像为浮动图像，二维X图像为目标图像；定义智能体的状态、动作空间、停止条件和带平面内外变换权重的奖励；采用Cycle-GAN结构将二维X图像生成模拟DRR图像，完成浮动图像和目标图像的域适应；三维CT图像根据当前变换，投影生成指定大小的二维DRR感兴趣区域；选择一种强化学习框架，训练多尺度智能体寻找最佳变换，直至CT图像生成的DRR图像和X图像达到最大相似度，即达到配准停止条件时输出配准变换结果，因此本发明能够实现自动将术前CT图像配准至术中X图像上，配准时间短，配准精度高。
还提供了基于多尺度强化学习的CT-X图像配准装置，其包括：
设计模块，其配置来设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
空间降维模块，其配置来对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
适应模块，其配置来浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
执行模块，其配置来执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
附图说明
图1是根据本发明的基于多尺度强化学习的CT-X图像配准方法的流程图。
图2是根据本发明的点光源成像原理示意图。
图3是根据本发明的浮动图像与目标图像域适应的流程图。
图4是根据本发明的多尺度智能体策略训练示意图。
具体实施方式
如图1所示，这种基于多尺度强化学习的CT-X图像配准方法，其包括以下步骤：
(1)设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
(2)对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
(3)浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
(4)执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
本发明通过输入三维CT图像和二维X图像，其中三维CT图像为浮动图像，二维X图像为目标图像；定义智能体的状态、动作空间、停止条件和带平面内外变换权重的奖励；采用Cycle-GAN结构将二维X图像生成模拟DRR图像，完成浮动图像和目标图像的域适应；三维CT图像根据当前变换，投影生成指定大小的二维DRR感兴趣区域；选择一种强化学习框架，训练多尺度智能体寻找最佳变换，直至CT图像生成的DRR图像和X图像达到最大相似度，即达到配准停止条件时输出配准变换结果，因此本发明能够实现自动将术前CT图像配准至术中X图像上，配准时间短，配准精度高。
优选地，所述步骤(1)中，
状态：环境E由二维X图像和三维CT图像共同构成，状态空间
用特殊欧式群SE(3)来表示：
动作：针对CT-X图像刚性配准的6自由度变换T＝{tx,ty,tz,rx,ry,rz}参数映射为12个离散的动作，CT图像空间中沿X,Y和Z轴正负方向上的平移和旋转：
每一时刻智能体从12个离散动作中选择一种来更新变换T对应的参数，如+Δtx表示智能体在t时刻按照给定的步长沿X轴正向平移，更新T＝{tx+Δtx,ty,tz,rx,ry,rz}；
停止条件：训练中D(Tt-Tgt)<thr时完成配准任务，智能体达到停止条件，测试时无金标准Tgt监督是否停止，因此当变换进入微小的震荡周期Δt时判定为停止条件，将最大执行步数Stepmax＝150作为另一个停止条件；
奖励：奖励是环境E对智能体在状态Tt时采取动作at的直接评价，采用公式(2)、(3)：
R(T)＝μ1R(Tin)+μ2R(Tout) (2)
其中μ1,μ2分别为平面内和平面外变换的奖励权重，定义训练时D(Tt-Tgt)<thr配准任务成功,获得一个较大的终点奖励Rend，重新构建即时奖励函数：
当智能体距金标准变换距离大于阈值，采用公式(2)计算奖励；当离金标准变换小于阈值，给予终点奖励。
优选地，所述步骤(2)中，设有CT图像Ict中的点
如图2所示，射线源S根据点光源成像原理投影到X图像上Ix，生成二维DRR图像上的点
则点A3D和B2D的空间关系表示为公式(4)：
其中
和
分别为A和B齐次坐标的转置，α为齐次项系数，
为投影矩阵。
优选地，所述步骤(3)中，基于Cycle-GAN的网络架构包含两个生成器和两个判别器，设X图像和DRR图像的数据分布分别是x～p(x)和d～p(d)，则整个图像生成包含以下步骤(如图3所示)：
(3.1)真实X图像生成DRR图像：Gd用于真实X图像到DRR图像的生成，判别器Dd用于判断生成器Gd结果是否接近真实DRR图像，损失函数为
(3.2)真实DRR图像生成X图像：Gx用于真实DRR图像到X图像的生成，判别器为Dx判断Gx结果是否接近真实X图像，损失函数为
(3.3)真实X图像循环得到X图像：Cycle-GAN具有CycleConsistency约束，真实X图像经过Gd生成的DRR图像经过Gx还原成X图像，x→Gd(x)→Gx(Gd(x))≈x，损失函数为
(3.4)真实DRR图像循环得到DRR图像：真实DRR图像通过Gx生成的X图像被Gd还原成DRR图像，d→Gx(d)→Gd(Gx(d))≈d，损失函数为
整体损失函数为公式(5)：
其中，λi为平衡各个loss的权重，生成器Gd和Gx采用Resnet9结构，判别器Dd和Dx为3层卷积网络，最后一层输出1通道预测图，实现X-DRR图像生成的端到端训练。
优选地，如图4所示，所述步骤(4)包括以下分步骤：
(4.1)随机初始化CT位姿Tini，智能体与CT位姿一致，基于CT中心投影生成多尺度对应第一级别大小的正方形DRR感兴趣区域，并基于X图像生成的模拟DRR图像中心剪裁出对应同等大小的感兴趣区域；
(4.2)智能体以当前级别对应的动作步长进行空间变换，直至当前级别的变换收敛后进入下一个级别；
(4.3)进入下一级别后，采用下一级别尺度大小和动作步长为继续搜索当前级别最优变换；
(4.4)若已达到收敛条件且处于最终尺度级别，则执行步骤(4.5)，否则执行步骤(4.2)；
(4.5)判定搜索结束，当前变换为全局最佳空间变换。
优选地，所述步骤(4)中，
采用任意一种在线或离线深度强化学习框架，为每一级尺度的智能体训练一个不同的模型参数θm，m为多尺度智能体的级别；所有尺度的智能体都采用相同的网络结构，不同尺度级别之间的网络不进行参数共享；每个尺度级别以上一个尺度级别的收敛变换Tm为起点继续寻找最佳变换。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于多尺度强化学习的CT-X图像配准装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
设计模块，其配置来设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
空间降维模块，其配置来对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
适应模块，其配置来浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
执行模块，其配置来执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.基于多尺度强化学习的CT-X图像配准方法，其特征在于：其包括以下步骤：
(1)设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
(2)对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
(3)浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
(4)执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
2.根据权利要求1所述的基于多尺度强化学习的CT-X图像配准方法，其特征在于：所述步骤(1)中，
状态：环境E由二维X图像和三维CT图像共同构成，状态空间
用特殊欧式群SE(3)来表示：
动作：针对CT-X图像刚性配准的6自由度变换T＝{tx,ty,tz,rx,ry,rz}参数映射为12个离散的动作，CT图像空间中沿X,Y和Z轴正负方向上的平移和旋转：
每一时刻智能体从12个离散动作中选择一种来更新变换T对应的参数，如+Δtx表示智能体在t时刻按照给定的步长沿X轴正向平移，更新T＝{tx+Δtx,ty,tz,rx,ry,rz}；
停止条件：训练中D(Tt-Tgt)<thr时完成配准任务，智能体达到停止条件，测试时无金标准Tgt监督是否停止，因此当变换进入微小的震荡周期Δt时判定为停止条件，将最大执行步数Stepmax＝150作为另一个停止条件；
奖励：奖励是环境E对智能体在状态Tt时采取动作at的直接评价，采用公式(2)、(3)：
R(T)＝μ1R(Tin)+μ2R(Tout) (2)
其中μ1,μ2分别为平面内和平面外变换的奖励权重，定义训练时D(Tt-Tgt)<thr配准任务成功,获得一个较大的终点奖励Rend，重新构建即时奖励函数：
当智能体距金标准变换距离大于阈值，采用公式(2)计算奖励；当离金标准变换小于阈值，给予终点奖励。
3.根据权利要求2所述的基于多尺度强化学习的CT-X图像配准方法，其特征在于：所述步骤(2)中，设有CT图像Ict中的点
射线源S根据点光源成像原理投影到X图像上Ix，生成二维DRR图像上的点
则点A3D和B2D的空间关系表示为公式(4)：
其中
和
分别为A和B齐次坐标的转置，α为齐次项系数，
为投影矩阵。
4.根据权利要求3所述的基于多尺度强化学习的CT-X图像配准方法，其特征在于：所述步骤(3)中，基于Cycle-GAN的网络架构包含两个生成器和两个判别器，设X图像和DRR图像的数据分布分别是x～p(x)和d～p(d)，则整个图像生成包含以下步骤：
(3.1)真实X图像生成DRR图像：Gd用于真实X图像到DRR图像的生成，判别器Dd用于判断生成器Gd结果是否接近真实DRR图像，损失函数为
(3.2)真实DRR图像生成X图像：Gx用于真实DRR图像到X图像的生成，判别器为Dx判断Gx结果是否接近真实X图像，损失函数为
(3.3)真实X图像循环得到X图像：Cycle-GAN具有CycleConsistency约束，真实X图像经过Gd生成的DRR图像经过Gx还原成X图像，x→Gd(x)→Gx(Gd(x))≈x，损失函数为
(3.4)真实DRR图像循环得到DRR图像：真实DRR图像通过Gx生成的X图像被Gd还原成DRR图像，d→Gx(d)→Gd(Gx(d))≈d，损失函数为
整体损失函数为公式(5)：
其中，λi为平衡各个loss的权重，生成器Gd和Gx采用Resnet9结构，判别器Dd和Dx为3层卷积网络，最后一层输出1通道预测图，实现X-DRR图像生成的端到端训练。
5.根据权利要求4所述的基于多尺度强化学习的CT-X图像配准方法，其特征在于：所述步骤(4)包括以下分步骤：
(4.1)随机初始化CT位姿Tini，智能体与CT位姿一致，基于CT中心投影生成多尺度对应第一级别大小的正方形DRR感兴趣区域，并基于X图像生成的模拟DRR图像中心剪裁出对应同等大小的感兴趣区域；
(4.2)智能体以当前级别对应的动作步长进行空间变换，直至当前级别的变换收敛后进入下一个级别；
(4.3)进入下一级别后，采用下一级别尺度大小和动作步长为继续搜索当前级别最优变换；
(4.4)若已达到收敛条件且处于最终尺度级别，则执行步骤(4.5)，否则执行步骤(4.2)；
(4.5)判定搜索结束，当前变换为全局最佳空间变换。
6.根据权利要求5所述的基于多尺度强化学习的CT-X图像配准方法，其特征在于：所述步骤(4)中，
采用任意一种在线或离线深度强化学习框架，为每一级尺度的智能体训练一个不同的模型参数θm，m为多尺度智能体的级别；所有尺度的智能体都采用相同的网络结构，不同尺度级别之间的网络不进行参数共享；每个尺度级别以上一个尺度级别的收敛变换Tm为起点继续寻找最佳变换。
7.基于多尺度强化学习的CT-X图像配准方法，其特征在于：其包括：
设计模块，其配置来设计带权重奖励的智能体：定义配准智能体的状态、动作空间和停止条件，同时，根据平面内和平面外空间变换的特性，设计带权重的奖励函数；
空间降维模块，其配置来对浮动图像进行空间降维：采用数字影像重建技术DRR基于光线投射法生成二维模拟X图像；
适应模块，其配置来浮动图像与目标图像域适应：采用Cycle-GAN网络将真实X图像生成模拟DRR图像，再将其作为新的目标配准图像，以降低浮动图像和目标图像之间的域差异；
执行模块，其配置来执行多尺度智能体策略：首先，定义智能体多尺度级别及其对应的动作步长和感兴趣区域大小；然后，在每一个尺度都采用相同的网络结构，并在不同尺度上训练一个独立的网络参数；同时，除了初始尺度，每个尺度都以在上一个尺度上收敛的空间变换，作为搜索当前尺度最优变换的起点。
8.根据权利要求7所述的基于多尺度强化学习的CT-X图像配准装置，其特征在于：所述设计模块中，
状态：环境E由二维X图像和三维CT图像共同构成，状态空间
用特殊欧式群SE(3)来表示：
动作：针对CT-X图像刚性配准的6自由度变换T＝{tx,ty,tz,rx,ry,rz}参数映射为12个离散的动作，CT图像空间中沿X,Y和Z轴正负方向上的平移和旋转：
每一时刻智能体从12个离散动作中选择一种来更新变换T对应的参数，如+Δtx表示智能体在t时刻按照给定的步长沿X轴正向平移，更新T＝{tx+Δtx,ty,tz,rx,ry,rz}；
停止条件：训练中D(Tt-Tgt)<thr时完成配准任务，智能体达到停止条件，测试时无金标准Tgt监督是否停止，因此当变换进入微小的震荡周期Δt时判定为停止条件，将最大执行步数Stepmax＝150作为另一个停止条件；
奖励：奖励是环境E对智能体在状态Tt时采取动作at的直接评价，采用公式(2)、(3)：
R(T)＝μ1R(Tin)+μ2R(Tout) (2)
其中μ1,μ2分别为平面内和平面外变换的奖励权重，定义训练时D(Tt-Tgt)<thr配准任务成功,获得一个较大的终点奖励Rend，重新构建即时奖励函数：
当智能体距金标准变换距离大于阈值，采用公式(2)计算奖励；当离金标准变换小于阈值，给予终点奖励。
9.根据权利要求8所述的基于多尺度强化学习的CT-X图像配准装置，其特征在于：所述空间降维模块中，设有CT图像Ict中的点
射线源S根据点光源成像原理投影到X图像上Ix，生成二维DRR图像上的点
则点A3D和B2D的空间关系表示为公式(4)：
其中
和
分别为A和B齐次坐标的转置，α为齐次项系数，
为投影矩阵。
10.根据权利要求9所述的基于多尺度强化学习的CT-X图像配准装置，其特征在于：所述适应模块中，基于Cycle-GAN的网络架构包含两个生成器和两个判别器，设X图像和DRR图像的数据分布分别是x～p(x)和d～p(d)，则整个图像生成包含以下步骤：
(3.1)真实X图像生成DRR图像：Gd用于真实X图像到DRR图像的生成，判别器Dd用于判断生成器Gd结果是否接近真实DRR图像，损失函数为
(3.2)真实DRR图像生成X图像：Gx用于真实DRR图像到X图像的生成，判别器为Dx判断Gx结果是否接近真实X图像，损失函数为
(3.3)真实X图像循环得到X图像：Cycle-GAN具有Cycle Consistency约束，真实X图像经过Gd生成的DRR图像经过Gx还原成X图像，x→Gd(x)→Gx(Gd(x))≈x，损失函数为
(3.4)真实DRR图像循环得到DRR图像：真实DRR图像通过Gx生成的X图像被Gd还原成DRR图像，d→Gx(d)→Gd(Gx(d))≈d，损失函数为
整体损失函数为公式(5)：
其中，λi为平衡各个loss的权重，生成器Gd和Gx采用Resnet9结构，判别器Dd和Dx为3层卷积网络，最后一层输出1通道预测图，实现X-DRR图像生成的端到端训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210133633.4A CN114627054A (zh) | 2022-02-11 | 2022-02-11 | 基于多尺度强化学习的ct-x图像配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210133633.4A CN114627054A (zh) | 2022-02-11 | 2022-02-11 | 基于多尺度强化学习的ct-x图像配准方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627054A true CN114627054A (zh) | 2022-06-14 |
Family
ID=81897683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210133633.4A Pending CN114627054A (zh) | 2022-02-11 | 2022-02-11 | 基于多尺度强化学习的ct-x图像配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627054A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116497A1 (en) * | 2015-09-16 | 2017-04-27 | Siemens Healthcare Gmbh | Intelligent Multi-scale Medical Image Landmark Detection |
| US20190050999A1 (en) * | 2017-08-14 | 2019-02-14 | Siemens Healthcare Gmbh | Dilated Fully Convolutional Network for Multi-Agent 2D/3D Medical Image Registration |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
| CN112614169A (zh) * | 2020-12-24 | 2021-04-06 | 电子科技大学 | 基于深度学习网络的2d/3d脊椎ct层级配准方法 |
| CN113066111A (zh) * | 2021-03-12 | 2021-07-02 | 北京工业大学 | 一种基于ct影像的心脏二尖瓣顶点的自动定位方法 |
| CN113392935A (zh) * | 2021-07-09 | 2021-09-14 | 浙江工业大学 | 基于注意力机制的多智能体深度强化学习策略优化方法 |
-
2022
- 2022-02-11 CN CN202210133633.4A patent/CN114627054A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170116497A1 (en) * | 2015-09-16 | 2017-04-27 | Siemens Healthcare Gmbh | Intelligent Multi-scale Medical Image Landmark Detection |
| US20190050999A1 (en) * | 2017-08-14 | 2019-02-14 | Siemens Healthcare Gmbh | Dilated Fully Convolutional Network for Multi-Agent 2D/3D Medical Image Registration |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
| CN112614169A (zh) * | 2020-12-24 | 2021-04-06 | 电子科技大学 | 基于深度学习网络的2d/3d脊椎ct层级配准方法 |
| CN113066111A (zh) * | 2021-03-12 | 2021-07-02 | 北京工业大学 | 一种基于ct影像的心脏二尖瓣顶点的自动定位方法 |
| CN113392935A (zh) * | 2021-07-09 | 2021-09-14 | 浙江工业大学 | 基于注意力机制的多智能体深度强化学习策略优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11398029B2 (en) | Systems and methods for medical acquisition processing and machine learning for anatomical assessment | |
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| WO2022037696A1 (zh) | 基于深度学习的骨骼分割方法和系统 | |
| CN110364238B (zh) | 基于机器学习的对比剂管理 | |
| EP3152736B1 (en) | Landmark detection with spatial and temporal constraints in medical imaging | |
| US8165361B2 (en) | System and method for image based multiple-modality cardiac image alignment | |
| CN108451508B (zh) | 基于多层感知机的生物自发荧光三维成像方法 | |
| JP2021535482A (ja) | 深層学習ベースのコレジストレーション | |
| CN111599432B (zh) | 一种三维颅面影像特征点标记分析系统及方法 | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| US20230046321A1 (en) | Medical image analysis using machine learning and an anatomical vector | |
| CN113689359B (zh) | 一种图像伪影去除模型及其训练方法和系统 | |
| CN111340209A (zh) | 网络模型训练方法、图像分割方法、病灶定位方法 | |
| CN112598790A (zh) | 脑结构三维重建方法、装置及终端设备 | |
| CN111862046A (zh) | 一种心脏冠脉剪影中导管位置判别系统和方法 | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| Tiago et al. | A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| CN116824173A (zh) | 医学图像的处理方法、设备及存储介质 | |
| CN114627054A (zh) | 基于多尺度强化学习的ct-x图像配准方法及装置 | |
| CN112825619A (zh) | 使用数字重建放射影像训练机器学习算法 | |
| CN116168097A (zh) | 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质 | |
| CN114913984A (zh) | 基于区块链的神经网络联邦学习方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |