CN116977471B - 一种生成合成计算机断层扫描图像的方法和设备 - Google Patents

一种生成合成计算机断层扫描图像的方法和设备 Download PDF

Info

Publication number
CN116977471B
CN116977471B CN202310976958.3A CN202310976958A CN116977471B CN 116977471 B CN116977471 B CN 116977471B CN 202310976958 A CN202310976958 A CN 202310976958A CN 116977471 B CN116977471 B CN 116977471B
Authority
CN
China
Prior art keywords
image
cbct
dct
network model
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310976958.3A
Other languages
English (en)
Other versions
CN116977471A (zh
Inventor
徐晨阳
游忠辉
田孟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Vision Medical Technology Co ltd
Original Assignee
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Vision Medical Technology Co ltd filed Critical Perception Vision Medical Technology Co ltd
Priority to CN202310976958.3A priority Critical patent/CN116977471B/zh
Publication of CN116977471A publication Critical patent/CN116977471A/zh
Application granted granted Critical
Publication of CN116977471B publication Critical patent/CN116977471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学图像处理技术领域，更具体地，涉及一种生成合成计算机断层扫描图像的方法和设备，所述方法包括：采集和定位CT图像与CBCT图像，将所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像；将所述CBCT图像输入图像生成网络模型，生成临时合成CT图像，标记为tsCT图像；将所述形变后的CT图像和所述临时合成CT图像输入图像融合网络模型，输出合成CT图像，标记为sCT图像。本发明提供的方法可以生成高质量的合成计算机断层扫描图像，由此解决CBCT图像在数据源上缺失软组织边界等关键信息的技术问题，从而提升CBCT图像质量和准确性。

Description

一种生成合成计算机断层扫描图像的方法和设备
技术领域
本发明属于医学图像处理技术领域，更具体地，涉及一种生成合成计算机断层扫描图像的方法和设备。
背景技术
在ART(Adaptive Radiation Therapy，简称自适应放疗)的治疗过程中，随着治疗的进展，患者的体型或其他解剖结构(如腮腺)可能会发生变化，进而影响治疗效果，因此需要适时进行相应的调整。一种常见的做法是使用CBCT(Cone Beam CT，简称锥形束计算机断层扫描)信息定期更新病人的器官和靶区定位，CBCT是一种使用X射线源和平板探测器，通过旋转获得多个角度的图像切片，然后将其重建成三维CT图像的技术，CBCT扫描过程中使用的是锥形束X射线，通过单次旋转即可获取大范围的扫描数据，大大缩短了扫描时间，减小了辐射剂量。然而，CBCT技术在带来便利的同时也存在一些挑战。由于其成像过程中的物理和机械误差，图像中往往会出现伪影和噪声。此外，由于缺乏能量选择性的X射线源和探测器，CBCT图像中可能会缺失一些关键信息。例如，对软组织的描绘能力相对较弱，这在医疗影像处理中会带来一定的困扰。CBCT在HU(Hounsfield，简称亨氏单位)上的不准确性也阻止了其在剂量计算和治疗计划中的应用。
有许多传统的图像处理方法被开发出来用于消除CBCT的伪影和噪声，例如：基于滑动窗口差值和条带噪声检测的CBCT环形伪影消除方法；根据旋转矩阵和平移矩阵重新计算重建点在X射线-平板探测器坐标系中的坐标，然后使用反投影公式计算投影点和重建值以消除CBCT影像中常见的几何伪影等。使用传统图像处理方法很难处理多种伪影和噪声同时存在、相互叠加的情况。
然而，由于CBCT图像在数据源上缺失了许多细节信息，例如软组织边界等，仅通过对CBCT的噪声消除和图像重建无法准确恢复这些信息。这些信息对于ART中的靶区和危及器官的勾画是很重要的，因此另一种常见的作法是将病人的计划CT形变配准到CBCT上，得到形变后的计划CT(dCT,DeformedCT)，然后在dCT上做再计划。但因为病人在治疗过程中，由于病情进展、摆位误差、呼吸运动或者术前准备等因素，患者的解剖结构常会有较大的变化，可能导致配准失败或无法准确匹配患者当前的器官位置，限制了CBCT在ART中的应用。
鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种生成合成计算机断层扫描图像的方法和设备，其目的在于消除CBCT图像中的伪影和噪声，并从形变配准的CT数据中补充CBCT图像的细节信息，从而生成高质量的合成计算机断层扫描图像，由此解决CBCT图像在数据源上缺失软组织边界等关键信息的技术问题，从而提升CBCT图像质量和准确性。
为实现上述目的，按照本发明的一个方面，提供了一种生成合成计算机断层扫描图像的方法，所述方法包括：
采集和定位CT图像与CBCT图像，将所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像；
将所述CBCT图像输入图像生成网络模型，生成临时合成CT图像，标记为tsCT图像；
将所述形变后的CT图像和所述临时合成CT图像输入图像融合网络模型，输出合成CT图像，标记为sCT图像。
优选地，所述采集CT图像与CBCT图像时，所述CT图像与所述CBCT图像的采集时间间隔在预设时间内。
优选地，所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像的方法包括：
配准完成后，人工审阅所述CBCT图像和所述dCT图像，移除配准失败或者配准误差高于预设误差阈值的数据；
移除后，将数据划分为四份，分为生成模型训练数据集、融合模型训练数据集、验证数据集和测试数据集。
优选地，所述图像生成网络模型的计算过程包括：
从所述CBCT图像和所述dCT图像中分别提取HU值大于第一预设阈值的连通区域，作为身体区域；
对所述身体区域中每个像素点的HU值进行排序，分别获得和，其中i和j分别为图像像素的行、列坐标，且所述和的取值范围为0至N，N为所述身体区域中的像素点数量；
计算所述身体区域中所有点对的距离并进行排序，取超过预设分位数的距离值作为第二预设阈值；
输出与所述CBCT图像大小相同的矩阵M，在所述矩阵M中身体区域中满足小于所述第二预设阈值的像素位置设为数值1，不满足小于所述第二预设阈值的像素位置以及非身体区域的像素位置设为数值0。
优选地，所述图像生成网络模型的计算过程中使用第一损失函数LGNet，所述第一损失函数LGNet为：
LGNet＝LMAE+λ1LSSIM+λ2LD1；
其中：
LMAE的计算公式为即在所述矩阵M中值为1的位置上计算损失；
LSSIM是结构相似性损失，计算公式为：LSSIM＝1-SSIM(M*tsCT,M*dCT)；LD1是鉴别器损失，计算公式为LD1＝-log(D(tsCT))；
λ1,λ2分别是LSSIM和LD1对应的超参数。
优选地，所述图像融合网络模型的计算过程包括：
将所述tsCT图像与所述dCT图像在图像的色彩通道上进行拼接，得到图像Xm，所述图像Xm作为所述图像融合网络模型的输入值，得到矩阵K＝MNet(Xm)，其中：MNet是所述图像融合网络模型；
图像融合网络模型生成sCT图像的计算过程为：sCTij＝Kij*tsCTij+(1-Kij)*dCTij，其中i和j分别为图像像素的行、列坐标。
优选地，所述图像融合网络模型的训练过程中使用第二损失函数LMNet，所述第二损失函数LMNet为：
LMNet＝Lp(tsCT,sCT)+λ3LD2
其中Lp的计算方式为：
LD2是判别损失，计算公式为LD2＝-log(D(sCT))；N为输入的图像边长，α,β,σ是可调整超参数，i和j分别为图像像素的行、列坐标；λ3是LD2对应的超参数，f(x)属于线性函数。
优选地，所述图像生成网络模型和所述图像融合网络模型的训练过程包括：
使用所述验证数据集调整λ1,λ2的取值并监控所述图像生成网络模型和所述图像融合网络模型的性能；
在测试数据集上对所述图像生成网络模型和所述图像融合网络模型进行评估，以检验所述tsCT图像的表现。
优选地，所述CT图像配准到所述CBCT图像的配准方法包括：
选用ANTsPy算法库，使用ants.registration函数，其中函数中type_of_transform参数为'SyN'，fixed参数为CBCT图像，moving参数为CT图像，将输出结果保存为dCT图像。
第二方面，本发明还提供了一种生成合成计算机断层扫描图像的设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的生成合成计算机断层扫描图像的方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
1、生成结果质量高。本发明采用两阶段的sCT生成方法，生成结果既保留了CBCT的器官位置和结构信息，又补充了CT上的纹理细节，有效提升了sCT的生成质量。
2、融合效果好。本发明采用可训练的神经网络进行图像的融合决策，通过多种损失函数的约束，使得生成的图像效果自然，结构信息准确。
3、处理速度快。本发明中的卷积神经网络在高性能硬件(如英伟达GPU)上可以实现10FPS(framepersecond)以上的处理速度，较传统的伪影去除方法要更快速。
4、泛化性能好。本发明在数据采集阶段已经充分考虑到数据多样性，收集了来自不同型号设备、不同扫描参数下的CBCT影像。同时在训练中使用数据增广的方法进一步增加了模型输入数据的多样性。因此，本发明具有良好的CBCT图像泛化能力，并且可以去除包括但不限于杯状和截断伪影在内的各种类型的伪影，实现良好的伪影去除效果。。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本实施例一提供的生成合成计算机断层扫描图像的方法流程图；
图2是本实施例一提供的生成合成计算机断层扫描图像的方法中数据处理流程图；
图3是本实施例一提供的生成合成计算机断层扫描图像的方法中数据处理示意图；
图4是本实施例二提供的生成合成计算机断层扫描图像的设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
近年来，随着深度学习图像处理技术的发展，越来越多的研究开始借助深度神经网络进行CBCT伪影和噪声的消除和图像重建。这些深度学习方法可以通过大量数据的训练来获得更好的泛化性能，从而提高sCT影像的质量和准确性。
实施例一：
本实施例一提供了一种生成合成计算机断层扫描图像的方法，目的在于消除CBCT图像中的伪影和噪声，并补充CBCT图像的细节信息，从而生成合成计算机断层扫描图像，由此解决CBCT图像在数据源上缺失软组织边界等关键信息的技术问题，从而提升CBCT图像质量和准确性。
本实施例一提供的一种生成合成计算机断层扫描图像的方法包括如图1所示的流程图，包括如下步骤：
S101：采集和定位CT图像与CBCT图像，将所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像。
数据处理过程如图2所示，具体包括：
数据收集：首先要确定明确的应用范围，例如采集头颈，盆腔区域等。然后从医院采集定位CT和CBCT影像。为了减少病人体型变化造成的影响，CT和CBCT影像的采集间隔应该尽量短，本实施例一采集的影像时间间隔在一周以内。在采集数据时，需要保持CBCT扫描参数的多样性，以保证CBCT中包含各类伪影。另外，为了适用多种机器，扫描数据时，使用目前多数医院常用的各类设备，包括但不限于西门子、瓦里安、飞利浦等。
数据清洗：对收集的CBCT和CT影像数据进行清洗，检查数据的一致性和完整性，将有成像范围缺失、重复、错误配对等问题的数据移出数据集。并且将数据划分为4份：(1)生成模型训练数据集，(2)融合模型训练数据集，(3)验证数据集，(4)测试数据集。本实施例一中4个部分的数据集占比分别为35％，35％，10％和20％。
图像配准：将清洗后的CBCT和CT数据对进行形变配准。本实施例一使用ANTsPy算法库提供的形变配准实现，使用ants.registration函数，其中type_of_transform参数为'SyN'，fixed参数为CBCT影像，moving参数为CT影像，将输出结果保存为dCT。配准完成以后，人工审阅CBCT和dCT影像，移除配准失败或者配准误差较大的数据。对保留下来的数据，利用身体轮廓信息确定几何中心(x,y)，并以(x,y)为中心确定一个包含身体轮廓的的最小正方形区域(RegionofInterest，简称ROI)，该区域需同时包含CBCT和dCT身体轮廓，并将其缩放至256x256分辨率提供后续使用。
本实施例一包含输入图像生成网络模型和输入图像融合网络模型两个模型的计算和训练过程，两个模型的网络结构都是基于UNet的架构，UNet架构的主要特点是"编码器-解码器"的结构，其中编码器部分通过一系列的卷积层和最大池化层对输入图像进行下采样，抽取并学习图像的特征；而解码器部分则通过上采样层和卷积层将图像恢复到原始尺寸，同时使用之前学习到的特征进行预测。在这个过程中，每一步的上采样操作后都会有一个跳跃连接(skipconnection)，将对应的编码器部分的特征图直接连接到解码器部分。本实施例一中，每个编码器由五个下采样模块组成，包括卷积层、组归一化层(GroupNorm)、GeLU非线性激活层和最大池化下采样层。每个解码器由五个上采样模块组成，包括卷积层、组归一化层、GeLU非线性激活层和双线性插值上采样层。
S102：将所述CBCT图像输入图像生成网络模型，生成临时合成CT图像，标记为tsCT图像。
使用输入图像生成网络模型时，首先打乱生成模型训练数据集，然后从中抽取CBCT图像和dCT图像。接着，对抽取的图像进行归一化处理：先对CBCT图像和dCT图像的HU值进行截断，将其范围限制在-1000到3000之间。然后将CBCT图像和dCT图像的HU值缩放到-1到1的范围，计算公式为：x是CBCT图像和dCT图像的HU值，函数norm(x)是归一化函数。
因为CBCT图像和CT图像的采集存在时间间隔，人体器官的相对位置会有一定程度改变，因此CBCT图像和dCT图像在部分像素上会有信息不匹配的情况。为了防止这些错误信息对模型训练的影响，本实施例一提出了一种基于排序距离的有效点对筛选方法。具体方法包括；
(1)从CBCT图像中提取HU值大于第一预设阈值的最大连通区域，将其视为身体区域，本实施例一中第一预设阈值选用-500。
(2)对身体区域中的HU进行从小到大排序。在这个区域中，每个像素将获得一个排序下标，记为RCBCT ij，其中i,j为图像像素的行列坐标。比如，如果第i行j列的像素HU是身体区域内的最小值，那么RCBCT ij＝0。如果该HU是最大值，那么RCBCT ij＝N，其中N是身体区域中的像素数量。
(3)对dCT图像进行与步骤(1)和(2)相同的处理，得到RdCT ij。
(4)计算身体区域中所有点对的排序距离Dij＝|RCBCT ij-RdCT ij|。
(5)将身体区域内像素的排序距离从小到大排序，取超过预设分位数的距离值作为第二预设阈值，本实施例一中预设分位数取80％。
(6)返回一个与CBCT大小相同的遮罩矩阵M。在矩阵M中，非身体区域的值设为0，身体区域中满足Dij<第二预设阈值的像素位置设为1，不满足条件的位置也设为0。
将归一化后的CBCT图像作为输入，dCT图像作为标签训练输入图像生成网络模型GNet。将GNet模型的输出标记为tsCT，训练使用的第一损失函数包括三个部分：LGNet＝LMAE+λ1LSSIM+λ2LD1。
其中，LMAE是在遮罩区域计算平均绝对误差： 即仅在遮罩矩阵中值为1的位置上计算损失；LSSIM是结构相似性(SSIM)损失，其计算公式为：LSSIM＝1-SSIM(M*tsCT,M*dCT)，SSIM是一种用于比较两个图像的相似性的方法。SSIM的值在-1到1之间，1表示两个图像完全相同。因此，最小化LSSIM就是在最大化tsCT和dCT的相似性。LD1是第一鉴别器损失，用于驱动模型生成CT风格的图像，LD1＝-log(D(tsCT))，其中D是一个判别网络，它的任务是尽可能地区分真实的dCT图像和生成的tsCT图像，D(tsCT)为该网络认为输入是真实的dCT的概率。λ1,λ2是两个可调节的超参数，本实施例一中取λ1＝0.5，λ2＝0.1。
训练过程：在使用生成模型训练数据集进行训练的时候，以一定概率对图像进行变换以进行数据增广，包括但不限于随机裁剪、水平/垂直翻转、旋转等操作。这可以提高模型的泛化能力，避免过拟合。在训练过程中，使用验证数据集来调整超参数λ1,λ2并监控图像生成网络模型的性能，以便及时调整图像生成网络模型结构和参数。最后，在测试数据集上对图像生成网络模型进行评估，以检验其在未见过的数据上的表现。
S103：将所述形变后的CT图像和所述临时合成CT图像输入图像融合网络模型，输出合成CT图像，标记为sCT图像。
完成图像生成网络模型GNet的训练以后，固定其模型参数，然后进行融合模型(MNet)的训练。数据的预处理方式同上，首先是随机打乱融合模型训练数据集，然后从中抽取CBCT图像和dCT图像，并进行归一化处理。
使用GNet进行临时合成CT图像生成的计算公式为：
tsCT＝GNet(CBCT)。
将tsCT图像与dCT图像在图像的色彩通道上进行拼接得到Xm作为MNet的输入：K＝MNet(Xm)。
得到的K是一个与输入图像大小相同的，本实施例一中，矩阵K是取值为0到1之间的浮点数矩阵。接着，使用如下方式构建sCT：
sCTij＝Kij*tsCTij+(1-Kij)*dCTij，
即sCT图像上的结果来自tsCT图像和dCT图像的一个线性插值，当Kij＝0，则该像素信息完全来自于dCT图像；当Kij＝1，则该像素信息完全来自于tsCT图像。其他情况则是二者的插值结果。
训练MNet使用的第二损失函数为：LMNet＝Lp(tsCT,sCT)+λ3LD2。其中Lp用来限制sCT图像相对于tsCT图像的数值变化量，因为tsCT图像包含了CBCT的器官的位置结构信息，sCT图像相对于tsCT图像仅有较小的数值调整，具体的，Lp的计算方式为：
LD2是判别损失，计算公式为LD2＝-log(D(sCT))；N为输入的图像边长，α,β,σ是可调整超参数，i和j分别为图像像素的行、列坐标；λ3是LD2对应的超参数，f(x)属于线性函数。
本实施例一中设置α＝1,β＝0.3,σ＝10，λ3＝0.1，函数f(x)的具体表现形式为，f(x)＝2000x+1000，f(x)用于将sCT归一化的数值恢复到HU单位。由于函数f(x)是函数norm的反函数，函数norm将CBCT图像和dCT图像的HU值缩放到-1到1的范围，因此也可以将sCT归一化的数值通过函数f(x)映射到HU单位上。
训练过程：在使用融合模型训练数据集进行训练的时候，以一定概率对图像进行变换以进行数据增广，包括但不限于随机裁剪、水平/垂直翻转、旋转等操作。这可以提高模型的泛化能力，避免过拟合。在训练过程中，使用验证数据集来调整超参数λ1,λ2并监控图像融合网络模型的性能，以便及时调整图像融合网络模型结构和参数。最后，在测试数据集上对图像融合网络模型进行评估，以检验其在未见过的数据上的表现。
模型测试。当输入新的CBCT和CT影像时，按照图3所示的流程生成sCT：首先将CT形变配准到CBCT得到dCT，并进行最小正方形区域的剪裁，并使用norm函数得到归一化输入。然后使用GNet生成tsCT。接着将dCT和tsCT输入MNet生成sCT。最后，将sCT结果使用f函数处理得到以HU为单位的输出图像，并按照步骤3的反向操作，将ROI区域还原到原始尺寸，即可完成模型测试。
本实施例一采用两阶段的sCT生成方法，生成结果既保留了CBCT的器官位置和结构信息，又从dCT图像里补充了CT上的纹理细节，有效提升了sCT的生成质量。而且采用可训练的神经网络进行图像融合决策，通过多种损失函数的约束，使得生成的图像效果自然，结构信息准确。
为了减少病人体型变化造成的影响，结合本发明实施例，还存在一种优选的实现方案，具体的，所述采集CT图像与CBCT图像时，所述CT图像与所述CBCT图像的采集时间间隔在预设时间内。
为了将采集后的数据进行数据清洗和提高配准成功率，结合本发明实施例，还存在一种优选的实现方案，具体的，如图3所示，所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像的方法包括：
配准完成后，人工审阅所述CBCT图像和所述dCT图像，移除配准失败或者配准误差高于预设误差阈值的数据；
移除后，将数据划分为四份，分为生成模型训练数据集、融合模型训练数据集、验证数据集和测试数据集。
为了保留CBCT的器官位置和结构信息，结合本发明实施例，还存在一种优选的实现方案，具体的，所述图像生成网络模型的计算过程包括：
从所述CBCT图像和所述dCT图像中分别提取HU值大于第一预设阈值的连通区域，作为身体区域；
对所述身体区域中每个像素点的HU值进行排序，分别获得和，其中i和j分别为图像像素的行、列坐标，且所述和的取值范围为0至N，N为所述身体区域中的像素点数量；
计算所述身体区域中所有点对的距离并进行排序，取超过预设分位数的距离值作为第二预设阈值；
输出与所述CBCT图像大小相同的矩阵M，在所述矩阵M中身体区域中满足小于所述第二预设阈值的像素位置设为数值1，不满足小于所述第二预设阈值的像素位置以及非身体区域的像素位置设为数值0。
排除信息不匹配的像素点(数值为0的像素点)后，能够避免它们在训练中对模型产生错误的指导。在对应像素位置上，HU排序序数接近的数值为1，可能都是软组织。如果HU相对序数差距很大，可能是身体区域不匹配，例如一个是软组织一个是骨头，这个情况数值为0。使用阈值筛选后可以提高训练数据质量。
基于排序距离的有效点对筛选方法有效抑制了因为训练数据质量问题(CBCT和dCT无法在像素级别上完美配对)造成的图像生成网络模型容易出现的器官形变问题。
为了减少出现器官形变的问题，结合本发明实施例，还存在一种优选的实现方案，具体的，所述图像生成网络模型的计算过程中使用第一损失函数LGNet，所述第一损失函数LGNet为：
LGNet＝LMAE+λ1LSSIM+λ2LD1；
其中：
LMAE的计算公式为即在所述矩阵M中值为1的位置上计算损失；
LSSIM是结构相似性损失，计算公式为：LSSIM＝1-SSIM(M*tsCT,M*dCT)；LD1是鉴别器损失，计算公式为LD1＝-log(D(tsCT))；
λ1,λ2分别是LSSIM和LD1对应的超参数。
为了使得生成的图像效果自然，结构信息准确，结合本发明实施例，还存在一种优选的实现方案，具体的，所述图像融合网络模型的计算过程包括：
将所述tsCT图像与所述dCT图像在图像的色彩通道上进行拼接，得到图像Xm，所述图像Xm作为所述图像融合网络模型的输入值，得到矩阵K＝MNet(Xm)，其中：MNet是所述图像融合网络模型；
图像融合网络模型生成sCT图像的计算过程为：sCTij＝Kij*tsCTij+(1-Kij)*dCTij，其中i和j分别为图像像素的行、列坐标。
使用GNet进行临时合成CT图像生成的计算公式为：
tsCT＝GNet(CBCT)。
将tsCT图像与dCT在图像的色彩通道上进行拼接得到Xm作为MNet的输入：K＝MNet(Xm)。
得到的K是一个与输入图像大小相同的，本实施例一中，矩阵K是取值为0到1之间的浮点数矩阵。构建sCT的方法为：
sCTij＝Kij*tsCTij+(1-Kij)*dCTij，
即sCT上的结果来自tsCT和dCT的一个线性插值，当Kij＝0，则该像素信息完全来自于dCT；当Kij＝1，则该像素信息完全来自于tsCT。其他情况则是二者的插值结果。
为了补足sCT图像中的纹理细节，结合本发明实施例，还存在一种优选的实现方案，具体的，所述图像融合网络模型的训练过程中使用第二损失函数LMNet，所述第二损失函数LMNet为：
LMNet＝Lp(tsCT,sCT)+λ3LD2
其中Lp的计算方式为：
LD2是判别损失，计算公式为LD2＝-log(D(sCT))；N为输入的图像边长，α,β,σ是可调整超参数，i和j分别为图像像素的行、列坐标；λ3是LD2对应的超参数，f(x)属于线性函数。
基于限制数值变换范围的第二损失函数，可以让图像融合网络模型在tsCT图像的基础上进一步提取利用dCT图像中的信息，不仅补足sCT图像中的纹理细节，sCT图像同样融合了dCT图像的信息，因此sCT图像还可以获得更准确的HU数值结果，扩展了sCT图像的使用范围(包括但不限于自适应放疗)。
为了训练和验证图像生成网络模型和图像融合网络模型的真实效果，结合本发明实施例，还存在一种优选的实现方案，具体的，所述图像生成网络模型和所述图像融合网络模型的训练过程包括：
使用所述验证数据集调整λ1,λ2的取值并监控所述图像生成网络模型和所述图像融合网络模型的性能；
在测试数据集上对所述图像生成网络模型和所述图像融合网络模型进行评估，以检验所述tsCT图像的表现。
实施例二：
本实施例二中提供一种生成合成计算机断层扫描图像的设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如实施例一所述的生成合成计算机断层扫描图像的方法。
图4为本发明实施例二提供的生成合成计算机断层扫描图像的设备结构示意图。图4示出了适于用来实现本发明实施方式的示例性生成合成计算机断层扫描图像的设备框图。图4显示的生成合成计算机断层扫描图像的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，生成合成计算机断层扫描图像的设备以通用设备的形式表现。生成合成计算机断层扫描图像的设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，存储器，连接不同系统组件(包括存储器和处理单元)的总线。
总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
生成合成计算机断层扫描图像的设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被生成合成计算机断层扫描图像的设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器。生成合成计算机断层扫描图像的设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在例如存储器中，这样的程序模块包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
生成合成计算机断层扫描图像的设备也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该生成合成计算机断层扫描图像的设备交互的设备通信，和/或与使得该生成合成计算机断层扫描图像的设备能与一个或多个其它设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，生成合成计算机断层扫描图像的设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器通过总线与生成合成计算机断层扫描图像的设备的其它模块通信。应当明白，尽管图中未示出，可以结合生成合成计算机断层扫描图像的设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元通过运行存储在存储器中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例提供的生成合成计算机断层扫描图像的方法。也即：采集和定位CT图像与CBCT图像，将所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像；将所述CBCT图像输入图像生成网络模型，生成临时合成CT图像，标记为tsCT图像；将所述形变后的CT图像和所述临时合成CT图像输入图像融合网络模型，输出合成CT图像，标记为sCT图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种生成合成计算机断层扫描图像的方法，其特征在于，所述方法包括：
采集和定位CT图像与CBCT图像，将所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像；
将所述CBCT图像输入图像生成网络模型GNet，生成临时合成CT图像，标记为tsCT图像；
所述图像生成网络模型的计算过程包括：
从所述CBCT图像和所述dCT图像中分别提取HU值大于第一预设阈值的连通区域，作为身体区域；
对所述身体区域中每个像素点的HU值进行排序，分别获得RCBCT ij和RdCT ij，其中i和j分别为图像像素的行、列坐标，RCBCT ij表示从所述CBCT图像中第i行j列位置上HU的排序序号，RdCT ij表示从所述dCT图像中第i行j列位置上HU的排序序号，且所述RCBCT ij和所述RdCT ij的取值范围为0至N，N为所述身体区域中的像素点数量；
计算身体区域中所有点对的排序距离的计算方式为在图像像素的行、列坐标相同的情况下，所述RdCT ij和所述RdCT ij之差；
计算所述身体区域中所有点对的距离并进行排序，取超过预设分位数的距离值作为第二预设阈值；
输出与所述CBCT图像大小相同的矩阵M，在所述矩阵M中身体区域中满足小于所述第二预设阈值的像素位置设为数值1，不满足小于所述第二预设阈值的像素位置以及非身体区域的像素位置设为数值0；
所述图像生成网络模型的计算过程中使用第一损失函数LGNet，所述第一损失函数LGNet为：
LGNet＝LMAE+λ1LSSIM+λ2LD1；
其中：
LMAE的计算公式为即在所述矩阵M中值为1的位置上计算损失；
LSSIM是结构相似性损失，计算公式为：LSSIM＝1-SSIM(M*tsCT,M*dCT)；LD1是鉴别器损失，计算公式为LD1＝-log(D(tsCT))；
λ1,λ2分别是LSSIM和LD1对应的超参数；D为判别网络；D(tsCT)为所述判别网络认为输入是真实dCT图像的概率；
将所述形变后的CT图像和所述临时合成CT图像输入图像融合网络模型，输出合成CT图像，标记为sCT图像，所述图像融合网络模型的计算过程包括：
将所述tsCT图像与所述dCT图像在图像的色彩通道上进行拼接，得到图像Xm，所述图像Xm作为所述图像融合网络模型的输入值，得到矩阵K＝MNet(Xm)，其中：MNet是所述图像融合网络模型；
图像融合网络模型生成sCT图像的计算过程为：sCTij＝Kij*tsCTij+(1-Kij)*dCTij，其中i和j分别为图像像素的行、列坐标。
2.如权利要求1所述的生成合成计算机断层扫描图像的方法，其特征在于，所述采集CT图像与CBCT图像时，所述CT图像与所述CBCT图像的采集时间间隔在预设时间内。
3.如权利要求1所述的生成合成计算机断层扫描图像的方法，其特征在于，所述CT图像配准到所述CBCT图像，生成形变后的CT图像，标记为dCT图像的方法包括：
配准完成后，人工审阅所述CBCT图像和所述dCT图像，移除配准失败或者配准误差高于预设误差阈值的数据；
移除后，将数据划分为四份，分为生成模型训练数据集、融合模型训练数据集、验证数据集和测试数据集。
4.如权利要求1所述的生成合成计算机断层扫描图像的方法，其特征在于，所述图像融合网络模型的训练过程中使用第二损失函数LMNet，所述第二损失函数LMNet为：
LMNet＝Lp(tsCT,sCT)+λ3LD2
其中Lp的计算方式为：
LD2是判别损失，计算公式为LD2＝-log(D(sCT))；N为输入的图像边长，α,β,σ是可调整超参数，i和j分别为图像像素的行、列坐标；λ3是LD2对应的超参数，f(x)属于线性函数。
5.如权利要求4所述的生成合成计算机断层扫描图像的方法，其特征在于，所述图像生成网络模型和所述图像融合网络模型的训练过程包括：
使用验证数据集调整λ1,λ2的取值并监控所述图像生成网络模型和所述图像融合网络模型的性能；
在测试数据集上对所述图像生成网络模型和所述图像融合网络模型进行评估，以检验所述tsCT图像的表现。
6.如权利要求1所述的生成合成计算机断层扫描图像的方法，其特征在于，所述CT图像配准到所述CBCT图像的配准方法包括：
选用ANTsPy算法库，使用ants.registration函数，其中函数中type_of_transform参数为'SyN'，fixed参数为CBCT图像，moving参数为CT图像，将输出结果保存为dCT图像。
7.一种生成合成计算机断层扫描图像的设备，其特征在于，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的生成合成计算机断层扫描图像的方法。
CN202310976958.3A 2023-08-04 2023-08-04 一种生成合成计算机断层扫描图像的方法和设备 Active CN116977471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310976958.3A CN116977471B (zh) 2023-08-04 2023-08-04 一种生成合成计算机断层扫描图像的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310976958.3A CN116977471B (zh) 2023-08-04 2023-08-04 一种生成合成计算机断层扫描图像的方法和设备

Publications (2)

Publication Number Publication Date
CN116977471A CN116977471A (zh) 2023-10-31
CN116977471B true CN116977471B (zh) 2024-06-07

Family

ID=88484731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310976958.3A Active CN116977471B (zh) 2023-08-04 2023-08-04 一种生成合成计算机断层扫描图像的方法和设备

Country Status (1)

Country Link
CN (1) CN116977471B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
CN111684492A (zh) * 2017-06-26 2020-09-18 医科达有限公司 使用深度卷积神经网络来改善锥形束ct图像质量的方法
CN111815521A (zh) * 2020-05-27 2020-10-23 南京国科医工科技发展有限公司 一种基于先验图像的锥束ct金属伪影校正算法
CN112384949A (zh) * 2018-05-01 2021-02-19 皇家飞利浦有限公司 较低到较高分辨率的图像融合
WO2022142206A1 (zh) * 2020-12-29 2022-07-07 上海商汤临港智能科技有限公司 图像匹配的方法及装置、电子设备及车辆
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN115154930A (zh) * 2022-07-11 2022-10-11 苏州雷泰医疗科技有限公司 基于独立滑环的低剂量cbct摆位方法及设备
WO2023110116A1 (en) * 2021-12-17 2023-06-22 Brainlab Ag Ct-less free breathing image contour for planning radiation treatment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849308B2 (en) * 2013-01-09 2017-12-26 Brainlab Ag CBCT and X-ray combined setup with X-ray verification of patient positioning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
CN111684492A (zh) * 2017-06-26 2020-09-18 医科达有限公司 使用深度卷积神经网络来改善锥形束ct图像质量的方法
CN112384949A (zh) * 2018-05-01 2021-02-19 皇家飞利浦有限公司 较低到较高分辨率的图像融合
CN111815521A (zh) * 2020-05-27 2020-10-23 南京国科医工科技发展有限公司 一种基于先验图像的锥束ct金属伪影校正算法
WO2022142206A1 (zh) * 2020-12-29 2022-07-07 上海商汤临港智能科技有限公司 图像匹配的方法及装置、电子设备及车辆
WO2023110116A1 (en) * 2021-12-17 2023-06-22 Brainlab Ag Ct-less free breathing image contour for planning radiation treatment
CN114820730A (zh) * 2022-03-08 2022-07-29 安徽慧软科技有限公司 一种基于伪ct的ct与cbct配准方法
CN115154930A (zh) * 2022-07-11 2022-10-11 苏州雷泰医疗科技有限公司 基于独立滑环的低剂量cbct摆位方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于先验图像的锥束CT金属伪影校正算法;刘仰川;高鹏;朱叶晨;高欣;;图学学报(04);全文 *
医学图像融合配准技术在肿瘤放射治疗中的应用研究;胡杰;董晓庆;林清;张莹;张佳斐;张颖;;医疗卫生装备(08);全文 *
基于Contourlet变换的CT和锥形束CT图像配准算法;岳海振;李海云;刘迪;;北京生物医学工程(02);全文 *

Also Published As

Publication number Publication date
CN116977471A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US10607114B2 (en) Trained generative network for lung segmentation in medical imaging
US20220245400A1 (en) Autonomous segmentation of three-dimensional nervous system structures from medical images
Heutink et al. Multi-Scale deep learning framework for cochlea localization, segmentation and analysis on clinical ultra-high-resolution CT images
Xie et al. Scatter artifacts removal using learning-based method for CBCT in IGRT system
Riblett et al. Data‐driven respiratory motion compensation for four‐dimensional cone‐beam computed tomography (4D‐CBCT) using groupwise deformable registration
Huang et al. Data extrapolation from learned prior images for truncation correction in computed tomography
Gajera et al. CT-scan denoising using a charbonnier loss generative adversarial network
Schaffert et al. Learning an attention model for robust 2-D/3-D registration using point-to-plane correspondences
CN112598649A (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN111798535B (zh) Ct图像增强显示方法及计算机可读存储介质
CN116977471B (zh) 一种生成合成计算机断层扫描图像的方法和设备
Navarro et al. Self-supervised pretext tasks in model robustness & generalizability: A revisit from medical imaging perspective
Li et al. A multi-pronged evaluation for image normalization techniques
CN112967379B (zh) 一种基于感知一致生成对抗网络的三维医学图像重建方法
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
Zhu et al. CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain
Alam et al. Generalizable cone beam ct esophagus segmentation using in silico data augmentation
Mosquera-Berrazueta et al. Red-Unet: An Enhanced U-Net Architecture to Segment Tuberculosis Lesions on X-Ray Images
Yang et al. DDHANet: Dual-Domain Hybrid Attention-Guided Network For CT Scatter Correction
Cheng et al. Sdct-gan: reconstructing CT from biplanar x-rays with self-driven generative adversarial networks
Wang et al. Shape Reconstruction for Abdominal Organs based on a Graph Convolutional Network
Longuefosse et al. Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI
EP4386680A1 (en) Cbct simulation for training ai-based ct-to-cbct registration and cbct segmentation
US20230281842A1 (en) Generation of 3d models of anatomical structures from 2d radiographs
US20240104796A1 (en) Ct reconstruction for machine consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant