CN115996668A - 一种基于四维体表呼吸信号的非接触式四维成像方法和系统 - Google Patents
一种基于四维体表呼吸信号的非接触式四维成像方法和系统 Download PDFInfo
- Publication number
- CN115996668A CN115996668A CN202280005277.6A CN202280005277A CN115996668A CN 115996668 A CN115996668 A CN 115996668A CN 202280005277 A CN202280005277 A CN 202280005277A CN 115996668 A CN115996668 A CN 115996668A
- Authority
- CN
- China
- Prior art keywords
- body surface
- image
- data
- phase
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000000241 respiratory effect Effects 0.000 claims abstract description 59
- 238000011282 treatment Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 210000003484 anatomy Anatomy 0.000 abstract description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 238000001727 in vivo Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000007476 Maximum Likelihood Methods 0.000 description 10
- 238000001959 radiotherapy Methods 0.000 description 8
- 210000001015 abdomen Anatomy 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000556 factor analysis Methods 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 230000005311 nuclear magnetism Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000001142 back Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于四维体表呼吸信号的非接触式四维成像方法和系统，包含：在采集患者图像的过程中，同步采集该患者的光学体表数据；基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。本发明从光学体表中获取呼吸相位信息，实现非接触式的呼吸相位分组，相对于现有技术，不仅探测数据的维度更高，同时通过四维成像实现对体内解剖结构的动态展示和监测，有利于提高临床诊疗的精度，且无需在患者身上附着接触式装置，适用于更广泛的身体部位、成像模态和临床应用场景。
Description
技术领域
本发明适用但不限于放射治疗、诊断、介入、穿刺等多种应用场景技术领域，尤其涉及一种基于四维体表呼吸信号的非接触式四维成像方法和系统。
背景技术
呼吸运动不仅会导致图像伪影，同时也会降低图像引导诊疗的精确性，如放疗中的剂量投照错误会导致肿瘤控制失败和正常器官损伤，穿刺的进针位置和时间错误会导致病理活检失败或重要器官损伤等。即使在图像扫描过程中通过各种外部约束方法限制了身体的运动幅度，但呼吸运动仍会导致体内脏器的移动和形变。
现有的探测方法主要有：基于压力传感器的方法，如接触式腹压带，需要在患者身上附着额外装置，探测信号为随时间变化的1维数据；基于放置在胸腹部的反光块反射信号探测腹背方向的运动幅度和频率，也是接触式，需要在患者身上附着额外装置，探测信号为随时间变化的1维数据；基于实时投影图像分割解剖学标记，如横膈肌的位置变化，需要每个成像射野/视野都包含横膈肌，对于解剖部位不包含或包含不足够的横膈肌结构，如上胸部成像或螺旋CT等场景，此方法不适用，或需要扩大成像野进而增加不必要的辐射剂量和风险等。现有方法的缺陷是：一维运动信号对复杂的运动模型可能存在过度简化，且接触式装置在使用便利性和系统兼容性等方面存在局限；横膈肌图像分割方法对成像部位和射野的限制较多，且对于呼吸门控放疗的实时引导，该方法可能涉及额外的成像辐射剂量或昂贵复杂的MR等设备集成。
发明内容
本发明的主要目的在于克服上述现有技术的缺陷，提供了一种基于四维体表呼吸信号的非接触式四维成像方法和系统。
本发明提供了一种基于四维体表呼吸信号的非接触式四维成像方法，在采集患者图像的过程中，同步采集该患者的光学体表数据；基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。
更优的，所述光学体表数据采用能够获取包括但不限于平面及深度的三维坐标信息，有些还可以包括颜色信息或者反射强度信息的装置采集。
更优的，以所述图像的某一个时相为图像的基准时相，将所有光学体表数据与图像的基准时相进行配准，依次计算配准后的形变与基准时相的位移，得到位移矩阵，对位移矩阵进行降维处理并选出贡献最大的分量，例如使用主成分分析、因子分析、独立分量分析等降维方法，得到光学体表呼吸信号。
更优的，在获取患者的图像后，将图像数据进行分割，并保存分割体表的表面信息，在分割体表上选取感兴趣区域得到分割体表数据；将光学体表数据与分割体表数据进行配准。
更优的，根据治疗之前收集的图像数据和呼吸信号作为训练集，采用深度学习技术改善直接分组重建的图像质量，深度学习技术包括深度神经网络，或递归神经网络，或卷积神经网络，或生成式对抗网络等。
更优的，采用一种多通道神经网络，一次性输入该患者多个相邻时相作为先验数据，去学习相邻时相之间的运动关联，得到分时相训练模型，采用分时相训练模型，提升图像质量。
更优的，得到提升质量后的图像，将其用于获取位移矢量场重建，具体的，将N组图像中的某一组时相作为参考时相，将参考时相图像依次配准给其他N-1组时相，得到N-1位移矢量场，N为大于1的整数。
本发明提供了一种基于四维体表呼吸信号的非接触式四维成像系统，包括：获取单元，用于在采集患者图像的过程中，同步采集该患者的光学体表数据；还包括处理单元，用于基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。
更优的，所述系统包含能够采集光学体表数据的平面及深度信息的装置；有些装置还可以包括颜色信息或者反射强度信息。
更优的，所述处理单元，以所述图像的某一个时相为图像的基准时相，将所有光学体表数据与图像的基准时相进行配准，依次计算配准后的形变与基准时相的位移，得到位移矩阵，对位移矩阵进行降维处理，例如主成分分析、因子分析、独立分量分析等降维方法，得到光学体表呼吸信号。
更优的，在获取单元获取患者的图像后，处理单元用于将图像数据进行分割，并保存分割体表的表面信息，在分割体表上选取感兴趣区域得到分割体表数据；将光学体表数据与分割体表数据进行配准。
更优的，处理单元用于根据治疗之前收集的图像数据和呼吸信号作为训练集，采用深度学习技术改善直接分组重建的图像质量，深度学习技术包括深度神经网络，或递归神经网络，或卷积神经网络，或生成式对抗网络等。
更优的，处理单元用于采用一种多通道神经网络，一次性输入该患者多个相邻时相作为先验数据，去学习相邻时相之间的运动关联，得到分时相训练模型，采用分时相训练模型，提升图像质量。
更优的，处理单元用于得到提升质量后的图像，将其用于获取位移矢量场重建，将N组图像中的某一组时相作为参考时相，将参考时相图像依次配准给其他N-1组时相，得到N-1位移矢量场，N为大于1的整数。
本发明的方案有益效果如下：针对四维医学成像面临的运动问题，本发明提出了一种基于四维体表呼吸信号的非接触式四维成像方法和系统，可用于包括不限于四维CT、四维锥束CT、四维核磁等这些模态成像过程中的呼吸时相划分和图像重建，也可用于呼吸门控引导的放疗和穿刺等场景。基于图像采集过程中同步探测呼吸运动时相，将图像按照呼吸时相进行排序和归类以方便重建和展示，实现了包括不限于四维锥束CT图像在内的四维图像。该方法从光学体表中获取呼吸相位信息，实现非接触式的呼吸相位分组，相对于现有技术，不仅探测数据的维度更高，同时通过四维成像实现对体内解剖结构的动态展示和监测，有利于提高临床诊疗的精度，且无需在患者身上附着接触式装置，适用于更广泛的身体部位、成像模态和临床应用场景。与现有技术在适用但不限于放射治疗、诊断、介入、穿刺等多种应用场景、数据维度和技术指标、经济成本等方面形成了良好的互补性。
附图说明
本发明将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1一种基于四维体表呼吸信号的非接触式四维成像系统示意图；
图2一种基于四维体表呼吸信号的非接触式四维成像方法流程示意图；
图3基于仿真模体CT生成的仿真体表点云数据示意图；
图4基于仿真模体CT生成的仿真体表点云数据ROI选取示意图；
图5真值(Ground truth)信号示意图；
图6光学体表信号(Optical Surface signal)示意图；
图7横膈肌信号(Diaphragm signal)示意图；
图8三种信号男性(Male)模拟数据MLEM(Maximum Likelihood ExpectationMaximization algorithm)最大似然期望最大化算法重建结果横向平面(transverseplane)示意图；
图9三种信号男性(Male)模拟数据MLEM(Maximum Likelihood ExpectationMaximization algorithm)最大似然期望最大化算法重建结果冠状平面(coronal plane)示意图；
图10三种信号男性(Male)模拟数据MLEM(Maximum Likelihood ExpectationMaximization algorithm)最大似然期望最大化算法重建结果矢状平面(sagittal plane)示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，各个实施例的技术特征之间可以相互组合，构成实现发明目的的实际方案，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“单元”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。并且，“系统”、“单元”可以由软件或者硬件实施，可以是实体或虚拟的具有该功能部分的称呼。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。各个实施例中的技术方案可以相互组合实现本发明的目的。
实施例一：
一种基于四维体表呼吸信号的非接触式四维成像系统，如图1所示，包括：获取单元，用于在采集患者图像的过程中，同步采集该患者的光学体表数据；还包括处理单元，用于基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。
本发明可用于四维CT、四维锥束CT、四维核磁等成像过程(不限于这些模态)中的呼吸时相划分和图像重建。基于采集到的光学体表数据提取呼吸信号，生成包括不限于四维锥束CT图像在内的四维图像。该方法直接基于光学体表中获取呼吸相位信息，实现投影按相位分组，而无需额外接触式传感器。本系统相比于现有技术提取的运动数据维度更高，具有非接触式优点，适用于整个胸腹部范围成像，与其他系统的兼容性更好，成本低，在呼吸门控放疗的实时引导过程中不涉及额外成像辐射剂量和复杂系统集成等优势。
实施例二：
本发明提供了一种基于四维体表呼吸信号的非接触式四维成像方法，如图2所示，在采集患者图像的过程中，同步采集该患者的光学体表数据；基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。该方法与实施例一对应，有益效果相同，不再赘述。
实施例三：
本发明适用放射治疗、诊断、介入、穿刺等多种应用场景，方法是一样的。例如放射治疗中，每次治疗开始前，拍摄患者CBCT图像，该图像既可以是3D的，然后AI补全稀疏重建，也可以是4D的足够投影。并在图像采集的过程中，同步采集患者的光学体表数据，基于CBCT采集过程中采集的光学体表数据获取呼吸信号，人体的呼吸过程依据吸气和呼气的幅度被分为10个时相，即吸气状态分为In 0％，In 20％，In 40％，In 60％，In 80％，In100％，相应的呼气状态分为Out 20％，Out 40％，Out 60％，Out80％。其中In 100％为吸气的末端状态，In 0％为呼气的末端状态。基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。提取呼吸信号有多种现行的方法，包括使用呼吸带传感器监测呼吸信号、使用外置或内置装置的运动信号作为呼吸信号等。提取到呼吸信号后，根据不同时间段内呼吸曲线的高度和变化趋势，即可将呼吸运动划分为若干个不同的时相，便于后续的处理。本发明提出了一种基于深度摄像头获取四维光学体表数据得到实时呼吸信号，并基于呼吸时相对图像数据进行分组，获取当天4DCBCT。并用深度学习技术对图像质量进行提升。本实施例分为10个时相，实践中不限于10个时相，也可以划分其它数量个时相，例如其它2-100任意整数。
包括但不限于每次治疗开始前拍摄图像，也可以不用每次治疗前拍摄，如果两次治疗间隔时间短，也可以用上次治疗的图像；拍摄的图像也不局限于3DCBCT图像，也包括4D锥束CT、MR、CT等影像。
本发明光学体表数据来源于外置的深度摄像头，针对实现深度摄像头与图像采集的同步性有多种方案，可以通过软件实现学体表数据和图像，两套图像采集系统可内部通讯实现，另外本发明还提出了一种解决方案：借助深度摄像头追踪图像数据采集过程中组件的运动。该方案不需要任何额外的硬件设备，便于推广，可靠性好，唯一需要满足的条件是摄像头采集影像的区域内存在便于识别的同步旋转的组件，如四维锥束CT成像中的平板探测器、X射线源、加速器机架或机头等组件。该方案的基本思路是，在某一随机架旋转的组件上选取合适的特征区域，计算特征区域在图像中的位置参数，将该参数的变化与事先标定的转换函数结合，得到与深度摄像头捕获图像实时对应的机架旋转角度，进而能够实现摄像头与图像采集的时间同步。所述转换函数可以采用合适的一次函数。
在四维锥束CT成像中，一种实施例为，在摄像头采集数据光学三原色RBG的蓝色通道追踪平板探测器上的椭圆形轮廓的位置来保证同步性。在同步之前首先应完成转换函数的标定，在机架处于某一旋转角度时，使用阈值分割和椭圆拟合确定椭圆轮廓的具体位置，计算椭圆的特征中心距离图像左上角的距离，将同一位置的多次结果平均作为该角度对应的特征距离参数。在不同角度下重复测量，将该平均距离与机架旋转角度进行一阶多项式拟合，得到标定完毕的转换函数。在需要保证光学摄像头与投影采集的同步性时，同样追踪图像中平板探测器上的椭圆特征中心距离图像左上角的距离，对比标定好的传递函数即可得到此时的机架旋转角度，进而可以将采集的图像与投影进行对应。
深度摄像头，除了能够获取平面图像，还可以获得拍摄对象的深度信息，也就是三维的位置和尺寸信息，于是整个计算系统就获得了环境和对象的三维立体数据，再加上时间，既可以形成四维的数据，这些信息可以用于人体跟踪、三维重建。
本发明不局限在使用深度摄像头采集光学体表数据，所有能够获取体表平面及深度信息的装置均可以。
使用形变配准技术，得到光学体表呼吸信号，进行四维图像重建。本发明实施例之一，基于XCAT仿真模体做了测试，对XCAT生成的1320张仿真CT数据进行分割，并将分割的体表保存为点云数据形式，在体表点云胸腹部选取感兴趣区域(ROI)，ROI的尺寸为32x32，仿真模体点云形式如图3所示，以及ROI展示如图4所示。体表数据为三维坐标信息，本实施例使用点云数据形式保存体表数据，但是本发明不限于使用点云数据形式，所有可以表达三维坐标系统中的一组向量的集合数据的表达形式都可以；比如，网格数据等也可以储存表面信息，实际操作起来可能和点云类似，比如ply存网格数据本身就既包括点云又包括面。三维坐标系统中的一组向量的集合类似的表达。
仿真数据的点云处理相较于真实数据更加简易，实施例之一，采用真实数据，点云数据的ROI以及对点云数据进行预处理将会是非常重要的工作，这部分预处理包括点云数据的降噪，以及下采样算法的选取。点云下采样是对点云以一定的采样规则重新进行采样，目的是在保证点云整体几何特征不变的情况下，降低点云的密度，进而可以降低相关处理的数据量和算法复杂度。
后续处理主要是对选取的ply格式的ROI点云数据进行点云配准。本发明使用的配准方法为基于高斯混合模型对点云数据配准。该配准框架的核心思想是使用高斯分布来表示输入点集混合模型。然后将点集配准问题重新表述为两个高斯混合物模型(GMM)的配准问题，即通过计算两种高斯混合物之间的统计差异度的最小化，直观表现为计算基于两个高斯混合物之间的L2距离，通过不断迭代得到L2值反馈配准效果，得到最优解。这种配准算法相较于更经典的点云配准算法(例如ICP算法)，基于GMM的配准算法不仅具有直观的解释、易于实现，并表现出固有的统计鲁棒性。配准指得是同一目标的两幅或者两幅以上的图像在空间位置的对准。
例如以CT数据的第一个时相为基准时相，采用两个高斯混合物模型(GMM)点云配准方法将后续所有光学体表数据与基准时相进行配准，依次计算形成配准后的形变ROI与基准ROI的所有点的位移矩阵，对位移矩阵进行主成分分析(PCA)。计算对应点的距离，就可以得到很多条曲线，结合这一块感兴趣区域(ROI)的信息，如果任意选一个点作为呼吸信号也可以，但是可能被质疑舍弃了三维信息采用一维信息，于是用PCA的方法得到第一主成分作为的呼吸曲线比较准确。
第一主成分即为本发明所需要的光学体表数据的呼吸信号，可以用来降噪和划分呼吸时相。当然，以第一主成分作为光学体表数据的呼吸信号不是唯一方案。也可以采用第一主成分加第二主成分，甚至第一主成分加更多主成分的方式。对位移矩阵进行主成分分析是一种降维处理方法，目的是选出贡献最大的分量，除了使用主成分分析外，还可以使用因子分析、独立分量分析等降维方法，均可以得到光学体表呼吸信号。
采用高斯降噪对点云数据raw信号进行降噪，让曲线变得更光滑，这样更有利于归一化的实现，另外因为所选择数据刚性要好于真实情况，ROI的选择也不用特意区分腹部与胸部，但是真实数据，如果ROI选取范围过大，不仅会影响配准速度，并且因为胸腹部的运动幅度差异较大，会影响曲线提取的准确性。故真实数据ROI的选择要特别注意区域的划分，当然为了力求准确可以对位移矩阵做K-mean聚类，对腹部数据以及胸部数据进行区分。
本发明方案还解决在投影数不足时会有明显的伪影的技术问题，使用深度学习技术，包括但不限于：深度神经网络(DNN)，递归神经网络(RNN)，卷积神经网络(CNN)，生成式对抗网络(GAN)进行分时相图像质量提升。本专利提出了一个实施例，基于CycleGAN网络，将医院先前的4DCT、3DCBCT等数据作为训练集训练得到一个图像质量提升的模型，医院收集3DCBCT时同时收集其光学体表信息，如果投影数据中包含横膈肌，则可以考虑不采集光学体表信息，基于横膈肌信号或本发明提出的基于光学体表信息得到的呼吸信号用于对投影划分时相并重建有稀疏伪影的4DCBCT。对不配对的4DCT和4DCBCT分时相训练(根据医院数据的更新，可定期更新扩大训练集，考虑男性和女性生理结构的区别，要做到男性女性分开训练)，提高了当前病人直接分组重建图像的质量，在当前病人治疗当天可以实现实时图像质量提升，深度学习技术对图像质量的提升使得用常规锥束CT扫描下的四维锥束CT重建成为可能。
可以直接通过分时相训练，消除稀疏重建伪影；分时相训练也可以用于图像质量提升后该方案后可能会出现细节丢失，对图像细节进行提升。
方案1:分时相训练，可以实现运动补偿的深度学习网络：设计一种多通道神经网络，一次性输入该患者4DCT多个相邻时相作为先验，去学习相邻时相之间的运动关联，得到分时相训练模型，基于上述模型消除稀疏重建伪影，及对图像感兴趣区的细节进行补充修正。
方案2:分时相深度学加运动补偿：应用深度学习技术改善直接分组重建的图像质量，深度学习提升部分可以参考上述方案1给出的解决方案，此时会根据10个时相依次去提升图像质量。提升质量后的图像可以用于获取位移矢量场(DVF)和用于运动补偿重建，DVF的获取可以通过使用各向同性的全变分配准(pTV-reg)，例如10组时相，将0时相作为参考时相，将参考时相图像依次配准给其他9组时相得到9组DVF，用于实现不同时相的迭代重建中前向和后向投影过程中的运动校正。不局限于划分10组时相，实践中可以划分为N组，N为大于1的整数。
可以通过使用深度学习技术如对抗生成网络用于图像质量提升，将呼气末(EOE，End of expiratory缩写)阶段的包含肿瘤区域的光学体表呼吸信号配准给深度神经网络，采用包含生成器和判别器的生成式对抗网络，利用病人的4DCT的先验数据样本对生成式对抗网络进行训练，训练结束后提取参数确定的生成器作为去伪影模型。不限于呼气末阶段的光学体表呼吸信号，也可以是呼吸过程依据吸气和呼气的幅度被分为各个时相的光学体表呼吸信号。样本也不限于病人的4DCT的先验数据，也可以是4DCBCT等各种类型的4D数据。
而每次治疗中基于本发明提出的方法获得的4DCBCT都将作为训练集。结合治疗过程中的光学体表数据，就可以实时图像引导并用于治疗工作。
最后基于治疗、诊断、介入、穿刺等多种应用场景过程中实时图像采集，估计位移矢量场(DVF)被用于病灶质心以及靶区轮廓的实时检测，以获得最终的四维锥束CT图像。
本专利基于3D影像采集过程中采集的光学体表数据获取的呼吸信号，基于呼吸信号对投影划分时相，重建的4D影像，仿真阶段将仿真光学体表信号与其它信号比较评估。
将提取的光学体表数据的信号与输入的横膈肌信号真值(输入信号)进行评估比较，探究基于配准的体表信号提取的准确性以及可行性，评估的指标是对归一化的信号进行快速傅立叶变换(fft)提取频谱，计算周期与输入的横膈肌信号真值(输入信号)的比较，以及提取的光学体表数据的信号与真实信号的波峰波谷误差。信号的评估表明本发明提出的光学体表信号提取的稳定性不亚于横膈肌信号的提取，甚至更接近输入信号。
除了对信号做频谱分析外，还分别重建了三种信号作为呼吸时相划分标准的图像重建算法，分别使用前文提取的横膈肌信号(Diaphragm signal)，仿真光学体表信号(Optical Surface signal)以及输入的横膈肌信号真值(Ground truth)分别重建并比较重建结果，如图5、图6、图7所示。重建算法采用MLEM(Maximum Likelihood ExpectationMaximization algorithm)最大似然期望最大化算法，评估指标主要是RMSE，SSIM，PSNR。真值为前文提到的仿真4DCT生成的全投影重建结果，本发明使用的图像质量指标包括图像的均方根误差(RMSE)、结构相似性指数(SSIM)和峰值信噪比(PSNR)。SSIM和PSNR的定义如下：
对于给定的图像x和y，两个图像间的SSIM计算如下：
h1＝(0.01L)2,h2＝(0.03L)2
其中μx和μy是图像x和y的平均值。δx和δy是方差x和y。δxy是x和y的协方差。h1和h2是两个常数。L是x和y中像素值的范围。
给定图像的PSNR定义为：
其中x和
是输入图像和参考图像，
是
中的最大像素值，MSE是x相对于
的均方误差。
图5为真值(Ground truth)信号示意图；图6为光学体表信号(Optical Surfacesignal)示意图；图7为横膈肌信号(Diaphragm signal)示意图；图8至图10为三种信号男性(Male)模拟数据MLEM(Maximum Likelihood Expectation Maximization algorithm)最大似然期望最大化算法重建结果示意图。结合图5至图10及具体数据得出光学体表信号和横膈肌信号重建图像与真值重建图像的RMSE，SSIM和PSNR，RMSE均小于3，SSIM均可大于0.94，PSNR在35-39之间；且横膈肌信号重建图像与光学体表信号重建图像质量评估相差不大；可见基于光学体表信号重建4D图像可以达到与使用内部运动得到的信号可比拟的结果。图8至图10为男性数据，但是本发明适用男性、女性的呼吸影像重建。
本发明的方法直接基于光学体表中获取呼吸相位信息，实现投影按相位分组，而无需接触式传感器。相较于基于横膈肌信号获取呼吸信号用于图像重建相比，该方法不仅可以用于投影中不包含横膈肌信号的投影数据，并且光学体表是可以在治疗中实时采集。且相较于传统的腹背方向的一维反光块运动追踪方法，光学体表信息维度更高且不需要接触式辅助装置。
本发明实施例可能带来的有益效果包括但不限于：本发明提供的一种基于四维体表呼吸信号的非接触式四维成像方法和系统可以在现有设备基础上，不依赖于接触式传感器，可以有效从常规锥束CT扫描中估计出四维锥束CT影像。可用于包括不限于四维CT、四维锥束CT、四维核磁等这些模态成像过程中的呼吸时相划分和图像重建。该方法不会引入更高的辐射剂量，有望运用于现有的临床治疗过程中，基于治疗前的3DCBCT和光学体表采集的信号合成当天的4DCBCT用于治疗，结合基于光学体表预测内部运动的工作，可以实现在治疗过程中基于体表信号的实时运动检测。有利于临床推广和产业应用。本发明的发明和系统一一对应，本实施例不再重复介绍。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本发明的限定。
此外，除非权利要求中明确说明，本发明所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本发明流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本发明实施例实质和范围的修正和等价组合。
同理，应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则。其他的变形也可能属于本发明的范围。因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致。相应地，本发明的实施例不仅限于本发明明确介绍和描述的实施例。
Claims (14)
1.一种基于四维体表呼吸信号的非接触式四维成像方法，其特征在于，在采集患者图像的过程中，同步采集该患者的光学体表数据；基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。
2.根据权利要求1所述的方法，其特征在于，所述光学体表数据包括平面及深度的三维坐标信息。
3.根据权利要求1所述的方法，其特征在于，以所述图像的某一个时相为图像的基准时相，将所有光学体表数据与图像的基准时相进行配准，依次计算配准后的形变与基准时相的位移，得到位移矩阵，对位移矩阵进行降维处理，得到光学体表呼吸信号。
4.根据权利要求1或3所述的方法，其特征在于，在获取患者的图像后，将图像数据进行分割，并保存分割体表的表面信息，在分割体表上选取感兴趣区域得到分割体表数据；将光学体表数据与分割体表数据进行配准。
5.根据权利要求1或2或3或4所述的方法，其特征在于，根据治疗之前收集的图像数据和呼吸信号作为训练集，采用深度学习技术改善直接分组重建的图像质量，深度学习技术包括深度神经网络，或递归神经网络，或卷积神经网络，或生成式对抗网络。
6.根据权利要求1或2或3或4或5所述的方法，其特征在于，采用一种多通道神经网络，一次性输入该患者多个相邻时相作为先验数据，去学习相邻时相之间的运动关联，得到分时相训练模型，采用分时相训练模型，提升图像质量。
7.根据权利要求6所述的方法，其特征在于，得到提升质量后的图像，将其用于获取位移矢量场重建，具体的，将N组图像中的某一组时相作为参考时相，将参考时相图像依次配准给其他N-1组时相，得到N-1位移矢量场，N为大于1的整数。
8.一种基于四维体表呼吸信号的非接触式四维成像系统，其特征在于，包括：获取单元，用于在采集患者图像的过程中，同步采集该患者的光学体表数据；还包括处理单元，用于基于采集到的光学体表数据提取呼吸信号；基于呼吸信号中的呼吸相位信息对所述患者图像数据进行分组，重建出四维图像。
9.根据权利要求8所述的系统，其特征在于，所述系统包含能够采集光学体表的平面及深度的三维坐标数据信息的装置。
10.根据权利要求8所述的系统，其特征在于，所述处理单元，以所述图像的某一个时相为图像的基准时相，将所有光学体表数据与图像的基准时相进行配准，依次计算配准后的形变与基准时相的位移，得到位移矩阵，对位移矩阵进行降维处理，得到光学体表呼吸信号。
11.根据权利要求8或10所述的系统，其特征在于，在获取患者的图像后，将图像数据进行分割，并保存分割体表的表面信息，在分割体表上选取感兴趣区域得到分割体表数据；将光学体表数据与分割体表数据进行配准。
12.根据权利要求8或9或10或11所述的系统，其特征在于，处理单元用于根据治疗之前收集的图像数据和呼吸信号作为训练集，采用深度学习技术改善直接分组重建的图像质量，深度学习技术包括深度神经网络，或递归神经网络，或卷积神经网络，或生成式对抗网络。
13.根据权利要求8或9或10或11或12所述的系统，其特征在于，处理单元用于采用一种多通道神经网络，一次性输入该患者多个相邻时相作为先验数据，去学习相邻时相之间的运动关联，得到分时相训练模型，采用分时相训练模型，提升图像质量。
14.根据权利要求13所述的系统，其特征在于，处理单元用于得到提升质量后的图像，将其用于获取位移矢量场重建，将N组图像中的某一组时相作为参考时相，将参考时相图像依次配准给其他N-1组时相，得到N-1位移矢量场，N为大于1的整数。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2022/133611 WO2024108409A1 (zh) | 2022-11-23 | 2022-11-23 | 一种基于四维体表呼吸信号的非接触式四维成像方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115996668A true CN115996668A (zh) | 2023-04-21 |
Family
ID=85992530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280005277.6A Pending CN115996668A (zh) | 2022-11-23 | 2022-11-23 | 一种基于四维体表呼吸信号的非接触式四维成像方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115996668A (zh) |
| WO (1) | WO2024108409A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372565A (zh) * | 2023-12-06 | 2024-01-09 | 合肥锐视医疗科技有限公司 | 一种基于神经网络时相判别的呼吸门控ct成像方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009004951A (ja) * | 2007-06-20 | 2009-01-08 | Fujifilm Corp | 画像処理装置、方法、およびプログラム |
| CN102058936A (zh) * | 2010-11-17 | 2011-05-18 | 山东省肿瘤防治研究院 | 一种用于胸部肿瘤放射治疗的呼吸控制定位装置 |
| US20130195341A1 (en) * | 2012-01-31 | 2013-08-01 | Ge Medical Systems Global Technology Company | Method for sorting ct image slices and method for constructing 3d ct image |
| CN104305996A (zh) * | 2014-10-15 | 2015-01-28 | 大连现代医疗设备科技有限公司 | 基于图像识别技术的呼吸监测方法及系统 |
| US20160270698A1 (en) * | 2015-03-20 | 2016-09-22 | Yoshiyuki Hatakeyama | Sensor device for detecting displacements of human's body surface accompanying respiration |
| CN108451532A (zh) * | 2018-04-28 | 2018-08-28 | 杜乙 | 呼吸信息的获取方法及系统 |
| CN110390361A (zh) * | 2019-07-25 | 2019-10-29 | 安徽工程大学 | 一种基于运动补偿学习的4d-cbct成像方法 |
| CN112435307A (zh) * | 2020-11-26 | 2021-03-02 | 浙江大学 | 一种深度神经网络辅助的四维锥束ct影像重建方法 |
| CN113574565A (zh) * | 2021-02-07 | 2021-10-29 | 北京肿瘤医院(北京大学肿瘤医院) | 一种利用光学体表运动信号合成实时图像的系统 |
-
2022
- 2022-11-23 WO PCT/CN2022/133611 patent/WO2024108409A1/zh unknown
- 2022-11-23 CN CN202280005277.6A patent/CN115996668A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009004951A (ja) * | 2007-06-20 | 2009-01-08 | Fujifilm Corp | 画像処理装置、方法、およびプログラム |
| CN102058936A (zh) * | 2010-11-17 | 2011-05-18 | 山东省肿瘤防治研究院 | 一种用于胸部肿瘤放射治疗的呼吸控制定位装置 |
| US20130195341A1 (en) * | 2012-01-31 | 2013-08-01 | Ge Medical Systems Global Technology Company | Method for sorting ct image slices and method for constructing 3d ct image |
| CN104305996A (zh) * | 2014-10-15 | 2015-01-28 | 大连现代医疗设备科技有限公司 | 基于图像识别技术的呼吸监测方法及系统 |
| US20160270698A1 (en) * | 2015-03-20 | 2016-09-22 | Yoshiyuki Hatakeyama | Sensor device for detecting displacements of human's body surface accompanying respiration |
| CN108451532A (zh) * | 2018-04-28 | 2018-08-28 | 杜乙 | 呼吸信息的获取方法及系统 |
| CN110390361A (zh) * | 2019-07-25 | 2019-10-29 | 安徽工程大学 | 一种基于运动补偿学习的4d-cbct成像方法 |
| CN112435307A (zh) * | 2020-11-26 | 2021-03-02 | 浙江大学 | 一种深度神经网络辅助的四维锥束ct影像重建方法 |
| CN113574565A (zh) * | 2021-02-07 | 2021-10-29 | 北京肿瘤医院(北京大学肿瘤医院) | 一种利用光学体表运动信号合成实时图像的系统 |
Non-Patent Citations (1)
| Title |
|---|
| 宋孟孟, 王运来, 黄祥, 鞠忠建, 戴相昆, 吴青南: "肺部肿瘤基于最大密度投影图像和四维CT勾画的内靶区差异性分析", 《中国医学物理学杂志》, vol. 35, no. 2, 31 December 2018 (2018-12-31), pages 135 - 140 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372565A (zh) * | 2023-12-06 | 2024-01-09 | 合肥锐视医疗科技有限公司 | 一种基于神经网络时相判别的呼吸门控ct成像方法 |
| CN117372565B (zh) * | 2023-12-06 | 2024-03-15 | 合肥锐视医疗科技有限公司 | 一种基于神经网络时相判别的呼吸门控ct成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024108409A1 (zh) | 2024-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| McClelland et al. | Respiratory motion models: a review | |
| US9254112B2 (en) | Respiratory interval-based correlation and processing of dynamic imaging data | |
| Boldea et al. | 4D‐CT lung motion estimation with deformable registration: quantification of motion nonlinearity and hysteresis | |
| Terpstra et al. | Deep learning-based image reconstruction and motion estimation from undersampled radial k-space for real-time MRI-guided radiotherapy | |
| CN110378881B (zh) | 一种基于深度学习的肿瘤定位系统 | |
| US8655040B2 (en) | Integrated image registration and motion estimation for medical imaging applications | |
| CN110390361B (zh) | 一种基于运动补偿学习的4d-cbct成像方法 | |
| US11823384B2 (en) | CT image generation method for attenuation correction of pet images | |
| Lu et al. | Precise segmentation of multiple organs in CT volumes using learning-based approach and information theory | |
| Dai et al. | Deep learning‐based motion tracking using ultrasound images | |
| CN115996668A (zh) | 一种基于四维体表呼吸信号的非接触式四维成像方法和系统 | |
| CN111275669A (zh) | 一种先验信息引导的四维锥束ct图像重建算法 | |
| Lötjönen et al. | Correction of movement artifacts from 4-D cardiac short-and long-axis MR data | |
| CN112154483A (zh) | 一种利用光学体表运动信号合成实时图像的方法及系统 | |
| Meng et al. | 2D-3D registration with weighted local mutual information in vascular interventions | |
| CN108596995A (zh) | 一种pet-mri最大后验联合重建方法 | |
| CN110458779B (zh) | 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法 | |
| Waddington et al. | On real-time image reconstruction with neural networks for MRI-guided radiotherapy | |
| Li et al. | Pulmonary CT image registration and warping for tracking tissue deformation during the respiratory cycle through 3D consistent image registration | |
| CN113574565A (zh) | 一种利用光学体表运动信号合成实时图像的系统 | |
| CN116128838A (zh) | 基于双目视觉的呼吸检测系统、4d-ct图像重建系统和方法 | |
| Schwing et al. | Reliable extraction of the mid-sagittal plane in 3D brain MRI via hierarchical landmark detection | |
| Wang et al. | 4D-MRI in radiotherapy | |
| CN111951346B (zh) | 一种联合运动估计与时空张量增强表示的4d-cbct重建方法 | |
| Zakeri et al. | 4D-Precise: Learning-based 3D motion estimation and high temporal resolution 4DCT reconstruction from treatment 2D+ t X-ray projections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |