CN113674393A - 呼吸运动模型的构建方法和无标记呼吸运动预测方法 - Google Patents
呼吸运动模型的构建方法和无标记呼吸运动预测方法 Download PDFInfo
- Publication number
- CN113674393A CN113674393A CN202110784447.2A CN202110784447A CN113674393A CN 113674393 A CN113674393 A CN 113674393A CN 202110784447 A CN202110784447 A CN 202110784447A CN 113674393 A CN113674393 A CN 113674393A
- Authority
- CN
- China
- Prior art keywords
- motion
- respiratory motion
- respiratory
- position frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 288
- 230000000241 respiratory effect Effects 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000010276 construction Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000006073 displacement reaction Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 28
- 239000012528 membrane Substances 0.000 claims description 17
- 238000004088 simulation Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 7
- 210000001015 abdomen Anatomy 0.000 description 15
- 230000003187 abdominal effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000630 rising effect Effects 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001959 radiotherapy Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000004816 latex Substances 0.000 description 2
- 229920000126 latex Polymers 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036391 respiratory frequency Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种呼吸运动模型的构建方法和无标记呼吸运动预测方法。构建方法包括：获取待预测对象在一段时间内呼吸时的体表运动序列图像数据；根据体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像，其中每个运动时区不超过二分之一呼吸运动周期；对每一运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量，并利用位置偏移量进行插值计算得到每一运动时区内其他位置帧所对应的相对位移量；根据位置偏移量和相对位移量计算构建呼吸运动模型。该方法构建得到的呼吸运动模型能反映整体运动趋势，并且在实际预测时无须对待预测对象进行标记，最大程度地表征了表面运动信息。
Description
技术领域
本发明属于医疗技术领域，具体地讲，涉及一种呼吸运动模型构建方法、无标记呼吸运动预测方法、呼吸运动模拟装置、计算机可读存储介质、计算机设备。
背景技术
随着放射治疗的精确性日益提高，它在癌症治疗中得到了广泛的应用。然而，在放疗过程中，仍存在诸多干扰因素，导致治疗效果意外。其中，呼吸引起的解剖运动和变形是导致放射治疗计划和实施过程中出现错误的重要原因，尤其是在胸部和腹部的放射治疗中。并且由于呼吸运动是一种非自愿的生理运动，所以其对放疗的影响贯穿于整个治疗过程。在呼吸作用下，腹部和胸部的肿瘤可以移动35mm，如果呼吸运动计算不正确，就不能根据肿瘤的运动来控制放射束，来保证高精度的治疗。可能出现靶组织描绘错误、剂量计算错误以及对正常组织不必要的二次损伤等。当前的主流方法是，基于肿瘤内部与皮肤表面位移之间的关系建模来实现肿瘤的实时跟踪。因此，如何解决对皮肤表面位移进行表征和跟踪的问题是十分重要并且必要的。
现有腹部表面跟踪技术主要集中于放置在人类胸部表面的标记上，即在患者腹部表面上设置若干标记，然后通过光学跟踪仪来实时跟踪患者腹部表面这几个标记的运动位移状况。例如，在呼吸跟踪系统中，赛博刀系统是使用三个标记来记录皮肤表面的运动，首先让患者穿上胸部或腹部粘贴发红光二极管的背心平卧在体模内，然后用红光追踪仪(同步呼吸追踪系统，Synchrony)获得呼吸节奏，即腹部表面信息。
基于标记点的跟踪技术，由于其红外标记的数量是有限的，所以存在对呼吸信号的表征不足的问题，从而造成腹部靶向的误差累积。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何构建一种能更大程度地表征体表运动信息的呼吸运动模型。
(二)本发明所采用的技术方案
一种呼吸运动模型的构建方法，所述构建方法包括：
获取待预测对象在一段时间内呼吸时的体表运动序列图像数据；
根据所述体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像，其中每个所述运动时区不超过二分之一呼吸运动周期，且每个运动时区对应的运动状态为呼气状态或吸气状态；
对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量，并利用所述位置偏移量进行插值计算得到每一所述运动时区内其他位置帧所对应的相对位移量；
根据各个所述运动时区对应的位置偏移量和相对位移量计算构建呼吸运动模型。
所述运动时区的数量至少为两个，各个所述运动时区共同构成一个完整的呼吸运动周期。
优选地，所述获取待预测对象在一段时间内呼吸时的体表运动序列图像的方法包括：
在所述待预测对象的体表设置若干标记点，其中在所述待预测对象进行呼吸运动时所述标记点跟随体表进行运动；
利用深度相机获取待预测对象在一段时间内呼吸时的连续帧RGB图像集和各个标记点对应的运动数据；
根据各个标记点对应的运动数据生成呼吸运动整体频率曲线，所述呼吸运动整体频率曲线和所述连续帧RGB图像集共同构成体表运动序列图像数据。
优选地，所述一段时间包括若干个呼吸运动周期，所述根据所述体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像的方法包括：
统计所述运动时区对应的运动状态在所述呼吸运动整体频率曲线中出现的个数；
从所述连续帧RGB图像集中提取每个所述运动状态下初始位置帧对应的 RGB图像和每次所述运动状态下结束位置帧对应的RGB图像；
将各个所述运动状态下初始位置帧对应的RGB图像和各个所述运动状态下结束位置帧对应的RGB图像均转换为灰度图像；
根据各个所述运动状态下初始位置帧对应的灰度图像计算得到所述初始位置帧的平均灰度图像，并作为所述首端位置帧对应的图像，根据各个所述运动状态下结束位置帧对应的灰度图像计算得到所述结束位置帧的平均灰度图像，并作为所述末端位置帧对应的图像。
优选地，采用基于B样条的自由变形方法对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量。
优选地，所述插值计算的方法为线性插值、三次样条插值和三次多项式插值中的任意一种。
本申请还公开了一种无标记呼吸运动的预测方法，所述预测方法包括：
获取待预测对象呼吸时的其中一幅体表图像作为初始位置图像；
将所述初始位置图像输入至根据上述构建方法得到的呼吸运动模型中，所述呼吸运动模型实时输出不同时刻的体表位置图像。
优选地，所述预测方法还包括自校正步骤：
采用深度相机实时监测待预测对象呼吸时的体表深度数据；
根据体表深度数据获取当前呼吸运动周期下，选定位置达到预定深度时对应的实际位置帧，并从呼吸运动模型中获取所述选定位置达到预定深度时对应的预设位置帧；
将所述选定位置的实际位置帧与预设位置帧的差值作为帧偏移值；
利用所述帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧索引；
所述呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置。
或者，所述预测方法还包括自校正步骤：
采用深度相机实时监测待预测对象呼吸时的体表深度数据；
根据体表深度数据计算当前呼吸运动的实际周期；
计算当前呼吸运动的实际周期与所述呼吸运动模型中呼吸运动的预设周期之间的差值，作为帧偏移值；
利用所述帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧索引；
所述呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置。
本申请还公开了一种呼吸运动模拟装置，所述呼吸运动模拟装置包括：
支撑件；
弹性膜，安装于所述支撑件上；
驱动组件，位于所述弹性膜的一侧，用于驱动所述弹性膜进行弹性往复运动。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现上述的呼吸运动模型的构建方法。
本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现上述的呼吸运动模型的构建方法。
(三)有益效果
本发明公开了一种呼吸运动模型的构建方法和无标记呼吸运动预测方法，相对于现有方法，具有如下技术效果：
通过待预测对象的历史运动序列图像数据来构建得到的呼吸运动模型，该模型能反映整体运动趋势，并且在实际预测时无须对待预测对象进行标记，可以实现对体表整体进行预测，最大程度地表征了表面运动信息。
附图说明
图1为本发明的实施例一的呼吸运动模型的构建方法的流程图；
图2为本发明的实施例一的11个标记点的深度值波形图；
图3为本发明的实施例一的一个呼吸运动周期内的运动时区划分示意图；
图4为本发明的实施例二的进行自校正步骤前后的效果对比示意图；
图5为本发明的实施例三的呼吸运动模拟装置的结构示意图；
图6为本发明的实施例三的呼吸运动模拟装置的图像和运动数据的采集示意图；
图7为本发明的实施例三的呼吸运动模拟装置在不同呼吸状态下的可视化示意图；
图8为本发明的实施例三的呼吸运动模拟装置上设置的11个标记点的示意图；
图9为本发明的实施例的三种不同插值方法下得到的运动误差示意图；
图10为本发明的实施例的各个标记点的轨迹预测示意图；
图11为图10的其中一个标记点的轨迹预测局部放大图；
图12为本发明的实施例五的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：现有的基于标记点跟踪技术的呼吸运动预测方法，由于标记点的数量有限，对呼吸信号的表征不足，本申请提供的方法首先通过监测待预测对象在一段时间内的运动图像数据，接着根据运动图像数据统计得到能表征每个运动时区内整体运动趋势的图像数据，接着利用图像配准方法和插值方法计算得到运动时区内每个位置帧对应的相对位移量，并根据相对位移量构建得到呼吸运动模型，最后利用呼吸运动模型预测后续的呼吸运动。本方法基于统计思想构建得到的呼吸运动模型能反映整体运动趋势，并且在实际预测时无须对待预测对象进行标记，可以实现对体表整体进行预测，最大程度地表征了表面运动信息。
具体来说，本实施例一公开了一种呼吸运动模型的构建方法，如图1所示，构建方法包括如下步骤：
步骤S10：获取待预测对象在一段时间内呼吸时的体表运动序列图像数据；
步骤S20：根据所述体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像，其中每个所述运动时区不超过二分之一呼吸运动周期，且每个运动时区对应的运动状态为呼气状态或吸气状态；
步骤S30：对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量，并利用所述位置偏移量进行插值计算得到每一所述运动时区内其他位置帧所对应相对位移量；
步骤S40：根据各个所述运动时区对应的位置偏移量和相对位移量计算构建呼吸运动模型。
在步骤S10中，为了统计得到待预测对象的呼吸运动规律，需要在待预测对象上设置若干标记点，以便于追踪标记点的深度数据。具体来说，步骤S10 包括如下步骤：
步骤S101：在所述待预测对象的体表设置若干标记点，其中在所述待预测对象进行呼吸运动时所述标记点跟随体表进行运动。示例性地，标记点的数量为11个，采用黄色标记点，在待预测对象平躺时，将黄色标记点放在待预测对象的腹部不同位置上，用于后续建立和测试模型。示例性地，为了便于收集数据和重复测试，待预测对象可采用呼吸运动模拟装置，详细描述见下文的实施例三的内容。
步骤S102：利用深度相机获取待预测对象在一段时间内呼吸时的连续帧 RGB图像集和各个标记点对应的运动数据。示例性地，将深度相机正对待预测对象，利用深度相机拍摄到若干个呼吸运动周期内各个标记点对应的深度数据以及连续帧RGB图像。
步骤S103：根据各个标记点对应的运动数据生成呼吸运动整体频率曲线，所述呼吸运动整体频率曲线和所述连续帧RGB图像集共同构成体表运动序列图像数据。
其中，根据每个标记点对应的运动数据可得到若干周期的深度值波形图，深度值波形图的横坐标为位置帧，即代表时间序列，纵坐标为腹部的深度值，即代表腹部起伏程度。示例性地，如图2所示，根据11标记点对应的运动数据可得到对应的11幅深度值波形图，将同一位置帧对应的11个深度值的平均值作为当前位置帧的统计深度值，遍历所有位置帧，得到各个统计深度值，从而形成一幅深度值统计波形图，该深度值统计波形图可以表征呼吸运动时的腹部整体运动趋势，作为呼吸运动整体频率曲线。需要说明的是，标记点的数量和呼吸运动周期数量可自行设定，在此不进行限定。11个标记点的运动数据具有 11组，连续帧RGB图像集具有1组，即每一帧RGB图像同时包含11个标记点。
进一步地，步骤S20包括如下步骤：
步骤S201：统计所述运动时区对应的运动状态在所述呼吸运动整体频率曲线中出现的次数；
步骤S202：从所述连续帧RGB图像集中提取每次所述运动状态下初始位置帧对应的RGB图像和每次所述运动状态下结束位置帧对应的RGB图像；
步骤S203：将各次所述运动状态下初始位置帧对应的RGB图像和各次所述运动状态下结束位置帧对应的RGB图像均转换为灰度图像；
步骤S204：根据各次所述运动状态下初始位置帧对应的灰度图像计算得到所述初始位置帧的平均灰度图像，并作为所述首端位置帧对应的图像，根据各次所述运动状态下结束位置帧对应的灰度图像计算得到所述结束位置帧的平均灰度图像，并作为所述末端位置帧对应的图像。
示例性地，如图3所示，为了便于阐述上述过程，运动时区的数量为两个，分别是AB、BC两个运动时区，每个运动时区的大小为二分之一呼吸运动周期，其中一个运动时区AB对应的状态为完整的呼气状态，此时腹部的深度值数据从最小值变化值最大值，即波谷至波峰；另一个运动时区BC对应的状态为完整的吸气状态，此时腹部的深度值数据从最大值变化值最大值，即波峰至波谷，这样两个运动时区组成一个完整的呼吸运动周期。
以呼气状态时的运动时区AB为例，此时在呼吸运动整体频率曲线上对应的运动状态是上升阶段状态，此时统计整条呼吸运动整体频率曲线中出现上升阶段状态的次数，每个上升阶段状态的波谷对应的位置帧为初始位置帧，每个上升阶段状态的波峰对应的位置帧为结束位置帧，根据每个上升阶段状态的初始位置帧从连续帧RGB图像集中提取对应的RGB图像，根据每个上升阶段状态的结束位置帧从连续帧RGB图像集中提取对应的RGB图像。接着将提取到的各幅RGB图像转换为灰度图像，接着根据各个上升阶段状态下初始位置帧对应的灰度图像计算得到初始位置帧的平均灰度图像，并作为该运动时区的首端位置帧对应的图像；根据各个上升阶段状态下结束位置帧对应的灰度图像计算得到结束位置帧的平均灰度图像，并作为该运动时区的末端位置帧对应的图像。这样便得到了一个运动时区首末两端位置帧的图像，类似地，对应另一个运动时区，即吸气状态下首末两端位置帧的图像计算原理与上述类似，在此不进行赘述。
进一步地，在步骤S30中，由于在进行呼吸运动时，腹部的收缩是一种弹性运动，即腹部外表面的每一点除了在深度方向(z轴)进行运动之外，还在平面方向(xy轴)发生位移，因此需要进行弹性配准处理。采用基于B样条的自由变形方法对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行配准处理得到位置偏移量，其中基于B样条的自由变形方法的基本原理如下：
基于B样条自由变形方法，计算移动后图像中每个像素的坐标，将图像中像素的移动分解为X和Y方向，分别定位X和Y坐标。
对于任意像素(x，y)，三次B样条弹性变形后的坐标位置(相对于像素网格)，即位置偏移量，可以表示为：
其中，φi+l,j+m表示最近邻4*4个控制点的坐标位置，i,j表示最近邻4*4个控制点的单元索引号，i＝[x/nx]-1，j＝[y/ny]-1，u＝x/nx-[x/nx]，v＝y/ny-[y/ny]， []表示取下整数，u和v表示x、y的相对单元控制网格的位置，nx和ny表示单位控制网格在x和y方向的间距，Bl表示B样条的第l个基函数。
控制点作为B样条自由变形方法的参数，可以建模的非刚性变形程度基本上取决于控制点网格的分辨率，φ用于表示由nx×ny控制点φi,j(0≤i＜nx,0≤j＜ny) 所组成的网格，并且每个控制点之间的间距为δ。
根据式(1)，获得φ优解。主要思想是搜索相似性度量Essd的最小空间变换位置，表示为
其中，N是图像配准区域中的像素总数，I1和I2表示参考图像和在二维空间中配准的图像的灰度函数。当这两个图像匹配得最好时，度量值Essd最小。在本实施例一中，I1为首端位置帧的图像，I2为末端位置帧的图像，B样条自由变形方法的具体计算过程为现有技术，在此不进行赘述。
进一步地，在计算得到该运动时区的首端位置帧和结束位置帧之间的位置偏移量之后，采用插值计算方法得到该运动时区内其他位置帧对应的相对位移量，插值计算的方法包括线性插值、三次样条插值和三次多项式插值中的任意一种。其中插值计算方法的计算过程为本领域技术人员熟知，在此不进行赘述，运动时区的其他位置帧的数量可自行限定，如果需要更精确地表示运动过程，可插值计算得到更多数量的位置帧的相对位移量。
进一步地，在步骤S40中，根据得到位置偏移量和各个相对位移量构建呼吸运动模型，该呼吸运动模型可表征对应运动时区或对应呼吸运动周期中呼吸运动规律，这样可以通过上一位置帧的位置状态预测得到下一位置帧的位置状态。
由于人体在进行呼吸时，腹部或胸部的运动并不是理想的周期运动，可能存在非规律运动，即异常情况，主要为波峰偏低和波谷偏高，为了提高模型的自适应能力，在另一实施方式中，将监测得到的体表运动序列图像数据中的异常数据提取出来，作为新的历史运动数据，其中可以设定第一深度阈值和第二深度阈值，波峰小于第一深度阈值、波谷大于第二深度阈值的两种情况下，对应周期的数据均可以认定为异常数据，利用该异常数据构建新的呼吸运动模型，具体的构建过程可参考上文的描述，在此不进行赘述。这样在实际预测时可以根据呼吸运动情况进行切换，选择最佳的预测模型。
本实施例二提供了一种无标记呼吸运动的预测方法，该预测方法为：获取待预测对象呼吸时的其中一幅体表图像作为初始位置图像；将初始位置图像输入至根据实施例一的构建方法得到的呼吸运动模型中，呼吸运动模型实时输出不同时刻的体表位置。
上述的呼吸运动模型，是基于统计思想构建的整体趋势模型，能预测到整体运动情况，由于呼吸运动的非理想周期性，实际的呼吸频率曲线与预测得到的呼吸频率曲线并非完美匹配，其中一种原因是位置帧发生偏移，例如实际监测过程中，在某一时刻，腹部深度值达到波峰时对应的实际位置帧与呼吸运动预测模型中腹部深度值达到波峰时的预测位置帧不相同。存在两种情况，第一种情况是预测得到的呼吸频率曲线相对于实际呼吸频率曲线发生整体偏移，第二种情况是实际呼吸运动周期相对于呼吸运动预测周期增大或减小了，因此为了提高预测精度，本实施例的预测方法增加了自校正步骤。
针对第一种情况，自校正步骤为：采用深度相机实时监测待预测对象呼吸时的体表深度数据；根据体表深度数据获取当前呼吸运动周期下，选定位置达到预定深度时对应的实际位置帧，并从呼吸运动模型中获取选定位置达到预定深度时对应的预设位置帧；将选定位置的实际位置帧与预设位置帧的差值作为帧偏移值；利用所述帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧索引；呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置。
具体来说，该深度相机输出的深度值波形图是针对画面中同一个位置的，即同一个位置的深度变化情况。示例性地，选定位置采用深度相机输出深度值波形图时针对的位置，在理想情况下，选定位置在到达预定高度时，深度相机实时探测到的实际位置帧与呼吸运动模型中该选定位置在到达预定高度时的预设位置帧相同，但由于呼吸运动的非理想周期性，两者并不完全相同，因此需要进行校正，将两者之差作为帧偏移值。示例性地，预定高度可为波峰深度或波谷深度。接着针对下一个呼吸运动周期，将每一时刻的预设位置帧与帧偏移值之和作为每一时刻的位置帧索引，呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置，这样得到体表校正位置与该时刻的实际位置更加贴近，从而提高了预测精度。校正前后的预测曲线如图4所示，其中F1-f1 表示帧偏移值。
针对第二种情况，自校正步骤为：采用深度相机实时监测待预测对象呼吸时的体表深度数据；根据体表深度数据计算当前呼吸运动的实际周期；计算当前呼吸运动的实际周期与呼吸运动模型中呼吸运动的预设周期之间的差值，作为帧偏移值；利用帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧；呼吸运动模型根据调整得到位置帧输出每个时刻对应的体表校正位置。
具体来说，深度相机实时输出深度值波形图，具体可以计算得到当前呼吸运动的实际周期，其中周期的单位采用帧数，这样将当前呼吸运动的实际周期与呼吸运动模型中呼吸运动的预设周期相减得到帧偏移值，帧偏移值为正值或为负值，接着针对下一个呼吸运动周期，将每一时刻的预设位置帧与帧偏移值之和作为每一时刻的位置帧索引，呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置图像，这样得到体表校正位置与该时刻的实际位置更加贴近，从而提高了预测精度。
本实施例三还公开了一种呼吸运动模拟装置，如图5所示，呼吸运动模拟装置包括：支撑件100、弹性膜200、驱动组件。其中支撑件100包括相对设置的两个支撑臂，支撑臂可采用硬质盒等材料，弹性膜100可采用乳胶膜等，将安装弹性膜100的两端固定连接于两个支撑臂上，使得弹性膜100处于平铺且弹性绷紧状态。驱动组件位于弹性膜100的一侧，以驱动所述弹性膜进行弹性往复运动。示例性地，当弹性膜100水平放置时，驱动组件整体位于弹性膜100 下方。驱动组件包括电机300、升降平台400和海绵500，电机300的输出轴与升降平台400连接，海绵500设置在升降平台400上，海绵500用于挤压弹性膜200。
呼吸模拟方法如下：在可编程单片机平台上进行运动控制，根据导入的波形数据控制电机的旋转方向和瞬时转速，驱动电机重构人体呼吸相，进行上下往复运动，即从生理角度模拟人体呼吸状态下腹部的起伏运动趋势。当驱动装置移动时，会对驱动上方的海绵和乳胶膜施加作用力，使海绵和乳胶膜发生变形，从而直观地模拟人体腹部在呼吸状态下的形态变化。如图6所示，与此同时，使用商用的RGB-D相机600进行腹部表面图像的采集，相机垂直于腹部表面放置。
为了验证呼吸运动模拟装置的合理性。首先，对模拟的腹部表面进行可视化观察。如图7所示，该呼吸运动模拟装置模拟了人体的三种状态：从上至下分别是吸气-呼气、呼吸-吸气、呼气。从图7中可以直观地观察到，三种状态下模拟的腹部体积和面积的变化符合生物学原理。其次，从模拟的腹部表面提取一段时间内11个像素的深度值。图2显示，标记点的深度值的变化符合人类呼吸运动循环的规律。通过以上方法的测试，说明了本实施例三的腹部呼吸模拟器的合理性和可行性。
进一步验证呼吸运动模型的预测性能，为了进行定量比较，我们首先在腹部表面(实施例三的弹性膜)选取了11个均匀分布的点标记。如图8所示，利用全局二值阈值技术和轮廓检测，在每一帧图像中精确地确定每个点标记的中心坐标，得到呼吸运动期间腹部表面11个标记的相对位移数据。最后，根据图像分割方法测量的数据对模型的跟踪能力进行了评价，通过计算运动数据的平均绝对误差来进行定量分析。
进一步验证不同三种插值计算方法的效果，分别是线性插值、三次样条插值和三次多项式插值。由三种插值方法计算的运动误差如图9所示。从图7可以看出，除了标记7和标记9的平均绝对误差大于一个像素之外，其他标记点的误差小于一个像素。在标记点4-10处，三次多项式插值方法的误差小于其他两种插值方法。在标记点0-3处，线性插值误差较小，效果较好。
为了更直观地看到跟踪效果，本文将所有标记点的跟踪曲线可视化。如图 10和图11所示，虚线表示预测的标记轨迹，实线表示真实的标记轨迹，虚线较好地预测了实线的运动趋势，说明了该模型的可行性和准确性。
本实施例四还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现实施例一的呼吸运动模型的构建方法。
本实施例五还公开了一种计算机设备，在硬件层面，如图12所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器 12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现实施例一的呼吸运动模型的构建方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。
Claims (12)
1.一种呼吸运动模型的构建方法，其特征在于，所述构建方法包括：
获取待预测对象在一段时间内呼吸时的体表运动序列图像数据；
根据所述体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像，其中每个所述运动时区不超过二分之一呼吸运动周期，且每个运动时区对应的运动状态为呼气状态或吸气状态；
对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量，并利用所述位置偏移量进行插值计算得到每一所述运动时区内其他位置帧帧所对应的相对位移量；
根据各个所述运动时区对应的位置偏移量和相对位移量计算构建呼吸运动模型。
2.根据权利要求1所述的呼吸运动模型的构建方法，其特征在于，所述运动时区的数量至少为两个，各个所述运动时区共同构成一个完整的呼吸运动周期。
3.根据权利要求1所述的呼吸运动模型的构建方法，其特征在于，所述获取待预测对象在一段时间内呼吸时的体表运动序列图像的方法包括：
在所述待预测对象的体表设置若干标记点，其中在所述待预测对象进行呼吸运动时所述标记点跟随体表进行运动；
利用深度相机获取待预测对象在一段时间内呼吸时的连续帧RGB图像集和各个标记点对应的运动数据；
根据各个标记点对应的运动数据生成呼吸运动整体频率曲线，所述呼吸运动整体频率曲线和所述连续帧RGB图像集共同构成体表运动序列图像数据。
4.根据权利要求3所述的呼吸运动模型的构建方法，其特征在于，所述一段时间包括若干个呼吸运动周期，所述根据所述体表运动序列图像数据生成至少一个运动时区的首端位置帧和末端位置帧分别对应的图像的方法包括：
统计所述运动时区对应的运动状态在所述呼吸运动整体频率曲线中出现的个数；
从所述连续帧RGB图像集中提取每个所述运动状态下初始位置帧对应的RGB图像和每次所述运动状态下结束位置帧对应的RGB图像；
将各个所述运动状态下初始位置帧对应的RGB图像和各个所述运动状态下结束位置帧对应的RGB图像均转换为灰度图像；
根据各个所述运动状态下初始位置帧对应的灰度图像计算得到所述初始位置帧的平均灰度图像，并作为所述首端位置帧对应的图像，根据各个所述运动状态下结束位置帧对应的灰度图像计算得到所述结束位置帧的平均灰度图像，并作为所述末端位置帧对应的图像。
5.根据权利要求1或3所述的呼吸运动模型的构建方法，其特征在于，采用基于B样条的自由变形方法对每一所述运动时区的首端位置帧和末端位置帧分别对应的图像进行弹性配准处理得到位置偏移量。
6.根据权利要求1所述的呼吸运动模型的构建方法，其特征在于，所述插值计算的方法为线性插值、三次样条插值和三次多项式插值中的任意一种。
7.一种无标记呼吸运动的预测方法，其特征在于，所述预测方法包括：
获取待预测对象呼吸时的其中一幅体表图像作为初始位置图像；
将所述初始位置图像输入至根据权利要求1至6任一项所述构建方法得到的呼吸运动模型中，所述呼吸运动模型实时输出不同时刻的体表位置。
8.根据权利要求7所述的无标记呼吸运动的预测方法，其特征在于，所述预测方法还包括自校正步骤：
采用深度相机实时监测待预测对象呼吸时的体表深度数据；
根据体表深度数据获取当前呼吸运动周期下，选定位置达到预定深度时对应的实际位置帧，并从呼吸运动模型中获取所述选定位置达到预定深度时对应的预设位置帧；
将所述选定位置的实际位置帧与预设位置帧的差值作为帧偏移值；
利用所述帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧索引；
所述呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置。
9.根据权利要求7所述的无标记呼吸运动的预测方法，其特征在于，所述预测方法还包括自校正步骤：
采用深度相机实时监测待预测对象呼吸时的体表深度数据；
根据体表深度数据计算当前呼吸运动的实际周期；
计算当前呼吸运动的实际周期与所述呼吸运动模型中呼吸运动的预设周期之间的差值，作为帧偏移值；
利用所述帧偏移值调整下一个呼吸运动周期中每个时刻对应的位置帧索引；
所述呼吸运动模型根据调整得到位置帧索引输出每个时刻对应的体表校正位置。
10.一种呼吸运动模拟装置，其特征在于，所述呼吸运动模拟装置包括：
支撑件；
弹性膜，安装于所述支撑件上；
驱动组件，位于所述弹性膜的一侧，用于驱动所述弹性膜进行弹性往复运动。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现权利要求1至6任一项所述的呼吸运动模型的构建方法。
12.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的呼吸运动模型的构建程序，所述呼吸运动模型的构建程序被处理器执行时实现权利要求1至6任一项所述的呼吸运动模型的构建方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110784447.2A CN113674393B (zh) | 2021-07-12 | 2021-07-12 | 呼吸运动模型的构建方法和无标记呼吸运动预测方法 |
| PCT/CN2021/106415 WO2023283866A1 (zh) | 2021-07-12 | 2021-07-15 | 呼吸运动模型的构建方法和无标记呼吸运动预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110784447.2A CN113674393B (zh) | 2021-07-12 | 2021-07-12 | 呼吸运动模型的构建方法和无标记呼吸运动预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674393A true CN113674393A (zh) | 2021-11-19 |
| CN113674393B CN113674393B (zh) | 2023-09-26 |
Family
ID=78538895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110784447.2A Active CN113674393B (zh) | 2021-07-12 | 2021-07-12 | 呼吸运动模型的构建方法和无标记呼吸运动预测方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113674393B (zh) |
| WO (1) | WO2023283866A1 (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101623198A (zh) * | 2008-07-08 | 2010-01-13 | 深圳市海博科技有限公司 | 动态肿瘤实时跟踪方法 |
| US20120300845A1 (en) * | 2011-05-27 | 2012-11-29 | Tandberg Telecom As | Method, apparatus and computer program product for image motion prediction |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| US20160000355A1 (en) * | 2013-03-01 | 2016-01-07 | Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD | Automatic method of predictive determination of the position of the skin |
| CN106056589A (zh) * | 2016-05-24 | 2016-10-26 | 西安交通大学 | 一种呼吸运动补偿的超声造影灌注参量成像方法 |
| US20170055877A1 (en) * | 2015-08-27 | 2017-03-02 | Intel Corporation | 3d camera system for infant monitoring |
| CN108159576A (zh) * | 2017-12-17 | 2018-06-15 | 哈尔滨理工大学 | 一种放疗中人体胸腹表面区域呼吸运动预测方法 |
| US20180307927A1 (en) * | 2017-04-24 | 2018-10-25 | Oxehealth Limited | In-Vehicle Monitoring |
| CN110269624A (zh) * | 2019-07-16 | 2019-09-24 | 浙江伽奈维医疗科技有限公司 | 一种基于rgbd相机的呼吸监测装置及其呼吸监测方法 |
| CN209785384U (zh) * | 2019-01-10 | 2019-12-13 | 四川捷祥医疗器械有限公司 | 新型仿真肺部膜拟器 |
| CN111179409A (zh) * | 2019-04-23 | 2020-05-19 | 艾瑞迈迪科技石家庄有限公司 | 一种呼吸运动建模方法、装置和系统 |
| CN112604186A (zh) * | 2020-12-30 | 2021-04-06 | 佛山科学技术学院 | 一种呼吸运动预测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268895B (zh) * | 2014-10-24 | 2017-02-15 | 山东师范大学 | 一种联合空域和时域信息的4d‑ct形变配准方法 |
| CN106446572B (zh) * | 2016-09-27 | 2018-12-07 | 上海精劢医疗科技有限公司 | 基于边界元模型和局部区域修正的肺部呼吸运动获取方法 |
| JP7072471B2 (ja) * | 2018-09-04 | 2022-05-20 | 株式会社日立製作所 | 位置測定装置、およびこれを備えた治療システム、ならびに位置測定方法 |
| CN109727672B (zh) * | 2018-12-28 | 2023-04-07 | 江苏瑞尔医疗科技有限公司 | 患者胸腹部肿瘤呼吸运动预测跟踪方法 |
| CN111161333B (zh) * | 2019-12-12 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种肝脏呼吸运动模型的预测方法、装置及存储介质 |
-
2021
- 2021-07-12 CN CN202110784447.2A patent/CN113674393B/zh active Active
- 2021-07-15 WO PCT/CN2021/106415 patent/WO2023283866A1/zh unknown
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101623198A (zh) * | 2008-07-08 | 2010-01-13 | 深圳市海博科技有限公司 | 动态肿瘤实时跟踪方法 |
| US20120300845A1 (en) * | 2011-05-27 | 2012-11-29 | Tandberg Telecom As | Method, apparatus and computer program product for image motion prediction |
| US20160000355A1 (en) * | 2013-03-01 | 2016-01-07 | Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD | Automatic method of predictive determination of the position of the skin |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| US20170055877A1 (en) * | 2015-08-27 | 2017-03-02 | Intel Corporation | 3d camera system for infant monitoring |
| CN106056589A (zh) * | 2016-05-24 | 2016-10-26 | 西安交通大学 | 一种呼吸运动补偿的超声造影灌注参量成像方法 |
| US20180307927A1 (en) * | 2017-04-24 | 2018-10-25 | Oxehealth Limited | In-Vehicle Monitoring |
| CN108159576A (zh) * | 2017-12-17 | 2018-06-15 | 哈尔滨理工大学 | 一种放疗中人体胸腹表面区域呼吸运动预测方法 |
| CN209785384U (zh) * | 2019-01-10 | 2019-12-13 | 四川捷祥医疗器械有限公司 | 新型仿真肺部膜拟器 |
| CN111179409A (zh) * | 2019-04-23 | 2020-05-19 | 艾瑞迈迪科技石家庄有限公司 | 一种呼吸运动建模方法、装置和系统 |
| CN110269624A (zh) * | 2019-07-16 | 2019-09-24 | 浙江伽奈维医疗科技有限公司 | 一种基于rgbd相机的呼吸监测装置及其呼吸监测方法 |
| CN112604186A (zh) * | 2020-12-30 | 2021-04-06 | 佛山科学技术学院 | 一种呼吸运动预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG J: "Respiratory motion correction in free-breathing ultrasound image sequence for quantification of hepatic perfusion", 《MED PHYS》, vol. 38, no. 8, pages 4737 - 4748, XP012145426, DOI: 10.1118/1.3606456 * |
| 潘李鹏;贺建峰;封硕;崔锐;马磊;相艳;易三莉;张俊;: "PET/CT成像呼吸运动B样条校正", 计算机工程与应用, no. 01, pages 160 - 165 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023283866A1 (zh) | 2023-01-19 |
| CN113674393B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11559221B2 (en) | Multi-task progressive networks for patient modeling for medical scans | |
| CN107808377B (zh) | 一种肺叶中病灶的定位装置 | |
| WO2021078066A1 (zh) | 乳腺超声筛查方法、装置及系统 | |
| CN102067176B (zh) | 结合局部运动监测、校正和评估的辐射成像 | |
| CN107358607A (zh) | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 | |
| CN111968222B (zh) | 一种人体组织非静止状态下三维超声重建方法 | |
| WO2006121164A1 (ja) | 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置 | |
| CN111627521B (zh) | 增强现实在放疗中的应用 | |
| CN103955961B (zh) | 基于统计学的超声序列图像三维重建方法和系统 | |
| CN103914823B (zh) | 基于稀疏表示的快速精确非线性配准立体医学影像的方法 | |
| CN103229210A (zh) | 图像配准装置 | |
| CN104240287A (zh) | 一种利用ct图像生成冠脉全景图的方法及系统 | |
| CN111862046A (zh) | 一种心脏冠脉剪影中导管位置判别系统和方法 | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| CN115005985A (zh) | 呼吸运动补偿数据处理方法、医学图像生成方法及装置 | |
| CN111192268A (zh) | 医学图像分割模型构建方法与cbct图像骨分割方法 | |
| CN113674393B (zh) | 呼吸运动模型的构建方法和无标记呼吸运动预测方法 | |
| CN115105062B (zh) | 髋膝关节协调性评估方法、装置、系统和存储介质 | |
| CN115996668A (zh) | 一种基于四维体表呼吸信号的非接触式四维成像方法和系统 | |
| CN110443749A (zh) | 一种动态配准方法及装置 | |
| JP5747878B2 (ja) | 画像処理装置及びプログラム | |
| JP2018506322A (ja) | 対象物体の変位を計算する方法及びシステム | |
| US11837352B2 (en) | Body representations | |
| Calow et al. | Photogrammetric measurement of patients in radiotherapy | |
| CN113870324A (zh) | 多模态图像的配准方法及其配准装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |