CN110176306B - 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 - Google Patents
一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 Download PDFInfo
- Publication number
- CN110176306B CN110176306B CN201910413989.1A CN201910413989A CN110176306B CN 110176306 B CN110176306 B CN 110176306B CN 201910413989 A CN201910413989 A CN 201910413989A CN 110176306 B CN110176306 B CN 110176306B
- Authority
- CN
- China
- Prior art keywords
- soft tissue
- vivo
- target point
- model
- body surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001727 in vivo Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000000338 in vitro Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Abstract
本发明公开了一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法，包括以下步骤：步骤1、对训练数据集提供的体表标记点和体内软组织靶点的三维运动信息进行数据预处理。步骤2、提取体内外运动点位置信息特征，构建多元LSTM网络，进行多输入多输出的迭代训练。步骤3、设置体内靶点的误差阈值，将测试例初始时刻采集的体表标记点和体内靶点位置输入到模型中进行再训练。步骤4、按照一定时间间隔检测误差，若误差低于阈值，模型正常输出；否则，重新采集下一时刻体表标记与体内靶点的位置信息，更新训练模型。步骤5、重复步骤4，直至完成体内靶点精准定位。该方法具有计算简单、操作自动化、对体内组织靶点运动定位精准的优点。
Description
技术领域
本发明涉及手术导航技术领域，尤其涉及一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法。
背景技术
近年来，我国癌症的发病率越来越高，目前有效的临床诊断和治疗方式是经皮穿刺活检和放疗。然而，由于人体呼吸运动的影响，患者的器官和软组织位置有着复杂多变的三维位移，给追踪体积较小的病灶带来了很大的难度。在目前的研究中，比较常见的定位方式是记录贴在病人体表的标记点和获取两个X-ray方向上的体内靶点的运动信息，来建立关于两者的关联模型，然后再对体表标记点建立时间序列预测模型，间接通过体表信息来定位体内靶点的位置。比如，豆梦在《面向放疗机器人的体内呼吸运动跟踪方法研究》中提出了基于无色变换的关联模型，王燃等人在《A Feasibility of Respiration PredictionBased on Deep Bi-LSTM for Real-Time Tumor Tracking》提出应用七层双向LSTM(LongShort-Term Memory，长短时记忆)来对经主成分分析法处理的体表数据点进行预测。然而由于呼吸过程中胸部横隔膜的作用，体表体内的运动往往表现出各向异性。当体表在上下方向有明显运动时，体内可能在左右运动。现有研究一般认为呼吸运动比较稳定，没有充分考虑体表标记点与体内靶点在三维运动上的内在规律性与变化性。
因此，本领域的技术人员致力于开发一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法，以期通过自动化操作来对体内软组织靶点运动进行精准定位。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何将传统预测模型与关联模型融为一体，来构建动态预测模型，如何克服现有技术方案的缺点，来实现对体内软组织靶点运动的自动定位。
为实现上述目的，本发明提供了一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法，包括以下步骤：
步骤1、对训练数据集提供的体表标记点和体内软组织靶点的三维运动信息进行数据预处理；
步骤2、提取所述体表标记点和所述体内软组织靶点的运动位置信息特征，构建基于多元LSTM网络的模型，进行多输入多输出的迭代训练；
步骤3、设置体内软组织靶点的误差阈值ε，将测试例初始时刻采集的所述体表标记点和所述体内软组织靶点的位置信息输入到所述模型中进行再训练；
步骤4、按照一定时间间隔检测误差，若预测误差低于所述阈值ε，所述模型正常输出；否则，重新采集下一时刻所述体表标记点与所述体内软组织靶点的位置信息，动态更新所述模型；
步骤5、重复步骤4，直至实现对所述体内软组织靶点的精准定位。
进一步地，所述步骤1和所述步骤2属于训练阶段，所述步骤3、所述步骤4和所述步骤5属于测试阶段。
进一步地，所述步骤1中的数据预处理包括数据清洗、平滑和归一化。
进一步地，所述步骤2包括以下步骤：
步骤21、将输入的所述体表标记点和所述体内软组织靶点的运动位置信息分别转化为所述体表标记点和所述体内软组织靶点各自对应的时序特征向量；
步骤22、应用如下所示公式来构建基于多元LSTM网络的模型，
其中，x(t)为当前时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息的多元输入，bo为偏置参数，Wo为权重系数，σ代表更新单元信息的神经网络函数，activation代表激活函数，h(t)为LSTM单元当前时刻的输出值，f为所述体内软组织靶点的位置映射函数；
步骤23、加入随机失活层和全连接层，提高所述模型的鲁棒性，提升全局特征；
步骤24、训练所述模型的参数。
进一步地，所述步骤24中训练所述模型的参数时采用Adam梯度下降算法。
进一步地，所述步骤3中设置体内软组织靶点的误差阈值ε这一操作是在所述测试阶段进行设置。
进一步地，所述步骤4包括以下步骤：
步骤41、设置时间间隔Δt，计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ；
步骤42、当μ<ε时，模型正常输出；当μ≥ε时，重新采集下一时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息，动态更新所述模型。
进一步地，所述步骤41中计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ时所用的计算公式如下：
其中，
和yi,j分别表示该时刻所述体内软组织靶点位置的预测值和实际值，M代表所述体内软组织靶点位置的三个分量，N代表时序点的数量。
进一步地，所述步骤5的具体过程为：重复步骤4，不断检测所述误差μ，确保预测的精度，动态更新所述模型，直至实现对所述体内软组织靶点的精准定位。
与现有技术方案相比，本发明的有益技术效果在于，从多输入多输出的角度出发，将传统预测模型与关联模型融为一体，应用深度学习网络LSTM模型，充分挖掘时序数据间的特征，并在实例测试中根据误差值来动态更新模型，具有计算简单、操作自动化、对体内软组织靶点运动定位精准等优点。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
本实施例在一台ubuntu16.04LTS的工作站(包含64GB的内存，
Xeon(R)CPUE5-2620v3，TITAN X Pascal显卡)上实现，整个模型训练算法采用Python编程语言实现。
本发明提出的一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法的实施流程如图1所示，包括以下步骤：
步骤1、对训练数据集提供的体表标记点和体内软组织靶点的三维运动信息进行数据预处理；
步骤2、提取所述体表标记点和所述体内软组织靶点的运动位置信息特征，构建基于多元LSTM网络的模型，进行多输入多输出的迭代训练；
步骤3、设置体内软组织靶点的误差阈值ε，将测试例初始时刻采集的所述体表标记点和所述体内软组织靶点的位置信息输入到所述模型中进行再训练；
步骤4、按照一定时间间隔检测误差，若预测误差低于所述阈值ε，所述模型正常输出；否则，重新采集下一时刻所述体表标记点与所述体内软组织靶点的位置信息，动态更新所述模型；
步骤5、重复步骤4，直至实现对所述体内软组织靶点的精准定位。
步骤1和步骤2属于训练阶段，步骤3、步骤4和步骤5属于测试阶段。
步骤1中的数据预处理包括数据清洗、平滑和归一化。
具体来说，步骤2包括以下步骤：
步骤21、将输入的所述体表标记点和所述体内软组织靶点的运动位置信息分别转化为所述体表标记点和所述体内软组织靶点各自对应的时序特征向量；
步骤22、应用如下所示公式来构建基于多元LSTM网络的模型，
在该公式中，x(t)为当前时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息的多元输入，bo为偏置参数，Wo为权重系数，σ代表更新单元信息的神经网络函数，activation代表激活函数，h(t)为LSTM单元当前时刻的输出值，f为所述体内软组织靶点的位置映射函数；
步骤23、加入随机失活层和全连接层，提高所述模型的鲁棒性，提升全局特征；
步骤24、训练所述模型的参数。
其中，在步骤24中训练所述模型的参数时采用Adam梯度下降算法。
步骤3中设置体内软组织靶点的误差阈值ε这一操作是在测试阶段进行设置。
具体来说，步骤4包括以下步骤：
步骤41、设置时间间隔Δt，计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ；
步骤42、当μ<ε时，模型正常输出；当μ≥ε时，重新采集下一时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息，动态更新所述模型。
其中，步骤41中计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ时所用的计算公式如下：
在该公式中，
和yi,j分别表示该时刻所述体内软组织靶点位置的预测值和实际值，M代表所述体内软组织靶点位置的三个分量，N代表时序点的数量。
步骤5的具体过程为：重复步骤4，不断检测所述误差μ，确保预测的精度，动态更新所述模型，直至实现对所述体内软组织靶点的精准定位。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.一种基于动态多元LSTM网络的软组织漂移靶点自动定位方法，其特征在于，包括以下步骤：
步骤1、对训练数据集提供的体表标记点和体内软组织靶点的三维运动信息进行数据预处理；
步骤2、提取所述体表标记点和所述体内软组织靶点的运动位置信息特征，构建基于多元LSTM网络的模型，进行多输入多输出的迭代训练；
步骤3、设置体内软组织靶点的误差阈值ε，将测试例初始时刻采集的所述体表标记点和所述体内软组织靶点的位置信息输入到所述模型中进行再训练；
步骤4、按照一定时间间隔检测误差，若预测误差低于所述阈值ε，所述模型正常输出；否则，重新采集下一时刻所述体表标记点与所述体内软组织靶点的位置信息，动态更新所述模型；
步骤5、重复步骤4，直至实现对所述体内软组织靶点的精准定位；
所述步骤1和所述步骤2属于训练阶段，所述步骤3、所述步骤4和所述步骤5属于测试阶段；
所述步骤3中设置体内软组织靶点的误差阈值ε这一操作是在所述测试阶段进行设置；
所述步骤2包括以下步骤：
步骤21、将输入的所述体表标记点和所述体内软组织靶点的运动位置信息分别转化为所述体表标记点和所述体内软组织靶点各自对应的时序特征向量；
步骤22、应用如下所示公式来构建基于多元LSTM网络的模型，
其中，x(t)为当前时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息的多元输入，bo为偏置参数，Wo为权重系数，σ代表更新单元信息的神经网络函数，activation代表激活函数，h(t)为LSTM单元当前时刻的输出值，f为所述体内软组织靶点的位置映射函数；
步骤23、加入随机失活层和全连接层，提高所述模型的鲁棒性，提升全局特征；
步骤24、训练所述模型的参数；
所述步骤4包括以下步骤：
步骤41、设置时间间隔Δt，计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ；
步骤42、当μ<ε时，模型正常输出；当μ≥ε时，重新采集下一时刻所述体表标记点的位置信息与所述体内软组织靶点的位置信息，动态更新所述模型；
所述步骤41中计算t时刻所述体内软组织靶点的运动位置三个分量的平均均方根误差μ时所用的计算公式如下：
其中，
和yi,j分别表示该时刻所述体内软组织靶点位置的预测值和实际值，M代表所述体内软组织靶点位置的三个分量，N代表时序点的数量。
2.如权利要求1所述的基于动态多元LSTM网络的软组织漂移靶点自动定位方法，其特征在于，所述步骤1中的数据预处理包括数据清洗、平滑和归一化。
3.如权利要求1所述的基于动态多元LSTM网络的软组织漂移靶点自动定位方法，其特征在于，所述步骤24中训练所述模型的参数时采用Adam梯度下降算法。
4.如权利要求1所述的基于动态多元LSTM网络的软组织漂移靶点自动定位方法，其特征在于，所述步骤5的具体过程为：重复步骤4，不断检测所述误差μ，确保预测的精度，动态更新所述模型，直至实现对所述体内软组织靶点的精准定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910413989.1A CN110176306B (zh) | 2019-05-17 | 2019-05-17 | 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910413989.1A CN110176306B (zh) | 2019-05-17 | 2019-05-17 | 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110176306A CN110176306A (zh) | 2019-08-27 |
| CN110176306B true CN110176306B (zh) | 2023-04-28 |
Family
ID=67691566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910413989.1A Active CN110176306B (zh) | 2019-05-17 | 2019-05-17 | 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176306B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110681074B (zh) * | 2019-10-29 | 2021-06-15 | 苏州大学 | 基于双向gru网络的肿瘤呼吸运动预测方法 |
| CN111027772B (zh) * | 2019-12-10 | 2024-02-27 | 长沙理工大学 | 基于pca-dbilstm的多因素短期负荷预测方法 |
| CN111477298B (zh) * | 2020-04-03 | 2021-06-15 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 一种放疗过程中肿瘤位置变化的追踪方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2130511A1 (en) * | 2000-11-17 | 2009-12-09 | Calypso Medical, Inc | System for locating and defining a target location within a human body |
| EP3234821A1 (en) * | 2014-12-19 | 2017-10-25 | Brainlab AG | Method for optimising the position of a patient's body part relative to an irradiation source |
| CN106563210B (zh) * | 2016-11-10 | 2020-07-10 | 苏州大学 | 基于ut变换的放疗机器人肿瘤呼吸运动估计及预测方法 |
| CN106777976B (zh) * | 2016-12-15 | 2021-06-11 | 苏州大学 | 基于粒子滤波的放疗机器人肿瘤运动估计预测系统及方法 |
-
2019
- 2019-05-17 CN CN201910413989.1A patent/CN110176306B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Felix A. Gers等."Learning to Forget: Continual Prediction with LSTM".《IEE Conference Publications》.1999,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110176306A (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111163692B (zh) | 依据体内测量重建解剖结构 | |
| CN110176306B (zh) | 一种基于动态多元lstm网络的软组织漂移靶点自动定位方法 | |
| CN107403446B (zh) | 用于使用智能人工代理的图像配准的方法和系统 | |
| JP6619889B2 (ja) | 動き予測を用いた治療制御 | |
| US10496729B2 (en) | Method and system for image-based estimation of multi-physics parameters and their uncertainty for patient-specific simulation of organ function | |
| US20220142712A1 (en) | Training data collection for machine learning models | |
| US10846875B2 (en) | Adaptive nonlinear optimization of shape parameters for object localization in 3D medical images | |
| US9652862B1 (en) | System and method for dynamic device tracking using medical imaging systems | |
| CN112102276B (zh) | 基于迁移学习图像增强的低场强mr胃部分割方法 | |
| CN103914823B (zh) | 基于稀疏表示的快速精确非线性配准立体医学影像的方法 | |
| CN116168810A (zh) | 用于心内超声心动图的智能图像导航 | |
| JP2023031301A (ja) | 心房の解剖学的に正確な再構成 | |
| US20210145412A1 (en) | Assisted steering of intracardiac echocardiogram catheters | |
| CN114511642A (zh) | 用于预测虚拟定位片流的方法和系统 | |
| US20230074481A1 (en) | Medical imaging systems, devices, and methods for visualizing a deployment state of an intracorporeal therapeutic device | |
| CN113066111B (zh) | 一种基于ct影像的心脏二尖瓣顶点的自动定位方法 | |
| KR102426925B1 (ko) | 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램 | |
| US20220230319A1 (en) | System and method for training a machine learning model and for providing an estimated interior image of a patient | |
| CN116585034A (zh) | 介入式医疗器械在dsa影像中头端位置的跟踪方法和系统 | |
| Correia | Robotic-assisted approaches for image-controlled ultrasound procedures | |
| da Costa Correia | Robotic-assisted Approaches for Image-Controlled Ultrasound Procedures | |
| Wang et al. | Predictive local receptive fields based respiratory motion tracking for motion-adaptive radiotherapy | |
| Behera et al. | Prognosis of Tissue Stiffness Through Multilayer Perceptron Technique With Adaptive Learning Rate in Minimal Invasive Surgical Procedures | |
| CN116807363A (zh) | 医疗导航的力反馈方法、设备及存储介质 | |
| Bookstein et al. | Future Directions for Transformation Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |