CN114927215B - 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 - Google Patents

基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 Download PDF

Info

Publication number
CN114927215B
CN114927215B CN202210452203.9A CN202210452203A CN114927215B CN 114927215 B CN114927215 B CN 114927215B CN 202210452203 A CN202210452203 A CN 202210452203A CN 114927215 B CN114927215 B CN 114927215B
Authority
CN
China
Prior art keywords
point cloud
cloud data
tumor
body surface
tumor position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210452203.9A
Other languages
English (en)
Other versions
CN114927215A (zh
Inventor
郁树梅
李波
孙荣川
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210452203.9A priority Critical patent/CN114927215B/zh
Priority to PCT/CN2022/110585 priority patent/WO2023206850A1/zh
Publication of CN114927215A publication Critical patent/CN114927215A/zh
Application granted granted Critical
Publication of CN114927215B publication Critical patent/CN114927215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1031—Treatment planning systems using a specific method of dose optimization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1037—Treatment planning systems taking into account the movement of the target, e.g. 4D-image based planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1071—Monitoring, verifying, controlling systems and methods for verifying the dose delivered by the treatment plan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1071—Monitoring, verifying, controlling systems and methods for verifying the dose delivered by the treatment plan
    • A61N2005/1072—Monitoring, verifying, controlling systems and methods for verifying the dose delivered by the treatment plan taking into account movement of the target
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

本发明公开了一种基于体表点云数据直接预测肿瘤呼吸运动的方法、系统及放疗机器人，包括，采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；对所述显著区域内的点云数据进行处理得到数据集；对预设的延迟过后的肿瘤位置标签集和分类后的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。本发明简化了肿瘤预测的复杂流程，解决了肿瘤位置预测的迟滞问题，可以实现对肿瘤位置的实时直接预测。

Description

基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
技术领域
本发明属于肿瘤定位领域，特别涉及一种基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。
背景技术
放射治疗作为目前治疗肿瘤的主要手段之一，治疗时需要引入呼吸运动补偿措施来针对人体呼吸所导致的肿瘤运动，其射线投递的精度直接影响到治疗效果和患者的安危。因此，肿瘤呼吸运动的预测对于确保放疗机器人的治疗精度有着十分重要的影响。
目前通过直接预测和间接预测两类方法获取体内肿瘤位置。在直接预测肿瘤位置方面，通常使用植入肿瘤内部金标的方法，根据当前时刻和上一时刻的X射线图像估计放射治疗期间目标肿瘤的三维姿态。该方法能够有效并直观的获得肿瘤实时位置，但频繁的X射线照射和植入体内金标都会对人体造成不同程度的损害。在间接预测肿瘤位置方面，由于体内肿瘤运动轨迹与体表呼吸起伏变化表现出强相关性，所以通常可以使用便于观测的外部呼吸替代信号间接预测肿瘤位置。当前主流方法是在患者胸腹部放置红外标记点捕获呼吸信号，通过建立标记点与肿瘤运动的关联函数间接预测肿瘤的位置。标记点不能全面表征人体胸腹部三维变化特征，预测精度受标记点个数和放置位置的影响较大，同时需要人为手动提取呼吸特征和建立关联模型，不仅增加了预测方法的复杂程度，而且很容易在繁杂的步骤中引入更多的误差因素。
如今随着深度学习技术的发展，肿瘤患者的数据的特征信息可以通过神经网络自主学习和提取，并且神经网络可以高效地区分数据信息中的特征差异，出色地完成分类或预测任务，因此，研究一种能够自主提取呼吸过程中人体胸腹部三维变化特征并预测肿瘤位置的深度学习方法尤为关键，对于提高放疗机器人的精度有着重要意义。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中肿瘤预测的复杂流程，预测精度低的问题，从而提供一种方法简单，有效提高肿瘤位置预测精度的基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。
为了实现上述目的，本发明所采取的技术方案，包括如下步骤：
步骤S1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
步骤S2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
步骤S3：对所述显著区域内的点云数据进行处理得到数据集；
步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
所述步骤S1中，通过多台深度相机采集体表信息，将多台深度相机采集的体表的点云数据进行分割、融合和平滑处理，得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，该数据能够充分表征人体呼吸的三维动态信息。
将处理过后的点云数据通过Octomap库转化成体素模型，其将由许多小体素块表示的，取每个体素块的中心点坐标作为新的点云坐标，可以将密度不均匀的点云数据转化成密度均匀的，而且可以将乱序的点云数据重新排列整齐；另一方面，通过选择不同大小的体素块，可以控制点云数据的分布密度。
所述步骤S2中，将胸腹部点云数据划分成多块区域，把每块的体素数据插入到一个最小包围盒中，按顺序将包围盒中的体素占有特征映射成一个超高维向量，通过LLE(局部线性嵌入)算法将时间序列上该高维向量降至1维，该低维数据能够描述体素模型的变化性质，然后分析每块体素数据降维后在时间序列上与肿瘤的关联性，选取关联性最好区域作为显著区域。(点云数据可以划分16块、25块、50块或更多，划分方法没有具体的规定，通过实验分析得出该应用场景划分16块取6块作显著区域最终预测结果比其他分块情况更优。)
所述步骤S3中，对所述显著区域内的点云数据在时间序列上进行处理得到数据集。
所述步骤S4中，在进行深度网络学习训练之前，需要对点云深度学习网络PointNet++进行改进，搭建肿瘤位置预测的网络框架。搭建肿瘤位置预测的网络框架方法为:通过采样层(sampling layer)和分组层(grouping layer)将显著区域的点云划分为多个局部子区域；再利用PointNet网络将每个局部子区域的特征提取到一个向量中；然后将所有子区域的特征向量通过PointNet再次编码为一个向量；最后通过全连接层预测特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果。通过仅使用一层抽象降采样(set abstraction)层的方法，增加采样点数，从而减少点云局部特征信息的损失。
其中，PointNet++网络不仅直接以点云序列作为输入集，而且可以提取点云局部特征。该网络包含了两个抽象降采样层，该层会将N×(d+C)的点云数据通过采样层划分成数干个局部特征区域；然后提取每个子区域特征，输出新的N'×(d+C')特征矩阵，其中N是点数，d是维度(只采用xyz坐标，d＝3)，C是特征维度，N'和C'是输出新的点数和特征维度；再使用多层感知机(MLP)将经过两次set abstraction层提取的特征矩阵整合成特征向量；最终将提取的特征向量通过一个全连接层映射为所有类的可能性概率，从而预测最有可能的结果。
所属步骤S4中，对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，需要对点云数据进行分类，点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类。
所述步骤S4中，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置解决系统通信和机械延迟导致的肿瘤位置预测迟滞问题。监督训练时，训练集中一帧点云数据会对应一个肿瘤位置的标签，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置，而我们这样做的目的是：将每个时刻的点云特征与一段时间过后(延时)的肿瘤位置对应，从而找到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，这样就可以利用当前时刻呼吸特征预测一段时间后的肿瘤位置。这样的好处：在实际放疗应用中，计算机在预测肿瘤位置的时候需要反应时间，当预测结果出来实际肿瘤已经移动到其他位置，所以需要预测延迟一段时间后的肿瘤位置，从而减小系统反应带来的延迟误差。
所述步骤S5中，在预测某个时刻肿瘤位置时，将预测结果与相邻之前时间段的历史预测结果互相关联并做平滑处理，将平滑过后的结果作为最终预测值输出。考虑到肿瘤变化曲线特性，使用平滑的方法是对滑动窗口内的数据基于最小二乘法进行k阶多项式拟合，通过该拟合平滑处理，可以将相邻时间的肿瘤位置进行关联，消除时间序列上肿瘤预测结果中的震荡点，从而提高预测网络的鲁棒性和精度。
本发明与现有技术相比的优点在于：
本发明使用人体胸腹部点云数据并选定呼吸运动显著区域预测肿瘤位置，该方法可以充分包含呼吸过程中人体的三维变化特征，并且找到与肿瘤运动关联性最高的显著区域；基于肿瘤位置标签集和数据集中的点云数据的监督训练，建立点云呼吸特征与肿瘤位置的映射关系，简化肿瘤预测的复杂流程，实现通过点云数据直接预测体内肿瘤位置，提高了肿瘤预测的精度。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单介绍，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1为本发明实施例一的方法流程图；
图2为采集的胸腹部点云数据和建立的体素模型图；
图3为分块划分胸腹部呼吸运动显著区域图；
图4为肿瘤位置预测的网络框架图；
图5为肿瘤实际位置和预测结果对比图。
具体实施方式
为了能够更清除地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对发明进行进一步的详细描述。需要说明的是在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
为了达到本发明的目的，如图1所示，在本发明的其中一种实施方式中提供一种基于体表点云数据直接预测肿瘤呼吸运动的方法，包括如下步骤：
步骤S1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
步骤S2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
步骤S3：对所述显著区域内的点云数据进行处理得到数据集；
步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
本发明所述的基于体表点云数据直接预测肿瘤呼吸运动的具体方法中：所述步骤S1中，采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型，通过剔除体表其他部位的点云数据，得到与肿瘤运动强相关性的胸腹部点云数据有利于提高预测结果的精度，通过建立体素模型，简化了点云数据处理过程；所述步骤S2中，根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区，有利于使点云数据充分包含呼吸过程中人体的三维变化特征；步骤S3：对所述显著区域内的点云数据进行处理得到数据集，进一步简化点云数据；步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，在进行深度网络学习训练之前，需要改进点云深度学习网络PointNet++，搭建肿瘤位置预测的网络框架，有利于减少点云局部特征信息的损失，得到监督训练模型，减小系统反应带来的延迟误差；步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理，提高了预测精度。
所述步骤S1中，使用多台深度相机体采集患者呼吸过程中体表点云数据，同时通过X射线采集一段时间内的肿瘤运动姿态用于监督训练。由于深度相机采集的原始点云数据会包含冗余的周围环境信息，需要对采集的数据进行处理，数据处理的方法为：首先使用阈值分割法，保留一定阈值范围的点云RGB(Red,Green,Blue色彩模式)值和坐标值，通过点云分割获得人体胸腹部区域的点云数据；其次，通过ICP(Iterative Closest Point最近点迭代)算法将两个相机采集的点云数据融合配准；然后，采用基于K-D树(K-dimensionaltree)的点云去噪方法剔除点云中的离群点；最后，进行基于移动最小二乘法的平滑操作，得到呼吸过程中的胸腹体表点云数据，如图2a所示。
根据所述体表点云数据建立体素模型的方法为：将采集的体表点云数据进行分割、融合和平滑处理，提取得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，根据所述包含深度特征的点云数据建立体素模型。
在上述点云数据处理之后，虽然可以得到平滑的胸腹部点云数据，但点云的密度分布并不均匀，以及点云排列顺序仍然杂乱无章。因此，本发明将处理过后的点云数据通过Octomap库转化为体素模型。Octomap使用八叉树结构表示空间中点云数据占据的概率，将有点云占据的空间概率设置为1，并在此处生成一个体素块，因此就可以将空间中的点云数据由许多小体素块表示，实现点云数据体素化，建立的胸腹部体素模型如图2b所示。取每个体素块的中心点坐标作为新的点云数据坐标，如图2c所示。因此，可以将密度不均匀的点云数据转化成密度均匀的，而且可以对乱序的点云数据重新排列整齐；另一方面，通过选择不同大小的体素块，可以控制点云数据的分布密度。
所述步骤S2中，划分胸腹部呼吸运动显著区域的方法为：将胸腹部点云数据划分成16块，把每一块的体素数据插入到一个最小包围盒中，按顺序将包围盒中的体素占有特征映射成一个超高维向量，使用LLE(局部线性嵌入)算法将时间序列上该高维向量降至1维，该低维数据能够描述体素模型的变化性质。然后分块分析每一块体素数据降维后在时间序列上与肿瘤的关联性，取关联性最好的6块区域作为显著区域，如图3所示。该方法可以使点云数据充分包含呼吸过程中人体的三维变化特征。
所述步骤S3中，对所述显著区域的点云数据在时间序列上进行提取，得到数据集。
所述步骤S4中，在进行深度网络学习训练之前，需要改进点云深度学习网络PointNet++，搭建肿瘤位置预测的网络框架。搭建肿瘤位置预测的网络框架方法为:通过采样层(sampling layer)和分组层(grouping layer)将显著区域的点云划分为多个局部子区域；再利用PointNet网络将每个局部子区域的特征提取到第一特征向量中；然后将所有子区域的第一特征向量通过PointNet再次编码为第二特征向量；最后通过全连接层预测第二特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果。通过仅使用一层抽象降采样(set abstraction)层的方法，增加采样点数，从而减少点云局部特征信息的损失。
对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，对点云数据进行分类，对点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类。
对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练监督学习(supervised learning)，学习指的就是找到特征与标签的映射(mapping)关系，其中特征就是指显著区域点云所包含的特征，标签就是显著区域对应的肿瘤位置。训练集中一帧点云数据会对应一个肿瘤位置的标签，将每个时刻的点云特征与一段时间过后的肿瘤位置对应，从而找到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，这样就可以利用当前时刻呼吸特征预测一段时间后的肿瘤位置。这样的好处：在实际放疗应用中，计算机在预测肿瘤位置的时候需要反应时间，当预测结果出来实际肿瘤已经移动到其他位置，所以需要预测延迟一段时间后的肿瘤位置，从而减小系统反应带来的延迟误差。
所述步骤S5中，对预测肿瘤位置进行处理的方法为：采用k阶多项式拟合的方法，将预测结果与相邻之前时间段的历史预测结果相互关联并做平滑处理，将平滑过后的结果作为最终预测值输出。如图5所示，为根据本发明所提方法进行预测实验的结果，从结果可以看出，本发明方法的预测值接近真实值，其预测误差较小，具有很高的预测精度。
实施例二
基于同一发明构思，本实施例提供了一种基于体表点云数据直接预测肿瘤呼吸运动的系统，其解决问题的原理与所述基于体表点云数据直接预测肿瘤呼吸运动的方法类似，重复之处不再赘述。
本实施例提供一种基于体表点云数据直接预测肿瘤呼吸运动的系统，包括：
采集模块，用于采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
划分模块，用于根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
处理模块，用于对所述显著区域内的点云数据进行处理得到数据集；
训练模块，用于对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
预测处理模块，用于根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
实施例三
本实施例提供一种放疗机器人，包括实施例二所述的基于体表点云数据直接预测肿瘤呼吸运动的系统。
本实施例所述的放疗机器人，由于包括实施例二所述的基于体表点云数据直接预测肿瘤呼吸运动的系统，因此实施例二具有的优点，本实施例也全部具有。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述方法包括以下步骤：
步骤S1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
步骤S2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
步骤S3：对所述显著区域内的点云数据进行处理得到数据集；
步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
所述步骤S4对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，搭建肿瘤位置预测的网络框架，其中搭建肿瘤位置预测的网络框架方法为：首先，通过采样层和分组层将显著区域的点云划分为多个局部子区域；其次，将每个局部子区域的特征提取到第一特征向量中；然后，将所有子区域的第一特征向量再次编码为第二特征向量；最后，通过全连接层预测第二特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果；
所述步骤S4对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，对点云数据进行分类，对点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类；
所述步骤S4对预设的延迟过后的肿瘤位置标签集和分类后的点云数据进行训练的方法为：首先，监督训练得到训练模型；然后，通过得到的训练模型预测肿瘤位置信息，其中训练模型包括点云数据特征与肿瘤位置的映射关系；
步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
2.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S1根据所述体表点云数据建立体素模型的方法为：将采集的体表点云数据进行分割、融合和平滑处理，提取得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，根据所述包含深度特征的点云数据建立体素模型。
3.根据权利要求2所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S1中对处理过后的胸腹部点云数据通过Octomap库转化成体素模型，其中所述胸腹部点云数据由许多小体素块表示。
4.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S2划分胸腹部呼吸运动显著区域的方法为：首先，将胸腹部点云数据划分成多块；接着，把每一块的体素数据插入到一个最小包围盒中；其次，按顺序将包围盒中的体素占有特征映射成一个超高维向量；然后，将时间序列上该高维向量降至1维；最后，分析每一块体素数据降维后在时间序列上与肿瘤的关联性，取关联性最好的块区域作为显著区域。
5.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S5对预测肿瘤位置进行处理的方法为：将预测结果与相邻之前时间段的历史预测结果相互关联并做平滑处理，将平滑过后的结果作为最终预测值输出。
6.一种基于体表点云数据直接预测肿瘤呼吸运动的系统，其特征在于，包括：
采集模块，用于采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
划分模块，用于根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
处理模块，用于对所述显著区域内的点云数据进行处理得到数据集；
训练模块，用于对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
所述训练模块对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，搭建肿瘤位置预测的网络框架，其中搭建肿瘤位置预测的网络框架方法为：首先，通过采样层和分组层将显著区域的点云划分为多个局部子区域；其次，将每个局部子区域的特征提取到第一特征向量中；然后，将所有子区域的第一特征向量再次编码为第二特征向量；最后，通过全连接层预测第二特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果；
所述训练模块对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，对点云数据进行分类，对点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类；
所述训练模块对预设的延迟过后的肿瘤位置标签集和分类后的点云数据进行训练的方法为：首先，监督训练得到训练模型；然后，通过得到的训练模型预测肿瘤位置信息，其中训练模型包括点云数据特征与肿瘤位置的映射关系；
预测处理模块，用于根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
7.一种放疗机器人，其特征在于，包括权利要求6所述的基于体表点云数据直接预测肿瘤呼吸运动的系统。
CN202210452203.9A 2022-04-27 2022-04-27 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 Active CN114927215B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210452203.9A CN114927215B (zh) 2022-04-27 2022-04-27 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
PCT/CN2022/110585 WO2023206850A1 (zh) 2022-04-27 2022-08-05 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210452203.9A CN114927215B (zh) 2022-04-27 2022-04-27 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统

Publications (2)

Publication Number Publication Date
CN114927215A CN114927215A (zh) 2022-08-19
CN114927215B true CN114927215B (zh) 2023-08-25

Family

ID=82806041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210452203.9A Active CN114927215B (zh) 2022-04-27 2022-04-27 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统

Country Status (2)

Country Link
CN (1) CN114927215B (zh)
WO (1) WO2023206850A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187608B (zh) * 2022-09-14 2023-02-03 苏州大学 一种基于体表显著性分析的呼吸特征提取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777976A (zh) * 2016-12-15 2017-05-31 苏州大学 基于粒子滤波的放疗机器人肿瘤运动估计预测系统及方法
CN107392902A (zh) * 2017-07-24 2017-11-24 重庆青囊科技有限公司 一种肿瘤裂隙分析方法
CN109727672A (zh) * 2018-12-28 2019-05-07 江苏瑞尔医疗科技有限公司 患者胸腹部肿瘤呼吸运动预测跟踪方法
CN110378881A (zh) * 2019-07-05 2019-10-25 北京航空航天大学 一种基于深度学习的肿瘤定位系统
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
WO2021125950A1 (en) * 2019-12-17 2021-06-24 Universiteit Maastricht Image data processing method, method of training a machine learning data processing model and image processing system
CN114359293A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于深度学习的三维mri脑肿瘤分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145423A1 (en) * 2015-03-11 2016-09-15 Ayasdi, Inc. Systems and methods for predicting outcomes using a prediction learning model
US20190110754A1 (en) * 2017-10-17 2019-04-18 Satish Rao Machine learning based system for identifying and monitoring neurological disorders
US20190134425A1 (en) * 2017-11-08 2019-05-09 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Tumor Tracking in the Presence of Breathing Motion
US10921817B1 (en) * 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777976A (zh) * 2016-12-15 2017-05-31 苏州大学 基于粒子滤波的放疗机器人肿瘤运动估计预测系统及方法
CN107392902A (zh) * 2017-07-24 2017-11-24 重庆青囊科技有限公司 一种肿瘤裂隙分析方法
CN109727672A (zh) * 2018-12-28 2019-05-07 江苏瑞尔医疗科技有限公司 患者胸腹部肿瘤呼吸运动预测跟踪方法
CN110378881A (zh) * 2019-07-05 2019-10-25 北京航空航天大学 一种基于深度学习的肿瘤定位系统
WO2021125950A1 (en) * 2019-12-17 2021-06-24 Universiteit Maastricht Image data processing method, method of training a machine learning data processing model and image processing system
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN114359293A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于深度学习的三维mri脑肿瘤分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Using Deep Learning in Semantin Classification for Point Cloud Data;Xuanxia Yao等;《IEEE Access》;第2169-3536页 *

Also Published As

Publication number Publication date
CN114927215A (zh) 2022-08-19
WO2023206850A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
US10546014B2 (en) Systems and methods for segmenting medical images based on anatomical landmark-based features
US11593943B2 (en) RECIST assessment of tumour progression
CN112639880A (zh) 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象
CA3078095A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
US9659390B2 (en) Tomosynthesis reconstruction with rib suppression
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
Rezaei et al. Deep neural network with l2-norm unit for brain lesions detection
CN107688815B (zh) 医学图像的分析方法和分析系统以及存储介质
CN110689521B (zh) 一种医学影像所属人体部位的自动识别方法及系统
Liu Stbi-yolo: A real-time object detection method for lung nodule recognition
Rani et al. Superpixel with nanoscale imaging and boosted deep convolutional neural network concept for lung tumor classification
CN114927215B (zh) 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统
Pawar et al. Two-stage hybrid approach of deep learning networks for interstitial lung disease classification
das Chagas et al. Fast fully automatic skin lesions segmentation probabilistic with Parzen window
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
US20140140603A1 (en) Clavicle suppression in radiographic images
CN113706514A (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
CN112419283A (zh) 估计厚度的神经网络及其方法
JP2022553658A (ja) 画像をセグメント化する方法及びシステム
Tao et al. A quantitative evaluation of lung nodule spiculation based on image enhancement
CN114581463B (zh) 一种多相位4d ct图像分割方法及系统
Nurhopipah et al. A Pair of Inception Blocks in U-Net Architecture for Lung Segmentation
Prakash et al. Stage Identification and Classification of Lung Cancer using Deep Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant