CN110675439A - 一种封闭体模内肿瘤位姿估计的方法 - Google Patents

一种封闭体模内肿瘤位姿估计的方法 Download PDF

Info

Publication number
CN110675439A
CN110675439A CN201911039098.0A CN201911039098A CN110675439A CN 110675439 A CN110675439 A CN 110675439A CN 201911039098 A CN201911039098 A CN 201911039098A CN 110675439 A CN110675439 A CN 110675439A
Authority
CN
China
Prior art keywords
tumor
pose
key frame
simulated
lung
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911039098.0A
Other languages
English (en)
Other versions
CN110675439B (zh
Inventor
郁树梅
后鹏程
孙荣川
匡绍龙
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201911039098.0A priority Critical patent/CN110675439B/zh
Publication of CN110675439A publication Critical patent/CN110675439A/zh
Application granted granted Critical
Publication of CN110675439B publication Critical patent/CN110675439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种封闭体模内肿瘤位姿估计的方法，包括以下步骤：在模拟肺内壁固定设置视觉纹理图；在模拟肺的壁面上安装单目内窥镜模拟肺部肿瘤，所述单目内窥镜朝向所述视觉纹理图设置；在模拟肺运动时，所述单目内窥镜采集视觉纹理图的视频帧；使用ORB‑SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解；根据单目内窥镜的位姿获得模拟肿瘤位姿数据。其实现了对封闭体模内部肿瘤位姿的估计，结构简单，操作便捷，定位准确。

Description

一种封闭体模内肿瘤位姿估计的方法
技术领域
本发明涉及放疗机器人的呼吸跟踪系统技术领域，具体涉及一种封闭体模内肿瘤位姿估计的方法。
背景技术
人体胸腹腔内肿瘤，尤其是肺部肿瘤，通常伴随呼吸运动。对于运动中的肿瘤的精准定位，是当今放疗机器人研究的重要内容。由于肿瘤位于人体内部，对于内部肿瘤的运动获取，临床上大多采用在肿瘤或者其周围植入金标，利用X光成像设备来获取肿瘤靶区的位置坐标。由于长时间暴露在X射线下会导致肿瘤周围的正常组织受到伤害，因此，利用X射线等影像技术对肿瘤进行直接实时定位并不可取。
正因如此，利用体表信息对肿瘤呼吸运动进行跟踪已经成为立体放疗机器人实现精准放疗的关键技术之一，目前最主流的一类方法是其利用体表标记点和体内肿瘤的关联模型，提前预测肿瘤到达的位置并规划机械臂运动，使得直线加速器的射束能够实时跟踪肿瘤运动，达到精准放疗的目的。
为了建立体表运动信息与体内肿瘤运动的关联模型，一方面要研究体表运动信息的表征方法。研究完整的体表运动信息表征方法主要有两个方向。一是围绕有限体表标记点的个数展开研究。二是基于多模态传感器的体表运动信息的表征方法。另一方面则是需要获取体内肿瘤的运动。为了避免对人体真实肿瘤运动直接获取，研究人员大多借助仿真呼吸体模内模拟肿瘤来获得。体模内肿瘤运动的获取方式主要是通过对模拟肿瘤植入标记，借助影像技术如X射线对模拟肿瘤的运动进行获取，但成本较高，操作较为复杂。
发明内容
本发明要解决的技术问题是提供一种封闭体模内肿瘤位姿估计的方法，其实现了对封闭体模内部肿瘤位姿的估计，结构简单，操作便捷，定位准确。
为了解决上述技术问题，本发明提供了一种封闭体模内肿瘤位姿估计的方法,包括以下步骤：
在模拟肺内壁固定设置视觉纹理图；
在模拟肺的壁面上安装单目内窥镜模拟肺部肿瘤，所述单目内窥镜朝向所述视觉纹理图设置；
在模拟肺运动时，所述单目内窥镜采集视觉纹理图的视频帧；
使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解；
根据单目内窥镜的位姿获得模拟肿瘤位姿数据。
作为优选的，所述“重新建立关键帧判别准则”，具体包括：A、满足内点数必须超过设定的最小阈值；B、满足以下三个准则之一，所述三个准则包括：
第一准则：距离上次插入关键帧已经过去MAX帧，MAX是ORB-SLAM2预设的最大值；
第二准则：距离上次插入关键帧至少过去MIN帧，且局部建图线程处于空闲状态，MIN是ORB-SLAM2预设的最小值；
第三准则：局部建图线程中关键帧队列的关键帧数量不超过3个。
作为优选的，所述“使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解”，具体包括：
S41、输入视频帧；
S42、对原始图像提取ORB特征并计算描述子；
S43、根据匹配特征点估计单目内窥镜的运动；
S44、重新建立关键帧判别准则，使得内点数超过设定的最小阈值；
S45、判断当前帧是否为关键帧，根据关键帧对单目内窥镜的位姿进行求解。
作为优选的，所述单目内窥镜的视角覆盖视觉纹理图。
作为优选的，所述ORB-SLAM2算法的关键帧插入条件为均匀插入。
作为优选的，所述“获得模拟肿瘤位姿数据”为三维数据。
作为优选的，所述模拟肺设置在仿生模拟呼吸模型内。
作为优选的，所述模拟肺为肺形空腔气囊。
本发明的有益效果：
1、本发明通过在仿生人体呼吸模型的模拟肺中安装单目内窥镜与视觉纹理图，通过视觉定位的方法，使用内窥镜的运动模拟肿瘤运动，使用ORB-SLAM2算法实现对内窥镜运动的位姿估计，从而实现肿瘤运动的位姿估计。
2、本发明不借助于任何辅助影像设备，实现了对封闭体模内部肿瘤位姿的估计。
3、本发明结构简单，操作便捷，定位准确。
附图说明
图1为本发明的图1为本发明所提方法的流程图；
图2为单目内窥镜安装在模拟肺上的结构示意图；
图3为视觉纹理图；
图4为使用ORB-SLAM2算法得到的关键帧；
图5为模拟肿瘤运动轨迹图；
图6为模拟肿瘤在三个分量上的运动。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明公开了一种封闭体模内肿瘤位姿估计的方法，包括以下步骤：
步骤一、在模拟肺内壁固定设置视觉纹理图。由于模拟肺在模拟呼吸运动时会发生形变，为了避免视觉纹理图发生移动，需要将视觉纹理图固定。其具体操作为，先将模拟肺划开一个口子，将纹理图的硬板粘贴在肺内部。并在肺外部相应的位置粘贴同样大小的硬板加固。图3为视觉纹理图。
步骤二、在模拟肺的壁面上安装单目内窥镜模拟肺部肿瘤，所述单目内窥镜朝向所述视觉纹理图设置。调整内窥镜视角，使其视角覆盖视觉纹理图，并保证内窥镜在运动过程中，视角不移除纹理图范围。模拟肺设置在仿生模拟呼吸模型内。模拟肺为肺形空腔气囊。图2为单目内窥镜安装在模拟肺上的结构示意图。
当然，也可先在模拟肺上安装单目内窥镜模拟肺部肿瘤，之后再在模拟肺内壁固定设置视觉纹理图。
步骤三、在模拟肺运动时，所述单目内窥镜采集视觉纹理图的视频帧。
步骤四、使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解。
为使用ORB-SLAM2算法得到的一帧关键帧。ORB-SLAM2算法为了避免信息冗余且减少计算量，对关键帧的插入必须满足以下条件：1、内点数必须超过设定的最小阈值，并且重叠度不能太大；三者满足其一：2.1、距离上次插入关键帧已经过去MAX帧，MAX是ORB-SLAM2预设的最大值；2.2、距离上次插入关键帧至少过去MIN帧，且局部建图线程处于空闲状态，MIN是ORB-SLAM2预设的最小值；2.3、局部建图线程中关键帧队列的关键帧数量不超过3个。由于应用在肺内环境中，内窥镜仅在有限范围内移动，导致图像重叠度过高。使用默认的关键帧插入条件会使得关键帧较少，无法呈现相机的实时位姿估计。因此，通过修改放宽关键帧插入条件，将关键帧插入条件的判断去除，可以使关键帧以均匀频率插入。
所述“使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解”，具体包括：
S41、输入视频帧；
S42、对原始图像提取ORB特征并计算描述子；
S43、根据匹配特征点估计单目内窥镜的运动；
S44、重新建立关键帧判别准则；
S45、判断当前帧是否为关键帧，根据关键帧对单目内窥镜的位姿进行求解。
所述ORB-SLAM2算法的关键帧插入条件为均匀插入。图4为使用ORB-SLAM2算法得到的关键帧，小点是特征点，用于图像帧之间的匹配。
步骤五、根据单目内窥镜的位姿获得模拟肿瘤位姿数据。单目内窥镜的位姿即为模拟肿瘤位姿。模拟肿瘤位姿数据为三维数据。
如图5所示，为使用上述ORB-SLAM2得到的内窥镜(肿瘤)的运动轨迹图。从图中可看出，肿瘤姿态的轨迹符合运动规律，且漂移较小。
如图6所示，为内窥镜(肿瘤)在X，Y，Z三个运动分量上关于时间的运动。可以看出，主分量(Z)运动幅度较大；副分量1(X)上，运动幅度较小；副分量2(Y)上，运动基本静止。所得肿瘤运动符合真实人体肺部肿瘤运动规律，从结果可以看出，本发明的方法可以实现对封闭体模内肿瘤位姿的估计。
值得注意的是，本发明是应用在在仿生实验平台，不用于实际医疗中，并不作用与人体。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种封闭体模内肿瘤位姿估计的方法，其特征在于，包括以下步骤：
在模拟肺内壁固定设置视觉纹理图；
在模拟肺的壁面上安装单目内窥镜模拟肺部肿瘤，所述单目内窥镜朝向所述视觉纹理图设置；
在模拟肺运动时，所述单目内窥镜采集视觉纹理图的视频帧；
使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解；
根据单目内窥镜的位姿获得模拟肿瘤位姿数据。
2.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述“重新建立关键帧判别准则”，具体包括：A、满足内点数必须超过设定的最小阈值；B、满足以下三个准则之一，所述三个准则包括：
第一准则：距离上次插入关键帧已经过去MAX帧，MAX是ORB-SLAM2预设的最大值；
第二准则：距离上次插入关键帧至少过去MIN帧，且局部建图线程处于空闲状态，MIN是ORB-SLAM2预设的最小值；
第三准则：局部建图线程中关键帧队列的关键帧数量不超过3个。
3.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述“使用ORB-SLAM2算法对视频帧进行处理，重新建立关键帧判别准则，获得关键帧并对单目内窥镜的位姿进行求解”，具体包括：
S41、输入视频帧；
S42、对原始图像提取ORB特征并计算描述子；
S43、根据匹配特征点估计单目内窥镜的运动；
S44、重新建立关键帧判别准则，使得内点数超过设定的最小阈值；
S45、判断当前帧是否为关键帧，根据关键帧对单目内窥镜的位姿进行求解。
4.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述单目内窥镜的视角覆盖视觉纹理图。
5.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述ORB-SLAM2算法的关键帧插入条件为均匀插入。
6.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述“获得模拟肿瘤位姿数据”为三维数据。
7.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述模拟肺设置在仿生模拟呼吸模型内。
8.如权利要求1所述的封闭体模内肿瘤位姿估计的方法，其特征在于，所述模拟肺为肺形空腔气囊。
CN201911039098.0A 2019-10-29 2019-10-29 一种封闭体模内肿瘤位姿估计的方法 Active CN110675439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911039098.0A CN110675439B (zh) 2019-10-29 2019-10-29 一种封闭体模内肿瘤位姿估计的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039098.0A CN110675439B (zh) 2019-10-29 2019-10-29 一种封闭体模内肿瘤位姿估计的方法

Publications (2)

Publication Number Publication Date
CN110675439A true CN110675439A (zh) 2020-01-10
CN110675439B CN110675439B (zh) 2022-04-01

Family

ID=69084694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039098.0A Active CN110675439B (zh) 2019-10-29 2019-10-29 一种封闭体模内肿瘤位姿估计的方法

Country Status (1)

Country Link
CN (1) CN110675439B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090110140A1 (en) * 2007-10-26 2009-04-30 Radiology Support Devices, Inc. Systems and Methods Related to Radiation Delivery
CN104464475A (zh) * 2014-12-25 2015-03-25 苏州大学 一种医用模拟呼吸系统
CN106563210A (zh) * 2016-11-10 2017-04-19 苏州大学 基于ut变换的放疗机器人肿瘤呼吸运动估计及预测系统及其使用方法
CN107019852A (zh) * 2017-03-14 2017-08-08 苏州大学 模拟人体肺部肿瘤运动的跟踪装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090110140A1 (en) * 2007-10-26 2009-04-30 Radiology Support Devices, Inc. Systems and Methods Related to Radiation Delivery
CN104464475A (zh) * 2014-12-25 2015-03-25 苏州大学 一种医用模拟呼吸系统
CN106563210A (zh) * 2016-11-10 2017-04-19 苏州大学 基于ut变换的放疗机器人肿瘤呼吸运动估计及预测系统及其使用方法
CN107019852A (zh) * 2017-03-14 2017-08-08 苏州大学 模拟人体肺部肿瘤运动的跟踪装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENGCHENG HOU ETAL.: "Design of A Holistic Thoracoabdominal Phantom for Respiration Tracking Test in Robotic Radiosurgery", 《2018 3RD INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS(ICARM)》 *
曹禄: "基于Kinect的移动机器人视觉SLAM研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Also Published As

Publication number Publication date
CN110675439B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP5307246B2 (ja) 毛包単位の追跡
CN103371870B (zh) 一种基于多模影像的外科手术导航系统
US20050251029A1 (en) Radiation therapy treatment plan
US10154820B2 (en) Method and apparatus for navigating CT scan with a marker
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
US20100249595A1 (en) System and method for automatic calibration of tracked ultrasound
CN104718563A (zh) 追踪三维物体的方法
Sganga et al. Offsetnet: Deep learning for localization in the lung using rendered images
CN105310776B (zh) 一种基于子块的软组织表面变形追踪方法
CN111627521A (zh) 增强现实在放疗中的应用
WO2023066072A1 (zh) 导管定位方法、介入手术系统、电子设备和存储介质
Wang et al. 3-D tracking for augmented reality using combined region and dense cues in endoscopic surgery
Alam et al. Medical image registration: Classification, applications and issues
CN115530724A (zh) 内窥镜导航定位方法及装置
CN110675439B (zh) 一种封闭体模内肿瘤位姿估计的方法
KR20170065118A (ko) 치료계획용 4d mdct 영상과 치료시 획득한 4d cbct 영상 간 영상 정합 및 종양 매칭을 이용한 방사선 치료시 종양 움직임 추적 방법 및 장치
Kim et al. Effects of x‐ray and CT image enhancements on the robustness and accuracy of a rigid 3D/2D image registration
Wein et al. Ultrasound based respiratory motion compensation in the abdomen
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统
Deligianni et al. Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation
CN114820855A (zh) 一种基于患者4d-ct的肺部呼吸过程图像重构方法及装置
CN115006737A (zh) 基于深度相机的放射治疗体位监测系统
US11250565B2 (en) Medical assistance device, system, and method for determining a deformation of a subject, computer program, corresponding computer-readable storage medium
Deguchi et al. A method for bronchoscope tracking using position sensor without fiducial markers
Dupuy et al. 2D/3D deep registration for real-time prostate biopsy navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant