CN114067626B - 一种基于个性化数据的支气管镜模拟系统 - Google Patents
一种基于个性化数据的支气管镜模拟系统 Download PDFInfo
- Publication number
- CN114067626B CN114067626B CN202111161816.9A CN202111161816A CN114067626B CN 114067626 B CN114067626 B CN 114067626B CN 202111161816 A CN202111161816 A CN 202111161816A CN 114067626 B CN114067626 B CN 114067626B
- Authority
- CN
- China
- Prior art keywords
- bronchoscope
- data
- focus
- user
- exploration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 230000003902 lesion Effects 0.000 claims description 23
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000003211 malignant effect Effects 0.000 claims description 4
- 206010028980 Neoplasm Diseases 0.000 claims description 3
- 201000011510 cancer Diseases 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 claims description 3
- 230000036210 malignancy Effects 0.000 claims description 3
- 210000000621 bronchi Anatomy 0.000 claims description 2
- 239000000835 fiber Substances 0.000 claims description 2
- 238000013276 bronchoscopy Methods 0.000 abstract description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种基于个性化数据的支气管镜模拟系统，包括：控制手柄，用于接收用户模拟支气管镜的操作；显示器，用于显示与用户交互的图形界面；存储器，用于存储数据及应用程序；处理器，用于运行所述存储器中的应用程序，从而执行以下步骤：三维重建步骤，生成可交互的三维数字支气管树；病灶预测步骤，根据病灶特征，对病灶的特性进行预测分析，从而创建基于个性化数据的训练案例；模拟探查步骤，在所述图形界面描画所述训练案例的图像，并且根据接收用户通过所述控制手柄的输入以描画镜下图像，完成模拟探查操作。本发明能够在临床检查前基于患者个体数据反复演练，提升受训医生的技术熟练度和精准度，改善患者支气管镜检查的高效和安全。
Description
技术领域
本发明涉及到医用教学用具领域。具体的说一种基于胸部CT数据进行 计算机模拟下的气道探查训练的系统。
背景技术
肺癌的早发现、早诊断是提高肺癌生存率的根本策略之一。在肺癌的早 期诊断技术中，经支气管镜活检技术是核心技术之一。高仿真支气管镜教学 系统是当今世界上支气管镜教学发展的趋势。
然而，高仿真支气管镜模拟器几乎被进口设备垄断，价格高昂；另外， 现有的教学模拟器均是固定病例，缺乏个体化，与临床实际应用尚有差距。
发明内容
针对以上技术问题，本发明的目的在于提供一种基于个性化数据的支气 管镜模拟系统，能够在临床检查前基于患者个体数据反复演练，提升受训医 生的技术熟练度和精准度，改善患者支气管镜检查的高效和安全。
本发明的技术方案如下。
一种基于个性化数据的支气管镜模拟系统，包括：
操作装置，用于接收用户模拟支气管镜的操作；
显示器，用于显示与用户交互的图形界面；
存储器，用于存储数据及应用程序；
处理器，用于运行所述存储器中的应用程序，从而执行以下步骤：
三维重建步骤，生成可交互的三维数字支气管树；
病灶预测步骤，根据病灶特征，对病灶的特性进行预测分析，从而创建 基于个性化数据的训练案例；
模拟探查步骤，在所述图形界面描画所述训练案例的图像，并且根据接 收用户通过所述操作装置的输入以描画镜下图像，完成模拟探查操作。
优选地，所述操作装置包括控制手柄，所述控制手柄具有旋转控制器， 以及镜头方向控制器。
优选地，所述操作装置还包括底座，其能够允许所述控制手柄插入，并 且采集所述控制手柄的插入深度；
所述模拟探查步骤包括根据所述插入深度计算支气管镜镜头的姿态及 在气道内的位置，描画对应位置及角度的气道内镜下图像。
优选地，所述三维重建步骤进一步包括：
导入胸部CT数据；
逐层解析所述胸部CT数据，提取支气管、病灶部分的像素；
对逐层解析的结果进行三维重建，生成可交互的三维数字支气管树。
优选地，所述病灶预测步骤进一步包括：
根据病灶特征，对病灶的良恶性进行预测分析；
给出对应的恶性可能性比例数值；
生成病灶列表。
优选地，所述三维重建步骤包括导入多条胸部CT数据，所述病灶预测 步骤包括创建多条基于个性化数据的训练案例。
优选地，所述模拟探查步骤包括从多条基于个性化数据的训练案例中选 择出一条进行训练。
优选地，所述模拟探查步骤进一步包括：
描画三维支气管树及肺内病灶；
设置病灶列表供用户选择，接受用户选定一个病灶；
规划可以到达该病灶的气道内路径；
基于CT数据描画镜下图像，同时接受用户通过操作装置输入的对支气 管镜姿态的控制数据，按照规划路径前进，最终抵达选定的病灶完成模拟探 查操作。
优选地，所述控制数据包括支气管镜的摄像头的旋转角度及方向。
优选地，在描画三维支气管树及肺内病灶时，所述图形界面包括矢状面、 冠状面、轴状面及三维气道的四视图。
本发明基于临床教育及患者诊疗的实际需求，开发整合了人工智能技术 的一种基于个性化数据的支气管镜模拟系统。利用此教具开展模拟教学可以 预先再现临床场景，且可重复、不受时间地点限制，尤为重要的是这种基于 患者个体数据的支气管镜模拟训练可在临床检查前反复演练，一方面提升受 训医生的技术熟练度和精准度，又可以改善患者支气管镜检查的高效和安 全，对提升学员支气管镜技术的临床实践和处理复杂问题的能力有着十分重要的意义。
附图说明
图1是本发明支气管镜模拟系统的设备示意图；
图2是本发明支气管镜模拟系统的工作流程图；
图3是本发明支气管镜模拟系统所创建的三维气道及病灶列表；
图4是本发明支气管镜模拟系统四视图显示界面；
图5是本发明支气管镜模拟系统模拟探查界面。
图中各个附图标记的含义如下：
1、支气管镜模拟系统；2、控制手柄及底座；3、处理器；4、存储器； 5、显示器；6、三维重建模块；7、病灶预测模块；8、模拟探查模块。
具体实施方式
图1是本发明支气管镜模拟系统的设备示意图。根据本发明的一种基于 个性化数据的支气管镜模拟系统1，包括：控制手柄和底座2，用于采集接收用户模拟支气管镜的操作的控制信号；处理器3，用于运行所述存储器中 的应用程序。存储器4，用于存储数据及应用程序。显示器5，用于显示与 用户交互的图形界面。
所述存储器4中的应用程序包括：三维重建模块6，其能够生成可交互 的三维数字支气管树，对气道和病灶进行三维重建。病灶预测模块7，其能 够根据病灶特征，对病灶进行检测及良恶性预测，从而创建基于个性化数据 的训练案例。模拟探查模块8，其能够在所述图形界面描画所述训练案例的图像，并且根据接收用户通过所述控制手柄和底座2的输入以描画镜下图像， 完成模拟探查操作。
在一优选的实施方式中，所述控制手柄包括旋转控制器，以及镜头方向 控制器。
图2所示的是本发明支气管镜模拟系统的工作流程。本实施例中的工作 流程包括训练案例的创建和模拟探查两个部分。
其中，训练案例的创建部分进一步包括如下步骤：用户上传胸部CT数 据；三维重建模块6解析所述胸部CT数据并输出三维可交互支气管树；病 灶预测模块7解析数据并根据病灶特征进行良恶性预测，生成病灶列表；至 此一条训练案例创建完成。
本领域技术人员能够理解，用户可以根据实际需要上传多条CT数据， 可以创建多条个性化训练案例，满足各种训练场景的要求。本发明公开所生 成的训练案例，完全是从CT数据提取而来。
模拟探查部分进一步包括如下步骤。用户将控制手柄插入底座，控制手 柄采集旋转及拨杆角度，底座采集手柄插入深度，将该数据发送到模拟探查 模块7计算支气管镜纤端镜头的姿态及在气道内的位置，描画对应位置及角 度的气道内镜下图像。
图3所示的根据本发明的支气管镜模拟系统的图形界面的一个示例，包 括本发明支气管镜模拟系统所创建的三维气道及病灶列表。
如图4所示，在描画三维支气管树及肺内病灶时，本发明的支气管镜模 拟系统的图形界面支持CT数据矢状面、冠状面、轴状面及三维气道的四视 图显示。选中一个病灶，三维气道视图内的病灶高亮显示，CT数据自动切 换到该病灶所在层次。
在图3-4所示的界面中，气道形态和病灶位置、性质都具有个性化的特 征，可以满足日常训练对病例多样化的要求。病灶列表显示并在所在肺叶、 病灶体积、恶性可能性等关键信息。选中一个病灶，系统自动生成可以抵达 该病灶的路径。
图5所示是本发明支气管镜模拟系统模拟探查界面。在该模拟探查页面， 用户可以通过操作模拟手柄对三维气道进行模拟探查。界面的左侧显示气道 内镜下图像，同时显示系统规划的导航路径；界面的右侧显示气道外部第三 视角图像，并且将支气管镜镜头位置设置为显示中心点，显示内容与气管镜走行联动。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域 技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之 内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于个性化数据的支气管镜模拟系统，包括：
操作装置，用于接收用户模拟支气管镜的操作；
显示器，用于显示与用户交互的图形界面；
存储器，用于存储数据及应用程序；
处理器，用于运行所述存储器中的应用程序，从而执行以下步骤：
三维重建步骤，生成可交互的三维数字支气管树；
病灶预测步骤，根据病灶特征，对病灶的特性进行预测分析，从而创建基于个性化数据的训练案例；
模拟探查步骤，在所述图形界面描画所述训练案例的图像，并且根据接收用户通过所述操作装置的输入以描画镜下图像，完成模拟探查操作；
所述操作装置包括控制手柄和底座，用于采集接收用户模拟支气管镜的操作的控制信号；所述控制手柄具有旋转控制器，以及镜头方向控制器；
底座能够允许所述控制手柄插入，并且采集所述控制手柄的插入深度；将深度数据发送到模拟探查模块计算支气管镜纤端镜头的姿态及在气道内的位置；
所述模拟探查步骤包括根据所述插入深度计算支气管镜镜头的姿态及在气道内的位置，描画对应位置及角度的气道内镜下图像；
所述三维重建步骤包括导入多条胸部CT数据，所述病灶预测步骤包括创建多条基于个性化数据的训练案例；
所述模拟探查步骤包括从多条基于个性化数据的训练案例中选择出一条进行训练；
所述模拟探查步骤进一步包括：
描画三维支气管树及肺内病灶；
设置病灶列表供用户选择，接受用户选定一个病灶；
规划可以到达该病灶的气道内路径；
基于CT数据描画镜下图像，同时接受用户通过操作装置输入的对支气管镜姿态的控制数据，按照规划路径前进，最终抵达选定的病灶完成模拟探查操作。
2.根据权利要求1所述的一种基于个性化数据的支气管镜模拟系统，其特征在于，所述三维重建步骤进一步包括：
导入胸部CT数据；
逐层解析所述胸部CT数据，提取支气管、病灶部分的像素；
对逐层解析的结果进行三维重建，生成可交互的三维数字支气管树。
3.根据权利要求1所述的一种基于个性化数据的支气管镜模拟系统，其特征在于，所述病灶预测步骤进一步包括：
根据病灶特征，对病灶的良恶性进行预测分析；
给出对应的恶性可能性比例数值；
生成病灶列表。
4.根据权利要求1所述的一种基于个性化数据的支气管镜模拟系统，其特征在于，所述控制数据包括支气管镜的摄像头的旋转角度及方向。
5.根据权利要求4所述的一种基于个性化数据的支气管镜模拟系统，其特征在于，在描画三维支气管树及肺内病灶时，所述图形界面包括矢状面、冠状面、轴状面及三维气道的四视图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161816.9A CN114067626B (zh) | 2021-09-30 | 2021-09-30 | 一种基于个性化数据的支气管镜模拟系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161816.9A CN114067626B (zh) | 2021-09-30 | 2021-09-30 | 一种基于个性化数据的支气管镜模拟系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067626A CN114067626A (zh) | 2022-02-18 |
| CN114067626B true CN114067626B (zh) | 2023-12-15 |
Family
ID=80234024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111161816.9A Active CN114067626B (zh) | 2021-09-30 | 2021-09-30 | 一种基于个性化数据的支气管镜模拟系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067626B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115472070B (zh) * | 2022-09-14 | 2023-05-23 | 中日友好医院(中日友好临床医学研究所) | 支气管镜仿真操作装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050313A (zh) * | 2013-03-15 | 2014-09-17 | 柯惠有限合伙公司 | 路径规划系统和方法 |
| CN104887175A (zh) * | 2015-06-03 | 2015-09-09 | 皖南医学院 | 一种虚拟胃镜检查与诊断系统 |
| CN108492693A (zh) * | 2018-03-28 | 2018-09-04 | 盛玉涛 | 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练系统 |
| CN110728872A (zh) * | 2019-09-29 | 2020-01-24 | 阿斯利康(无锡)贸易有限公司 | 模拟内窥镜操作的装置和方法 |
| CN111986330A (zh) * | 2020-08-18 | 2020-11-24 | 云南省第一人民医院 | 一种基于混合现实的术前规划模拟系统、装置及方法 |
| CN112116575A (zh) * | 2020-09-18 | 2020-12-22 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN113112609A (zh) * | 2021-03-15 | 2021-07-13 | 同济大学 | 一种面向肺部活检支气管镜的导航方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222553B2 (en) * | 2016-09-27 | 2022-01-11 | Covidien Lp | Enhanced approaches to training for bronchoscopy and thoracic procedures |
-
2021
- 2021-09-30 CN CN202111161816.9A patent/CN114067626B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050313A (zh) * | 2013-03-15 | 2014-09-17 | 柯惠有限合伙公司 | 路径规划系统和方法 |
| CN104887175A (zh) * | 2015-06-03 | 2015-09-09 | 皖南医学院 | 一种虚拟胃镜检查与诊断系统 |
| CN108492693A (zh) * | 2018-03-28 | 2018-09-04 | 盛玉涛 | 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练系统 |
| CN110728872A (zh) * | 2019-09-29 | 2020-01-24 | 阿斯利康(无锡)贸易有限公司 | 模拟内窥镜操作的装置和方法 |
| CN111986330A (zh) * | 2020-08-18 | 2020-11-24 | 云南省第一人民医院 | 一种基于混合现实的术前规划模拟系统、装置及方法 |
| CN112116575A (zh) * | 2020-09-18 | 2020-12-22 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN113112609A (zh) * | 2021-03-15 | 2021-07-13 | 同济大学 | 一种面向肺部活检支气管镜的导航方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067626A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9396669B2 (en) | Surgical procedure capture, modelling, and editing interactive playback | |
| Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
| KR20190100011A (ko) | 수술영상을 이용한 수술정보 제공 방법 및 장치 | |
| Neubauer et al. | Advanced virtual endoscopic pituitary surgery | |
| Tolsdorff et al. | Virtual reality: a new paranasal sinus surgery simulator | |
| CN107072625A (zh) | 治疗程序规划系统和方法 | |
| CN107527542B (zh) | 基于动作捕捉的叩诊训练系统 | |
| CN104271066A (zh) | 具有不用手的控制的混合图像/场景再现器 | |
| CN111613122A (zh) | 虚实融合的血管介入手术模拟系统 | |
| CN113035038A (zh) | 一种虚拟骨科手术练习系统及模拟训练方法 | |
| KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
| KR102146672B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| CN114067626B (zh) | 一种基于个性化数据的支气管镜模拟系统 | |
| Dev | Imaging and visualization in medical education | |
| Mu et al. | Augmented reality simulator for ultrasound-guided percutaneous renal access | |
| Preminger et al. | Virtual reality surgical simulation in endoscopic urologic surgery | |
| Tai et al. | Augmented-reality-driven medical simulation platform for percutaneous nephrolithotomy with cybersecurity awareness | |
| Amara et al. | Augmented reality for covid-19 aid diagnosis: Ct-scan segmentation based deep learning | |
| US20190019433A1 (en) | Method and system for a preoperative surgical intervention simulation | |
| US20230335261A1 (en) | Combining natural language understanding and image segmentation to intelligently populate text reports | |
| CN107633724B (zh) | 基于动作捕捉的听诊训练系统 | |
| Medina et al. | VRIDAA: Virtual Reality Platform for Training and Planning Implantations of Occluder Devices in Left Atrial Appendages. | |
| US20230363821A1 (en) | Virtual simulator for planning and executing robotic steering of a medical instrument | |
| Sclaverano et al. | BiopSym: a simulator for enhanced learning of ultrasound-guided prostate biopsy | |
| Ochs et al. | A semi-autonomous system for creating a human-machine interaction corpus in virtual reality: Application to the ACORFORMed system for training doctors to break bad news |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231024 Address after: No.8 Youyi Road, Baita block, Xianju Economic Development Zone, Baita Town, Xianju County, Taizhou City, Zhejiang Province, 317300 Applicant after: Zhejiang Youyi Medical Equipment Co.,Ltd. Address before: 100029 No.2, yinghuayuan East Street, Chaoyang District, Beijing Applicant before: China Japan Friendship Hospital (China Japan Friendship Institute of clinical medicine) |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220218 Assignee: Xianju Youyi Medical Device Sales Co.,Ltd. Assignor: Zhejiang Youyi Medical Equipment Co.,Ltd. Contract record no.: X2024330000094 Denomination of invention: A bronchoscopy simulation system based on personalized data Granted publication date: 20231215 License type: Common License Record date: 20240605 |
|
| EE01 | Entry into force of recordation of patent licensing contract |