CN112450960A - 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 - Google Patents
基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 Download PDFInfo
- Publication number
- CN112450960A CN112450960A CN202011514116.9A CN202011514116A CN112450960A CN 112450960 A CN112450960 A CN 112450960A CN 202011514116 A CN202011514116 A CN 202011514116A CN 112450960 A CN112450960 A CN 112450960A
- Authority
- CN
- China
- Prior art keywords
- technology
- lung
- virtual
- model
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 12
- 210000000056 organ Anatomy 0.000 claims abstract description 7
- 210000000621 bronchi Anatomy 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000002591 computed tomography Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，具体步骤如下：（1）通过AI与影像组学技术进行薄层CT扫描，获取CT数据；（2）获得的CT数据通过数字肺技术，对胸肺部的组织器官进行分割计算，构建出基于现实的肺部和支气管3D模型；（3）将3D模型传送至AR内窥镜中，通过全息投影技术实现非侵入、高效、安全的虚拟气管镜的路径规划和虚拟漫游，或者3D模型通过互联网5G技术实现远程实时指导和会诊，且能够投至电脑终端实时共享术中操作。应用本发明能够显示肺部和支气管结构异常或存在的结节，并进一步精准定位病灶，实现术前路径规划，测量术中相关的一些数据参数，对疾病的诊断和治疗提供辅助。
Description
技术领域
本发明属于医疗技术领域，具体涉及一种基于VR/AR联合数字肺技术的虚拟内窥镜显示方法。
背景技术
AR（Augmented Reality），增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
VR（Virtual Reality），虚拟现实技术，也称灵境技术或人工环境。概念是在20世纪80年代初提出来的，其具体是指借助计算机及最新传感器技术创造的一种崭新的人机交互手段。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，及时、没有限制地观察三度空间内的事物。
对于AR/VR的具体区别：虚拟现实技术为用户创造一个特定场景的虚拟空间，使用户完全沉浸在一个虚拟的合成环境中，无法看到真实环境，具有交互性（Interaction）、沉浸性（Immersion）和想象性(Imagination)三大特点，也被称为3I特点。增强现实技术能够把全息图、图片、视频、声音等融合在现实环境中虚实结合，真实的环境场景与虚拟的全息信息进行交互，两种信息交互补充和叠加。
另外，内窥镜作为一种医疗检查工具，具有创伤面小、操作简单、显示图像真实等特点，现已经在众多的医疗领域进行使用，例如在呼吸系统、肠胃腔内等。使用内窥镜时，需要将内窥镜从例如口腔或鼻腔伸入人体，在内窥镜导航系统的协助下，进入不同的人体器官。医生根据内窥镜拍摄到的图像来观察需要显示的器官，进而实现X射线所不能显示的器官病变等功能。现有技术中还有部分导航系统使用以虚拟三维模型配合电磁导航系统操作，通过生成的虚拟模型进行导航。但是没有解决立体内窥镜对应的虚拟立体内窥镜导航信息的表示问题，没有将CT等三维医学图像的空间信息和立体内窥镜的空间信息有效地结合起来。还有不能实现互联网实时共享，不能进行远程会诊和实时指导。
发明内容
针对现有技术中的不足之处，本发明提供一种基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，能够显示肺部和支气管结构异常或存在的结节，并进一步精准定位病灶，实现术前路径规划，测量术中相关的一些数据参数，对疾病的治疗提供辅助。
为了达到上述目的，本发明技术方案如下：
基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，具体步骤如下：
（1）通过AI与影像组学技术进行薄层CT扫描，获取CT数据；
（2）获得的CT数据通过数字肺技术，对胸肺部的组织器官进行分割计算，构建出基于现实的肺部和支气管3D模型；
（3）将3D模型传送至AR内窥镜中，通过全息投影技术实现非侵入、高效、安全的虚拟气管镜的路径规划和虚拟漫游，或者3D模型通过互联网5G技术实现远程实时指导和会诊，且能够投至电脑终端实时共享术中操作。
进一步的，所述数字肺技术采用神州德信的数字肺技术。
本发明的有益效果在于以下几个方面：
（1）提高基层诊疗水平：对于基层医生不能开展内镜检查的,能够了解气道情况,避免产生误诊漏诊；
（2）术前预演：对于需要镜下诊治或者外科手术的,能够先期判断气道内病灶情况,充分做好术前术中规划和安全保证,提高效率；
（3）减少患者痛苦：一部分患者患者不能耐受或者不愿意气管镜检查的了解气道情况,给出下一步治疗指导；
（4）术前熟悉治疗条件：对于气道内需要治疗的,提前判断病灶周围血管情况,指导下一步治疗手段；
（5）教学指导：能够作为教学手段为学生和需要在该专业学习的医护人员提供培训学习指导；
（6）远程会诊：对于基层医院开展内镜诊疗中遇到疑难病例，能够进行实时远程会诊，专家给予指导，并能够多人同时进行实时谈论。
附图说明
图1为本发明的流程框图。
具体实施方式
以下参照具体的实施例来说明本发明。本领域技术人员能够理解，这些实施例仅用于说明本发明，其不以任何方式限制本发明的范围。
基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，如图1所示，具体步骤如下：
（1）通过AI与影像组学技术进行薄层CT扫描，获取CT数据；
（2）获得的CT数据通过神州德信的数字肺技术，对胸肺部的组织器官进行分割计算，构建出基于现实的肺部和支气管3D模型；
（3）将3D模型传送至AR内窥镜中，通过全息投影技术实现非侵入、高效、安全的虚拟气管镜的路径规划和虚拟漫游，或者3D模型通过互联网5G技术实现远程实时指导和会诊，且能够投至电脑终端实时共享术中操作。
Claims (2)
1.基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，其特征在于：具体步骤如下：
（1）通过AI与影像组学技术进行薄层CT扫描，获取CT数据；
（2）获得的CT数据通过数字肺技术，对胸肺部的组织器官进行分割计算，构建出基于现实的肺部和支气管3D模型；
（3）将3D模型传送至AR内窥镜中，通过全息投影技术实现非侵入、高效、安全的虚拟气管镜的路径规划和虚拟漫游，或者3D模型通过互联网5G技术实现远程实时指导和会诊，且能够投至电脑终端实时共享术中操作。
2.如权利要求1所述的基于VR/AR联合数字肺技术的虚拟内窥镜显示方法，其特征在于，所述数字肺技术采用神州德信的数字肺技术。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011514116.9A CN112450960A (zh) | 2020-12-21 | 2020-12-21 | 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011514116.9A CN112450960A (zh) | 2020-12-21 | 2020-12-21 | 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112450960A true CN112450960A (zh) | 2021-03-09 |
Family
ID=74803236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011514116.9A Pending CN112450960A (zh) | 2020-12-21 | 2020-12-21 | 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112450960A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112609A (zh) * | 2021-03-15 | 2021-07-13 | 同济大学 | 一种面向肺部活检支气管镜的导航方法和系统 |
| WO2023136695A1 (ko) * | 2022-01-17 | 2023-07-20 | (주)휴톰 | 환자의 가상 폐 모델을 생성하는 장치 및 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2846215A1 (en) * | 2013-03-15 | 2014-09-15 | Covidien Lp | Pathway planning system and method |
| CN106659373A (zh) * | 2014-07-02 | 2017-05-10 | 柯惠有限合伙公司 | 用于在肺内部的工具导航的动态3d肺图谱视图 |
| CN106898044A (zh) * | 2017-02-28 | 2017-06-27 | 成都金盘电子科大多媒体技术有限公司 | 一种基于医学影像并利用vr技术的器官拆分和操作方法及系统 |
| CN108766554A (zh) * | 2011-05-10 | 2018-11-06 | 皇家飞利浦有限公司 | 用户操纵的即时路径规划 |
| CN109157285A (zh) * | 2018-09-30 | 2019-01-08 | 上海馨孚科技有限公司 | 一种增强现实辅助肺结节定位的方法 |
| CN110151116A (zh) * | 2015-06-19 | 2019-08-23 | 柯惠有限合伙公司 | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 |
-
2020
- 2020-12-21 CN CN202011514116.9A patent/CN112450960A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108766554A (zh) * | 2011-05-10 | 2018-11-06 | 皇家飞利浦有限公司 | 用户操纵的即时路径规划 |
| CA2846215A1 (en) * | 2013-03-15 | 2014-09-15 | Covidien Lp | Pathway planning system and method |
| CN106659373A (zh) * | 2014-07-02 | 2017-05-10 | 柯惠有限合伙公司 | 用于在肺内部的工具导航的动态3d肺图谱视图 |
| CN110151116A (zh) * | 2015-06-19 | 2019-08-23 | 柯惠有限合伙公司 | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 |
| CN106898044A (zh) * | 2017-02-28 | 2017-06-27 | 成都金盘电子科大多媒体技术有限公司 | 一种基于医学影像并利用vr技术的器官拆分和操作方法及系统 |
| CN109157285A (zh) * | 2018-09-30 | 2019-01-08 | 上海馨孚科技有限公司 | 一种增强现实辅助肺结节定位的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112609A (zh) * | 2021-03-15 | 2021-07-13 | 同济大学 | 一种面向肺部活检支气管镜的导航方法和系统 |
| WO2023136695A1 (ko) * | 2022-01-17 | 2023-07-20 | (주)휴톰 | 환자의 가상 폐 모델을 생성하는 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
| Sielhorst et al. | An augmented reality delivery simulator for medical training | |
| JP2018534011A (ja) | 拡張現実感手術ナビゲーション | |
| JP2022540898A (ja) | 外科手術を遠隔監督するための拡張現実システムおよび方法 | |
| CN111588464B (zh) | 一种手术导航方法及系统 | |
| CN112450960A (zh) | 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法 | |
| US11871904B2 (en) | Steerable endoscope system with augmented view | |
| Dumay et al. | Endoscopic surgery simulation in a virtual environment | |
| Deligianni et al. | Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation | |
| JP2024041891A (ja) | コンピュータプログラム、学習モデルの生成方法、及び支援装置 | |
| Riener et al. | VR for medical training | |
| JP2024051041A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
| Satava et al. | Medical applications of virtual environments | |
| RU143299U1 (ru) | Система моделирования медицинской процедуры (варианты) | |
| Vidal et al. | Principles and Applications of Medical Virtual Environments. | |
| Vogt | Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery | |
| Skogås et al. | Imaging for minimally invasive surgery | |
| Çakmak et al. | Haptic ventriculostomy simulation in a grid environment | |
| CN115662234B (zh) | 一种基于虚拟现实的胸腔镜手术示教系统 | |
| Soler et al. | Virtual reality and augmented reality applied to endoscopic and NOTES procedures | |
| Lin et al. | Augmented‐reality‐based surgical navigation for endoscope retrograde cholangiopancreatography: A phantom study | |
| Hussain | Augmented reality based middle and inner ear surgical procedures | |
| Deligianni | Visual augmentation for virtual environments in surgical training. | |
| Chen et al. | Design of a Surgical Human-Machine Natural Interaction Assistance System based on Holographic Reality | |
| CN107330236B (zh) | 具有改良漫游效果的虚拟内窥镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210906 Address after: 710100 east section of Hangtian Avenue, Chang'an District, Xi'an City, Shaanxi Province Applicant after: Xi'an Chest Hospital Address before: No. 333, Chang'an South Road, Yanta District, Xi'an City, Shaanxi Province, 710065 Applicant before: Zhou Yong |