CN111419398B - 一种基于虚拟现实的胸外科手术辅助控制系统 - Google Patents

一种基于虚拟现实的胸外科手术辅助控制系统 Download PDF

Info

Publication number
CN111419398B
CN111419398B CN202010320194.9A CN202010320194A CN111419398B CN 111419398 B CN111419398 B CN 111419398B CN 202010320194 A CN202010320194 A CN 202010320194A CN 111419398 B CN111419398 B CN 111419398B
Authority
CN
China
Prior art keywords
module
surgical procedure
virtual reality
operation flow
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010320194.9A
Other languages
English (en)
Other versions
CN111419398A (zh
Inventor
张雷
李小军
唐震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Bengbu Medical College
Original Assignee
First Affiliated Hospital of Bengbu Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Bengbu Medical College filed Critical First Affiliated Hospital of Bengbu Medical College
Priority to CN202010320194.9A priority Critical patent/CN111419398B/zh
Publication of CN111419398A publication Critical patent/CN111419398A/zh
Application granted granted Critical
Publication of CN111419398B publication Critical patent/CN111419398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Urology & Nephrology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实的胸外科手术辅助控制系统,包括医学影像及诊断结果录入模块、三维重建模块、手术方案生成模块、手术流程步骤生成模块、手术流程引导素材预处理模块、三维模型装饰模块、手术图像采集处理模块、投影坐标生成模块和投影模块。本发明可实现每一个手术操作准确引导，大幅提高手术的效率和成功率。

Description

一种基于虚拟现实的胸外科手术辅助控制系统
技术领域
本发明涉及医学领域，具体涉及一种基于虚拟现实的胸外科手术辅助控制系统。
背景技术
近年来，为了解决复杂胸外科手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。
现有基于虚拟现实的心胸外科手术辅助控制过程中，医生仍然只能凭借经验确定手术部位进行手术，从而大大影响了手术的效率，并降低了手术的成功率。
发明内容
为解决上述问题，本发明提供了一种基于虚拟现实的胸外科手术辅助控制系统，可实现每一个手术操作准确引导，大幅提高手术的效率和成功率。
为实现上述目的，本发明采取的技术方案为：
一种基于虚拟现实的胸外科手术辅助控制系统,包括：
医学影像及诊断结果录入模块，用于录入待手术区域的医学影像数据及对应的诊断结果；
三维重建模块，用于基于医学影像数据实现手术区域内的人体器官三维模型的重建；
手术方案生成模块，用于根据录入的诊断结果输出对应的手术初级方案，并由主刀医生完成手术初级方案的修订，生成最终的手术方案；
手术流程步骤生成模块，用于根据手术方案生成对应的手术流程步骤；
手术流程引导素材预处理模块，基于手术流程步骤调用对应的手术流程引导素材，并基于医学影像数据完成手术流程引导素材尺寸、方位的调整；
三维模型装饰模块，用于根据手术流程步骤将完成调整的手术流程引导素材装饰到三维模型的对应位置处；
手术图像采集处理模块，用于实现手术图像的采集，并实现手术图像中人体器官所在位置、尺寸的识别；
投影坐标生成模块，用于获取手术流程引导素材所在三维模型内的三维坐标，并基于所述三维坐标以及人体器官所在位置、尺寸参数生成投影模块的投影坐标；
投影模块，用于将手术流程引导素材投放到人体表皮和/器官的对应位置处；
进一步地，所述手术方案生成模块基于最邻近分类器在数据库内选取手术初级方案。
进一步地，所述手术流程引导素材包括带标尺的手术切口、缝合点、接入点、截断点、支撑点等。
进一步地，所述投影模块包括微型投影仪以及蛇形机械手，悬挂设置在手术床的上方。
进一步地，所述投影坐标生成模块首先根据人体器官的尺寸参数实现所述三维坐标的校正，校正完成后，再根据人体器官所在位置进行三维坐标的再校正。
进一步地，所述投影模块的投影坐标需满足不阻挡手术视野。
进一步地，所述手术流程引导素材预处理模块基于手术流程步骤一一调用对应的手术流程引导素材，并基于医学影像数据完成手术流程引导素材尺寸、方位的一一调整，为每一个完成调整的手术流程引导素材标记对应的投放时间。
进一步地，还包括悬挂在手术衣上的控制按钮，通过按压控制按钮可以实现下一个手术流程引导素材的自动投放。
进一步地，所述蛇形机械手由若干呈首尾连接的机械单元及位于所述机械单元之间的舵机组件构成，每个机械单元内均安装有一三维数字罗盘。
本发明具有以下有益效果：
可实现每一个手术操作准确引导，大幅提高手术的效率和成功率。
附图说明
图1为本发明实施例一种基于虚拟现实的胸外科手术辅助控制系统的外部结构示意图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种基于虚拟现实的胸外科手术辅助控制系统,包括：
医学影像及诊断结果录入模块，用于录入待手术区域的医学影像数据及对应的诊断结果；
三维重建模块，用于基于医学影像数据实现手术区域内的人体器官三维模型的重建；
手术方案生成模块，用于根据录入的诊断结果基于最邻近分类器在数据库内选取手术初级方案，并由主刀医生完成手术初级方案的修订，生成最终的手术方案；
手术流程步骤生成模块，用于根据手术方案生成对应的手术流程步骤；
手术流程引导素材预处理模块，基于手术流程步骤一一调用对应的手术流程引导素材，并基于医学影像数据完成手术流程引导素材尺寸、方位的一一调整，为每一个完成调整的手术流程引导素材标记对应的投放时间；
三维模型装饰模块，用于根据手术流程步骤将完成调整的手术流程引导素材装饰到三维模型的对应位置处；
手术图像采集处理模块，用于实现手术图像的采集，并实现手术图像中人体器官所在位置、尺寸的识别；还用于捕捉手术动作实现人体器官三维模型的重构，从而便于医生对目前人体器官形状的观察。
投影坐标生成模块，用于获取手术流程引导素材所在三维模型内的三维坐标，并基于所述三维坐标以及人体器官所在位置、尺寸参数生成投影模块的投影坐标；所述投影模块的投影坐标需满足不阻挡手术视野；
蛇形机械手运动路径规划模块，用于根据投影坐标以不影响手术视野为基准生成蛇形机械手的运动路径；
投影模块，包括微型投影仪以及蛇形机械手，悬挂设置在手术床的上方，用于将手术流程引导素材投放到人体表皮和/器官的对应位置处；
中央处理器模块，用于协调上述模块工作。
本实施例中，所述手术流程引导素材包括带标尺的手术切口、缝合点、接入点、截断点、支撑点等。
本实施例中，所述投影坐标生成模块首先根据人体器官的尺寸参数实现所述三维坐标的校正，校正完成后，再根据人体器官所在位置进行三维坐标的再校正。
本实施例中，还包括悬挂在手术衣上的控制按钮，通过按压控制按钮可以实现下一个手术流程引导素材的自动投放。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于虚拟现实的胸外科手术辅助控制系统，其特征在于：包括
医学影像及诊断结果录入模块，用于录入待手术区域的医学影像数据及对应的诊断结果；
三维重建模块，用于基于医学影像数据实现手术区域内的人体器官三维模型的重建；
手术方案生成模块，用于根据录入的诊断结果输出对应的手术初级方案，并由主刀医生完成手术初级方案的修订，生成最终的手术方案；
手术流程步骤生成模块，用于根据手术方案生成对应的手术流程步骤；
手术流程引导素材预处理模块，基于手术流程步骤调用对应的手术流程引导素材，并基于医学影像数据完成手术流程引导素材尺寸、方位的调整；
三维模型装饰模块，用于根据手术流程步骤将完成调整的手术流程引导素材装饰到三维模型的对应位置处；所述手术流程引导素材包括带标尺的手术切口、缝合点、接入点、截断点、支撑点；
手术图像采集处理模块，用于实现手术图像的采集，并实现手术图像中人体器官所在位置、尺寸的识别；
投影坐标生成模块，用于获取手术流程引导素材所在三维模型内的三维坐标，并基于所述三维坐标以及人体器官所在位置、尺寸参数生成投影模块的投影坐标；
投影模块，用于将手术流程引导素材投放到人体表皮和/器官的对应位置处。
2.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述手术方案生成模块基于最邻近分类器在数据库内选取手术初级方案。
3.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述投影模块包括微型投影仪以及蛇形机械手，悬挂设置在手术床的上方。
4.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述投影坐标生成模块首先根据人体器官的尺寸参数实现所述三维坐标的校正，校正完成后，再根据人体器官所在位置进行三维坐标的再校正。
5.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述投影模块的投影坐标需满足不阻挡手术视野。
6.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述手术流程引导素材预处理模块基于手术流程步骤一一调用对应的手术流程引导素材，并基于医学影像数据完成手术流程引导素材尺寸、方位的一一调整，为每一个完成调整的手术流程引导素材标记对应的投放时间。
7.如权利要求1所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：还包括悬挂在手术衣上的控制按钮，通过按压控制按钮可以实现下一个手术流程引导素材的自动投放。
8.如权利要求3所述的一种基于虚拟现实的胸外科手术辅助控制系统,其特征在于：所述蛇形机械手由若干呈首尾连接的机械单元及位于所述机械单元之间的舵机组件构成，每个机械单元内均安装有一三维数字罗盘。
CN202010320194.9A 2020-04-22 2020-04-22 一种基于虚拟现实的胸外科手术辅助控制系统 Active CN111419398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010320194.9A CN111419398B (zh) 2020-04-22 2020-04-22 一种基于虚拟现实的胸外科手术辅助控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010320194.9A CN111419398B (zh) 2020-04-22 2020-04-22 一种基于虚拟现实的胸外科手术辅助控制系统

Publications (2)

Publication Number Publication Date
CN111419398A CN111419398A (zh) 2020-07-17
CN111419398B true CN111419398B (zh) 2022-02-11

Family

ID=71558481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010320194.9A Active CN111419398B (zh) 2020-04-22 2020-04-22 一种基于虚拟现实的胸外科手术辅助控制系统

Country Status (1)

Country Link
CN (1) CN111419398B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117281616A (zh) * 2023-11-09 2023-12-26 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274129A (zh) * 2021-05-11 2021-08-20 温州医科大学附属第二医院（温州医科大学附属育英儿童医院） 一种基于虚拟现实的心胸外科手术辅助控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN109247985A (zh) * 2018-09-05 2019-01-22 北京数医科技有限公司 一种基于3d人体的手术辅助系统及方法
CN109345897A (zh) * 2018-11-27 2019-02-15 朱坤 基于虚拟现实的脊柱生物力学模拟控制系统
CN109730768A (zh) * 2019-01-10 2019-05-10 黄德荣 一种基于虚拟现实的心胸外科手术辅助控制系统及方法
CN109758229A (zh) * 2018-12-25 2019-05-17 襄阳市第一人民医院（襄阳市肿瘤医院） 一种基于虚拟现实的神经外科手术控制系统及方法
CN109841135A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于虚拟现实的手术训练方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN109841135A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于虚拟现实的手术训练方法及系统
CN109247985A (zh) * 2018-09-05 2019-01-22 北京数医科技有限公司 一种基于3d人体的手术辅助系统及方法
CN109345897A (zh) * 2018-11-27 2019-02-15 朱坤 基于虚拟现实的脊柱生物力学模拟控制系统
CN109758229A (zh) * 2018-12-25 2019-05-17 襄阳市第一人民医院（襄阳市肿瘤医院） 一种基于虚拟现实的神经外科手术控制系统及方法
CN109730768A (zh) * 2019-01-10 2019-05-10 黄德荣 一种基于虚拟现实的心胸外科手术辅助控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117281616A (zh) * 2023-11-09 2023-12-26 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Also Published As

Publication number Publication date
CN111419398A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN106296805B (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
US11302005B2 (en) Bone cutting support system, information processing apparatus, image processing method, and image processing program
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
JP2022512420A (ja) センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム
WO2021078064A1 (zh) 超声扫查轨迹规划方法、装置、存储介质及计算机设备
EP3498212A1 (en) A method for patient registration, calibration, and real-time augmented reality image display during surgery
CN111419398B (zh) 一种基于虚拟现实的胸外科手术辅助控制系统
TWI539314B (zh) 用於計劃毛髮移植之系統及方法
US6675032B2 (en) Video-based surgical targeting system
US20050027186A1 (en) Video-based surgical targeting system
CN107296650A (zh) 基于虚拟现实和增强现实的智能手术辅助系统
CN109464196A (zh) 采用结构光影像配准的手术导航系统及配准信号采集方法
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
Jiang et al. Registration technology of augmented reality in oral medicine: A review
CN114617655B (zh) 可摘局部义齿支架模型自动生成方法及系统
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
CN108629845A (zh) 手术导航方法、装置、设备、系统和可读存储介质
CN111770735B (zh) 手术仿真信息生成方法及程序
CN111839727A (zh) 基于增强现实的前列腺粒子植入路径可视化方法及系统
CN109938842A (zh) 面部外科手术定位导航方法及装置
JP2013236919A (ja) Ｘ線撮影装置及び医用画像処理装置
CN112043359B (zh) 乳腺穿刺方法、装置、设备及存储介质
US20210137601A1 (en) Device and method for imaging during implantation of retina implants
WO2015053319A1 (ja) 画像処理装置、及び手術顕微鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant