CN111053598A - 一种基于投影仪的增强现实系统平台 - Google Patents

一种基于投影仪的增强现实系统平台 Download PDF

Info

Publication number
CN111053598A
CN111053598A CN201911221293.5A CN201911221293A CN111053598A CN 111053598 A CN111053598 A CN 111053598A CN 201911221293 A CN201911221293 A CN 201911221293A CN 111053598 A CN111053598 A CN 111053598A
Authority
CN
China
Prior art keywords
patient
image
information
projector
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911221293.5A
Other languages
English (en)
Inventor
姜杉
徐斌
周泽洋
姜博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911221293.5A priority Critical patent/CN111053598A/zh
Publication of CN111053598A publication Critical patent/CN111053598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body

Abstract

本发明公开一种基于投影仪的增强现实系统平台，包括：数据服务系统，用于读取病人的CT医学图像序列信息进行三维重建，并由医生根据图像信息进行手术规划，形成手术规划后的三维图像；增强现实系统，用于采集患者的空间位置信息和标记点信息，与手术规划后的三维图像配准，并将配准后的图像信息通过投影仪投影到患者背部皮肤上，实现患者骨骼血管等信息的可视化，由医生看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。本发明可实现在患者背部精准显示骨骼和血管的三维图像，较好反应骨骼和血管真实情况，实现患者骨骼血管可视化，降低了医生手术操作难度。

Description

一种基于投影仪的增强现实系统平台
技术领域
本发明涉及手术辅助系统技术领域，特别是涉及一种基于投影仪的增强现实系统平台。
背景技术
腰椎穿刺手术是神经科临床常用的检查方法之一，对神经系统疾病的诊断和治疗有重要价值，但是如果掌握不当，轻者可加重原有病情，重者甚至危及病员安全。腰椎穿刺手术对医生的临床经验和穿刺路径提出了很高的要求，而且手术过程中医生需不断采集CT图像获取穿刺针信息，这对医生和患者的健康造成一定危害。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于投影仪的增强现实系统平台。
为实现本发明的目的所采用的技术方案是：
一种基于投影仪的增强现实系统平台，包括：
数据服务系统，用于读取病人的CT医学图像序列信息进行三维重建，并由医生根据图像信息进行手术规划，形成手术规划后的三维图像；
增强现实系统，用于采集患者的空间位置信息和标记点信息，与手术规划后的三维图像配准，并将配准后的图像信息通过投影仪投影到患者背部皮肤上，实现患者骨骼血管等信息的可视化，由医生看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。
其中，所述数据服务系统，包括存储单元，数据处理单元及数据传输单元，所述存储单元与数据处理单元相连接，数据处理单元与数据传输单元相连接；
所述存储单元用来保存病人的CT医学图像序列信息，重建的三维图像信息以及手术规划后的手术路径数据；所述数据处理单元对存储单元的数据进行处理后分类，并将手术规划后三维图像信息传递给数据传输单元，由数据传输单元传送到增强现实系统处理。
其中，所述增强现实系统包括单目视觉模块，图像处理模块，投影仪图像显示模块；所述单目视觉模块与图像处理模块相连接，图像处理模块与投影仪图像显示模块相连接；
所述单目视觉模块，用于采集患者空间位置信息与皮肤上的标记点信息，将信息传递到图像处理模块；所述图像处理模块，用于接受患者空间位置信息和标记点信息，将空间位置信息和标记点信息与手术规划后的三维模型配准，并将配准后图像传递给投影仪图像显示模块；所述投影仪图像显示模块，用于接收图像处理模块传输的高清图像，将图像投影在患者皮肤表面，实现骨骼的可视化。
本发明的所述基于投影仪的增强现实系统平台，其实现步骤如下：
步骤1：启动投影仪实现增强现实的手术辅助系统；
步骤2：数据服务系统的初始化手术规划功能，读取患者的二维图像信息，并进行三维重建，医生根据图像信息进行手术规划，并将手术规划传输到存储单元；
步骤3：数据服务系统将储存的手术规划后的三维模型传输到增强现实系统；
步骤4：增强现实系统启动单目视觉模块，采集患者空间位置信息和标记点信息，传输到图像处理模块；
步骤5：图像处理模块将患者的空间位置信息和标记点信息与手术规划后的三维模型配准，并将配准后的图像信息传输到投影仪图像显示模块；
步骤6：投影仪图像现实模块启动投影仪将配准后的图像投影到患者背部皮肤上，实现患者骨骼血管等信息的可视化；
步骤7：医生无需佩戴任何设备就可同时看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。
本发明的基于投影仪的增强现实系统平台的数据服务系统通过读取病人的医学图像序列显示二维图像，进行三维重建，根据具体手术需求进行手术规划并将手术规划后的数据传输到基于单目视觉模块和投影仪的增强现实系统；基于单目视觉模块和投影仪的增强现实系统将手术规划的三维骨骼模型可视化到病人背部皮肤，实现增强现实效果。
本发明可以实现在患者背部精准显示骨骼和血管的三维图像，较好的反应骨骼和血管的真实情况，实现患者骨骼血管可视化，降低了医生的手术操作难度。
附图说明
图1是本发明基于投影仪的增强现实系统平台的技术过程示意图；
图2是本发明基于投影仪的增强现实系统平台的操作流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于投影仪的增强现实系统平台，包括数据服务系统以及基于相机和投影仪的增强现实系统：
其中，所述数据服务系统，包括存储单元，数据处理单元及数据传输单元；
所述存储单元与数据处理单元相连接，数据处理单元与数据传输单元相连接；
所述存储单元，用来保存病人的CT医学图像序列信息，重建的三维图像信息以及手术规划后的手术路径等数据；
所述数据处理单元对存储单元的数据进行处理后分类，并将手术规划后三维图像信息传递给数据传输单元；
其中，所述的基于相机和投影仪的增强现实系统包括单目视觉模块(摄像机或相机)，图像处理模块，投影仪图像显示模块；
所述单目视觉模块与图像处理模块相连接，图像处理模块与投影仪图像显示模块相连接；
所述单目视觉模块，采集患者的空间位置信息与皮肤上的标记点信息，并将信息传递到图像处理模块；
所述图像处理模块，接受患者的空间位置信息和标记点信息，将空间标记点信息与重建的骨骼血管等三维模型信息配准，并将配准后的图像传递给投影仪图像显示模块；
所述投影仪图像显示模块，接收图像处理模块传输的高清图像，并将图像投影在患者皮肤表面，实现骨骼的可视化。
本发明的基于投影仪的增强现实系统平台，其具体实现步骤如下：
步骤1：启动投影仪实现增强现实的手术辅助系统；
步骤2：数据服务系统的初始化手术规划功能，读取患者的二维图像信息并进行三维重建，医生根据图像信息进行手术规划，并将手术规划后的三维模型传输到存储单元；
步骤3：数据服务系统将储存的手术规划后的三维模型传输到增强现实系统；
步骤4：增强现实系统启动单目视觉模块1，采集CT床3上的患者4的空间位置信息和标记点信息，传输到图像处理模块；
步骤5：图像处理模块将患者空间位置信息与手术规划后的三维模型配准，并将配准后的图像信息传输到投影仪图像显示模块；
步骤6：投影仪图像显示模块启动投影仪2将配准后的图像投影到CT床3上的患者4背部皮肤上，实现患者骨骼血管等信息的可视化。
步骤7：医生无需佩戴任何设备就可同时看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。
本发明可实现在患者背部精准显示骨骼和血管的三维图像，较好的反应骨骼和血管的真实情况，实现患者骨骼血管可视化，降低了医生手术操作难度。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于投影仪的增强现实系统平台，其特征在于，包括：
数据服务系统，用于读取病人的CT医学图像序列信息进行三维重建，并由医生根据图像信息进行手术规划，形成手术规划后的三维图像；
增强现实系统，用于采集患者的空间位置信息和标记点信息，与手术规划后的三维图像配准，并将配准后的图像信息通过投影仪投影到患者背部皮肤上，实现患者骨骼血管等信息的可视化，由医生看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。
2.根据权利要求1所述基于投影仪的增强现实系统平台，其特征在于，所述数据服务系统，包括存储单元，数据处理单元及数据传输单元，所述存储单元与数据处理单元相连接，数据处理单元与数据传输单元相连接；
所述存储单元用来保存病人的CT医学图像序列信息，重建的三维图像信息以及手术规划后的手术路径数据；所述数据处理单元对存储单元的数据进行处理后分类，并将手术规划后三维图像信息传递给数据传输单元，由数据传输单元传送到增强现实系统处理。
3.根据权利要求2所述基于投影仪的增强现实系统平台，其特征在于，所述增强现实系统包括单目视觉模块，图像处理模块，投影仪图像显示模块；所述单目视觉模块与图像处理模块相连接，图像处理模块与投影仪图像显示模块相连接；
所述单目视觉模块，用于采集患者空间位置信息与皮肤上的标记点信息，将信息传递到图像处理模块；所述图像处理模块，用于接受患者空间位置信息和标记点信息，将空间位置信息和标记点信息与手术规划后的三维模型配准，并将配准后图像传递给投影仪图像显示模块；所述投影仪图像显示模块，用于接收图像处理模块传输的高清图像，将图像投影在患者皮肤表面，实现骨骼的可视化。
4.根据权利要求3所述基于投影仪的增强现实系统平台，其特征在于，其实现步骤如下：
步骤1：启动投影仪实现增强现实的手术辅助系统；
步骤2：数据服务系统的初始化手术规划功能，读取患者的二维图像信息，并进行三维重建，医生根据图像信息进行手术规划，并将手术规划传输到存储单元；
步骤3：数据服务系统将储存的手术规划后的三维模型传输到增强现实系统；
步骤4：增强现实系统启动单目视觉模块，采集患者空间位置信息和标记点信息，传输到图像处理模块；
步骤5：图像处理模块将患者的空间位置信息和标记点信息与手术规划后的三维模型配准，并将配准后的图像信息传输到投影仪图像显示模块；
步骤6：投影仪图像现实模块启动投影仪将配准后的图像投影到患者背部皮肤上，实现患者骨骼血管等信息的可视化；
步骤7：医生无需佩戴任何设备就可同时看到真实患者皮肤和手术规划的患者三维模型图像和穿刺路径，进行手术。
CN201911221293.5A 2019-12-03 2019-12-03 一种基于投影仪的增强现实系统平台 Pending CN111053598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911221293.5A CN111053598A (zh) 2019-12-03 2019-12-03 一种基于投影仪的增强现实系统平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911221293.5A CN111053598A (zh) 2019-12-03 2019-12-03 一种基于投影仪的增强现实系统平台

Publications (1)

Publication Number Publication Date
CN111053598A true CN111053598A (zh) 2020-04-24

Family

ID=70299773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911221293.5A Pending CN111053598A (zh) 2019-12-03 2019-12-03 一种基于投影仪的增强现实系统平台

Country Status (1)

Country Link
CN (1) CN111053598A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359488A (zh) * 2022-03-21 2022-04-15 深圳市一图智能科技有限公司 一种基于序列ct图像的皮肤三维模型重建方法及系统
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN107016685A (zh) * 2017-03-29 2017-08-04 浙江大学 一种实时匹配的手术场景增强现实投射方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
US20180360543A1 (en) * 2017-06-19 2018-12-20 NavLab, Inc. Surgery planning
CN109246414A (zh) * 2018-09-27 2019-01-18 青岛理工大学 一种投影式增强现实图像生成方法及系统
CN110292439A (zh) * 2019-07-31 2019-10-01 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
CN107016685A (zh) * 2017-03-29 2017-08-04 浙江大学 一种实时匹配的手术场景增强现实投射方法
US20180360543A1 (en) * 2017-06-19 2018-12-20 NavLab, Inc. Surgery planning
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN109246414A (zh) * 2018-09-27 2019-01-18 青岛理工大学 一种投影式增强现实图像生成方法及系统
CN110292439A (zh) * 2019-07-31 2019-10-01 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359488A (zh) * 2022-03-21 2022-04-15 深圳市一图智能科技有限公司 一种基于序列ct图像的皮肤三维模型重建方法及系统
CN114359488B (zh) * 2022-03-21 2022-06-10 深圳市一图智能科技有限公司 一种基于序列ct图像的皮肤三维模型重建方法及系统
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Similar Documents

Publication Publication Date Title
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US20220192776A1 (en) Augmented Reality Viewing and Tagging For Medical Procedures
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
Perkins et al. A mixed-reality system for breast surgical planning
US10485614B2 (en) Augmented reality system and method for implementing augmented reality for dental surgery
CN108430306B (zh) 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法
CN110769740B (zh) 将诊断测试集成到实时治疗中的通用设备和方法
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
WO2019037606A1 (zh) 基于ar技术的手术导航系统及方法
WO2018012080A1 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
AU2016226388A1 (en) Reality-augmented morphological procedure
US9198640B2 (en) System and methods for providing information related to a tissue region of a subject
CN104939925A (zh) 基于三角测量的深处和表面可视化
US20220323164A1 (en) Method For Stylus And Hand Gesture Based Image Guided Surgery
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
CN111053598A (zh) 一种基于投影仪的增强现实系统平台
CN110720985A (zh) 一种多模式引导的手术导航方法和系统
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
JP2014131552A (ja) 医療支援装置
US10631948B2 (en) Image alignment device, method, and program
JP6801073B2 (ja) 付加情報表示装置、方法およびプログラム
CN111193830B (zh) 一种基于智能手机的便携式增强现实医学图像观察辅助设备
CN108852513A (zh) 一种骨科手术导引系统的器械导引方法
CN111631814B (zh) 术中血管立体定位导航系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication