CN116942129A - 基于slam的混合现实体内病灶体表定位方法及系统 - Google Patents

基于slam的混合现实体内病灶体表定位方法及系统 Download PDF

Info

Publication number
CN116942129A
CN116942129A CN202310735808.3A CN202310735808A CN116942129A CN 116942129 A CN116942129 A CN 116942129A CN 202310735808 A CN202310735808 A CN 202310735808A CN 116942129 A CN116942129 A CN 116942129A
Authority
CN
China
Prior art keywords
image
patient
vertex
slam
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310735808.3A
Other languages
English (en)
Inventor
赵一阳
束旭俊
孙一睿
杨国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yishiji Medical Technology Development Co ltd
Original Assignee
Shanghai Yishiji Medical Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yishiji Medical Technology Development Co ltd filed Critical Shanghai Yishiji Medical Technology Development Co ltd
Priority to CN202310735808.3A priority Critical patent/CN116942129A/zh
Publication of CN116942129A publication Critical patent/CN116942129A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/4893—Nerves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Vascular Medicine (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于SLAM的混合现实体内病灶体表定位方法及系统，其中方法包括：获取患者病灶区域身体结构的三维模型；基于三维模型，采用SLAM技术和增强现实技术生成具有空间坐标的MR影像；将MR影像投影在患者病灶区域身体结构的体表上，调整MR影像，使得MR影像的空间坐标与患者病灶区域身体结构的空间坐标之间完全匹配；根据MR影像中体内病灶在患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。本发明实现体内血管、神经、病变等结构的混合现实展示，采用交互的方式，更加方便、直观的辅助医生实现实体内病灶体表定位，几乎不受使用场景限制；定位结果更为精确；实现了全景AR影像的可视化效果；降低了医疗成。

Description

基于SLAM的混合现实体内病灶体表定位方法及系统
技术领域
本发明涉及混合现实(MR)技术领域，具体地，涉及一种基于SLAM的混合现实体内病灶体表定位方法及系统。
背景技术
体内病变(例如颅内病变)的体表定位是手术的前提，一直以来，传统的体内病变定位方法通常采用在二维影像上经过测量计算的方式完成，包括：
a.用尺测量患者CT、MRI胶片上病灶与体表的距离，在经过比例尺转化成实际的距离，借助直角尺或游标卡尺等测量工具，计算和测量病变在患者病灶区域身体结构(例如颅内病变的头部)的体表投影位置。
b.通过在患者体表粘贴标记物，然后再进行CT或MRI扫描，在影像上找到标记物，根据标记物与体内病变的相对位置关系，对应患者病灶区域身体结构标志物的位置推算出病变的体表投影位置。
上述两种传统定位方式使用最广泛，但误差和不确定性都较大。
神经导航的出现，使得体内病变定位能够达到准确定位。但是，这种方式是采用神经手术导航设备结合患者影像对病灶进行精准定位，首先，神经导航价格十分昂贵，只有大型医疗机构能够承担其成本；其次，神经导航的操作流程比较繁琐，且并非适用于所有的手术场景，例如一般适用于择期手术，而不适用于急诊手术。
随着增强现实(AR)技术的发展，一种基于Marker的AR定位方法应运而生，这种方法通过标记物匹配实现AR三维影像定位病灶，实现了简单、易用、直观、准确的目的，但是，患者需要贴上标记物进行二次CT或MRI扫描，无形中增加了医疗成本，而且定位时只能从单一角度观看，不能实现AR影像在患者病灶区域身体结构上360°全景观看，无法充分了解病灶信息。
经过检索发现：
授权公告号为CN111627521B的中国发明专利《增强现实在放疗中的应用》，利用CT数据进行三维建模，调整模型材质，调整场景灯光，渲染周围场景，再搭建增强现实交互系统，通过三维建模还原真实场景。按照放疗摆位会进行床的升降、平移及旋转，适当调整病人的治疗体位，与先期的三维建模在空间上进行吻合，特别是体表轮廓的吻合，肉眼可观察肿瘤位置是否在治疗野内、是否在等中心处等指标，两者(真实和虚拟)如有偏差，可适当调整治疗床参数和病人体位，使得两者高度吻合，方可进行治疗。该应用所采用的技术方案存在如下技术问题：
1、对于重建之后的模型需要先导入到三维动画软件中进行材质调整等操作，增加了使用的复杂度；
2、需要同时调整放疗床和三维建模的空间位置信息完成轮廓吻合，操作复杂，且可能在调整过程中对患者造成不适。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于SLAM的混合现实体内病灶体表定位方法及系统。
根据本发明的一个方面，提供了一种基于SLAM的混合现实体内病灶体表定位方法，包括：
获取患者病灶区域身体结构的三维模型；
基于所述三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像；
将所述MR影像投影在患者病灶区域身体结构的体表上，调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
根据所述MR影像中体内病灶在所述患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
优选地，所述获取患者病灶区域身体结构的三维模型，包括：
获取患者病灶区域身体结构断层扫描图像，采用三维重建方式获取患者病灶区域身体结构的体表外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型。
优选地，还包括：
将所述患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对所述三维模型进行优化处理。
优选地，所述优化处理包括：
所述三维模型的obj文件中包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低所述三维模型的复杂度，完成对所述三维模型的优化处理。
优选地，所述基于所述三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像，包括：
利用SLAM技术获取真实的空间环境信息，并基于所述空间环境信息构建空间环境的虚拟环境，所述虚拟环境的坐标相对于所述空间环境的坐标固定；
采用增强现实技术，在所述虚拟环境中加载MR影像，根据所述MR影像在所述虚拟环境中的固定位置信息，将所述MR影像映射到空间环境中，在现实空间中生成具有空间坐标的MR影像。
优选地，所述生成具有空间坐标的MR影像，在移动智能终端完成。
优选地，所述调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，包括：
采用增强现实技术，对所述MR影像的位置、大小和旋转角度进行调整，实现所述MR影像与所述患者病灶区域身体结构的空间坐标之间完全匹配。
根据本发明的另一个方面，提供了一种基于SLAM的混合现实体内病灶体表定位系统，包括：
三维模型构建模块，该模块用于获取患者病灶区域身体结构的三维模型；
MR影像生成模块，该模块基于所述三维模型，采用SLAM技术和增强现实技术生成具有空间坐标的MR影像；
空间坐标匹配模块，该模块用于将所述MR影像投影在患者病灶区域身体结构的体表上，调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
体表定位模块，该模块用于根据所述MR影像中体内病灶在所述患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
优选地，所述三维模型构建模块布置在云端服务器上。
优选地，所述MR影像生成模块布置在移动智能终端上。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，能够实现体内血管、神经、病变等结构的混合现实展示，采用交互的方式，更加方便、直观的辅助医生实现实体内病灶体表定位，且几乎不受使用场景限制。
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，解决了传统定位方式的弊端，省去了所有人为测量、计算的步骤，定位结果更为精确。
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，不依赖于体表标记物匹配，免去了患者要行二次扫描的条件，降低了医疗成本，同时实现了全景AR影像的可视化效果。
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，相比神经导航具有更低的成本，且应用场景更加灵活自由，使得病变定位、手术规划变得简单、直观、准确和高效。
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，支持多角度无极调节，仅需在移动智能终端通过增强现实应用软件进行调整即可，对病人体位无任何要求。
本发明提供的基于SLAM的混合现实体内病灶体表定位方法及系统，可以适用于颅内、骨科、脊柱外科等多科室的病灶体表定位。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中基于SLAM的混合现实体内病灶体表定位方法的工作流程图。
图2为本发明一优选实施例中基于SLAM的混合现实体内病灶体表定位系统的组成模块示意图。
图3为采用本发明一具体应用实例中体表定位方法实现的混合现实展示效果示意图；其中，(a)为患者头部结构三维模型示意图，(b)为三维模型与患者头部匹配示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种基于SLAM的混合现实体内病灶体表定位方法，该方法解决了二次扫描和只能单一角度观看AR影像的问题，不需要体表标记物辅助匹配，且能够实现全方位的AR影像观看，达到混合现实的效果。
如图1所示，该实施例提供的基于SLAM的混合现实体内病灶体表定位方法，可以包括：
S1，获取患者病灶区域身体结构的三维模型；
S2，基于三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像；
S3，将MR影像投影在患者病灶区域身体结构的体表上，调整MR影像，使得MR影像的空间坐标与患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
S4，根据MR影像中体内病灶在患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
在S1的一优选实施例中，获取患者病灶区域身体结构的三维模型，包括：
获取患者病灶区域身体结构断层扫描图像，采用三维重建方式获取患者病灶区域身体结构的体表外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型。
在S1的一优选实施例中，还包括：
将患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理。
进一步地，在一优选实施例中，优化处理包括：
三维模型的obj文件中包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低三维模型的复杂度，完成对三维模型的优化处理。
在该优化处理的步骤中，默认构建的三维影像有很多非必要的信息，导致传输时间长，移动端设备加载压力大，甚至无法加载。在云端通过降低对三维模型的复杂度，缩短数据传输时间与移动端设备渲染压力。其中降低三维模型复杂度的方式为：通过计算三维影像数据的点和面数据，在保证三维影像数据精度的前提下创建一个形状相同但三角形(或点)较少的几何图形，来实现三维影像的优化处理。具体地：
默认三维模型为obj格式的三维影像，在obj文件中包含了如下顶点数据：v(几何体顶点)、vn(顶点法线)和元素f(面)。根据设定的阈值t，遍历顶点间距，如果顶点v1和顶点v2间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点，如果顶点v1和顶点v2不在同一条边上，在顶点v1和顶点v2间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩，完成对示例三维模型的优化处理。
上述优化处理，可以使用开源软件Meshlab中的“Quadric Edge CollapseDecimation”完成，可以先对一例示例三维模型进行降低复杂度的优化，在优化完成之后，记录对应的优化规则，将该优化规则导出为mlx文件，作为后续对构建的三维模型的优化规则，以提高对构建的三维模型的优化处理效率。
在S2的一优选实施例中，基于三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像，包括：
利用SLAM技术获取真实的空间环境信息，并基于空间环境信息构建空间环境的虚拟环境，虚拟环境的坐标相对于空间环境的坐标固定；
采用增强现实技术，在虚拟环境中加载MR影像，根据MR影像在虚拟环境中的固定位置信息，将MR影像映射到空间环境中，在现实空间中生成具有空间坐标的MR影像。
在S2的一优选实施例中，生成具有空间坐标的MR影像，在移动智能终端完成。
在S3的一优选实施例中，调整MR影像，使得MR影像的空间坐标与患者病灶区域身体结构的空间坐标之间完全匹配，包括：
采用增强现实技术，对MR影像的位置、大小和旋转角度进行调整，实现MR影像与患者病灶区域身体结构的空间坐标之间完全匹配。
在本发明部分实施例中，通过患者的病灶区域身体结构断层扫描图像，使用三维重建的方式获得患者病灶区域身体结构的体表外形与体内血管、神经、病变等三维模型，可以将三维模型上传至云端服务器，在云端服务器上对三维模型进行优化处理，再下载到手持设备端(移动智能终端)，手持设备端使用增强现实技术(增强现实APP)在现实空间中生成一个有空间坐标的MR影像，通过调整MR影像的位置、大小和旋转角度，让其与患者病灶区域身体结构1：1完全匹配，MR影像会和病灶区域身体结构重叠并固定。这时候，手持设备端可以围绕病灶区域身体结构上、下、左、右移动，MR影像仍保持与病灶区域身体结构的匹配，基于SLAM方式可实现自由多角度观看体内结构、病变的混合现实效果。
本发明一实施例提供了一种基于SLAM的混合现实体内病灶体表定位系统。
如图2所示，该实施例提供的基于SLAM的混合现实体内病灶体表定位系统，可以包括：
三维模型构建模块，该模块用于获取患者病灶区域身体结构的三维模型；
MR影像生成模块，该模块基于三维模型，生成具有空间坐标的MR影像；
空间坐标匹配模块，该模块用于将MR影像投影在患者病灶区域身体结构的体表上，采用SLAM算法调整MR影像，使得MR影像的空间坐标与患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
体表定位模块，该模块用于根据MR影像中体内病灶在患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
在一优选实施例中，三维模型构建模块布置在云端服务器上。
在一优选实施例中，MR影像生成模块布置在移动智能终端上。
在一具体应用实例中，移动智能终端可以采用智能手机、平板电脑等。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
下面结合一具体应用实例，对本发明上述实施例提供的技术方案进一步说明。
该具体应用实例以颅内病灶定位为例进行说明。
该具体应用实例中，基于SLAM的混合现实颅内病灶体表定位方法，包括如下步骤
步骤1，获取患者头部结构的三维模型；
步骤2，基于三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像；
步骤3，将MR影像投影在患者头部表面，调整MR影像，使得MR影像的空间坐标与患者头部的空间坐标之间完全匹配，并固定；
步骤4，根据MR影像中颅内病灶在患者头部的投影位置，获得颅内病灶体表定位信息。
进一步地，获取患者头部断层扫描图像，采用三维重建方式获取患者头颅外形以及颅内血管、神经和病变信息，构建患者头部结构的三维模型；将患者头部结构的三维模型上传至云端服务器，并在云端服务器对三维模型进行优化处理。SLAM技术作为实时定位与地图构建的常用技术，已成熟应用于场景高精度重建方面，本发明利用SLAM技术获取真实的空间环境信息，并基于空间环境信息构建空间环境的虚拟环境，虚拟环境的坐标相对于空间环境的坐标固定；采用增强现实技术，在虚拟环境中加载MR影像，根据MR影像在虚拟环境中的固定位置信息，将MR影像映射到空间环境中，在现实空间中生成具有空间坐标的MR影像。采用增强现实技术，对MR影像的位置、大小和旋转角度进行调整，实现MR影像与患者头部的空间坐标之间完全匹配。
本发明上述具体应用实例提供的基于SLAM的混合现实颅内病灶定位方法，通过一个手持AR设备及配套软件应用，能够从云端获取患者三维影像，通过SLAM算法实现AR影像在真实空间中的坐标与患者头部空间坐标保持匹配，从而可以全方位多角度实时观看AR影像在患者头部不同角度的投影，实现血管、神经、病变等结构混合现实展示效果，如图3中(a)和(b)所示，辅助医生更加方便、直观、交互式定位，制定手术计划，适用于急诊、普通手术，几乎不受使用场景限制。
本发明上述实施例提供的基于SLAM的混合现实体内病灶体表定位方法及系统，能够实现体内血管、神经、病变等结构的混合现实展示，采用交互的方式，更加方便、直观的辅助医生实现实体内病灶体表定位，且几乎不受使用场景限制；解决了传统定位方式的弊端，省去了所有人为测量、计算的步骤，定位结果更为精确；不依赖于体表标记物匹配，免去了患者要行二次扫描的条件，降低了医疗成本，同时实现了全景AR影像的可视化效果；具有更低的成本，且应用场景更加灵活自由，使得病变定位、手术规划变得简单、直观、准确和高效。
本发明上述实施例中未尽事宜均为本领域公知技术。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于SLAM的混合现实体内病灶体表定位方法，其特征在于，包括：
获取患者病灶区域身体结构的三维模型；
基于所述三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像；
将所述MR影像投影在患者病灶区域身体结构的体表上，调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
根据所述MR影像中体内病灶在所述患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
2.根据权利要求1所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，所述获取患者病灶区域身体结构的三维模型，包括：
获取患者病灶区域身体结构断层扫描图像，采用三维重建方式获取患者病灶区域身体结构的体表外形以及体内血管、神经和病变信息，构建患者病灶区域身体结构的三维模型。
3.根据权利要求2所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，还包括：
将所述患者病灶区域身体结构的三维模型上传至云端服务器，并在云端服务器对所述三维模型进行优化处理。
4.根据权利要求3所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，所述优化处理包括：
获取所述三维模型的obj文件中所包括如下顶点数据：几何体顶点v、顶点法线vn和面f；根据设定的阈值t，遍历顶点间距：
如果顶点v1和顶点v2之间的距离小于阈值t并处于同一条边上，将顶点v1和顶点v2收缩为一个顶点；
如果顶点v1和顶点v2不在同一条边上，则在顶点v1和顶点v2之间新建一个顶点a，将顶点v1和顶点v2分别移动到顶点a再进行收缩；
重复上述步骤，降低所述三维模型的复杂度，完成对所述三维模型的优化处理。
5.根据权利要求1所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，所述基于所述三维模型，采用SLAM技术和增强现实技术在现实空间中生成具有空间坐标的MR影像，包括：
利用SLAM技术获取真实的空间环境信息，并基于所述空间环境信息构建空间环境的虚拟环境，所述虚拟环境的坐标相对于所述空间环境的坐标固定；
采用增强现实技术，在所述虚拟环境中加载MR影像，根据所述MR影像在所述虚拟环境中的固定位置信息，将所述MR影像映射到空间环境中，在现实空间中生成具有空间坐标的MR影像。
6.根据权利要求5所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，所述生成具有空间坐标的MR影像，在移动智能终端完成。
7.根据权利要求1所述的基于SLAM的混合现实体内病灶体表定位方法，其特征在于，所述调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，包括：
采用增强现实技术，对所述MR影像的位置、大小和旋转角度进行调整，实现所述MR影像与所述患者病灶区域身体结构的空间坐标之间完全匹配。
8.一种基于SLAM的混合现实体内病灶体表定位系统，其特征在于，包括：
三维模型构建模块，该模块用于获取患者病灶区域身体结构的三维模型；
MR影像生成模块，该模块基于所述三维模型，采用SLAM技术和增强现实技术生成具有空间坐标的MR影像；
空间坐标匹配模块，该模块用于将所述MR影像投影在患者病灶区域身体结构的体表上，调整所述MR影像，使得所述MR影像的空间坐标与所述患者病灶区域身体结构的空间坐标之间完全匹配，并固定；
体表定位模块，该模块用于根据所述MR影像中体内病灶在所述患者病灶区域身体结构的投影位置，获得体内病灶体表定位信息。
9.根据权利要求8所述的基于SLAM的混合现实体内病灶体表定位系统，其特征在于，所述三维模型构建模块布置在云端服务器上。
10.根据权利要求8所述的基于SLAM的混合现实体内病灶体表定位系统，其特征在于，所述MR影像生成模块布置在移动智能终端上。
CN202310735808.3A 2023-06-20 2023-06-20 基于slam的混合现实体内病灶体表定位方法及系统 Pending CN116942129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310735808.3A CN116942129A (zh) 2023-06-20 2023-06-20 基于slam的混合现实体内病灶体表定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310735808.3A CN116942129A (zh) 2023-06-20 2023-06-20 基于slam的混合现实体内病灶体表定位方法及系统

Publications (1)

Publication Number Publication Date
CN116942129A true CN116942129A (zh) 2023-10-27

Family

ID=88453909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310735808.3A Pending CN116942129A (zh) 2023-06-20 2023-06-20 基于slam的混合现实体内病灶体表定位方法及系统

Country Status (1)

Country Link
CN (1) CN116942129A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247336A (zh) * 2024-04-16 2024-06-25 中国人民解放军东部战区总医院 一种脑膜中动脉的颞部体表定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247336A (zh) * 2024-04-16 2024-06-25 中国人民解放军东部战区总医院 一种脑膜中动脉的颞部体表定位方法
CN118247336B (zh) * 2024-04-16 2024-09-17 中国人民解放军东部战区总医院 一种脑膜中动脉的颞部体表定位方法

Similar Documents

Publication Publication Date Title
CN109419524B (zh) 医学成像系统的控制
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
Kessler et al. Integration of multimodality imaging data for radiotherapy treatment planning
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
CN107067398B (zh) 用于三维医学模型中缺失血管的补全方法及装置
CN101474075B (zh) 微创手术导航系统
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
US20210379406A1 (en) Research and development of augmented reality in radiotherapy
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
CN106725852A (zh) 肺部穿刺的手术导航系统
CN101375805A (zh) 一种计算机辅助引导电子内窥镜操作的方法和系统
Zeng et al. A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation
WO2010039404A1 (en) Subtraction of a segmented anatomical feature from an acquired image
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
CN107592802A (zh) 通过解剖模型增强引导腹腔镜手术过程的系统和方法
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
US20160074012A1 (en) Apparatus and method of ultrasound image acquisition, generation and display
WO2023246521A1 (zh) 基于混合现实的病灶定位方法、装置和电子设备
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
CN112168346A (zh) 三维医学影像与患者实时重合的方法及手术辅助系统
CN113229937A (zh) 一种利用实时结构光技术实现手术导航的方法和系统
CN116942129A (zh) 基于slam的混合现实体内病灶体表定位方法及系统
CN113662573A (zh) 乳腺病灶定位方法、装置、计算机设备和存储介质
CN114980832A (zh) 用于规划和执行三维全息介入手术的系统和方法
Yoshida et al. Clinical planning support system-CliPSS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination