CN114519771A - 基于混合现实技术的手术模型成像方法、装置、存储介质 - Google Patents

基于混合现实技术的手术模型成像方法、装置、存储介质 Download PDF

Info

Publication number
CN114519771A
CN114519771A CN202210047658.2A CN202210047658A CN114519771A CN 114519771 A CN114519771 A CN 114519771A CN 202210047658 A CN202210047658 A CN 202210047658A CN 114519771 A CN114519771 A CN 114519771A
Authority
CN
China
Prior art keywords
model
lesion
feature information
sense organs
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210047658.2A
Other languages
English (en)
Inventor
彭逸龙
谢正元
陈少霭
李锦宏
伍益
董家军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen Central Hospital
Original Assignee
Jiangmen Central Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen Central Hospital filed Critical Jiangmen Central Hospital
Priority to CN202210047658.2A priority Critical patent/CN114519771A/zh
Publication of CN114519771A publication Critical patent/CN114519771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于混合现实技术的手术模型成像方法、装置、存储介质,其中,基于混合现实技术的手术模型成像方法包括:获取目标对象的病变特征图像和五官特征信息;根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;获取实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。根据本发明实施例提供的方案,通过获取目标对象的五官特征信息实现手术模型与实体模型的成像配准,相较于现有技术中通过采集患者皮肤表面标记点图像实现手术模型与实体模型的成像配准的技术方案,本发明的技术方案能够避免患者皮肤移位带来的手术模型投影不准确的问题,从而有效提高术前的配准精度。

Description

基于混合现实技术的手术模型成像方法、装置、存储介质
技术领域
本发明涉及但不限于图像处理技术领域,尤其涉及一种基于混合现实技术的手术模型成像方法及装置、存储介质。
背景技术
近年来,随着数字骨科学、全息影像数字技术的高速发展,混合现实技术(MixedReality,MR)已经广泛应用到医疗领域。混合现实技术是一种数字全息影像技术,通过在三维空间中投射出三维立体影像,用户可以全方位不受限制地观察三维立体影像。在医疗领域中,医生能够以三维立体影像的形式可视化病患的病灶,以达到手术引导的功能。相关技术中,通过收集患者的病灶数据建立手术模型,并在患者的头部皮肤表面设置标记点,进行标记图像的采集,根据手术模型和标记图像的融合得到重建后的手术模型,并将重建后的手术模型投影至患者皮肤,以实现病患的术前配准。
但是,由于患者仰卧时枕下肌肉和皮肤会被拉伸,皮肤移位,或者由于标记点粘贴不牢固而脱落,或者人为导致标记点移位等引起标记点偏移,增加手术模型的定位偏差,从而影响术前的配准精度。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种基于混合现实技术的手术模型成像方法、装置、存储介质,能够有效提高术前的配准精度。
第一方面,本发明实施例提供了一种基于混合现实技术的手术模型成像方法,该方法包括:
获取目标对象的病变特征图像和五官特征信息;
根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;
获取实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。
在本发明一实施例中,所述根据所述病变特征信息和所述五官特征信息进行三维建模,得到手术模型,包括:
对所述病变特征图像进行图像分割,得到病变切面数据和病变体积数据;
根据所述病变切面数据和所述病变体积数据进行三维建模得到病灶模型;
根据所述五官特征信息得到所述目标对象的虚拟头颅模型;
根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
在本发明一实施例中,所述根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型,包括:
根据所述病变切面数据、所述病变体积数据和所述五官特征信息得到病变位置信息,其中,所述病变位置信息表征所述病灶模型在所述虚拟头颅模型的目标配准位置信息;
根据所述病变位置信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
在本发明一实施例中,所述根据所述五官特征信息将所述手术模型投影至所述实体头颅模型,包括:
将所述手术模型发送至混合现实设备,以使所述混合现实设备根据所述五官特征信息将所述手术模型投影至所述实体模型。
在本发明一实施例中,在所述根据所述五官特征信息将所述手术模型投影至所述实体模型之后,还包括:
获取显示需求信息,根据所述显示需求信息确定投影显示信息,其中,所述投影显示信息表征所述手术模型投影至所述实体模型的显示角度。
在本发明一实施例中,在所述根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型之前,还包括:
对所述病变特征图像和所述五官特征信息进行数据清洗。
第二方面,本发明实施例还提供了一种基于混合现实技术的手术模型成像装置,该装置包括:
第一数据采集单元,所述第一数据采集单元用于获取目标对象的病变特征图像和五官特征信息;
手术模型构建单元,所述手术模型构建单元用于根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;
手术模型成像单元,所述手术模型成像单元用于获取预先设置的实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。
在本发明一实施例中,所述手术模型构建单元包括:
第二数据采集单元,所述第二数据采集单元用于对所述病变特征图像进行图像分割,得到病变切面数据和病变体积数据;
病灶模型构建单元,所述病灶模型构建单元用于根据所述病变切面数据和所述病变体积数据进行三维建模得到病灶模型;
虚拟头颅模型获取单元,所述虚拟头颅模型获取单元用于根据所述五官特征信息得到所述目标对象的虚拟头颅模型;
数据处理单元,所述数据处理单元用于根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
第三方面,本发明实施例还提供了一种基于混合现实技术的手术模型成像装置,该装置包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任意一项实施例所述的基于混合现实技术的手术模型成像方法。
第四方面,本发明实施例还提供了一种存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面任意一项实施例所述的基于混合现实技术的手术模型成像方法。
本发明实施例包括一种基于混合现实技术的手术模型成像方法、装置、存储介质,其中,基于混合现实技术的手术模型成像方法包括:获取目标对象的病变特征图像和五官特征信息;根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;获取预先设置的实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。根据本发明实施例提供的方案,通过实时获取目标对象的五官特征信息实现手术模型与实体模型的成像配准,相较于现有技术中通过采集患者皮肤表面标记点图像实现手术模型与实体模型的成像配准的技术方案,本发明的技术方案能够避免现有技术中由于患者皮肤移位,或者标记点误差带来的手术模型投影不准确的问题,从而有效提高术前的配准精度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的基于混合现实技术的手术模型成像方法的步骤流程图;
图2是本发明另一个实施例提供的得到手术模型的步骤流程图;
图3是本发明另一个实施例提供的得到手术模型的步骤流程图;
图4是本发明另一个实施例提供的将手术模型投影至实体模型的步骤流程图;
图5是本发明另一个实施例提供的确定投影显示信息的步骤流程图;
图6是本发明另一个实施例提供的对病变特征图像和五官特征信息进行数据清洗的步骤流程图;
图7是本发明另一个实施例提供的基于混合现实技术的手术模型成像装置的模块示意图;
图8是本发明另一个实施例提供的基于混合现实技术的手术模型成像方法的步骤流程图;
图9是本发明另一个实施例提供的基于混合现实技术的手术模型成像装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明提供了一种基于混合现实技术的手术模型成像方法、装置、存储介质,其中,基于混合现实技术的手术模型成像方法包括:获取目标对象的病变特征图像和五官特征信息;根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;获取预先设置的实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。根据本发明实施例提供的方案,通过实时获取目标对象的五官特征信息实现手术模型与实体模型的成像配准,相较于现有技术中通过采集患者皮肤表面标记点图像实现手术模型与实体模型的成像配准的技术方案,本发明的技术方案能够避免患者皮肤移位带来的手术模型投影不准确的问题,从而有效提高术前的配准精度。
下面结合附图,对本发明实施例作进一步阐述。
如图1所示,图1是本发明一个实施例提供的基于混合现实技术的手术模型成像方法的步骤流程图,该方法包括但不限于有以下步骤:
步骤S110,获取目标对象的病变特征图像和五官特征信息;
步骤S120,根据病变特征图像和五官特征信息进行三维建模,得到手术模型;
步骤S130,获取实体模型,根据五官特征信息将手术模型投影至实体模型。
可以理解的是,获取目标对象的病变特征图像和五官特征信息能够为手术模型与实体模型的投影成像提供数据基础;病变特征图像和五官特征信息可以是根据患者的医学影像获取,例如核磁共振成像(Magnetic Resonance Imaging,MRI)、计算机体层摄影(Computed Tomography,CT),医学影像能够获取到病患,即目标对象的身体特征信息,包括但不限于病变特征以及五官特征信息,本领域技术人员熟知如何通过医学影像得到病变特征图像和五官特征信息,在此不多做赘述。
可以理解的是,根据病变特征图像和五官特征信息进行三维建模,得到手术模型,该手术模型是基于虚拟现实对需要进行颅内手术的目标对象的头部进行三维重建的虚拟三维模型,映射有目标对象的病变特征信息,例如病变位置、病变形状大小等相关信息,其中,手术模型包含有目标对象的病灶,为实现手术模型以及实体模型的投影成像提供有效的数据基础。
需要说明的是,本发明实施例并不对实体模型的具体形式做限制,可以是真实患者头部,用于手术辅助,实现术前配准;还可以是用于展示教学的假头颅模型,或者是根据扫描目标对象的头部特征得到的虚拟模型,能够实现与手术模型融合,投影显示手术模型即可。
需要说明的是,本发明方法针对于大脑半球手术的术前配准辅助工作,不涉及对小脑手术的应用。
需要说明的是,本发明实施例并不限制五官特征信息的具体选取区域,可以是分别从鼻根、左右眼外龇、鼻翼左右两侧的5个区域获取特征点,本领域技术人员有动机根据实际情况选用,在此不多做赘述。
可以理解的是,根据五官特征信息分别在实体模型以及手术模型建立第一虚拟标记和第二虚拟标记,其中,第一虚拟标记为实体模型的鼻根、左右眼外龇、鼻翼左右两侧的5个五官特征点;第二虚拟标记为手术模型的五官特征点;通过坐标转换等方法实现第一虚拟标记和第二虚拟标记的重合配准,实现手术模型以及实体模型的融合,从而实现手术模型投影至实体模型,能够有效术前配准的准确性,以及为大脑半球手术提供有效的辅助,提高手术效率,同时也为手术教学提供方便,能够让学生更直观地从实体模型中观察病变区域。
可以理解的是,根据本发明实施例提供的方案,通过获取目标对象的五官特征信息实现手术模型与实体模型的成像配准,相较于现有技术中通过采集患者皮肤表面标记点图像实现手术模型与实体模型的成像配准的技术方案,本发明的技术方案能够避免患者皮肤移位、标记点偏移带来的手术模型投影不准确的问题,在无需剔除患者头发以及无需贴标记的情况下实现手术模型与实体模型的定位配准以及投影成像,从而有效提高术前的配准精度。
另外,参照图2,在一实施例中,图1所示实施例中的步骤S120还包括但不限于有以下步骤:
步骤S210,对病变特征图像进行图像分割,得到病变切面数据和病变体积数据;
步骤S220,根据病变切面数据和病变体积数据进行三维建模得到病灶模型;
步骤S230,根据五官特征信息得到目标对象的虚拟头颅模型;
步骤S240,根据五官特征信息对病灶模型和虚拟头颅模型进行配准,得到手术模型。
需要说明的是,本发明实施例并不对病变特征图像的图像分割方法做限制,可以是分水岭算法或者阈值分割法,本领域技术人员有动机根据实际情况选用,在此不多做赘述。
可以理解的是,对病变特征图像进行图像分割,得到病变切面数据和病变体积数据,根据病变切面数据和病变体积数据进行三维建模得到病灶模型,根据五官特征信息得到目标对象的虚拟头颅模型,再根据五官特征信息对病灶模型和虚拟头颅模型进行配准,得到手术模型能够为实现手术模型以及实体模型的投影成像提供有效的数据基础。
需要说明的是,本发明并不限制虚拟头颅模型的表现形式,可以是呈现一个完整的头颅形态,还可以是仅仅呈现头颅的一部分,例如鼻子,耳朵,或额头等部位,在此不多做赘述。
另外,参照图3,在一实施例中,图2所示实施例中的步骤S240还包括但不限于有以下步骤:
步骤S310,根据病变切面数据、病变体积数据和五官特征信息得到病变位置信息,其中,病变位置信息表征病灶模型在虚拟头颅模型的目标配准位置信息;
步骤S320,根据病变位置信息对病灶模型和虚拟头颅模型进行配准,得到手术模型。
可以理解的是,根据病变切面数据、病变体积数据和五官特征信息得到病变位置信息,并根据病变位置信息对病灶模型和虚拟头颅模型进行配准,得到手术模型,能够为实现手术模型以及实体模型的投影成像提供有效的数据基础。
另外,参照图4,在一实施例中,图1所示实施例中的步骤S130还包括但不限于有以下步骤:
步骤S410,将手术模型发送至混合现实设备,以使混合现实设备根据五官特征信息将手术模型投影至实体模型。
可以理解的是,混合现实设备存储有实体模型的相关数据,将手术模型发送至混合现实设备,能够实现根据五官特征信息将手术模型投影至实体模型,即根据五官特征信息实现手术模型与实体模型的坐标信息转换,融合成统一的坐标信息,从而实现手术模型的准确投影成像。
可以理解的是,通过计算机软件和精准渲染技术将已有的断层扫描、磁共振等影像数据再处理构建模型,借助混合现实设备,立体地呈现患者颅内解剖结构,肿瘤的大小形态及位置,周围血管及神经纤维走行、毗邻关系;通过将环境位置信息实时做出定位运算,根据五官特征信息以及手术模型呈现一个虚拟与现实交互的场景,实现手术模型的准确投影成像至实体模型,能够有效术前配准的准确性,以及为大脑半球手术提供有效的辅助,提高手术效率。
可以理解的是,在将手术模型输入至混合现实设备之前,还可以将手术模型上传至Unity软件进行保存,以使混合现实设备从Unity软件下载手术模型,从而实现手术模型投影成像至实体模型,实现全息可视化。
需要说明的是,本发明实施例并不涉及混合现实设备的改进,本领域技术人员有动机根据实际情况选用不同的混合现实设备,可以是Hololens混合现实设备。
另外,参照图5,在一实施例中,在图1所示实施例中的步骤S130之后,还包括但不限于有以下步骤:
步骤S510,获取显示需求信息,根据显示需求信息确定投影显示信息,其中,投影显示信息表征手术模型投影至实体模型的显示角度。
可以理解的是,本发明实施例并不限制显示需求信息的具体内容,可以包括显示视角信息、显示样式信息,例如显示颜色信息,显示病灶的种类信息等等;获取显示需求信息,根据显示需求信息确定投影显示信息,能够根据需要进行显示病灶信息,转换视角,能够为手术教学提供方便。
另外,参照图6,在一实施例中,在图1所示实施例中的步骤S120之前,还包括但不限于有以下步骤:
步骤S610,对病变特征图像和五官特征信息进行数据清洗。
可以理解的是,在根据病变特征图像和五官特征信息进行三维建模,得到手术模型之前,对病变特征图像和五官特征信息进行数据清洗,能够减少病变特征图像和五官特征信息中的异常数据,从而提高病变特征图像和五官特征信息的有效性,进而提升构建手术模型的准确性。
另外,参考图7,本发明的一个实施例还提供了一种基于混合现实技术的手术模型成像装置700,该装置包括:第一数据采集单元710、手术模型构建单元720和手术模型成像单元730;其中,第一数据采集单元710用于获取目标对象的病变特征图像和五官特征信息;手术模型构建单元720用于根据病变特征图像和五官特征信息进行三维建模,得到手术模型;手术模型成像单元730用于获取预先设置的实体模型,根据五官特征信息将手术模型投影至实体模型。
可以理解的是本实施例提供的基于混合现实技术的手术模型成像装置700的具体原理可以参考上述方法步骤S110至步骤S130的描述,在此不多做赘述。
另外,参考图7,本发明实施例的手术模型构建单元720包括第二数据采集单元721、病灶模型构建单元722、虚拟头颅模型获取单元723和数据处理单元724;其中,第二数据采集单元721用于对病变特征图像进行图像分割,得到病变切面数据和病变体积数据;病灶模型构建单元722用于根据病变切面数据和病变体积数据进行三维建模得到病灶模型;虚拟头颅模型获取单元723用于根据五官特征信息得到目标对象的虚拟头颅模型;数据处理单元724用于根据五官特征信息对病灶模型和虚拟头颅模型进行配准,得到手术模型。
可以理解的是本实施例提供的手术模型构建单元720的具体原理可以参考上述方法步骤S210至步骤S240的描述,在此不多做赘述。
另外,为了对本发明提供的基于混合现实技术的手术模型成像方法进行更详细的说明,以下以一个具体示例对本发明的技术方案进行描述。
示例一:
参考图8,图8是本发明另一个实施例提供的基于混合现实技术的手术模型成像方法的步骤流程图,该基于混合现实技术的手术模型成像方法包括以下步骤:
步骤S810,获取目标对象的病变特征图像和五官特征信息,病变特征图像为术前CT图像或MRI图像,其中,CT图像或MRI图像的数据形式为DICOM格式;
步骤S820,根据病变特征信息确定目标成像类型;
步骤S830,将病变特征信息和目标成像类型输入至预设的医学图像处理模块,对病变特征图像进行自动分割,并根据目标成像类型和分割后的数据进行三维建模,得到病变体积信息、病变深度信息和病变位置信息;
步骤S840,根据五官特征信息进行三维建模,得到虚拟头颅模型;
步骤S850,根据病变体积信息、病变深度信息和病变位置信息进行三维建模,得到病灶模型;
步骤S860,将虚拟头颅模型和病灶模型以OBJ格式导入至融合模块,实现全息导航兼容,对虚拟头颅模型和病灶模型进行配准,得到手术模型;
步骤S870,将手术模型上传至Unity软件进行保存;
步骤S880,混合现实设备从Unity软件下载手术模型,以使混合现实设备根据五官特征信息将手术模型投影至实体模型,以实现全息可视化。
另外,参考图9,本发明的一个实施例还提供了一种基于混合现实技术的手术模型成像装置900,该终端包括:存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序。
处理器920和存储器910可以通过总线或者其他方式连接。
实现上述实施例的基于混合现实技术的手术模型成像方法所需的非暂态软件程序以及指令存储在存储器910中,当被处理器920执行时,执行上述实施例中的基于混合现实技术的手术模型成像,例如,执行以上描述的图1中的方法步骤S110至方法步骤S130、图2中的方法步骤S210至方法步骤S240、图3中的方法步骤S310至方法步骤S320、图4中的方法步骤S410、图5中的方法步骤S510和图6中的方法步骤S610。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外,本发明的一个实施例还提供了一种存储介质,该存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器920或控制器执行,例如,被上述基于混合现实技术的手术模型成像装置900实施例中的一个处理器920执行,可使得上述处理器920执行上述实施例中的基于混合现实技术的手术模型成像方法,例如,执行以上描述的图1中的方法步骤S110至方法步骤S130、图2中的方法步骤S210至方法步骤S240、图3中的方法步骤S310至方法步骤S320、图4中的方法步骤S410、图5中的方法步骤S510和图6中的方法步骤S610。本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种基于混合现实技术的手术模型成像方法,其特征在于,包括:
获取目标对象的病变特征图像和五官特征信息;
根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;
获取实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述病变特征信息和所述五官特征信息进行三维建模,得到手术模型,包括:
对所述病变特征图像进行图像分割,得到病变切面数据和病变体积数据;
根据所述病变切面数据和所述病变体积数据进行三维建模得到病灶模型;
根据所述五官特征信息得到所述目标对象的虚拟头颅模型;
根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型,包括:
根据所述病变切面数据、所述病变体积数据和所述五官特征信息得到病变位置信息,其中,所述病变位置信息表征所述病灶模型在所述虚拟头颅模型的目标配准位置信息;
根据所述病变位置信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述五官特征信息将所述手术模型投影至所述实体模型,包括:
将所述手术模型发送至混合现实设备,以使所述混合现实设备根据所述五官特征信息将所述手术模型投影至所述实体模型。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述五官特征信息将所述手术模型投影至所述实体模型之后,还包括:
获取显示需求信息,根据所述显示需求信息确定投影显示信息,其中,所述投影显示信息表征所述手术模型投影至所述实体模型的显示角度。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型之前,还包括:
对所述病变特征图像和所述五官特征信息进行数据清洗。
7.一种基于混合现实技术的手术模型成像装置,其特征在于,包括:
第一数据采集单元,所述第一数据采集单元用于获取目标对象的病变特征图像和五官特征信息;
手术模型构建单元,所述手术模型构建单元用于根据所述病变特征图像和所述五官特征信息进行三维建模,得到手术模型;
手术模型成像单元,所述手术模型成像单元用于获取预先设置的实体模型,根据所述五官特征信息将所述手术模型投影至所述实体模型。
8.根据权利要求7所述的装置,其特征在于,所述手术模型构建单元包括:
第二数据采集单元,所述第二数据采集单元用于对所述病变特征图像进行图像分割,得到病变切面数据和病变体积数据;
病灶模型构建单元,所述病灶模型构建单元用于根据所述病变切面数据和所述病变体积数据进行三维建模得到病灶模型;
虚拟头颅模型获取单元,所述虚拟头颅模型获取单元用于根据所述五官特征信息得到所述目标对象的虚拟头颅模型;
数据处理单元,所述数据处理单元用于根据所述五官特征信息对所述病灶模型和所述虚拟头颅模型进行配准,得到所述手术模型。
9.一种基于混合现实技术的手术模型成像装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的基于混合现实技术的手术模型成像方法。
10.一种存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至6中任意一项所述的基于混合现实技术的手术模型成像方法。
CN202210047658.2A 2022-01-17 2022-01-17 基于混合现实技术的手术模型成像方法、装置、存储介质 Pending CN114519771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047658.2A CN114519771A (zh) 2022-01-17 2022-01-17 基于混合现实技术的手术模型成像方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047658.2A CN114519771A (zh) 2022-01-17 2022-01-17 基于混合现实技术的手术模型成像方法、装置、存储介质

Publications (1)

Publication Number Publication Date
CN114519771A true CN114519771A (zh) 2022-05-20

Family

ID=81596716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047658.2A Pending CN114519771A (zh) 2022-01-17 2022-01-17 基于混合现实技术的手术模型成像方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN114519771A (zh)

Similar Documents

Publication Publication Date Title
US11266480B2 (en) Augmented reality viewing and tagging for medical procedures
CN110010249B (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN107067398B (zh) 用于三维医学模型中缺失血管的补全方法及装置
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
JP2023139022A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
CN113643790A (zh) 一种脊椎的置换建模方法及系统
CN115005981A (zh) 手术路径规划方法、系统、设备、介质和手术操作系统
CN109215104B (zh) 一种用于经颅刺激治疗的脑结构图像显示方法及装置
CN111063424A (zh) 一种椎间盘数据处理方法、装置、电子设备及存储介质
JP2023543115A (ja) トランスデューサアレイの配置および皮膚表面コンディションの回避のための方法およびシステム
CN115054367A (zh) 基于混合现实的病灶定位方法、装置和电子设备
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
CN115063386A (zh) 医学图像处理方法、装置、设备及存储介质
CN114519771A (zh) 基于混合现实技术的手术模型成像方法、装置、存储介质
US20180247411A1 (en) Mapping image generation device, method, and program
CN114529667A (zh) 颅内穿刺手术教学方法、装置、存储介质
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
JP2022519634A (ja) ダイポールパッチへの患者固有の皮質表面テッセレーション
JPWO2020090445A1 (ja) 領域修正装置、方法およびプログラム
US10049480B2 (en) Image alignment device, method, and program
CN107330236B (zh) 具有改良漫游效果的虚拟内窥镜系统
CN115222881A (zh) 一种基于4d-ct肺肿瘤重建及动态虚拟显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination