CN110189407A - 一种基于hololens的人体三维重建模型系统 - Google Patents

一种基于hololens的人体三维重建模型系统 Download PDF

Info

Publication number
CN110189407A
CN110189407A CN201910473194.XA CN201910473194A CN110189407A CN 110189407 A CN110189407 A CN 110189407A CN 201910473194 A CN201910473194 A CN 201910473194A CN 110189407 A CN110189407 A CN 110189407A
Authority
CN
China
Prior art keywords
image
hololens
practical
reconstruction model
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910473194.XA
Other languages
English (en)
Other versions
CN110189407B (zh
Inventor
马贺
籍斯文
姚冠楠
方粳凯
刁家庆
孙健乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910473194.XA priority Critical patent/CN110189407B/zh
Publication of CN110189407A publication Critical patent/CN110189407A/zh
Application granted granted Critical
Publication of CN110189407B publication Critical patent/CN110189407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于HOLOLENS的人体三维重建模型系统，包括：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。本发明的技术方案解决了现有技术中传统的手术过程存在风险高，病人痛苦大，术后效果不理想等缺点，手术效果受医生个人业务水平影响很大的问题。

Description

一种基于HOLOLENS的人体三维重建模型系统
技术领域
本发明涉及医学图像处理技术的三维重建技术领域，具体而言，尤其涉及一种基于HOLOLENS的人体三维重建模型系统。
背景技术
增强现实技术(Augmented Reality，简称AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用越来越被人们所重视。医生进行传统手术时需要根据术前进行的核磁共振，CT等影像，判断病灶部位，制定手术方案。其局限在于，术前影像无法在手术过程中提供实时对照和操作预警。现在，随着手术导航技术的应用，可以为医生提供实时影像，显著提高手术的效率和安全性。而这种个性化的精准治疗手段需要前期准备，例如由患者的CT扫描图像建立患者的骨骼和器官模型，为手术导航做准备。也可以成为一个真实的人体教学系统。所以，一套简单快捷的三维模型重建系统对增强现实与医疗的完美结合尤为重要。
发明内容
根据上述提出传统的手术过程存在风险高，病人痛苦大，术后效果不理想等缺点，同时手术效果受医生个人业务水平影响很大的技术问题，而提供一种基于HOLOLENS的人体三维重建模型系统。
本发明采用的技术手段如下：
一种基于HOLOLENS的人体三维重建模型系统，包括以下步骤：
步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；
步骤S2：对获得的实际CT序列图像进行预处理；
步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；
步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；
步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；
步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。
进一步地，所述步骤S2的预处理包括：去噪处理和图像增强处理；
所述去噪处理是利用matlab读取CT原始数据后进行相应调整以适应后续步骤；
所述图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。
进一步地，所述步骤S4的具体过程如下：
步骤S41：采用阈值分割，将灰度区间距离拉大，进而获得边界分明的CT序列图像；
步骤S42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。
进一步地，在所述步骤S4中还包括对步骤S41中获得的边界分明的CT序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离的步骤。
较现有技术相比，本发明具有以下优点：
1、本发明提供的基于HOLOLENS的人体三维重建模型系统，为医生提供了一个虚拟的3D环境以及可交互操作平台，可以逼真地模拟临床手术的全过程。
2、本发明提供的基于HOLOLENS的人体三维重建模型系统，利用虚拟手术系统，医生可以在对病人实施复杂手术之前进行练习，把通过成像设备获取的病人图像及模型导入仿真系统。医生还可以对实际手术做出相应的规划，或者对病变缺损部位进行较精确的前期测量和估算，从而预见手术的复杂性。
3、本发明提供的基于HOLOLENS的人体三维重建模型系统，运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，通过视、听、触觉感知并学习各种手术实际操作，体验并学习如何应付临床手术中的各类突发情况。节约了培训医务人员的费用和时间，使非熟练人员进行手术的风险性大大降低，对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义，具有非常好的实际应用价值。
基于上述理由本发明可在医学图像处理技术的三维重建等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统流程图。
图2为本发明实施例提供的HOLOLENS增强现实眼镜平台。
图3为本发明实施例提供的经过预处理后的人体肺部CT切片图。
图4为本发明实施例提供的经过阈值分割处理后的CT图。
图5为本发明实施例提供的经过开运算后的CT图。
图6为本发明实施例提供的经过闭运算的CT图。
图7为本发明实施例提供的二次开运算的CT图。
图8为本发明实施例提供的区域增长后的分割结果图。
图9为本发明实施例提供的基于CT图像重建后所取得的三维重建图像。
图10为本发明实施例提供的肺部区域的三维重建图像(包含肺部血管)。
图11为本发明实施例提供的骨骼以及人体器官在Unity3D中的效果图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
实施例
如图1所示，本发明提供了一种基于HOLOLENS的人体三维重建模型系统，包括以下步骤：
步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；
步骤S2：对获得的实际CT序列图像进行预处理；预处理包括：去噪处理和图像增强处理；
实际CT序列图像含有较高的灰度级(4096个)，和一般的图像处理软件处理的灰度级(256个)并不匹配，直接对实际CT序列图像处理会导致图像不清晰或者图像失真，本实施例中对原始数据进行去噪处理，利用matlab读取CT原始数据后进行相应调整以适应后续步骤；
图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。如图3所示，为经过预处理后的人体肺部CT切片图。
步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；
步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；
步骤S41：采用阈值分割，利用Python实现出经典的图像分割方法，对比优劣，进行实验改进，有效的解决器官边缘提取的问题，将灰度区间距离拉大，进而获得边界分明的CT序列图像；如图4所示，为经过阈值分割处理后的CT图。
对步骤S41中获得的边界分明的CT序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离；如图5、6、7所示，分别为开运算后的CT图、闭运算后的CT图、二次开运算的CT图，目的为了使肝胀与周围组织完全分离。
步骤S42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。区域增长法是根据事先定义的增长法则(这里是灰度)把像素或子区域合并成面积较大的区域的一种图像处理方法。通常以一个种子点开始，根据预定义法则，将那些属性相似于种子点的相邻区域并入之前的种子点，当不再有像素点满足该区域所包含的准则时，增长就会停止。如图8所示，为区域增长后的分割结果图。
步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；如图9所示，为基于CT图像重建后所取得的三维重建图像。本实施例中还提供了如图10所示的肺部区域的三维重建图像(包含肺部血管)；
步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。其中，利用Navigation gesture、Manipulation gesture等组件实现保持点击手势，在一个标准3D立方空间内相对运动、旋转、缩放。如图11所示，本实施例提供的是骨骼以及人体器官在Unity3D中的效果图。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于HOLOLENS的人体三维重建模型系统，其特征在于，包括以下步骤：
步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；
步骤S2：对获得的实际CT序列图像进行预处理；
步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；
步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；
步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；
步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。
2.根据权利要求1所述的基于HOLOLENS的人体三维重建模型系统，其特征在于，所述步骤S2的预处理包括：去噪处理和图像增强处理；
所述去噪处理是利用matlab读取CT原始数据后进行相应调整以适应后续步骤；
所述图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。
3.根据权利要求1所述的基于HOLOLENS的人体三维重建模型系统，其特征在于，所述步骤S4的具体过程如下：
步骤S41：采用阈值分割，将灰度区间距离拉大，进而获得边界分明的CT序列图像；
步骤S42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。
4.根据权利要求1所述的基于HOLOLENS的人体三维重建模型系统，其特征在于，在所述步骤S4中还包括对步骤S41中获得的边界分明的CT序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离的步骤。
CN201910473194.XA 2019-05-31 2019-05-31 一种基于hololens的人体三维重建模型系统 Active CN110189407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910473194.XA CN110189407B (zh) 2019-05-31 2019-05-31 一种基于hololens的人体三维重建模型系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910473194.XA CN110189407B (zh) 2019-05-31 2019-05-31 一种基于hololens的人体三维重建模型系统

Publications (2)

Publication Number Publication Date
CN110189407A true CN110189407A (zh) 2019-08-30
CN110189407B CN110189407B (zh) 2023-07-04

Family

ID=67719745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910473194.XA Active CN110189407B (zh) 2019-05-31 2019-05-31 一种基于hololens的人体三维重建模型系统

Country Status (1)

Country Link
CN (1) CN110189407B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161429A (zh) * 2019-12-19 2020-05-15 武汉中科医疗科技工业技术研究院有限公司 模型图像显示方法、装置、计算机设备和存储介质
CN111882936A (zh) * 2020-07-18 2020-11-03 纽智医疗科技(苏州)有限公司 一种基于力反馈与虚拟现实的手术预演及教学系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN109389669A (zh) * 2017-08-04 2019-02-26 阿里健康信息技术有限公司 虚拟环境中人体三维模型构建方法及系统
CN109685887A (zh) * 2018-11-30 2019-04-26 机械工业第六设计研究院有限公司 一种基于HoloLens的AR虚实精确遮挡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107296650A (zh) * 2017-06-01 2017-10-27 西安电子科技大学 基于虚拟现实和增强现实的智能手术辅助系统
CN109389669A (zh) * 2017-08-04 2019-02-26 阿里健康信息技术有限公司 虚拟环境中人体三维模型构建方法及系统
CN107680165A (zh) * 2017-09-25 2018-02-09 中国电子科技集团公司第二十八研究所 基于HoloLens的电脑操作台全息展现与自然交互应用方法
CN109685887A (zh) * 2018-11-30 2019-04-26 机械工业第六设计研究院有限公司 一种基于HoloLens的AR虚实精确遮挡方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161429A (zh) * 2019-12-19 2020-05-15 武汉中科医疗科技工业技术研究院有限公司 模型图像显示方法、装置、计算机设备和存储介质
CN111161429B (zh) * 2019-12-19 2023-09-26 武汉中科医疗科技工业技术研究院有限公司 模型图像显示方法、装置、计算机设备和存储介质
CN111882936A (zh) * 2020-07-18 2020-11-03 纽智医疗科技(苏州)有限公司 一种基于力反馈与虚拟现实的手术预演及教学系统

Also Published As

Publication number Publication date
CN110189407B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
Vidal et al. Principles and applications of computer graphics in medicine
Abhari et al. Training for planning tumour resection: augmented reality and human factors
Shahidi et al. Clinical applications of three-dimensional rendering of medical data sets
Karmonik et al. Augmented reality with virtual cerebral aneurysms: a feasibility study
WO2021048158A1 (en) Method for controlling a display, computer program and mixed reality display device
US20210241534A1 (en) System and method for augmenting and synchronizing a virtual model with a physical model
CN110189407A (zh) 一种基于hololens的人体三维重建模型系统
Wiet et al. A volumetric approach to virtual simulation of functional endoscopic sinus surgery
Yagel et al. Building a virtual environment for endoscopic sinus surgery simulation
Robb et al. Virtual reality assisted surgery program
Neubauer et al. STEPS-an application for simulation of transsphenoidal endonasal pituitary surgery
CN112331311A (zh) 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
Ziemek et al. Evaluating the effectiveness of orientation indicators with an awareness of individual differences
Robb VR assisted surgery planning
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
Baer et al. A Comparative User Study of a 2D and an Autostereoscopic 3D Display for a Tympanoplastic Surgery.
Tang et al. A virtual reality-based surgical simulation system for virtual neuroendoscopy
Preim et al. Smart 3d visualizations in clinical applications
Yagel et al. Multisensory platform for surgical simulation
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
Wiet et al. Using advanced simulation technology for cranial base tumor evaluation
Clarke Depth Perception using X-Ray Visualizations
Salb et al. Preoperative planning and training simulation for risk reducing surgery
Koyama et al. Computer generated microsurgical anatomy of the supraclinoid portion of the internal carotid artery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant