CN104992603A - 人体虚拟漫游展示系统 - Google Patents

人体虚拟漫游展示系统 Download PDF

Info

Publication number
CN104992603A
CN104992603A CN201510392510.2A CN201510392510A CN104992603A CN 104992603 A CN104992603 A CN 104992603A CN 201510392510 A CN201510392510 A CN 201510392510A CN 104992603 A CN104992603 A CN 104992603A
Authority
CN
China
Prior art keywords
image
entity
ctve
roams
human visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510392510.2A
Other languages
English (en)
Inventor
郑重
吴文波
杨文晖
赖暖翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ka Heng Medical Technology (shanghai) Co Ltd
Original Assignee
Ka Heng Medical Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ka Heng Medical Technology (shanghai) Co Ltd filed Critical Ka Heng Medical Technology (shanghai) Co Ltd
Priority to CN201510392510.2A priority Critical patent/CN104992603A/zh
Publication of CN104992603A publication Critical patent/CN104992603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种人体虚拟漫游展示系统，包括仿真内镜实体；仿真手部实体；内镜视野图像显示器件；触碰操作模拟器件；以及CT图像处理器件，CT图像处理器件包括读取器件；分割器件；渲染器件；定位器件；变化器件。由于采用了仿真内镜实体和仿真手部实体，大大降低了仿真漫游展示系统的成本，能够以低成本方式满足临床多体态特征组织器官识别的需要。

Description

人体虚拟漫游展示系统
技术领域
本发明涉及医学技术领域，具体涉及人体虚拟漫游展示系统。
背景技术
人体内包含很多组织器官，组织器官的识别以及特性的熟悉是医生临床疾病诊断的重要依据。目前人体组织器官的识别重要是通过解剖捐赠的人体来完成，然而一方面捐赠的数目比较少，另一方面，真实的人体解剖后不可重复使用，所以人体虚拟漫游系统迅速发展起来。然而目前存在的人体漫游系统采用真实内镜和人体实体模型，一方面，内镜设备是非常昂贵的，另一方面，人体实体模型仿真程度低，触碰感差。而且，当前的人体虚拟漫游系统只能针对一个人体实体模型，而不能满足临床对于各种体态特征的人体组织器官识别的要求。因此，迫切需要一种低成本的可满足临床多体态特征组织器官识别的人体虚拟漫游系统。
发明内容
本发明实施例所要解决的技术问题在于，提供一种人体虚拟漫游展示系统，使得以低成本方式满足临床多体态特征组织器官识别的需要。
为解决上述技术问题，本发明提供了一种人体虚拟漫游展示系统，包括：仿真内镜实体，其能够自由移动，驱动内镜视野图像显示器件中图像不断变化；仿真手部实体，其能够自由移动，驱动触碰操作模拟器件中仿真手部模型与其运动一致；内镜视野图像显示器件，其根据仿真内镜实体驱动的仿真内镜模型在CT图像中的空间位置及其方向，获取二维内镜视野图像；触碰操作模拟器件，其根据仿真手部模型的运动，模拟人体组织器官触碰的操作；以及CT图像处理器件。CT图像处理器件，包括：读取器件，其读取人体CT图像，用于内镜视野图像显示器件获取二维内镜视野图像；分割器件，其与所述读取器件连接，用于分割读取器件读取的CT图像中人体的组织器官；渲染器件，其与所述读取器件连接，与所述分割器件连接，用于体绘制渲染显示读取器件读取的CT图像三维模型；定位器件，其与所述触碰操作模拟器件连接，显示仿真内镜模型和仿真手部模型在CT图像中的空间位置；变化器件，其与所述分割器件连接，与所述触碰操作模拟器件连接，与所述内镜视野图像显示器件连接，根据触碰操作模拟器件中触碰的操作，显示CT图像中发生形变的不同组织器官。
在根据本发明的其他方案中，所述仿真内镜实体上设置定位感应芯片，所述定位感应芯片用于实时获取所述仿真内镜实体的在CT图像中的位置和方位信息。
在根据本发明的其他方案中，所述定位感应芯片为6自由度传感器。
在根据本发明的其他方案中，所述仿真手部实体上设置定位感应芯片和力反馈芯片，所述定位感应芯片用于实时获取仿真手部实体在CT图像中的位置和方位信息，所述力反馈芯片用于根据触碰操作模拟器件中仿真手部模型传递的碰撞信息给出受力反馈。
在根据本发明的其他方案中，所述内镜视野显示器件获取的二维内镜视野图像根据仿真内镜模型在人体CT图像中的不同位置实时变化，还包括参数设置器件，用于调整内镜视野图像的分辨率和清晰度。
在根据本发明的其他方案中，所述读取器件用于读取不同数据格式的医学图像。
在根据本发明的其他方案中，所述CT图像处理器件包括分割器件，用于分割读取的人体CT图像中的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔、骨头的拓扑结构。
在根据本发明的其他方案中，分割得到心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔用于根据触碰操作模拟器件中触碰操作发生形状变化。
在根据本发明的其他方案中，所述渲染器件，用于体绘制读取的CT图像，表面绘制分割得到的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔图像。
在根据本发明的其他方案中，所述定位器件用于实时定位跟踪仿真内镜模型和仿真手部模型在CT图像中的空间位置，并检测仿真手部模型与CT图像之间的触碰关系，还包括弹性力计算器件，依据CT图像中组织器官的识别与模型的构建，给出不同大小的反馈力。
本发明由于采用了仿真内镜实体和仿真手部实体，大大降低了人体虚拟漫游展示系统的成本，能够以低成本方式满足临床多体态特征组织器官识别的需要。
附图说明
图1为本发明实施例一的人体虚拟漫游展示系统的结构示意图。
图2为内镜视野图像与CT图像体绘制结果示意图，其中(a)为二维内镜视野图像，(b)为CT图像体绘制结果。
图3为仿真内镜模型6和仿真手部模型7在CT图像8中的空间位置。
图4为本发明实施例二的人体虚拟漫游展示系统的结构示意图。
图5为本发明实施例三的人体虚拟漫游展示系统的结构示意图。
主要附图标记说明
1、仿真内镜实体；2、仿真手部实体；3、内镜视野图像显示器件；4、触碰操作模拟器件；5、CT图像处理器件；51、读取器件；52、分割器件；53、渲染器件；54、定位器件；55、变化器件。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。
实施例一
图1为本发明实施例的人体虚拟漫游展示系统的结构示意图。如图1所示，本实施例的人体虚拟漫游展示系统包括仿真内镜实体1、仿真手部实体2、内镜视野图像显示器件3、触碰操作模拟器件4、CT图像处理器件5。
以下详细介绍各部分的构成和作用。
仿真内镜实体1模拟内镜，能够自由移动，驱动内镜视野图像显示器件3中图像不断变化。
仿真手部实体2模拟人体手部，能够自由移动，驱动触碰操作模拟器件4中仿真手部模型与其运动一致。
内镜视野图像显示器件3根据仿真内镜模型在CT图像中的空间位置及其方向，获取二维内镜视野图像。
触碰操作模拟器件4根据仿真手部模型的运动，模拟人体组织器官触碰的操作。
CT图像处理器件5，包括：
读取器件51，其读取人体CT图像，用于内镜视野图像显示器件3获取二维内镜视野图像，读取器件51可以读取不同数据格式的医学图像；
分割器件52，其与所述读取器件51连接，用于分割读取器件51读取的CT图像中人体的组织器官；
渲染器件53，其与所述读取器件51连接，与所述分割器件52连接，用于体绘制渲染显示读取器件51读取的CT图像三维模型；
定位器件54，其与所述触碰操作模拟器件4连接，显示仿真内镜模型和仿真手部模型在CT图像中的空间位置；如图3所示，示意性地示出了仿真内镜模型6和仿真手部模型7在CT图像8中的空间位置。
变化器件55，其与所述分割器件52连接，与所述触碰操作模拟器件4连接，与所述内镜视野图像显示器件3连接，根据触碰操作模拟器件4中触碰的操作，显示CT图像中发生形变的不同组织器官。如图3所示，示意性地示出了仿真内镜模型6和仿真手部模型7在CT图像8中的空间位置。
另外，分割器件52用于分割读取的人体CT图像中的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔、骨头的拓扑结构。渲染器件53用于体绘制读取的CT图像，表面绘制分割得到的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔图像。定位器件54用于实时定位跟踪仿真内镜模型和仿真手部模型在CT图像中的空间位置，并检测仿真手部模型与CT图像之间的触碰关系。
本发明由于采用了仿真内镜实体1和仿真手部实体2，大大降低了人体虚拟漫游展示系统的成本，能够以低成本方式满足临床多体态特征组织器官识别的需要。具体来说，本发明不需要像现有技术那样采用真实内窥镜设备，而是采用了仿真内窥镜实体1和仿真手部实体2。仿真内镜实体1的作用仅仅是模拟内镜的移动方式而已，无需其他功能。仿真手部实体2的作用仅仅是触摸人体组织器官和接受力反馈感觉而已，无需其他功能。在整个过程中，无需获得真实内镜设备，这大大降低了系统的成本。
实施例二
图4为本发明实施例二的人体虚拟漫游展示系统的结构示意图。本实施例与前述实施例的结构基本相同，本实施例的人体虚拟漫游展示系统包括仿真内镜实体1、仿真手部实体2、内镜视野图像显示器件3、触碰操作模拟器件4、CT图像处理器件5，各部件结构同前述实施例，故不再赘述，为简明起见，以下仅描述不同之处。
在该实施例中，仿真内镜实体1包括定位感应芯片，能够实时获取仿真内镜实体1的位置和方位信息，定位感应芯片可以为各种定位传感芯片，优选6自由度定位传感芯片。
仿真手部实体2包括定位感应芯片和力反馈芯片，能够实时获取仿真手部实体2的位置和方位信息，能够根据触碰操作模拟模块中仿真手部械模型传递的触碰信息给出受力反馈，定位感应芯片可以为各种定位传感芯片，优选6自由度定位传感芯片。
实施例三
图5为本发明实施例三的人体虚拟漫游展示系统的结构示意图。本实施例与前述实施例的结构基本相同，本实施例的人体虚拟漫游展示系统包括仿真内镜实体1、仿真手部实体2、内镜视野图像显示器件3、触碰操作模拟器件4、CT图像处理器件5，各部件结构同前述实施例，故不再赘述，为简明起见，以下仅描述不同之处。
在该实施例中，内镜视野显示器件3获取的二维内镜视野图像根据仿真内镜模型在人体CT图像中的不同位置实时变化，内镜视野图像显示器件3还可以包含参数设置器件，用于调整内镜视野图像的分辨率和清晰度。
触碰操作模拟器件4，其根据仿真手部模型在人体CT图像中的空间位置，检测仿真手部模型与人体组织器官之间的相对关系，当仿真手部模型与人体组织器官触碰时，模拟触碰操作。还可以包括弹性力计算器件，依据CT图像中组织器官的识别与模型的构建，给出不同大小的反馈力。
仿真内镜实体1和仿真手部实体2可以由能实现本发明目的的各种合适器件构成。
综上，本发明由于采用了仿真内镜实体1和仿真手部实体2，大大降低了人体虚拟漫游展示系统的成本，能够以低成本方式满足临床多体态特征组织器官识别的需要。
当然，以上所述是本发明的优选实施方式，上述各实施例之间的结构可以互相组合，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人体虚拟漫游展示系统，其特征在于，包括：
仿真内镜实体(1)，其能够自由移动，驱动内镜视野图像显示器件(3)中图像不断变化；
仿真手部实体(2)，其能够自由移动，驱动触碰操作模拟器件(4)中仿真手部模型与其运动一致；
内镜视野图像显示器件(3)，其与所述仿真内镜实体(1)连接，根据仿真内镜实体(1)驱动的仿真内镜模型在CT图像中的空间位置及其方向，获取二维内镜视野图像；
触碰操作模拟器件(4)，其与所述仿真手部实体(2)连接，根据仿真手部模型的运动，模拟人体组织器官触碰的操作；
CT图像处理器件(5)，包括：
读取器件(51)，其读取人体CT图像，用于内镜视野图像显示器件(3)获取二维内镜视野图像；
分割器件(52)，其与所述读取器件(51)连接，用于分割读取器件(51)读取的CT图像中人体的组织器官；
渲染器件(53)，其与所述读取器件(51)连接，与所述分割器件(52)连接，用于体绘制渲染显示读取器件(51)读取的CT图像三维模型；
定位器件(54)，其与所述触碰操作模拟器件(4)连接，显示仿真内镜模型和仿真手部模型在CT图像中的空间位置；
变化器件(55)，其与所述分割器件(52)连接，与所述触碰操作模拟器件(4)连接，与所述内镜视野图像显示器件(3)连接，根据触碰操作模拟器件(4)中触碰的操作，显示CT图像中发生形变的不同组织器官。
2.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述仿真内镜实体上设置定位感应芯片，所述定位感应芯片用于实时获取所述仿真内镜实体的在CT图像中的位置和方位信息。
3.根据权利要求2所述的人体虚拟漫游展示系统，其特征在于，所述定位感应芯片为6自由度传感器。
4.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述仿真手部实体上设置定位感应芯片和力反馈芯片，所述定位感应芯片用于实时获取仿真手部实体在CT图像中的位置和方位信息，所述力反馈芯片用于根据触碰操作模拟器件中仿真手部模型传递的碰撞信息给出受力反馈。
5.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述内镜视野显示器件获取的二维内镜视野图像根据仿真内镜模型在人体CT图像中的不同位置实时变化，还包括参数设置器件，用于调整内镜视野图像的分辨率和清晰度。
6.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述读取器件用于读取不同数据格式的医学图像。
7.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述CT图像处理器件包括分割器件，用于分割读取的人体CT图像中的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔、骨头的拓扑结构。
8.根据权利要求5所述的人体虚拟漫游展示系统，其特征在于，分割得到心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔用于根据触碰操作模拟器件中触碰操作发生形状变化。
9.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述渲染器件用于体绘制读取的CT图像，表面绘制分割得到的心脏、肺、肾脏、肝脏、胰脏、肠道、食管、血管、鼻腔图像。
10.根据权利要求1所述的人体虚拟漫游展示系统，其特征在于，所述定位器件用于实时定位跟踪仿真内镜模型和仿真手部模型在CT图像中的空间位置，并检测仿真手部模型与CT图像之间的触碰关系，还包括弹性力计算器件，依据CT图像中组织器官的识别与模型的构建，给出不同大小的反馈力。
CN201510392510.2A 2015-07-06 2015-07-06 人体虚拟漫游展示系统 Pending CN104992603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510392510.2A CN104992603A (zh) 2015-07-06 2015-07-06 人体虚拟漫游展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510392510.2A CN104992603A (zh) 2015-07-06 2015-07-06 人体虚拟漫游展示系统

Publications (1)

Publication Number Publication Date
CN104992603A true CN104992603A (zh) 2015-10-21

Family

ID=54304410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510392510.2A Pending CN104992603A (zh) 2015-07-06 2015-07-06 人体虚拟漫游展示系统

Country Status (1)

Country Link
CN (1) CN104992603A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711313A (zh) * 2018-05-22 2018-10-26 哈尔滨医科大学 胃镜检查术自助学习方法
CN109584349A (zh) * 2017-09-28 2019-04-05 西门子保健有限责任公司 用于渲染材料属性的方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568288A (zh) * 2010-12-23 2012-07-11 于福东 带有力反馈的内镜虚拟手术系统
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568288A (zh) * 2010-12-23 2012-07-11 于福东 带有力反馈的内镜虚拟手术系统
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RICKUL VARSHNEY等;: "Development of the McGill simulator for endoscopic sinus surgery: A new high-fidelity virtual reality simulator for endoscopic sinus surgery", AMERICAN JOURNAL OF RHINOLOGY & ALLERGY, 第28卷, 第4期, vol. 28, no. 4, 31 August 2014 (2014-08-31), pages 330 - 334, XP055644789, DOI: 10.2500/ajra.2014.28.4046 *
方驰华等: "腹腔镜手术的虚拟仿真研究", 《中国内镜杂志》 *
方驰华等: "腹腔镜手术的虚拟仿真研究", 《中国内镜杂志》, vol. 15, no. 04, 30 April 2009 (2009-04-30), pages 337 - 340 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584349A (zh) * 2017-09-28 2019-04-05 西门子保健有限责任公司 用于渲染材料属性的方法和设备
CN109584349B (zh) * 2017-09-28 2023-10-20 西门子保健有限责任公司 用于渲染材料属性的方法和设备
CN108711313A (zh) * 2018-05-22 2018-10-26 哈尔滨医科大学 胃镜检查术自助学习方法

Similar Documents

Publication Publication Date Title
Ruppert et al. Touchless gesture user interface for interactive image visualization in urological surgery
Okamura Haptic feedback in robot-assisted minimally invasive surgery
US20170110032A1 (en) Ultrasound simulation system and tool
CN106067269B (zh) 虚拟心血管介入手术培训系统中反馈力的确定方法及系统
US20120219937A1 (en) Haptic needle as part of medical training simulator
CN104303075A (zh) 用于训练超声成像装置用户的装置
US10172676B2 (en) Device and method for the computer-assisted simulation of surgical interventions
SE0100184D0 (sv) Metod och system för simulering av kirurgiska moment
CN102568288A (zh) 带有力反馈的内镜虚拟手术系统
WO2017048929A1 (en) Ultrasound-guided medical tool insertion simulators
WO2017048931A1 (en) Ultrasound-guided medical tool insertion simulators
Luboz et al. ImaGiNe Seldinger: first simulator for Seldinger technique and angiography training
CN111613122A (zh) 虚实融合的血管介入手术模拟系统
US20180225992A1 (en) Ultrasound-guided medical tool insertion simulators
JP2008134373A (ja) 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ
WO2008072756A1 (ja) 反力提示方法、および力覚提示システム
Yuan et al. Extended reality for biomedicine
Abate et al. A pervasive visual–haptic framework for virtual delivery training
CN104992603A (zh) 人体虚拟漫游展示系统
Cakmak et al. VS One, a virtual reality simulator for laparoscopic surgery
CN105078579A (zh) 鼻内镜手术导航仿真培训系统
Kuo et al. Virtual reality: current urologic applications and future developments
CN204971576U (zh) 鼻内镜手术导航仿真培训系统
Dai et al. The application and prospection of augmented reality in hepato-pancreato-biliary surgery
Kolivand et al. Virtual surgery, applications and limitations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination