CN115472055A - 一种虚实结合力回馈虚拟仿真教学系统 - Google Patents
一种虚实结合力回馈虚拟仿真教学系统 Download PDFInfo
- Publication number
- CN115472055A CN115472055A CN202211152374.6A CN202211152374A CN115472055A CN 115472055 A CN115472055 A CN 115472055A CN 202211152374 A CN202211152374 A CN 202211152374A CN 115472055 A CN115472055 A CN 115472055A
- Authority
- CN
- China
- Prior art keywords
- virtual
- data
- unit
- force feedback
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims abstract description 4
- 238000013079 data visualisation Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000009877 rendering Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 210000003857 wrist joint Anatomy 0.000 claims description 3
- 238000003759 clinical diagnosis Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 claims 1
- 238000003771 laboratory diagnosis Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种虚实结合力回馈虚拟仿真教学系统，包括三维重建单元、虚拟仿真培训单元、PC单元、以及考核单元；三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；虚拟仿真培训单元，用于通过VR技术呈现手术场景和仪器设备，通过力回馈设备展现手术操作手感，进行虚拟培训；PC单元，用于虚拟场景的构建与显示，为总控制端；考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。本发明通过力回馈与虚拟现实的结合，给与使用者在模拟手术中的真实的视觉与触觉，增强真实感、沉浸感、以及交互感。
Description
技术领域
本发明属于医疗技术领域，尤其是涉及一种虚实结合力回馈虚拟仿真教学系统。
背景技术
虚拟仿真技术已经广泛的应用于医学教育，特别是在教育部评定国家虚拟仿真实验项目的大背景下，获得了快速的发展。目前主要的医学虚拟仿真实验软件已经在实验空间网站发布，学生均可以通过互联网访问学习。但是这些虚拟仿真实验主要依托PC、VR平台开发，学习内容有限，应用于高校日常教学工作尚可，与临床培训要求相去甚远。而临床培训的虚拟仿真设备造价昂贵，学习内容也不十分丰富，更缺乏和人工智能技术的有机结合。
发明内容
有鉴于此，本发明提出一种虚实结合力回馈虚拟仿真教学系统，以提高真实感、沉浸感、以及交互感，并且依靠人工智能评判成绩，极大的拓展了教学内容的深度和广度。
为达到上述目的，本发明的技术方案是这样实现的：
一种虚实结合力回馈虚拟仿真教学系统，包括三维重建单元、虚拟仿真培训单元、PC单元、以及考核单元；
三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；
虚拟仿真培训单元，用于通过VR技术呈现手术场景和仪器设备，通过力回馈设备展现手术操作手感，进行虚拟培训；
PC单元，用于虚拟场景的构建与显示，为总控制端；
考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。
进一步的，还包括数据库单元以及服务器，数据库单元用于建立动态标准病例数据库，系统将日常采集数据传送至服务器再存储到数据库，使得影像数据与常规数据的数据标准与格式相同。
进一步的，所述虚拟仿真培训单元包括虚拟现实头戴设备以及力回馈设备，所述虚拟现实头戴设备佩戴于用户头部，使用户通过虚拟现实头戴设备中的显示器观看三维虚拟环境以及三维人体数字模型。
进一步的，所述力回馈设备用于模拟手术操作力度，满足模拟手术力的需求，同时力回馈设备支持6自由度位置感知与3自由度力回馈，实时反馈模拟检查过程中以手腕关节为轴的手部所受力的作用。
进一步的，所述标准病例数据库存储和管理的数据包括两种类型：结构化数据和非结构化数据，所述结构化数据包括临床诊断数据、实验室诊断数据，所述非结构化数据包括影像诊断数据等，结构化数据采用关系型数据库进行存储和管理，非结构化数据采用NoSql数据库进行存储和管理，结构化数据与非结构化数据的比例为1：4。
进一步的，所述PC机基于C#的unity3D专业物理引擎开发环境，通过套接字网络通信资源加载方式及本地资源加载将影像数据在渲染引擎中实时读取，实现基于vtk开源工具库的实时体积渲染，展示视觉影像。
进一步的，所述PC单元内设或者外接存储器，用于存储教学案例以及训练信息。
相对于现有技术，本发明所述的一种虚实结合力回馈虚拟仿真教学系统具有以下优势：
本发明通过力回馈与虚拟现实的结合，给与使用者在模拟手术中的真实的视觉与触觉，增强真实感、沉浸感、以及交互感，更加逼真的模拟真实手术的场景，以帮助相关人员快速掌握手术技能，使用户获得更精细以及准确的交互体验，能够反馈手术操作信息和考核评价信息，教学互动性强。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的一种虚实结合力回馈虚拟仿真教学系统的原理示意图；
图2为本发明的关系型数据库E-R模型示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提供一种虚实结合力回馈虚拟仿真教学系统，包括三维重建单元、虚拟仿真培训单元、PC单元、以及考核单元；
三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；
虚拟仿真培训单元，用于通过VR技术呈现手术场景和仪器设备，通过力回馈设备展现手术操作手感，进行虚拟培训；
PC单元，用于虚拟场景的构建与显示，为总控制端；
考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。
具体的，还包括数据库单元以及服务器，数据库单元用于建立动态标准病例数据库，系统将日常采集数据传送至服务器再存储到数据库，使得影像数据与常规数据的数据标准与格式相同。
所述标准病例数据库存储和管理的数据包括两种类型：结构化数据和非结构化数据，所述结构化数据包括临床诊断数据、实验室诊断数据，所述非结构化数据包括影像诊断数据等，结构化数据采用关系型数据库进行存储和管理，非结构化数据采用NoSql数据库进行存储和管理，结构化数据与非结构化数据的比例为1：4。
结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。目前，主流关系型数据库有Oracle、SQL Server、MySQL等。在实际应用中，关系型数据库的建立和使用需要在最初创建数据库的时候要做好设计，这个设计一旦定型以后，后期进行修改的难度较大。所以管理结构化数据最大的一个工作就是表的设计，这是在使用这种数据库的重点和难点。关系数据库将每一个关系都看成了一个表，每一列都看成是一个属性，每一行看成是他的一个元组(也就是数据)如果有许多相同值的话，它将具有相同字段的值独立出来，把一张表拆分成两张表，降低所谓的冗余度，这种关系也叫做E-R关系模型(实体关系模型)，如图2所示。常见的关系模型(结构化数据模型)：
关系模型：用一张二维表来表示关系模型。
实体关系模型：将一张表拆分，让它们产生某种联系。
对象关系模型：存储一些比较大的文件。可以将一个比较大的文件先存储在数据库文件管理系统当中的某一个存储空间上，表中用一个指针指向这么某一个数据，把它当作一个存储对象来进行管理。
半结构化数据模型：半结构化表示它并不是唯一的，可能第一行存储的是用户名和性别，第二行存储的是用户名和年龄这种，所以每一行存储不止存储它的数据，还存储它的标签。
非结构化数据指信息的形式相对不固定，常常是各种格式的文件。它是相对结构化信息而言的，从宏观上看也是结构化信息的一种形式。诸如电子文档、电子邮件、网页、视频文件、多媒体等。
具体的，所述虚拟仿真培训单元包括虚拟现实头戴设备以及力回馈设备，所述虚拟现实头戴设备佩戴于用户头部，使用户通过虚拟现实头戴设备中的显示器观看三维虚拟环境以及三维人体数字模型。
具体的，所述力回馈设备用于模拟手术操作力度，满足模拟手术力的需求，同时力回馈设备支持6自由度位置感知与3自由度力回馈，实时反馈模拟检查过程中以手腕关节为轴的手部所受力的作用。
具体的，所述PC机基于C#的unity3D专业物理引擎开发环境，通过套接字网络通信资源加载方式及本地资源加载将影像数据在渲染引擎中实时读取，实现基于vtk开源工具库的实时体积渲染，展示视觉影像。通过搭建MVC设计模式，规范化开发流程，将数据、界面、业务逻辑合理分割，模型层实现用户数据同步、数据持久化、影像体渲染转三维可视化消化道模型；视图层中实现业务逻辑，ui获取及事件调用；控制器层实现函数逻辑及数据对接。最终实现数据-影像-算法-交互于一体的智能三维交互可视化系统。
具体的，所述PC单元内设或者外接存储器，用于存储教学案例以及训练信息。
本发明在使用过程中，通过数据库单元获取教学所需数据，并通过虚拟仿真培训单元模拟实际操作场景，进行三维重建，通过力回馈设备进行模拟操作，最后通过考核单元进行考核，PC单元存储相关的教学案例以及训练信息，以帮助使用者提高真实感以及交互感。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种虚实结合力回馈虚拟仿真教学系统，其特征在于：包括三维重建单元、虚拟仿真培训单元、PC单元、以及考核单元；
三维重建单元，包括医学影像数据、图像处理模块以及三维重建模块，用于重建三维虚拟环境以及三维人体数字模型；
虚拟仿真培训单元，用于通过VR技术呈现手术场景和仪器设备，通过力回馈设备展现手术操作手感，进行虚拟培训；
PC单元，用于虚拟场景的构建与显示，为总控制端；
考核单元，用于学习和考核，对异常数据实时报警、反馈和扣分，通过云存储和数据可视化长期跟踪教学培训情况。
2.根据权利要求1所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：还包括数据库单元以及服务器，数据库单元用于建立动态标准病例数据库，系统将日常采集数据传送至服务器再存储到数据库，使得影像数据与常规数据的数据标准与格式相同。
3.根据权利要求1所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：所述虚拟仿真培训单元包括虚拟现实头戴设备以及力回馈设备，所述虚拟现实头戴设备佩戴于用户头部，使用户通过虚拟现实头戴设备中的显示器观看三维虚拟环境以及三维人体数字模型。
4.根据权利要求1所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：所述力回馈设备用于模拟手术操作力度，满足模拟手术力的需求，同时力回馈设备支持6自由度位置感知与3自由度力回馈，实时反馈模拟检查过程中以手腕关节为轴的手部所受力的作用。
5.根据权利要求2所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：所述标准病例数据库存储和管理的数据包括两种类型：结构化数据和非结构化数据，所述结构化数据包括临床诊断数据、实验室诊断数据，所述非结构化数据包括影像诊断数据等，结构化数据采用关系型数据库进行存储和管理，非结构化数据采用NoSql数据库进行存储和管理，结构化数据与非结构化数据的比例为1：4。
6.根据权利要求1所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：所述PC机基于C#的unity3D专业物理引擎开发环境，通过套接字网络通信资源加载方式及本地资源加载将影像数据在渲染引擎中实时读取，实现基于vtk开源工具库的实时体积渲染，展示视觉影像。
7.根据权利要求1所述的一种虚实结合力回馈虚拟仿真教学系统，其特征在于：所述PC单元内设或者外接存储器，用于存储教学案例以及训练信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211152374.6A CN115472055A (zh) | 2022-09-21 | 2022-09-21 | 一种虚实结合力回馈虚拟仿真教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211152374.6A CN115472055A (zh) | 2022-09-21 | 2022-09-21 | 一种虚实结合力回馈虚拟仿真教学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115472055A true CN115472055A (zh) | 2022-12-13 |
Family
ID=84335300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211152374.6A Pending CN115472055A (zh) | 2022-09-21 | 2022-09-21 | 一种虚实结合力回馈虚拟仿真教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115472055A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293082A (zh) * | 2016-08-05 | 2017-01-04 | 成都华域天府数字科技有限公司 | 一种基于虚拟现实的人体解剖交互系统 |
| CN107369352A (zh) * | 2017-09-11 | 2017-11-21 | 北京天蔚中医药发展促进中心 | 智能精准中医技能培训考核系统 |
| CN109979600A (zh) * | 2019-04-23 | 2019-07-05 | 上海交通大学医学院附属第九人民医院 | 基于虚拟现实的眼眶手术训练方法、系统和存储介质 |
| CN111276022A (zh) * | 2018-12-05 | 2020-06-12 | 王茜濡 | 一种基于vr技术的胃镜模拟操作系统 |
| CN115035767A (zh) * | 2022-06-27 | 2022-09-09 | 西安交通大学 | 一种基于ar和拟人化模型的脊柱手术教学培训系统 |
-
2022
- 2022-09-21 CN CN202211152374.6A patent/CN115472055A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293082A (zh) * | 2016-08-05 | 2017-01-04 | 成都华域天府数字科技有限公司 | 一种基于虚拟现实的人体解剖交互系统 |
| CN107369352A (zh) * | 2017-09-11 | 2017-11-21 | 北京天蔚中医药发展促进中心 | 智能精准中医技能培训考核系统 |
| CN111276022A (zh) * | 2018-12-05 | 2020-06-12 | 王茜濡 | 一种基于vr技术的胃镜模拟操作系统 |
| CN109979600A (zh) * | 2019-04-23 | 2019-07-05 | 上海交通大学医学院附属第九人民医院 | 基于虚拟现实的眼眶手术训练方法、系统和存储介质 |
| CN115035767A (zh) * | 2022-06-27 | 2022-09-09 | 西安交通大学 | 一种基于ar和拟人化模型的脊柱手术教学培训系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rachmad | MediVerse: Challenges And Development Of Digital Health Transformation Towards Metaverse in Medicine | |
| Trelease | From chalkboard, slides, and paper to e‐learning: How computing technologies have transformed anatomical sciences education | |
| Regan de Bere et al. | Towards a pedagogy for patient and public involvement in medical education | |
| US20140372955A1 (en) | Visual selection of an anatomical element for requesting information about a medical condition | |
| Pregowska et al. | Information and communication technologies combined with mixed reality as supporting tools in medical education | |
| Birr et al. | The LiverAnatomyExplorer: a WebGL-based surgical teaching tool | |
| Zhang et al. | Modeling and simulation of an anatomy teaching system | |
| Starren et al. | An object-oriented taxonomy of medical data presentations | |
| CN104462765A (zh) | 三维可视化医患沟通平台构建方法和系统 | |
| Zhou et al. | [Retracted] VR/AR Technology in Human Anatomy Teaching and Operation Training | |
| Khooshabeh et al. | Inferring cross-sections: When internal visualizations are more important than properties of external visualizations | |
| Aghapour et al. | State of the art and future prospects of virtual and augmented reality in veterinary medicine: a systematic review | |
| CN104376770A (zh) | 三维可视化模拟手术方法及系统 | |
| WO2011071363A2 (en) | System and method for visualizing and learning of human anatomy | |
| CN115472055A (zh) | 一种虚实结合力回馈虚拟仿真教学系统 | |
| Salajan et al. | An Assessment of Students Perceptions of Learning Benefits Stemming from the Design and Instructional Use of a Web3D Atlas | |
| Berridge et al. | Computer-aided learning for the education of patients and family practice professionals in the personal care of diabetes | |
| CN111028921A (zh) | 一种病人信息的可视化方法及系统 | |
| Ullrich et al. | An intersubject variable regional anesthesia simulator with a virtual patient architecture | |
| Li | Application of artificial intelligence and internet of things in medical imaging teaching. | |
| Gallagher et al. | Use of three-dimensional printing for simulation in ultrasound education: a scoping review | |
| Zhou et al. | Application Analysis of Virtual Simulation Experiment Combined with Picture Archiving and Communication System in the Practical Teaching of Medical Imaging | |
| WO2023155031A1 (zh) | 一种虚拟书系统及其使用方法 | |
| CN109993837A (zh) | 一种胚胎学资料的展示方法和展示系统 | |
| Friedrich | ‘Sehkollektiv’: Sight styles in diagnostic computed tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |