CN114333482A - 一种基于混合现实技术的虚拟解剖教学系统 - Google Patents
一种基于混合现实技术的虚拟解剖教学系统 Download PDFInfo
- Publication number
- CN114333482A CN114333482A CN202210016975.8A CN202210016975A CN114333482A CN 114333482 A CN114333482 A CN 114333482A CN 202210016975 A CN202210016975 A CN 202210016975A CN 114333482 A CN114333482 A CN 114333482A
- Authority
- CN
- China
- Prior art keywords
- model
- client
- module
- human body
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005315 distribution function Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013499 data model Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013515 script Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 230000008676 import Effects 0.000 claims 2
- 238000004088 simulation Methods 0.000 abstract description 6
- 210000000056 organ Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 244000035744 Hura crepitans Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提出了一种基于混合现实技术的虚拟解剖教学系统，包括：手术模型构建模块，用于获取医学图像，通过三维渲染得到3D手术模型，对3D手术模型进行预处理和分割，并将分割出来的模型通过等值面提取，进行表面重建后，上传至组件添加模块；组件添加模块，用于获取手术模型工具，并分别对3D手术模型和手术模型工具分别添加碰撞，修改碰撞属性后，上传至第一客户端；第一客户端用于显示3D手术模型，并获取用户模拟手术操作，结合碰撞属性，更新3D手术模型；视角共享模块，用于获取第一客户端的视角，利用封装的网络视频流协议以及服务器分发功能，将第一客户端的视角传输至第二客户端。实现了手术仿真、模拟教学，提高了用户的实操能力。
Description
技术领域
本发明属于虚拟教学技术领域，尤其涉及一种基于混合现实技术的虚拟解剖教学系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
外科医生的培养要有个漫长的过程，通常需要花费多年的时间。一个外科医生的成长和手术观摩是分不开的，经常会出现一个手术室十几个医生观摩手术的情景，这说明现场观摩手术在医生培养方面是非常必要的。
但是，解剖实训成本非常高，学生实操机会较少；用于医学研究、实验的人体标本稀缺，这一系列的问题将会导致，学生在学习中，医疗实操少，没有实操经验，进而影响学生的学习热情。
目前的虚拟教学系统，虚拟解剖教学系统从技术层面解决了观摩手术的问题，通过混合现实眼镜和高清晰的混合现实视频录制直播，医生可以在第一时间用现场视角观摩手术过程，但是，用户无法进行实操。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于混合现实技术的虚拟解剖教学系统，实现了手术仿真，模拟教学，提高了用户的实操能力。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一方面，公开了一种基于混合现实技术的虚拟解剖教学系统，包括视角共享模块、手术模型构建模块、组件添加模块、第一客户端和第二客户端；
所述手术模型构建模块，用于获取医学图像，并通过三维渲染得到3D手术模型，对3D手术模型进行预处理和分割，并将分割出来的模型通过等值面提取，进行表面重建后，上传至组件添加模块；
所述组件添加模块，用于获取手术模型工具，并分别对3D手术模型和手术模型工具分别添加碰撞，修改碰撞属性后，上传至第一客户端；
所述第一客户端用于显示3D手术模型，并获取用户模拟手术操作，结合碰撞属性，更新3D手术模型；
所述视角共享模块，用于获取所述第一客户端的视角，利用封装的网络视频流协议以及服务器分发功能，将第一客户端的视角传输至所述第二客户端。
进一步的，所述组件添加模块，还用于对3D手术模型设置操作属性，所述操作属性包括移动、放大、缩小、旋转控制器、序列化脚本和语音控制。
进一步的，所述所述第一客户端，还用于获取操作指令，并结合所述操作属性，更新3D手术模型。
进一步的，还包括人体模型构建模块；
所述人体模型构建模块，用于获取人体数据模型，删除人体数据模型中到平均平面的距离小于设定距离阈值的顶点，并采用递归循环分割法对删除顶点后遗留的空洞进行三角剖分，得到重建后的人体模型，并将重建后的人体模型进行分类。
进一步的，所述组件添加模块用于，对分类后的人体模型添加材质、添加碰撞、修改碰撞属性和设置操作属性后，导入渲染模块。
进一步的，所述渲染模块用于，对人体模型进行渲染管线、光栅化、顶点坐标变换、光照、剪裁、投影和映射纹理后，导入动画生成模块。
进一步的，所述动画生成模块，用于将人体模型中的人体骨架分为若干个关键点，计算各个关键点之间的亲和度，基于亲和度将关键点连接成骨架；获取骨架动作，制作人体模型的动画，并上传至第一客户端或第二客户端。
进一步的，所述第一客户端为混合现实眼镜；所述第二客户端为PC或移动端。
进一步的，所述预处理为膨胀、腐蚀、中值滤波、均值滤波或高斯滤波中的一种或多种。
进一步的，所述分割采用边缘检测算法、阈值分割算法或区域生长算法。
以上一个或多个技术方案存在以下有益效果：
本发明通过混合现实眼镜和高清晰的混合现实视频录制直播，用户可以用第一现场视角观摩手术过程，更细致地观察解剖切入点、切入深度及病灶处理方式等，这对于医疗解剖教学的意义是非常重大的。
本发明通过模拟的手术工具对虚拟手术模型进行模拟手术操作，并通过共享视角功能，在PC和移动端进行显示；可通过语音控制或UI界面操作重置模型，进而可对模型进行重复操作，从而降低解剖教学成本以及实操风险性，提升教学质量与实际操作经验。
本发明通过将人体模型或3D重建模型虚拟展示，学生可以很直观了解人体内部各个器官结构，这比现有教科书的方式要有效得多。教学带入感极强，可多人同时使用；通过虚拟现实环境教学，可以激发学生的学习兴趣。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一的基于混合现实技术的虚拟解剖教学系统的总体架构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和专业术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参见附图1所示，本实施例公开了一种基于混合现实技术的虚拟解剖教学系统，包括：视角共享模块、手术模型构建模块、人体模型构建模块、组件添加模块、渲染模块、动画生成模块、第一客户端和第二客户端。
手术模型用于：获取医学图像；将医学图像，通过三维渲染得到3D手术模型；通过膨胀、腐蚀、中值滤波、均值滤波或高斯滤波等图像处理算法中的一种或多种对3D手术模型进行预处理，然后对预处理后的模型使用边缘检测算法、阈值分割算法或区域生长算法等分割算法进行分割，将医生关注的人体组织器官分割出来，然后将分割出来的模型使用Marching cubes(MC)算法，通过等值面提取进行表面重建，重建为STL格式的3D手术模型，得到重建后的3D手术模型。3D手术模型可以在影像浏览器里展示，或者导出STL格式的3D模型文件，3D打印出实体模型。随后，将STL格式的3D手术模型添加动画后，导入组件添加模块。
具体的，医学图像为病人的CT、磁共振等原始Dicom图像。
具体的，组件添加模块可以采用Unity3D引擎。
组件添加模块用于：给优化后的模型(STL格式的3D手术模型)添加材质、添加碰撞、修改碰撞属性，以及设置移动、放大、缩小、旋转控制器、序列化脚本、语音控制等操作属性；添加相应的模型动画及控制脚本，用于手术效果展示；使用UGUI创建UI界面，添加相应UI监听事件；添加中文语音命令。
组件添加模块还用于获取相应的手术模型工具，添加碰撞，并修改碰撞属性。
组件添加模块还用于将手术模型工具与手术模型组合后，传输至第一客户端进行显示。
第一客户端用于获取用户模拟手术操作，并结合碰撞属性，更新手术模型；并获取语音控制或UI界面操作指令，并结合操作属性，更新手术模型。
视角共享模块用于：通过Unity3D引擎相机渲染RawImage功能，获取佩戴混合现实眼镜术者的第一视角(即，第一客户端的视角)，利用封装的网络视频流协议以及服务器分发功能，在PC或移动端(第二客户端)展示术者第一视角画面。具体的，视角共享模块利用Socket以及Http协议封装网络模块，创建后台接收、转发、反馈、更新用户数据，并利用Webrtc底层技术开发一款适用于UWP(Universal Windows Platform)平台、PC端、移动端的SDK(软件开发工具包)；通过Unity3D引擎、UGUI(图形用户界面UI系统)，增加创建房间、加入房间、退出房间、视频渲染及共享等操作；通过UGUI创建网络管理模块UI，以及共享视角UI；添加相应UI事件及监听。
用户通过佩戴混合现实眼镜，在现实空间中展示创建的手术模型。佩戴者可通过模拟的手术工具对手术模型进行模拟手术操作，并通过共享视角功能，在PC和移动端进行显示。可通过语音控制或UI界面操作重置模型，进而可对模型进行重复操作，从而降低成本以及实操风险性，提升教学质量与实际操作经验。
人体模型构建模块用于，直接获取人体数据模型，或获取医学图像通过三维渲染得到3D模型，将其作为人体数据模型；利用建模工具生成3D重建模型，利用Schroeder(顶点删除法)，指定一个最小的距离阈值，如果人体数据模型中某顶点到由该顶点定义的平均平面的距离小于该距离阈值，则删除该顶点，并采用递归循环分割法对删除顶点后遗留的空洞进行三角剖分，通过调整距离阈值大小可生成层次化模型，该技术应用于从医学CT数据中抽取的等值面模型及地形模型的简化，大量消减了原模型中的三角形数，同时保留了原模型的几何特征，将多余的顶点以及面数进行整合移除。可以将模型的百万级顶点、面数优化至十几万甚至几万定点数及面数，并且保证模型的显示效果达到最优，从而完成优化，将重建后的人体模型按八大组织系统或器官单独分类，并进行标记；添加动画，导入组件添加模块。
组件添加模块用于，给分类后的模型添加材质、添加碰撞、修改碰撞属性，以及设置移动、放大、缩小、旋转控制器、序列化脚本、语音控制等操作属性；添加相应的模型动画及控制脚本；使用UGUI创建UI界面，添加相应UI监听事件；添加中文语音命令；导入渲染模块。
渲染模块用于，将人体模型或3D重建模型进行OpenGL渲染管线(管道)渲染，将顶点着色器进行光栅化，顶点坐标变换、光照、剪裁、投影、映射纹理，将模型材质深度还原人体，最后导入动画生成模块。
动画生成模块用于，利用人工智能卷积核、Openopose的算法将人体模型中的人体骨架分为若干个(18个)关键点，对于任意一点i,j，其中，width代表宽度，height代表高度，i∈{1，...，width}，j∈{1，...，height}，特征图的值(i，j，19)表示在该点的每个关节的类别置信度，关键点和肢体亲和度向量的特征图之后，需要将关键点连接成骨架，记录人体的动作。利用视频流记录骨架的动作，利用Maya 3Dmax等软件将给人体模型进行制作动画生成相应的Animaions格式，并上传至第一客户端或第二客户端。在Untiy3D引擎中进行响应的动画切割和分类，编写单对象池+状态机(FSM)脚本进行控制。
将模型进行展示教学时学生可以很直观了解人体内部各个器官结构，这比现有教科书的方式要有效得多。教学带入感极强，可多人同时使用。通过虚拟现实环境教学，可以激发学生的学习兴趣。
如图1所示，本实施例公开的一种基于混合现实技术的虚拟解剖教学系统的架构包括一下六部分：
前端：包括两部分，UGUI为图形用户界面UI系统，显示所有的文字图片以及提示信息，模型为要展示的人体模型。
展示层：通过Unity引擎的渲染，以及对服务器的通讯下，让模型以及UI可以在PC、平板、MR眼镜中进行显示以及操作。
业务层:包含了所有的功能逻辑代码，通过代码逻辑的编写来实现人体模型拆分、器官拆分教学、模型的旋转缩放、模拟手术、语音控制、手势控制、人体模型切换以及模型的更新。
数据层：包含数据模型以及图片、音视频、动画效果等UI数据的存储，模型的精细化调整，语音命令的定义、手术操作的收集、模型碰撞体的细化调整。
存储：通过眼镜、平板的沙盒、PC的磁盘存储程序的人体模型数据以及UI数据等。
运行环境：在通用Windows平台(UWP)平台运行，可以通过华为云服务器上的服务器端口更新数据。
在数据层的数据设计与对模型的精细化调整下；通过业务层的逻辑功能代码以及Unity引擎打包发布程序；最终展示在MR眼镜、PC、平板中；程序通过华为云服务器进行数据的更新；并且将原始以及以更新的数据显示并存储在MR眼镜、平板的沙盒以及PC的磁盘中，同时将数据信息进行本地化持久存储。
本发明可以提供模拟手术的整体解决方案，并支持视角同步，将术者第一视角共享到混合现实眼镜、平板或者PC端，直播录制，利于新手医生的手术观摩学习；实现了手术仿真，模拟教学，提高学生的实操能力，并可多人同步、重复操作，降低教学成本；实时互动的教学与实训结合，通过身临其境的实感体验，既方便老师教学，又能让学生接触实操练习，熟练掌握医疗实操技术，快速的提高职业技能。同时通过虚拟现实技术的帮助，能通过系统重复模拟手术，移动人体内的器官，寻找最佳手术方案并提高熟练度，有效地减少了实训成本。本发明提供了逼真立体可完全情景，在线式反复操作的学习环境，根据真实人体模型全方位全角度观察每个部位信息，全面掌握人体构造，并可多人协同共享操作，提高学生教学兴趣及效率，提高培训质量。
在虚拟环境中，可以建立虚拟的人体模型，学生可以很直观了解人体内部各个器官结构，比阅读现有教科书的方式要更加高效。教学带入感极强，可多人同时使用。通过虚拟现实环境教学，可以激发学生的学习兴趣。虚拟三维对象的交互和反馈使得学习者更容易关联现实世界与所学知识之间的联系，减轻学习者对书本和二维平面所需付出的想象努力，增强学习动机的持久性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于混合现实技术的虚拟解剖教学系统，其特征是，包括视角共享模块、手术模型构建模块、组件添加模块、第一客户端和第二客户端；
所述手术模型构建模块，用于获取医学图像，并通过三维渲染得到3D手术模型，对3D手术模型进行预处理和分割，并将分割出来的模型通过等值面提取，进行表面重建后，上传至组件添加模块；
所述组件添加模块，用于获取手术模型工具，并分别对3D手术模型和手术模型工具分别添加碰撞，修改碰撞属性后，上传至第一客户端；
所述第一客户端用于显示3D手术模型，并获取用户模拟手术操作，结合碰撞属性，更新3D手术模型；
所述视角共享模块，用于获取所述第一客户端的视角，利用封装的网络视频流协议以及服务器分发功能，将第一客户端的视角传输至所述第二客户端。
2.如权利要求1所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述组件添加模块，还用于对3D手术模型设置操作属性，所述操作属性包括移动、放大、缩小、旋转控制器、序列化脚本和语音控制。
3.如权利要求2所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述所述第一客户端，还用于获取操作指令，并结合所述操作属性，更新3D手术模型。
4.如权利要求1所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，还包括人体模型构建模块；
所述人体模型构建模块，用于获取人体数据模型，删除人体数据模型中到平均平面的距离小于设定距离阈值的顶点，并采用递归循环分割法对删除顶点后遗留的空洞进行三角剖分，得到重建后的人体模型，并将重建后的人体模型进行分类。
5.如权利要求4所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述组件添加模块用于，对分类后的人体模型添加材质、添加碰撞、修改碰撞属性和设置操作属性后，导入渲染模块。
6.如权利要求5所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述渲染模块用于，对人体模型进行渲染管线、光栅化、顶点坐标变换、光照、剪裁、投影和映射纹理后，导入动画生成模块。
7.如权利要求6所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述动画生成模块，用于将人体模型中的人体骨架分为若干个关键点，计算各个关键点之间的亲和度，基于亲和度将关键点连接成骨架；获取骨架动作，制作人体模型的动画，并上传至第一客户端或第二客户端。
8.如权利要求1所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述第一客户端为混合现实眼镜；所述第二客户端为PC或移动端。
9.如权利要求1所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述预处理为膨胀、腐蚀、中值滤波、均值滤波或高斯滤波中的一种或多种。
10.如权利要求1所述的一种基于混合现实技术的虚拟解剖教学系统，其特征是，所述分割采用边缘检测算法、阈值分割算法或区域生长算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210016975.8A CN114333482B (zh) | 2022-01-07 | 2022-01-07 | 一种基于混合现实技术的虚拟解剖教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210016975.8A CN114333482B (zh) | 2022-01-07 | 2022-01-07 | 一种基于混合现实技术的虚拟解剖教学系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333482A true CN114333482A (zh) | 2022-04-12 |
| CN114333482B CN114333482B (zh) | 2024-05-24 |
Family
ID=81025201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210016975.8A Active CN114333482B (zh) | 2022-01-07 | 2022-01-07 | 一种基于混合现实技术的虚拟解剖教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333482B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913309A (zh) * | 2022-05-28 | 2022-08-16 | 深圳大学 | 基于混合现实的高仿真外科手术教学系统及其方法 |
| TWI803436B (zh) * | 2022-10-07 | 2023-05-21 | 輔英科技大學 | 解剖跑台數位學習系統 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
| CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
| CN107240343A (zh) * | 2017-05-02 | 2017-10-10 | 中南民族大学 | 一种牙齿矫正手术训练系统及训练方法 |
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| CN109147040A (zh) * | 2018-08-28 | 2019-01-04 | 浙江大学 | 基于模板的人体点云孔洞修补方法 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
| CN109285225A (zh) * | 2018-10-15 | 2019-01-29 | 东北大学 | 一种基于医学影像的虚拟现实辅助手术的建立方法 |
| US20200038119A1 (en) * | 2017-03-24 | 2020-02-06 | Surgical Theater LLC | System and method for training and collaborating in a virtual environment |
| CN111611895A (zh) * | 2020-05-15 | 2020-09-01 | 北京联合大学 | 一种基于OpenPose的多视角人体骨架自动标注方法 |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
-
2022
- 2022-01-07 CN CN202210016975.8A patent/CN114333482B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
| CN106901834A (zh) * | 2016-12-29 | 2017-06-30 | 陕西联邦义齿有限公司 | 微创心脏外科手术的术前规划及手术虚拟现实模拟方法 |
| US20200038119A1 (en) * | 2017-03-24 | 2020-02-06 | Surgical Theater LLC | System and method for training and collaborating in a virtual environment |
| CN107240343A (zh) * | 2017-05-02 | 2017-10-10 | 中南民族大学 | 一种牙齿矫正手术训练系统及训练方法 |
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| CN109147040A (zh) * | 2018-08-28 | 2019-01-04 | 浙江大学 | 基于模板的人体点云孔洞修补方法 |
| CN109192030A (zh) * | 2018-09-26 | 2019-01-11 | 郑州大学第附属医院 | 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法 |
| CN109285225A (zh) * | 2018-10-15 | 2019-01-29 | 东北大学 | 一种基于医学影像的虚拟现实辅助手术的建立方法 |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
| CN111611895A (zh) * | 2020-05-15 | 2020-09-01 | 北京联合大学 | 一种基于OpenPose的多视角人体骨架自动标注方法 |
Non-Patent Citations (1)
| Title |
|---|
| 葛宝臻;卢波;田庆国;杜朴;吕且妮;: "激光三维扫描数据的表面重建", 计算机测量与控制, no. 10, pages 1366 - 1376 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913309A (zh) * | 2022-05-28 | 2022-08-16 | 深圳大学 | 基于混合现实的高仿真外科手术教学系统及其方法 |
| TWI803436B (zh) * | 2022-10-07 | 2023-05-21 | 輔英科技大學 | 解剖跑台數位學習系統 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114333482B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107822690B (zh) | 具有不用手的控制的混合图像/场景再现器 | |
| US20190238621A1 (en) | Method and system for simulating surgical procedures | |
| Montgomery et al. | Spring: A general framework for collaborative, real-time surgical simulation | |
| CN114333482B (zh) | 一种基于混合现实技术的虚拟解剖教学系统 | |
| JP7432534B2 (ja) | 双方向にマルチユーザの仮想現実体験を効率的にレンダリング、管理、記録、および再生するための方法及び装置 | |
| Ping et al. | Computer facial animation: A review | |
| CN112906205B (zh) | 一种用于全髋关节置换手术的虚拟学习方法 | |
| US20220346888A1 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment | |
| Kruger et al. | Sinus endoscopy-application of advanced GPU volume rendering for virtual endoscopy | |
| Chen et al. | A naked eye 3D display and interaction system for medical education and training | |
| Vilanova et al. | VirEn: A virtual endoscopy system | |
| CN112530005A (zh) | 一种三维模型直线结构识别与自动修复方法 | |
| KR101275938B1 (ko) | 가상 수술 시뮬레이션 방법 및 장치 | |
| US20230054394A1 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery | |
| CN113409433A (zh) | 一种基于移动终端的医学三维模型显示和切割系统 | |
| Rasool et al. | Image-driven haptic simulation of arthroscopic surgery | |
| Rianto | A Virtual Reality Based Surgical Simulation as an Alternative of Halal Surgical Trainings and Better Surgical Planning | |
| CN115841776B (zh) | 基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统 | |
| Zhang et al. | Development of a virtual training system for master-slave hip replacement surgery | |
| Zhu et al. | 3D reconstruction for soft tissue of the human body | |
| Turini et al. | New techniques for computer-based simulation in surgical training | |
| Chacko et al. | Virtual surgery on geometric model of real human organ data | |
| Li | Application of Computer 3D Technology in Graphic Design of Animation Scene | |
| CN117788706A (zh) | 一种小麦虚拟生长三维可视化系统 | |
| CN117953760A (zh) | 心脏解剖虚拟仿真教学系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 1237 Yingxiu Road, High tech Zone, Jinan City, Shandong Province, 250101 Applicant after: Zhongyang Health Technology Group Co.,Ltd. Address before: 12 / F, building 1, Aosheng building, 1166 Xinluo street, hi tech Zone, Jinan City, Shandong Province Applicant before: SHANDONG MSUNHEALTH TECHNOLOGY GROUP Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |