CN117953760A - 心脏解剖虚拟仿真教学系统 - Google Patents
心脏解剖虚拟仿真教学系统 Download PDFInfo
- Publication number
- CN117953760A CN117953760A CN202410278453.4A CN202410278453A CN117953760A CN 117953760 A CN117953760 A CN 117953760A CN 202410278453 A CN202410278453 A CN 202410278453A CN 117953760 A CN117953760 A CN 117953760A
- Authority
- CN
- China
- Prior art keywords
- heart
- module
- model
- teaching
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000004088 simulation Methods 0.000 claims abstract description 43
- 238000007726 management method Methods 0.000 claims abstract description 26
- 238000009877 rendering Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 210000005003 heart tissue Anatomy 0.000 claims abstract description 15
- 230000010247 heart contraction Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 230000010349 pulsation Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 15
- 210000003484 anatomy Anatomy 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000747 cardiac effect Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000000740 bleeding effect Effects 0.000 claims description 7
- 238000011160 research Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010009 beating Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000010008 shearing Methods 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000035559 beat frequency Effects 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000002837 heart atrium Anatomy 0.000 claims description 3
- 235000013372 meat Nutrition 0.000 claims description 3
- 210000004165 myocardium Anatomy 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012258 culturing Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000037183 heart physiology Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及仿真教学技术领域，尤指一种心脏解剖虚拟仿真教学系统。系统包括影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块。影像数据处理模块采集医学影像，三维模型建立模块用摄影制图和图像识别构建解剖模型。心脏搏动效果模拟模块展现心脏组织动态效果。图像渲染和虚拟现实模块呈现三维模型和搏动效果。视图控制通过矩阵变换管理解剖网格物体的视图。教学管理组织解剖知识、模型数据、案例研究和学习进度规划。本发明提供了全面、逼真、沉浸式的学习体验，有助于提高学生对心脏解剖学知识的理解和应用水平，为培养专业医学人才提供了一种高效的教学工具。
Description
技术领域
本发明涉及仿真教学技术领域，尤指一种心脏解剖虚拟仿真教学系统。
背景技术
随着医学科技的飞速发展，心脏疾病的诊断和治疗变得越来越复杂，对医学生和医生的专业技能提出了更高的要求。传统的心脏解剖教学主要依赖于解剖室的尸体标本，这种方式存在着供应不足、成本高昂、保存不便等问题。近年来虚拟现实(VR)技术在医学教育中得到了广泛应用。VR系统通过沉浸式体验提供了更直观、可互动的学习环境。然而，当前还存在以下问题：现有技术下解剖模型建立的精度较低；传统的实验室解剖学习通常在静态的环境中进行，缺乏足够的多样性和真实性；目前系统依赖高配置终端设备，模型观察效果表现差。
发明内容
为解决上述问题，本发明提供一种心脏解剖虚拟仿真教学系统。
为实现上述目的，本发明采用的技术方案是：
一种心脏解剖虚拟仿真教学系统，包括影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块；所述影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块通信连接；
所述影像数据处理模块用于采集、接收和处理心脏解剖相关的影像数据，所述影像数据包括医学影像、CT扫描和MRI；
所述三维模型建立模块用于通过摄影制图法和图像识别算法将处理后的影像数据构建成三维解剖模型；
所述心脏搏动效果模拟模块用于模拟心脏组织受到牵拉、变形和流血现象的动态效果；
所述图像渲染与虚拟现实模块用于通过图像渲染技术和虚拟现实技术将三维心脏模型和搏动效果呈现在虚拟环境中；
所述视图摄影机控制模块用于基于矩阵变换算法实现对解剖网格物体的视图控制；
所述教学内容管理模块用于管理和组织教学内容，所述教学内容包括解剖知识、模型数据、教学案例研究和学习进度规划与跟踪。
进一步的，所述影像数据处理模块采用的方法包括图像增强和分割算法以及深度学习算法。
进一步的，所述三维模型建立模块包括摄影制图单元、解剖模型建立单元和纹理映射单元；
所述摄影制图单元用于使用摄影制图法将二维影像转换为三维坐标；
所述解剖模型建立单元用于通过卷积神经网络算法构建解剖模型；
所述纹理映射单元用于将影像数据中的纹理信息映射到解剖模型上。
更进一步的，所述解剖模型建立单元的构建过程包括以下步骤：
获取所述影像数据处理模块的数据；
将预处理后的数据划分为训练集和测试集；
使用深度卷积神经网络算法构建心脏解剖模型，所述深度卷积神经网络算法包括卷积层、池化层和全连接层；
通过卷积层和池化层学习医学影像中的解剖结构特征，所述解剖结构特征包括识别心脏的不同部分、血管网络和心脏壁厚度；
使用训练集中的医学影像数据，将其输入到心脏解剖模型中进行训练；
使用测试集验证心脏解剖模型性能；
将训练好的心脏解剖模型应用于新的影像数据，通过前向传播生成包含详细解剖信息的三维模型。
进一步的，所述心脏搏动效果模拟模块包括心脏搏动参数计算单元和搏动效果模拟单元；
所述心脏搏动参数计算单元用于通过识别心脏的起始点和确定心室以及心房的位置，计算搏动的频率，同时使用生理学模型和解剖学知识，确定心脏肌肉在收缩和舒张阶段的变化；
所述搏动效果模拟单元用于采用边界元方法来模拟心脏组织表面的变形效果。
更进一步的，所述搏动效果模拟单元的运行过程包括以下步骤：
将心脏表面离散成边界元；
使用弹性模型描述心脏组织的变形，所述弹性模型包括线性弹性模型和非线性弹性模型；
对每个边界元应用于弹性模型，计算心脏表面上每个边界元在搏动过程中的位移；
使用时间积分方法模拟搏动的时间演化，同时在模拟开始时，初始化每个节点的位移为零；
将边界元上的位移信息传递到相邻节点，并在整个网格上使用数值方法求解位移场；
根据边界元模型的结果，更新每个节点的位移。
进一步的，所述图像渲染与虚拟现实模块包括头戴式显示设备和手柄控制器。
进一步的，所述视图摄影机控制模块的运行过程包括以下步骤：
通过用户摄像机发射射线，模拟用户目光方向，所述射线与解剖模型骨骼或肉组织产生碰撞点；
利用碰撞点到摄像机方向、世界坐标向上方向以及摄像机剪切面方向构建参考矩阵；
在屏幕空间的位移计算碰撞点到摄像机方向和摄像机剪切面方向的屏幕空间的移动和旋转增量；
利用Rotate Matrix和transform Position Matrix节点，计算变换后的矩阵增量；
通过增量变换矩阵和参考矩阵计算摄像机的位置，使用matrix*matrix节点实现视角的变化，并设置视图恢复模式。
进一步的，所述教学内容管理模块包括教学内容展示单元、学习进度规划与跟踪单元、学习资源管理单元和评估与反馈单元；
所述教学内容展示单元用于呈现解剖知识、模型数据和教学案例研究和其他相关的教学内容；
所述学习进度规划与跟踪单元用于制定学生的学习计划，并跟踪学生的学习进度；
所述学习资源管理单元用于组织和管理系统中的学习资源，所述学习资源包括解剖知识库、模型数据集和教学案例库；
所述评估与反馈单元用于实施学生的评估和提供及时的反馈。
进一步的，还包括数据传输模块，所述数据传输模块用于通过5G网络实现高效医学影像、三维心脏模型和搏动效果的数据传输。
本发明的有益效果在于：
本发明通过整合影像数据处理、三维模型建立、搏动效果模拟、图像渲染与虚拟现实等多个模块，学生能够在一个综合性的虚拟环境中进行学习。这种综合性的教学体验有助于更全面、深入地理解心脏解剖学知识。
本发明中影像数据处理模块通过医学影像、CT扫描和MRI数据构建的三维解剖模型，搭配搏动效果模拟，使学生能够在虚拟环境中观察到心脏组织受到牵拉、变形和流血等真实动态效果，提高模拟的真实感，有助于更好地理解心脏生理过程。视图摄影机控制模块基于矩阵变换算法实现对解剖网格物体的视图控制，使学生可以根据个人需求调整观察角度，实现个性化学习。这有助于不同学生根据自身学习习惯和需求进行学习，提高学习的效果。
本发明中图像渲染与虚拟现实模块结合虚拟现实技术，将三维心脏模型和搏动效果呈现在虚拟环境中。这种技术的应用使学生沉浸于虚拟解剖环境中，提高了学习的吸引力和趣味性，有助于加深对解剖学知识的印象。教学内容管理模块负责管理和组织教学内容，包括解剖知识、模型数据、教学案例研究以及学习进度规划与跟踪。这有助于教师更好地指导学生学习，使学生能够有系统地学习解剖学知识，并随时跟踪学习进度。
附图说明
图1是本发明中一种心脏解剖虚拟仿真教学系统的结构示意图。
图2是本发明中解剖模型建立单元构建过程的流程示意图。
图3是本发明中视图摄影机控制模块运行过程的流程示意图。
具体实施方式
请参阅图1-3所示，本发明关于一种心脏解剖虚拟仿真教学系统。
实施例1
一种心脏解剖虚拟仿真教学系统，包括影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块；所述影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块通信连接；
所述影像数据处理模块用于采集、接收和处理心脏解剖相关的影像数据，所述影像数据包括医学影像、CT扫描和MRI；
其中，所述影像数据处理模块采用的方法包括图像增强和分割算法以及深度学习算法。
所述三维模型建立模块用于通过摄影制图法和图像识别算法将处理后的影像数据构建成三维解剖模型；
其中，所述三维模型建立模块包括摄影制图单元、解剖模型建立单元和纹理映射单元；
所述摄影制图单元用于使用摄影制图法将二维影像转换为三维坐标；
所述解剖模型建立单元用于通过卷积神经网络算法构建解剖模型；
所述纹理映射单元用于将影像数据中的纹理信息映射到解剖模型上。
具体地，将正常人体头骨CT数据采集，进行质量控制，去除伪影、噪声和图像伪装等，并转换成可操作的3D动态模型，通过摄影制图法(photogrammetry)摄影制图法软件使用2D图像在一个虚拟空间中创建3D的物体，而photogrammetry拥有目前最为先进的、可以用来进行3D扫描的摄影制图法。通过无序的照片或激光扫描来创建高质量的3D模型。然后在Maya中细化模型，包括平滑，增强对比度和边缘增强等，再导入Zbrush软件中，进行模型等级细分及细节制作，再使用uvlayout软件在UE4中进行低模展现，通过调整模型结构、参数和超参数，对训练好的模型进行优化和调整。可以使用交叉验证等技术来评估不同模型的性能，并选择最佳模型进行后续操作。选择适合解剖模型的图像识别算法，如卷积神经网络(CNN)、循环神经网络(RNN)等，并利用标注好的数据集进行模型的训练。确保训练数据集的多样性和数量足够，以提高模型的泛化能力和准确性。再将高模与低模通过xnormal软件进行模型匹配和法线的烘培工作，通过MAYA烘培出颜色位置贴图，再通过Photoshop和Substance Painter软件导入模型、法线和颜色位置贴图进行整体贴图的制作，最后放入VR引擎中。
所述心脏搏动效果模拟模块用于模拟心脏组织受到牵拉、变形和流血现象的动态效果；
其中，所述心脏搏动效果模拟模块包括心脏搏动参数计算单元和搏动效果模拟单元；
所述心脏搏动参数计算单元用于通过识别心脏的起始点和确定心室以及心房的位置，计算搏动的频率，同时使用生理学模型和解剖学知识，确定心脏肌肉在收缩和舒张阶段的变化；
所述搏动效果模拟单元用于采用边界元方法来模拟心脏组织表面的变形效果。
具体地，使用边界元模型计算组织表面变形，通过把模型表面划分为网格小单元，表面的网格作为计算单元，利用网格节点位移计算出每一单元的位移。该方法计算量小，逼真度高，易于实现交互。最终达到使用者通过操作带有传感器的手柄模拟真实触碰、牵拉操作，在图形界面上逼真显示出手术过程中心脏组织受到牵拉、变形、流血等现象。
所述图像渲染与虚拟现实模块用于通过图像渲染技术和虚拟现实技术将三维心脏模型和搏动效果呈现在虚拟环境中；
其中，所述图像渲染与虚拟现实模块包括头戴式显示设备和手柄控制器。
具体地，使用专业的虚拟现实头戴式显示设备，以提供用户高度沉浸感。使用先进的图像渲染技术，例如光线追踪、阴影映射和体积渲染，以增强虚拟环境中的视觉效果，使解剖模型看起来更真实。利用虚拟现实技术创建沉浸式的用户体验，使用户感觉好像真的在一个三维心脏模型中，并能够观察搏动效果。通过手柄控制器实现用户的交互性，使其能够自由选择、旋转和缩放解剖模型，以更好地理解心脏结构。实现实时的心脏搏动效果渲染，确保用户可以观察到心脏组织受到牵拉、变形和流血等动态效果，增加模拟的生物学真实感。集成虚拟声音效果，模拟心脏搏动时产生的声音，以提供更全面的感官体验。
所述视图摄影机控制模块用于基于矩阵变换算法实现对解剖网格物体的视图控制；
具体地，使用矩阵变换算法来操作摄像机视图，包括平移、旋转和缩放等操作。这些变换可以通过矩阵相乘的方式实现，确保对解剖模型的观察具有灵活性和准确性。结合头戴式显示设备和手柄控制器，允许用户通过手柄进行实时交互。用户可以使用手柄控制器调整视角、放大或缩小模型，以及进行其他操作，从而更好地理解心脏结构和搏动效果。提供自动导航功能，允许用户轻松切换到不同的预设视图，以查看心脏模型的不同部分。这可以通过设定预设视图的矩阵变换参数来实现，方便用户快速导航到感兴趣的区域。实施视图限制，确保用户不会超出虚拟环境的边界，同时进行碰撞检测，防止摄像机与解剖模型发生不合理的相互交叉。这样可以确保用户在虚拟环境中的观察是安全和合理的。实现平滑的过渡效果，使摄像机的移动和旋转过程更加自然。这可以通过巧妙地使用动画和插值技术来实现，以提升用户体验，特别是在观察心脏搏动效果时。
所述教学内容管理模块用于管理和组织教学内容，所述教学内容包括解剖知识、模型数据、教学案例研究和学习进度规划与跟踪；
其中，所述教学内容管理模块包括教学内容展示单元、学习进度规划与跟踪单元、学习资源管理单元和评估与反馈单元；
所述教学内容展示单元用于呈现解剖知识、模型数据和教学案例研究和其他相关的教学内容；
所述学习进度规划与跟踪单元用于制定学生的学习计划，并跟踪学生的学习进度；
所述学习资源管理单元用于组织和管理系统中的学习资源，所述学习资源包括解剖知识库、模型数据集和教学案例库；
所述评估与反馈单元用于实施学生的评估和提供及时的反馈。
还包括数据传输模块，所述数据传输模块用于通过5G网络实现高效医学影像、三维心脏模型和搏动效果的数据传输；
具体地，基于5G的像素流送功能，用户可以通过高清视频参与实时的远程培训教育。通过5G网络传输医学影像，随时进行高清视频会议和实时文件共享，将程序部署到5G云的GPU服务器，将算力转移到云端，用户可用集成显卡的电脑或者笔记本流畅体验即可，为用户的使用提供多种选择。
在本实施例中，通过采用摄影制图法、图像识别算法和深度学习算法，系统可以生成高质量的三维心脏解剖模型。这提供了学生们更为真实的学习体验，有助于更好地理解心脏结构。利用心脏搏动效果模拟模块，系统能够模拟心脏组织在受到牵拉、变形和流血等现象时的动态效果。这种动态模拟不仅提供了更全面的生物学真实感，还有助于学生更好地理解心脏生理学和解剖学。
通过图像渲染与虚拟现实模块，系统将三维心脏模型和搏动效果呈现在虚拟环境中，结合头戴式显示设备和手柄控制器，提供高度沉浸感和交互性。这种沉浸式学习环境可以加强学生对心脏解剖和功能的理解。通过视图摄影机控制模块，学生可以使用手柄控制器进行实时交互，自由选择、旋转和缩放解剖模型。这种灵活性有助于学生深入研究心脏结构的不同部分，提高学习效果。
教学内容管理模块包括展示解剖知识、模型数据和教学案例的单元，以及学习进度规划、学习资源管理和评估与反馈的单元。这有助于系统化组织和管理教学内容，提供个性化的学习计划和及时的反馈。数据传输模块通过5G网络实现高效的医学影像、三维心脏模型和搏动效果的数据传输。这使得系统能够支持实时的远程培训和教育，提供高清视频会议和实时文件共享的功能，从而增加了系统的灵活性和可用性。
实施例2
根据实施例1所述的一种心脏解剖虚拟仿真教学系统，其中，所述解剖模型建立单元的构建过程包括以下步骤：
获取所述影像数据处理模块的数据；
将预处理后的数据划分为训练集和测试集；
使用深度卷积神经网络算法构建心脏解剖模型，所述深度卷积神经网络算法包括卷积层、池化层和全连接层；
通过卷积层和池化层学习医学影像中的解剖结构特征，所述解剖结构特征包括识别心脏的不同部分、血管网络和心脏壁厚度；
具体地，卷积层要选择适当的卷积核大小，以在医学影像中捕捉不同尺度的解剖特征。较小的卷积核可以用于捕获细节，而较大的卷积核则用于捕获更宽泛的结构。滑动步幅决定卷积核在图像上滑动的步幅，影响输出特征图的尺寸。合理选择步幅有助于保留关键特征并降低计算成本。
池化层选择最大池化或平均池化，以减小特征图的尺寸并保留关键信息。确定池化窗口的大小，影响下一层特征的抽象级别。
全连接层中设计合适数量的全连接层神经元，以将卷积层提取的特征映射到最终输出。选择激活函数，以引入非线性性并提高网络的表达能力。
使用训练集中的医学影像数据，将其输入到心脏解剖模型中进行训练；
使用测试集验证心脏解剖模型性能；
将训练好的心脏解剖模型应用于新的影像数据，通过前向传播生成包含详细解剖信息的三维模型。
其中，所述搏动效果模拟单元的运行过程包括以下步骤：
将心脏表面离散成边界元；
需要说明的是，边界元即为每个网格单元，若干个边界元构成了心脏表面的网格。
使用弹性模型描述心脏组织的变形，所述弹性模型包括线性弹性模型和非线性弹性模型；
对每个边界元应用于弹性模型，计算心脏表面上每个边界元在搏动过程中的位移；
需要说明的是，在边界元之间考虑相互作用，尤其是在模拟心肌收缩和舒张时，考虑肌肉之间的相互作用。这可以通过引入适当的力学模型和相互作用函数来实现。
使用时间积分方法模拟搏动的时间演化，同时在模拟开始时，初始化每个节点的位移为零；
将边界元上的位移信息传递到相邻节点，并在整个网格上使用数值方法求解位移场；
具体地，对于每个单元，通过组装刚度矩阵和质量矩阵，应用适当的边界条件，解决动态有限元方程。使用所选时间积分方法更新节点的位移。利用差分方程(如中心差分)在整个网格上求解位移场。考虑边界条件和相邻节点的位移信息。
根据边界元模型的结果，更新每个节点的位移。
需要说明的是，过迭代求解每个网格空间区域来完成整个仿真，网格影响着仿真的精度和速度，因此清楚网格剖分的过程以及设置好网格尤为重要；全局网格代表了在求解区域内整体网格的分布情况，设置好全局网格可保证仿真结果的正确趋势。
在全局网格设置界面中，单位波长网格数是一个重要的参数，它直接影响了总体网格数，其值越大，网格数越多，理论上求解的精度越高，但同时仿真时间也将越长；对于均匀分布着精细结构的模型，可以通过增加单位波长网格数来获得更加精确的结果，而无需添加局部网格。
为了保证仿真结果的准确性，结构细节和缝隙细节两个设置项要求用户输入X/Y/Z方向上的最小结构或缝隙值，用户也可以在每个方向上输入0，此时软件内部会自动采用一个默认值，来保证计算的准确性。
其中，所述视图摄影机控制模块的运行过程包括以下步骤：
通过用户摄像机发射射线，模拟用户目光方向，所述射线与解剖模型骨骼或肉组织产生碰撞点；
利用碰撞点到摄像机方向(x轴)、世界坐标向上方向(z轴)、摄像机剪切面方向(Y轴)构建参考矩阵；
在屏幕空间的位移计算XY轴屏幕空间的移动和旋转增量；
利用Rotate Matrix和transform Position Matrix节点，计算变换后的矩阵增量；
需要说明的是，Rotate Matrix(旋转矩阵)描述了绕特定轴的旋转变换。旋转矩阵可以应用于三维对象，使其绕某个轴旋转一定角度。这可以用于调整对象的方向或摄像机的朝向。
Transform Position Matrix(位置变换矩阵)描述了位置变换，即平移。这样的矩阵可以应用于对象或相机，以将它们沿着三维空间的某个方向移动。
通过增量变换矩阵和参考矩阵计算摄像机的位置，使用matrix*matrix节点将参考矩阵和增量变换矩阵相乘，得到视角变化后的矩阵，并设置视图恢复模式。
需要说明的是，"matrix*matrix"实际上是指矩阵相乘。在三维图形变换中，矩阵相乘通常用于将多个变换组合在一起，以便一次性应用于对象或相机。本系统中将增量变换矩阵和参考矩阵相乘的方法，以计算最终的摄像机变换矩阵的步骤。
在本实施例中，通过使用深度卷积神经网络算法，系统能够自动学习医学影像中的解剖结构特征，包括心脏的不同部分、血管网络和心脏壁厚度。这提高了解剖模型的准确性和可靠性。引入了弹性模型和相互作用函数，能够模拟心脏在搏动过程中的变形和相互作用。通过动态有限元方程和时间积分方法，系统实现了对心脏表面每个边界元在搏动过程中的位移的计算，从而模拟了搏动的时间演化。
系统考虑了网格剖分的重要性，强调了全局网格的设置对于仿真精度和速度的影响。说明了单位波长网格数的作用，使用户能够在精度和计算效率之间进行权衡。用户可以通过调整单位波长网格数来平衡仿真的精度和计算时间。此外，结构细节和缝隙细节的设置项允许用户更好地控制仿真的准确性。通过模拟用户目光方向、射线碰撞、位移计算和矩阵变换，系统实现了对解剖模型的三维可视化。这种交互式的视图控制方式使用户能够更直观地观察和理解解剖模型的结构和运动。
以上实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。
Claims (10)
1.一种心脏解剖虚拟仿真教学系统，其特征在于，包括影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块；所述影像数据处理模块、三维模型建立模块、心脏搏动效果模拟模块、图像渲染与虚拟现实模块、视图摄影机控制模块和教学内容管理模块通信连接；
所述影像数据处理模块用于采集、接收和处理心脏解剖相关的影像数据，所述影像数据包括医学影像、CT扫描和MRI；
所述三维模型建立模块用于通过摄影制图法和图像识别算法将处理后的影像数据构建成三维解剖模型；
所述心脏搏动效果模拟模块用于模拟心脏组织受到牵拉、变形和流血现象的动态效果；
所述图像渲染与虚拟现实模块用于通过图像渲染技术和虚拟现实技术将三维心脏模型和搏动效果呈现在虚拟环境中；
所述视图摄影机控制模块用于基于矩阵变换算法实现对解剖网格物体的视图控制；
所述教学内容管理模块用于管理和组织教学内容，所述教学内容包括解剖知识、模型数据、教学案例研究和学习进度规划与跟踪。
2.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述影像数据处理模块采用的方法包括图像增强和分割算法以及深度学习算法。
3.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述三维模型建立模块包括摄影制图单元、解剖模型建立单元和纹理映射单元；
所述摄影制图单元用于使用摄影制图法将二维影像转换为三维坐标；
所述解剖模型建立单元用于通过卷积神经网络算法构建解剖模型；
所述纹理映射单元用于将影像数据中的纹理信息映射到解剖模型上。
4.根据权利要求3所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述解剖模型建立单元的构建过程包括以下步骤：
获取所述影像数据处理模块的数据；
将预处理后的数据划分为训练集和测试集；
使用深度卷积神经网络算法构建心脏解剖模型，所述深度卷积神经网络算法包括卷积层、池化层和全连接层；
通过卷积层和池化层学习医学影像中的解剖结构特征，所述解剖结构特征包括识别心脏的不同部分、血管网络和心脏壁厚度；
使用训练集中的医学影像数据，将其输入到心脏解剖模型中进行训练；
使用测试集验证心脏解剖模型性能；
将训练好的心脏解剖模型应用于新的影像数据，通过前向传播生成包含详细解剖信息的三维模型。
5.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述心脏搏动效果模拟模块包括心脏搏动参数计算单元和搏动效果模拟单元；
所述心脏搏动参数计算单元用于通过识别心脏的起始点和确定心室以及心房的位置，计算搏动的频率，同时使用生理学模型和解剖学知识，确定心脏肌肉在收缩和舒张阶段的变化；
所述搏动效果模拟单元用于采用边界元方法来模拟心脏组织表面的变形效果。
6.根据权利要求5所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述搏动效果模拟单元的运行过程包括以下步骤：
将心脏表面离散成边界元；
使用弹性模型描述心脏组织的变形，所述弹性模型包括线性弹性模型和非线性弹性模型；
对每个边界元应用于弹性模型，计算心脏表面上每个边界元在搏动过程中的位移；
使用时间积分方法模拟搏动的时间演化，同时在模拟开始时，初始化每个节点的位移为零；
将边界元上的位移信息传递到相邻节点，并在整个网格上使用数值方法求解位移场；
根据边界元模型的结果，更新每个节点的位移。
7.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述图像渲染与虚拟现实模块包括头戴式显示设备和手柄控制器。
8.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述视图摄影机控制模块的运行过程包括以下步骤：
通过用户摄像机发射射线，模拟用户目光方向，所述射线与解剖模型骨骼或肉组织产生碰撞点；
利用碰撞点到摄像机方向、世界坐标向上方向以及摄像机剪切面方向构建参考矩阵；
在屏幕空间的位移计算碰撞点到摄像机方向和摄像机剪切面方向的屏幕空间的移动和旋转增量；
利用Rotate Matrix和transform Position Matrix节点，计算变换后的矩阵增量；
通过增量变换矩阵和参考矩阵计算摄像机的位置，使用matrix*matrix节点实现视角的变化，并设置视图恢复模式。
9.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，所述教学内容管理模块包括教学内容展示单元、学习进度规划与跟踪单元、学习资源管理单元和评估与反馈单元；
所述教学内容展示单元用于呈现解剖知识、模型数据和教学案例研究和其他相关的教学内容；
所述学习进度规划与跟踪单元用于制定学生的学习计划，并跟踪学生的学习进度；
所述学习资源管理单元用于组织和管理系统中的学习资源，所述学习资源包括解剖知识库、模型数据集和教学案例库；
所述评估与反馈单元用于实施学生的评估和提供及时的反馈。
10.根据权利要求1所述的一种心脏解剖虚拟仿真教学系统，其特征在于，还包括数据传输模块，所述数据传输模块用于通过5G网络实现高效医学影像、三维心脏模型和搏动效果的数据传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410278453.4A CN117953760A (zh) | 2024-03-12 | 2024-03-12 | 心脏解剖虚拟仿真教学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410278453.4A CN117953760A (zh) | 2024-03-12 | 2024-03-12 | 心脏解剖虚拟仿真教学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117953760A true CN117953760A (zh) | 2024-04-30 |
Family
ID=90796483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410278453.4A Pending CN117953760A (zh) | 2024-03-12 | 2024-03-12 | 心脏解剖虚拟仿真教学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117953760A (zh) |
-
2024
- 2024-03-12 CN CN202410278453.4A patent/CN117953760A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Basdogan et al. | VR-based simulators for training in minimally invasive surgery | |
| CN107822690B (zh) | 具有不用手的控制的混合图像/场景再现器 | |
| Kruger et al. | The responsive workbench: A virtual work environment | |
| John | The impact of Web3D technologies on medical education and training | |
| CN107993293B (zh) | 一种包含中国人群差异的三维可交互式解剖教学方法 | |
| EA027016B1 (ru) | Система и способ компьютерного моделирования медицинской процедуры | |
| WO2018156087A1 (en) | Finite-element analysis augmented reality system and method | |
| Chen et al. | A naked eye 3D display and interaction system for medical education and training | |
| Vilanova et al. | VirEn: A virtual endoscopy system | |
| Müller et al. | The virtual reality arthroscopy training simulator | |
| CN113379929B (zh) | 一种基于物理仿真的骨组织修复虚拟现实解决方法 | |
| Nakao et al. | Adaptive proxy geometry for direct volume manipulation | |
| Zhu et al. | A real-time deformation modeling scheme of soft tissue for virtual surgical | |
| CN117953760A (zh) | 心脏解剖虚拟仿真教学系统 | |
| CN115953532A (zh) | 教学用超声图像的显示方法、装置及超声图像的教学系统 | |
| Senger | Visualizing and segmenting large volumetric data sets | |
| Wang | A Teaching Mode for Art Anatomy Based on Digital Virtual Technology. | |
| Chen et al. | A system design for virtual reality visualization of medical image | |
| Resnyansky et al. | A Natural Interaction Paradigm to Facilitate Cardiac Anatomy Education using Augmented Reality and a Surgical Metaphor. | |
| Sutherland et al. | Towards an augmented ultrasound guided spinal needle insertion system | |
| Heng et al. | Virtual bronchoscopy | |
| Huang et al. | An Augmented Reality Platform for Interactive Finite Element Analysis | |
| CN114333482B (zh) | 一种基于混合现实技术的虚拟解剖教学系统 | |
| US20230245376A1 (en) | System and method for four-dimensional angiography | |
| Rianto | A Virtual Reality Based Surgical Simulation as an Alternative of Halal Surgical Trainings and Better Surgical Planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |