CN113761796A - 基于虚拟现实的心脏出血与止血模型的仿真系统和方法 - Google Patents

基于虚拟现实的心脏出血与止血模型的仿真系统和方法 Download PDF

Info

Publication number
CN113761796A
CN113761796A CN202110972914.4A CN202110972914A CN113761796A CN 113761796 A CN113761796 A CN 113761796A CN 202110972914 A CN202110972914 A CN 202110972914A CN 113761796 A CN113761796 A CN 113761796A
Authority
CN
China
Prior art keywords
data
hemostasis
dimensional image
heart
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110972914.4A
Other languages
English (en)
Other versions
CN113761796B (zh
Inventor
成楠
王嵘
龙云泽
徐亮
张俊
高原
申华
谢玉芊
黄伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202110972914.4A priority Critical patent/CN113761796B/zh
Publication of CN113761796A publication Critical patent/CN113761796A/zh
Application granted granted Critical
Publication of CN113761796B publication Critical patent/CN113761796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于虚拟现实的心脏出血与止血模型的仿真系统和方法，属于虚拟现实技术领域。该方法包括：在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；根据所述第二心脏三维图像的数据确定光照数据；根据所述第二心脏三维图像的数据与所述光照数据显示所述第二心脏三维图像。本发明能够提高模拟操作显示的真实性和实操的互动性。

Description

基于虚拟现实的心脏出血与止血模型的仿真系统和方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种基于虚拟现实的心脏出血与止血模型的仿真系统和方法。
背景技术
随着科学技术的进步，虚拟现实(Virtual Reality，简称VR)技术逐渐引起用户的注意。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，其利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，可以使用户沉浸到虚拟环境中，体验如临真境的感觉。
虚拟现实技术目前最常见的终端有虚拟现实头盔、头戴式显示器等。虚拟现实头盔利用头盔式显示器将人对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的沉浸感。头戴式显示器也是最早的虚拟现实显示器，其显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。
因而利用虚拟现实技术的虚拟手术能够辅助医护人员做好心脏出血与止血等的手术训练和方案规划，预见手术的复杂性。但是，目前的器官显示还远远没有达到真实的效果，互动性也较差，这种缺乏真实感和实操互动反馈的虚拟现实系统会直接影响到虚拟手术中手术培训和规划以及病灶诊断的效果。
发明内容
因此，为了克服上述缺陷，本发明实施例提供一种基于虚拟现实的心脏出血与止血模型的仿真系统和方法，能够提高器官显示的真实感，更能提高手术实操互动性。
为此，本发明提供一种基于虚拟现实的心脏出血与止血模型的仿真方法，包括以下步骤：
在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
根据所述第二心脏三维图像的数据确定光照数据；
根据所述第二心脏三维图像的数据与所述光照数据显示所述第二心脏三维图像。
可选的，所述根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据，包括：
根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，所述作用参数包括作用在虚拟心脏上的作用力的大小、作用力的方向、作用区域的形状、作用区域的尺寸中的至少之一，所述变化数据包括显示方位的变化数据和/或形状的变化数据，所述形状的变化数据包括所述止血模拟操作的作用区域内的形变数据；
根据所述变化数据以及所述第一心脏三维图像的数据，确定所述第二心脏三维图像的数据。
可选的，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，包括：
将所述作用参数输入至预先训练的变化预测模型的第一分支，将所述止血模拟操作在虚拟心脏上的作用位置处的组织结构参数输入至所述变化预测模型的第二分支，其中所述第一分支包括多个长短期记忆网络，所述第二分支包括依次连接的卷积神经网络、批归一化层、展平层和第一全连接层；所述第一分支和所述第二分支的输出通过连接函数连接后与dropout层和第二全连接层连接；
根据所述第二全连接层的输出确定所述变化数据。
可选的，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据之前，还包括：
获取实体操作手柄上各力传感器采集的数据；
根据所述力传感器采集的数据确定所述止血模拟操作的作用力的大小和/或作用力的方向；
其中，所述实体操作手柄为一个或多个，用于模拟实际的止血操作过程中使用的各种操作器械的手柄，止血模拟操作过程中在所述手柄上显示所述操作器械的除所述手柄以外的部分的三维图像。
可选的，所述光照数据包括高光数据和漫反射数据；
所述根据所述第二心脏三维图像的数据确定光照数据，包括：
获取在进行所述止血模拟操作过程中使用的虚拟光照数据；
获取所述第二心脏三维图像表面中各单元区域的法线信息和反射率信息，以及各单元区域中各体素表面的法线信息；
根据所述虚拟光照数据，以及各所述单元区域的法线信息和反射率信息，计算各所述单元区域的所述高光数据；
根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据；
其中，所述单元区域按照所述第二心脏三维图像表面各体素表面的法线信息划分，每一所述单元区域所包括的体素相邻且法线角度的差值小于预设值。
可选的，所述根据所述虚拟光照数据，以及各所述单元区域的法线信息和/或反射率信息，计算各所述单元区域的所述高光数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
确定每一所述虚拟点光源与所述单元区域之间的相对位置关系；
根据所述相对位置关系和所述虚拟点光源的光照强度，以及所述法线信息和所述反射率信息，确定所述单元区域针对每一所述虚拟点光源的反射光信息；
对所述单元区域针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述单元区域的所述高光数据。
可选的，所述根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
获取每一所述虚拟点光源照射至所述单元区域的法向量；
根据所述体素表面的法线信息、所述反射率信息以及所述法向量，确定所述体素表面针对每一所述虚拟点光源的反射光信息；
对所述体素表面针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述体素表面的反射光信息；
根据各所述体素表面的反射光信息确定所述单元区域的漫反射数据。
本发明还提供一种基于虚拟现实的心脏出血与止血模型的仿真系统，包括：处理器和虚拟现实显示设备；
所述处理器包括：
获取单元，用于在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
预测单元，用于根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
光照数据确定单元，用于根据所述第二心脏三维图像的数据确定光照数据；
显示控制单元，用于根据所述第二心脏三维图像的数据与所述光照数据，控制所述虚拟现实显示设备显示所述第二心脏三维图像。
本发明还提供一种基于虚拟现实的心脏出血与止血模型的仿真系统，所述仿真系统包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任一种基于虚拟现实的心脏出血与止血模型的仿真方法。
本发明还提供一种存储介质，所述存储介质上存储有指令，所述指令被处理器执行时实现上述任一种基于虚拟现实的心脏出血与止血模型的仿真方法。
本发明实施例的技术方案，具有如下优点：
本实施例中，在针对虚拟心脏(即心脏三维图像)进行止血模拟操作过程中，实时预测止血模拟操作导致虚拟心脏的方位、形态等的变化，并基于预测到的变化后的虚拟心脏确定光照数据，并在显示变化后的心脏三维图像时附加上确定的光照数据，从而提高心脏三维图像的真实性，并能提高实操的互动性。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中基于虚拟现实的心脏出血与止血模型的仿真方法的一个具体示例的流程图；
图2为本发明实施例1中根据所述第二心脏三维图像的数据确定光照数据的一个具体示例的流程图；
图3为本发明实施例2中基于虚拟现实的心脏出血与止血模型的仿真系统的一个具体示例的原理框图；
图4为本发明实施例3中基于虚拟现实的心脏出血与止血模型的仿真系统的另一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，本说明书中的某些图式是用于例示方法的流程图。应了解，这些流程图中的每一个方块、及这些流程图中方块的组合可通过计算机程序指令来实施。这些计算机程序指令可加载至一计算机或其他可编程的设备上来形成一机器，以使在所述计算机或其他可编程设备上执行的指令形成用于实施在所述流程图方块中所规定功能的结构。这些计算机程序指令也可储存于一计算机可读存储器中，所述计算机可读存储器可指令一计算机或其他可编程设备以一特定方式工作，以使储存于所述计算机可读存储器中的指令形成一包含用于实施在所述流程图方块中所规定功能的指令结构的制品。所述计算机程序指令也可加载至一计算机或其他可编程设备上，以便在所述计算机或其他可编程设备上执行一系列操作步骤来形成一由计算机实施的过程，从而使在所述计算机或其他可编程设备上执行的指令提供用于实施在所述流程图方块中所规定功能的步骤。
相应地，各流程图中的方块支持用于执行所规定功能的结构的组合及用于执行所规定功能的步骤的组合。还应了解，所述流程图中的每一个方块、及所述流程图中方块的组合可由执行所规定功能或步骤的基于专用硬件的计算机系统、或者专用硬件与计算机指令的组合来实施。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种基于虚拟现实的心脏出血与止血模型的仿真方法，如图1所示，包括以下步骤：
S1、在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
S2、根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
S3、根据所述第二心脏三维图像的数据确定光照数据；
S4、根据所述第二心脏三维图像的数据与所述光照数据显示所述第二心脏三维图像。
本实施例中，在针对虚拟心脏(即心脏三维图像)进行止血模拟操作过程中，实时预测止血模拟操作导致虚拟心脏的方位、形态等的变化，并基于预测到的变化后的虚拟心脏确定光照数据，并在显示变化后的心脏三维图像时附加上确定的光照数据，从而提高心脏三维图像的真实性，并能提高实操的互动性。
可选的，所述根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据，包括：
根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，所述作用参数包括作用在虚拟心脏上的作用力的大小、作用力的方向、作用区域的形状、作用区域的尺寸中的至少之一，所述变化数据包括显示方位的变化数据和/或形状的变化数据，所述形状的变化数据包括所述止血模拟操作的作用区域内的形变数据；
根据所述变化数据以及所述第一心脏三维图像的数据，确定所述第二心脏三维图像的数据。
另外，所述形状的变化数据还可以包括所述作用区域以外的其他区域的形变区域，该其他区域受所述止血模拟操作过程中的作用力影响而发生形变。
可选的，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，包括：
将所述作用参数输入至预先训练的变化预测模型的第一分支，将所述止血模拟操作在虚拟心脏上的作用位置处的组织结构参数输入至所述变化预测模型的第二分支，其中所述第一分支包括多个长短期记忆网络，所述第二分支包括依次连接的卷积神经网络、批归一化层、展平层和第一全连接层；所述第一分支和所述第二分支的输出通过连接函数连接后与dropout层和第二全连接层连接；
根据所述第二全连接层的输出确定所述变化数据。
其中，所述组织结构参数用于描述虚拟心脏的作用位置处的结构和/或组织密度和/或组织成分等，这些会影响受力后发生的形变。
所述第一分支用于分析止血模拟操作对虚拟心脏形变的影响，所述第二分支用于分析虚拟心脏自身对虚拟心脏形变的影响。
所述批归一化层用于避免梯度减小、消失等问题，所述展平层用于降低特征维度。
可选的，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据之前，还包括：
获取实体操作手柄上各力传感器采集的数据；
根据所述力传感器采集的数据确定所述止血模拟操作的作用力的大小和/或作用力的方向；
其中，所述实体操作手柄为一个或多个，用于模拟实际的止血操作过程中使用的各种操作器械的手柄，止血模拟操作过程中在所述手柄上显示所述操作器械的除所述手柄以外的部分的三维图像。
具体的，所述实体操作手柄可以与多个牵引部件连接，该牵引部件例如可以是线形部件。该牵引部件可以与用于控制所述牵引部件上的牵引力的控制设备连接。在所述止血操作过程中，若识别到所述实体操作手柄上的虚拟部分(三维图像部分)作用到虚拟心脏，则所述控制设备控制所述牵引部件向所述实体操作手柄施加力，以模拟心脏对操作器械的反作用力。
本实施例中，通过力传感器采集止血模拟操作的作用力相关的信息，从而可以基于止血模拟操作作用力相关的信息预测止血模拟操作对虚拟心脏的方位和/或形态的影响，进而准确模拟止血操作过程中心脏的变化，进而提高手术模拟效果。另外，通过牵引部件向止血模拟操作过程中使用的用于模拟操作器械的实体操作手柄施加力，可以模拟心脏模拟操作过程中心脏的反作用，可以进一步提升手术模拟操作的真实感，从而进一步提高模拟效果。
其他可选的具体实施方式中，也可以采用实体的操作器械模型代替所述实体操作手柄和除所述手柄以外的部分的三维图像。
可选的，所述光照数据包括高光数据和漫反射数据；
请参阅图2，步骤S3，即所述根据所述第二心脏三维图像的数据确定光照数据，包括：
S31、获取在进行所述止血模拟操作过程中使用的虚拟光照数据；
S32、获取所述第二心脏三维图像表面中各单元区域的法线信息和反射率信息，以及各单元区域中各体素表面的法线信息；
S33、根据所述虚拟光照数据，以及各所述单元区域的法线信息和反射率信息，计算各所述单元区域的所述高光数据；
S34、根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据；
其中，所述单元区域按照所述第二心脏三维图像表面各体素表面的法线信息划分，每一所述单元区域所包括的体素相邻且法线角度的差值小于预设值。
本实施例中，虚拟光照模拟真实心脏止血手术过程中使用的光照。
本实施例中，对虚拟心脏表面按照各体素表面的法线信息进行划分，划分出的单元区域内体素相邻且法线角度相近，因此可以认为该单元区域内各体素表面的反射率相同，从而可以减少高光数据和漫反射数据的计算量。
可选的，所述根据所述虚拟光照数据，以及各所述单元区域的法线信息和/或反射率信息，计算各所述单元区域的所述高光数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
确定每一所述虚拟点光源与所述单元区域之间的相对位置关系；
根据所述相对位置关系和所述虚拟点光源的光照强度，以及所述法线信息和所述反射率信息，确定所述单元区域针对每一所述虚拟点光源的反射光信息；
对所述单元区域针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述单元区域的所述高光数据。
具体的，所述反射光信息包括强度和角度等。所述多个虚拟点光源发出的光线可以等效所述虚拟光照。
可选的，所述根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
获取每一所述虚拟点光源照射至所述单元区域的法向量；
根据所述体素表面的法线信息、所述反射率信息以及所述法向量，确定所述体素表面针对每一所述虚拟点光源的反射光信息；
对所述体素表面针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述体素表面的反射光信息；
根据各所述体素表面的反射光信息确定所述单元区域的漫反射数据。
进一步可选的，所述根据所述体素表面的法线信息、所述反射率信息以及所述法向量，确定所述体素表面针对每一所述虚拟点光源的反射光信息，可以通过以下公式实现：
Figure BDA0003226351700000091
其中，θS为根据所述法向量和所述法线信息确定的所述虚拟点光源的入射方向与所述体素表面的法线的夹角，m为所述反射率信息，cosmθS为根据所述法向量和所述法线信息确定的反射方向，(θS,βS)为所述虚拟点光源入射方向的球面坐标，反射方向为z轴。
其他可选的具体实施方式中，也可以对每个所述虚拟点光源所发射的光线进行追踪，获取所发射的光线被第二心脏三维图像对应的虚拟心脏漫反射时的漫反射光信息，然后对针对所述多个虚拟点光源的漫反射光信息进行叠加计算。
实施例2
本实施例提供一种基于虚拟现实的心脏出血与止血模型的仿真系统，如图3所示，包括：处理器301和虚拟现实显示设备302；
所述处理器301包括：
获取单元3011，用于在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
预测单元3012，用于根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
光照数据确定单元3013，用于根据所述第二心脏三维图像的数据确定光照数据；
显示控制单元3014，用于根据所述第二心脏三维图像的数据与所述光照数据，控制所述虚拟现实显示设备302显示所述第二心脏三维图像。
本实施例中，在针对虚拟心脏(即心脏三维图像)进行止血模拟操作过程中，实时预测止血模拟操作导致虚拟心脏的方位、形态等的变化，并基于预测到的变化后的虚拟心脏确定光照数据，并在显示变化后的心脏三维图像时附加上确定的光照数据，从而提高心脏三维图像的真实性，并能提高实操的互动性。
可选的，所述预测单元3012包括：
变化确定单元，用于根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，所述作用参数包括作用在虚拟心脏上的作用力的大小、作用力的方向、作用区域的形状、作用区域的尺寸中的至少之一，所述变化数据包括显示方位的变化数据和/或形状的变化数据，所述形状的变化数据包括所述止血模拟操作的作用区域内的形变数据；
变化后的图像确定单元，用于根据所述变化数据以及所述第一心脏三维图像的数据，确定所述第二心脏三维图像的数据。
可选的，所述变化确定单元包括：
神经网络预测单元，用于将所述作用参数输入至预先训练的变化预测模型的第一分支，将所述止血模拟操作在虚拟心脏上的作用位置处的组织结构参数输入至所述变化预测模型的第二分支，其中所述第一分支包括多个长短期记忆网络，所述第二分支包括依次连接的卷积神经网络、批归一化层、展平层和第一全连接层；所述第一分支和所述第二分支的输出通过连接函数连接后与dropout层和第二全连接层连接；
预测结果确定单元，用于根据所述第二全连接层的输出确定所述变化数据。
可选的，所述处理器301，还包括：
传感器数据采集单元，用于获取实体操作手柄上各力传感器采集的数据；
操作参数获取单元，用于根据所述力传感器采集的数据确定所述止血模拟操作的作用力的大小和/或作用力的方向；
其中，所述实体操作手柄为一个或多个，用于模拟实际的止血操作过程中使用的各种操作器械的手柄，止血模拟操作过程中在所述手柄上显示所述操作器械的除所述手柄以外的部分的三维图像。
另外，所述系统还包括所述实体操作手柄以及设置于所述实体操作手柄上的力传感器。
可选的，所述光照数据包括高光数据和漫反射数据；
所述光照数据确定单元3013，包括：
虚拟光照数据获取单元，用于获取在进行所述止血模拟操作过程中使用的虚拟光照数据；
信息获取单元，用于获取所述第二心脏三维图像表面中各单元区域的法线信息和反射率信息，以及各单元区域中各体素表面的法线信息；
高光计算单元，用于根据所述虚拟光照数据，以及各所述单元区域的法线信息和反射率信息，计算各所述单元区域的所述高光数据；
漫反射计算单元，用于根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据；
其中，所述单元区域按照所述第二心脏三维图像表面各体素表面的法线信息划分，每一所述单元区域所包括的体素相邻且法线角度的差值小于预设值。
可选的，所述高光计算单元包括：
第一虚拟点光源等效获取单元，用于获取所述虚拟光照数据对应的多个虚拟点光源的数据；
相对位置关系确定单元，用于确定每一所述虚拟点光源与所述单元区域之间的相对位置关系；
第一反射光确定单元，用于根据所述相对位置关系和所述虚拟点光源的光照强度，以及所述法线信息和所述反射率信息，确定所述单元区域针对每一所述虚拟点光源的反射光信息；
第一叠加计算单元，用于对所述单元区域针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述单元区域的所述高光数据。
可选的，所述漫反射计算单元包括：
第二虚拟点光源等效获取单元，用于获取所述虚拟光照数据对应的多个虚拟点光源的数据；
法向量获取单元，用于获取每一所述虚拟点光源照射至所述单元区域的法向量；
第二反射光确定单元，用于根据所述体素表面的法线信息、所述反射率信息以及所述法向量，确定所述体素表面针对每一所述虚拟点光源的反射光信息；
第二叠加计算单元，用于对所述体素表面针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述体素表面的反射光信息；
漫反射数据确定单元，用于根据各所述体素表面的反射光信息确定所述单元区域的漫反射数据。
实施例3
本实施例提供一种基于虚拟现实的心脏出血与止血模型的仿真系统，请参阅图4，所述仿真系统400包括：
一个或多个处理器401；
存储装置402，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器401执行时，使得所述一个或多个处理器401实现上述任一种基于虚拟现实的心脏出血与止血模型的仿真方法。
实施例4
本实施例提供一种存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现上述实施例1中的任一种基于虚拟现实的心脏出血与止血模型的仿真方法。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于虚拟现实的心脏出血与止血模型的仿真方法，其特征在于，包括以下步骤：
在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
根据所述第二心脏三维图像的数据确定光照数据；
根据所述第二心脏三维图像的数据与所述光照数据显示所述第二心脏三维图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据，包括：
根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，所述作用参数包括作用在虚拟心脏上的作用力的大小、作用力的方向、作用区域的形状、作用区域的尺寸中的至少之一，所述变化数据包括显示方位的变化数据和/或形状的变化数据，所述形状的变化数据包括所述止血模拟操作的作用区域内的形变数据；
根据所述变化数据以及所述第一心脏三维图像的数据，确定所述第二心脏三维图像的数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据，包括：
将所述作用参数输入至预先训练的变化预测模型的第一分支，将所述止血模拟操作在虚拟心脏上的作用位置处的组织结构参数输入至所述变化预测模型的第二分支，其中所述第一分支包括多个长短期记忆网络，所述第二分支包括依次连接的卷积神经网络、批归一化层、展平层和第一全连接层；所述第一分支和所述第二分支的输出通过连接函数连接后与dropout层和第二全连接层连接；
根据所述第二全连接层的输出确定所述变化数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述止血模拟操作的作用参数，确定心脏三维图像的变化数据之前，还包括：
获取实体操作手柄上各力传感器采集的数据；
根据所述力传感器采集的数据确定所述止血模拟操作的作用力的大小和/或作用力的方向；
其中，所述实体操作手柄为一个或多个，用于模拟实际的止血操作过程中使用的各种操作器械的手柄，止血模拟操作过程中在所述手柄上显示所述操作器械的除所述手柄以外的部分的三维图像。
5.根据权利要求1所述的方法，其特征在于，所述光照数据包括高光数据和漫反射数据；
所述根据所述第二心脏三维图像的数据确定光照数据，包括：
获取在进行所述止血模拟操作过程中使用的虚拟光照数据；
获取所述第二心脏三维图像表面中各单元区域的法线信息和反射率信息，以及各单元区域中各体素表面的法线信息；
根据所述虚拟光照数据，以及各所述单元区域的法线信息和反射率信息，计算各所述单元区域的所述高光数据；
根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据；
其中，所述单元区域按照所述第二心脏三维图像表面各体素表面的法线信息划分，每一所述单元区域所包括的体素相邻且法线角度的差值小于预设值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述虚拟光照数据，以及各所述单元区域的法线信息和/或反射率信息，计算各所述单元区域的所述高光数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
确定每一所述虚拟点光源与所述单元区域之间的相对位置关系；
根据所述相对位置关系和所述虚拟点光源的光照强度，以及所述法线信息和所述反射率信息，确定所述单元区域针对每一所述虚拟点光源的反射光信息；
对所述单元区域针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述单元区域的所述高光数据。
7.根据权利要求5所述的方法，其特征在于，所述根据所述虚拟光照数据，以及各所述体素表面的法线信息和所述反射率信息计算各所述单元区域的所述漫反射数据，包括：
获取所述虚拟光照数据对应的多个虚拟点光源的数据；
获取每一所述虚拟点光源照射至所述单元区域的法向量；
根据所述体素表面的法线信息、所述反射率信息以及所述法向量，确定所述体素表面针对每一所述虚拟点光源的反射光信息；
对所述体素表面针对每一所述虚拟点光源的反射光信息进行叠加计算，得到各所述体素表面的反射光信息；
根据各所述体素表面的反射光信息确定所述单元区域的漫反射数据。
8.一种基于虚拟现实的心脏出血与止血模型的仿真系统，其特征在于，包括：处理器和虚拟现实显示设备；
所述处理器包括：
获取单元，用于在针对心脏三维图像中的出血创口进行止血模拟操作过程中，获取当前显示的第一心脏三维图像的数据以及当前的止血模拟操作；
预测单元，用于根据所述第一心脏三维图像的数据和所述止血模拟操作，确定进行所述止血模拟操作之后的第二心脏三维图像的数据；
光照数据确定单元，用于根据所述第二心脏三维图像的数据确定光照数据；
显示控制单元，用于根据所述第二心脏三维图像的数据与所述光照数据，控制所述虚拟现实显示设备显示所述第二心脏三维图像。
9.一种基于虚拟现实的心脏出血与止血模型的仿真系统，其特征在于，所述仿真系统包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于虚拟现实的心脏出血与止血模型的仿真方法。
10.一种存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一所述的基于虚拟现实的心脏出血与止血模型的仿真方法。
CN202110972914.4A 2021-08-24 2021-08-24 基于虚拟现实的心脏出血与止血模型的仿真系统和方法 Expired - Fee Related CN113761796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972914.4A CN113761796B (zh) 2021-08-24 2021-08-24 基于虚拟现实的心脏出血与止血模型的仿真系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110972914.4A CN113761796B (zh) 2021-08-24 2021-08-24 基于虚拟现实的心脏出血与止血模型的仿真系统和方法

Publications (2)

Publication Number Publication Date
CN113761796A true CN113761796A (zh) 2021-12-07
CN113761796B CN113761796B (zh) 2023-04-18

Family

ID=78790977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110972914.4A Expired - Fee Related CN113761796B (zh) 2021-08-24 2021-08-24 基于虚拟现实的心脏出血与止血模型的仿真系统和方法

Country Status (1)

Country Link
CN (1) CN113761796B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114642473A (zh) * 2022-03-23 2022-06-21 首都医科大学宣武医院 一种压力监测止血装置
CN115082271A (zh) * 2022-08-23 2022-09-20 广州远程教育中心有限公司 职业教育数字化教学的沉浸式考试防作弊方法及系统
CN117114072A (zh) * 2023-08-31 2023-11-24 四川维思模医疗科技有限公司 一种超声图像用于模拟系统训练应用的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028800A1 (en) * 1995-03-10 1996-09-19 High Techsplanations, Inc. Computer based medical procedure simulation system
CN104599326A (zh) * 2014-12-11 2015-05-06 北京航空航天大学 一种人体心脏的实时逼真绘制方法
CN109859849A (zh) * 2019-03-01 2019-06-07 南昌大学 一种基于分段人工神经网络的软组织穿刺力建模方法
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、系统和存储介质
CN110025376A (zh) * 2019-03-22 2019-07-19 江苏霆升科技有限公司 一种心脏介入手术模拟方法、终端设备及系统
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN111524588A (zh) * 2020-04-28 2020-08-11 苏州立威新谱生物科技有限公司 一种基于虚拟现实的外科手术方法、系统及可读存储介质
CN112566578A (zh) * 2018-06-19 2021-03-26 托尼尔公司 针对骨科外科手术使用虚拟模型或虚拟表示进行的混合现实辅助教学

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028800A1 (en) * 1995-03-10 1996-09-19 High Techsplanations, Inc. Computer based medical procedure simulation system
CN104599326A (zh) * 2014-12-11 2015-05-06 北京航空航天大学 一种人体心脏的实时逼真绘制方法
CN112566578A (zh) * 2018-06-19 2021-03-26 托尼尔公司 针对骨科外科手术使用虚拟模型或虚拟表示进行的混合现实辅助教学
CN109859849A (zh) * 2019-03-01 2019-06-07 南昌大学 一种基于分段人工神经网络的软组织穿刺力建模方法
CN110025376A (zh) * 2019-03-22 2019-07-19 江苏霆升科技有限公司 一种心脏介入手术模拟方法、终端设备及系统
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、系统和存储介质
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN111524588A (zh) * 2020-04-28 2020-08-11 苏州立威新谱生物科技有限公司 一种基于虚拟现实的外科手术方法、系统及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHA PFEIFFER，ET AL: "Learning Soft Tissue Behavior of Organs for Surgical Navigation with Convolutional Neural Networks", 《ARXIV:1904.00722V1》 *
刘波: "虚拟手术中软组织形变研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
杨志伟: "虚拟手术中心脏次表面散射材质绘制方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114642473A (zh) * 2022-03-23 2022-06-21 首都医科大学宣武医院 一种压力监测止血装置
CN115082271A (zh) * 2022-08-23 2022-09-20 广州远程教育中心有限公司 职业教育数字化教学的沉浸式考试防作弊方法及系统
CN115082271B (zh) * 2022-08-23 2022-11-08 广州远程教育中心有限公司 职业教育数字化教学的沉浸式考试防作弊方法及系统
CN117114072A (zh) * 2023-08-31 2023-11-24 四川维思模医疗科技有限公司 一种超声图像用于模拟系统训练应用的方法

Also Published As

Publication number Publication date
CN113761796B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113761796B (zh) 基于虚拟现实的心脏出血与止血模型的仿真系统和方法
JP7405800B2 (ja) 眼画像の収集、選択および組み合わせ
Sagar et al. A virtual environment and model of the eye for surgical simulation
CN107822690B (zh) 具有不用手的控制的混合图像/场景再现器
CN108875524A (zh) 视线估计方法、装置、系统和存储介质
US20140071165A1 (en) Mixed reality simulation methods and systems
CN105264459A (zh) 用于模拟外科手术的触觉增强和虚拟现实系统
CN109410337A (zh) 一种基于vr模型的人工智能医疗系统实现方法、系统
CN104599326B (zh) 一种人体心脏的实时逼真绘制方法
CN110502097A (zh) 虚拟现实中的运动控制门户
KR101929656B1 (ko) 대상물의 다감각연계 표현을 위한 방법 및 표현 시스템
Rasool et al. Image-driven virtual simulation of arthroscopy
Santhanam et al. Modeling real-time 3-D lung deformations for medical visualization
Pepe et al. Pattern recognition and mixed reality for computer-aided maxillofacial surgery and oncological assessment
Behrendt et al. Combining Pseudo Chroma Depth Enhancement and Parameter Mapping for Vascular Surface Models.
JP7543299B2 (ja) 視覚タスクのための視覚機器の性能を評価するデバイス及び方法
Hibbard Virtual reality for vision science
CN110443872B (zh) 一种具备动态纹理细节的表情合成方法
CN115804652A (zh) 手术操作系统及方法
Wagner et al. Intraocular surgery on a virtual eye
Batmaz et al. Effects of image size and structural complexity on time and precision of hand movements in head mounted virtual reality
Tercero et al. Catheter insertion reference trajectory construction method using photoelastic stress analysis for quantification of respect for tissue during endovascular surgery simulation
Santhanam et al. Simulating 3-D lung dynamics using a programmable graphics processing unit
JP7241702B2 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
Robb The virtualization of medicine: a decade of pitfalls and progress

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230418