CN110555261A - 心脏运动的数字三生仿真方法及装置 - Google Patents

心脏运动的数字三生仿真方法及装置 Download PDF

Info

Publication number
CN110555261A
CN110555261A CN201910810553.6A CN201910810553A CN110555261A CN 110555261 A CN110555261 A CN 110555261A CN 201910810553 A CN201910810553 A CN 201910810553A CN 110555261 A CN110555261 A CN 110555261A
Authority
CN
China
Prior art keywords
heart
cardiovascular image
dimensional
motion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910810553.6A
Other languages
English (en)
Other versions
CN110555261B (zh
Inventor
马兆远
梁东雪
邱婧
殷小雷
王路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910810553.6A priority Critical patent/CN110555261B/zh
Publication of CN110555261A publication Critical patent/CN110555261A/zh
Application granted granted Critical
Publication of CN110555261B publication Critical patent/CN110555261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种心脏运动的数字三生仿真方法及装置。其中，方法包括：根据心脏的当前帧心血管图像，提取心脏的运动信息；根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。本发明实施例提供的心脏运动的数字三生仿真方法及装置，通过将真实的心脏运动映射到心脏的三维数字模型和三维实体模型上，能实现三维数字模型和三维实体模型对真实的心脏运动的同步仿真。

Description

心脏运动的数字三生仿真方法及装置
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种心脏运动的数字三生仿真方法及装置。
背景技术
医护人员在上岗后，针对真实病人才能逐渐接触临床病例，训练自己的临床技能。医学专业的学生、实习医护人员有时也通过真人来进行操练，但人力资源有限，且很多临床技能的练习并不具体通过真人进行操练的条件。医学模型已成为医护专业学校的有价值的教学设备，学生在学习理论知识的同时，能够将实际操作的技能运用到医学模型上，使得未来医护专业人员在上岗时，是拥有高深的知识与娴熟的临床技能兼并的医护人才。
医学教学模型可以增加医护学生上岗前临床操作经验，设定多种案列设计的医学模型，进行不同临床训练。在模拟中学习训练的学生，能够在模拟人身上进行反复练习，对医学理论转化成临床的过程通过实践来完成，从而减少医疗事故和纠纷在临床实践中的发生。
目前，心脏的教学模型都是一些静态的模型，可以对心脏的形状、结构、血管等进行模拟，但无法对心脏搏动等运动进行仿真。
发明内容
本发明实施例提供一种心脏运动的数字三生仿真方法及装置，用以解决或者至少部分地解决现有技术无法对心脏搏动等运动进行仿真的缺陷。
第一方面，本发明实施例提供一种心脏运动的数字三生仿真方法，包括：
根据心脏的当前帧心血管图像，提取所述心脏的运动信息；
根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据所述运动信息，控制所述心脏的三维实体模型的运动。
优选地，根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型的具体步骤包括：
根据所述运动信息、所述当前帧心血管图像对应的三维数字模型和动力学仿真方程，获取下一帧心血管图像对应的初步数字模型；
若判断获知第二位移差与第一位移差之差大于预设的第一阈值，或者所述第二位移差与第三位移差之差大于预设的第二阈值，则根据所述下一帧心血管图像和所述心脏的三维实体模型与所述下一帧心血管图像匹配的初步位置，对所述初步数字模型进行校正，获取所述下一帧心血管图像对应的三维数字模型；
其中，所述第一位移差，为所述下一帧心血管图像中所述心脏与所述当前帧心血管图像中所述心脏之间的位移差；所述第二位移差，为所述初步数字模型中所述心脏与所述当前帧心血管图像对应的三维数字模型中所述心脏之间的位移差；所述第三位移差，为所述心脏的三维实体模型与所述下一帧心血管图像匹配的初步位置和与所述当前帧心血管图像匹配的位置之间的位移差。
优选地，根据所述运动信息，控制所述心脏的三维实体模型的运动的具体步骤包括：
根据所述运动信息生成控制指令，根据所述控制指令控制所述心脏的三维实体模型的运动，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的初步位置；
若判断获知所述第三位移差与所述第一位移差之差大于预设的第三阈值，或者所述第三位移差与第二位移差之差大于所述第二阈值，则根据所述下一帧心血管图像和所述初步数字模型，对所述控制指令和所述初步位置进行校正，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的位置。
优选地，所述获取下一帧心血管图像对应的初步数字模型之后还包括：
若判断获知所述第二位移差与所述第一位移差之差小于预设的第一阈值，并且所述第二位移差与所述第三位移差之差小于预设的第二阈值，则将所述初步数字模型作为所述下一帧心血管图像对应的三维数字模型。
优选地，根据所述控制指令控制所述心脏的三维实体模型的运动，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的初步位置之后还包括：
若判断获知所述第三位移差与所述第一位移差之差小于预设的第三阈值，并且所述第三位移差与第二位移差之差小于所述第二阈值，则将所述初步位置作为所述心脏的三维实体模型与所述下一帧心血管图像匹配的位置。
优选地，所述根据心脏的当前帧心血管图像，提取所述心脏的运动信息之前还包括：
将所述心脏的心血管图像序列输入至三维重建模型，获取所述心脏的原始三维数字模型；
根据所述原始三维数字模型进行3D打印，获取所述心脏的三维实体模型；
其中，所述三维重建模型，是基于样本心血管图像序列和人工智能算法进行训练后获得的。
优选地，所述根据心脏的当前帧心血管图像，提取所述心脏的运动信息的具体步骤包括：
将所述当前帧心血管图像输入至运动信息检测模型，输出所述心脏的运动信息；
其中，所述运动信息检测模型是基于所述样本心血管图像序列进行训练后获得的。
第二方面，本发明实施例提供一种心脏运动的数字三生仿真装置，包括：
提取模块，用于根据心脏的当前帧心血管图像，提取所述心脏的运动信息；
映射模块，用于根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据所述运动信息，控制所述心脏的三维实体模型的运动。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，执行所述程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的心脏运动的数字三生仿真方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的心脏运动的数字三生仿真方法的步骤。
本发明实施例提供的心脏运动的数字三生仿真方法及装置，通过将真实的心脏运动映射到心脏的三维数字模型和三维实体模型上，能实现三维数字模型和三维实体模型对真实的心脏运动的同步仿真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的心脏运动的数字三生仿真方法的流程示意图；
图2为根据本发明实施例提供的心脏运动的数字三生仿真系统的结构示意图；
图3为根据本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了克服现有技术的上述问题，本发明实施例提供一种心脏运动的数字三生仿真方法及装置，其发明构思是，根据反映真实心脏运动的心血管图像，提取出心脏的运动信息，将心脏的运动信息映射到心脏的三维数字模型和三维实体模型上，使得心脏的三维数字模型和三维实体模型对心脏运动进行仿真，实现现实、数字模型和实体模型三者的同步。
图1为根据本发明实施例提供的心脏运动的数字三生仿真方法的流程示意图。如图1所示，该方法包括：步骤S101、根据心脏的当前帧心血管图像，提取心脏的运动信息。
具体地，心脏的运动信息，指用于描述微小变化和局部功能改变的运动参数。运动参数在描述心肌局部运动和力学特征上非常敏感。
正常情况下，心脏总是处于运动状态，进行规律的搏动(收缩和舒张)。
心脏的运动信息，可以至少包括心肌受力。根据心肌受力，可以获得心壁各点的运动状况。
利用通常的任一种基于图像的心脏运动参数估算方法，可以根据心脏的当前帧心血管图像，提取出当前帧心血管图像中心脏的运动信息。本发明实施例对基于图像的心脏运动参数估算方法不作具体限制。
可以理解的是，当前帧心血管图像，为心血管图像序列中的一帧。
心血管图像，可以为通过至少一种针对心脏的医学影像采集方法获得的二维图像，例如B超图像、心电图、血管造影图像、磁共振(Magnetic Resonance Imaging，MRI)图像、电子计算机断层扫描(Computed Tomography，CT)图像和单光子发射计算机断层成像(Single-Photon Emission Computed Tomography，SPECT)图像。
步骤S102、根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。
需要说明的是，步骤S102之前，根据心脏的心血管图像序列，可以采用通常的任一种心脏建模方法，建立心脏的静态的三维数字模型。静态的三维数字模型，用于反映心脏的形状、结构和包括的血管等静态参数。
将静态的三维数字模型，作为第一帧心血管图像对应的三维数字模型。
对于当前帧心血管图像对应的三维数字模型，将根据当前帧心血管图像提取的运动信息映射到该三维数字模型上，使得该三维数字模型在数字空间中发生运动，获得下一帧心血管图像对应的三维数字模型，实现在数字空间中的三维数字模型与现实心血管图像的同步。
通过对心血管图像序列进行上述处理过程，可以实现在数字空间中对心脏运动进行仿真，即数字空间中的三维数字模型随着心跳频率的仿真运动，与心脏的心血管图像序列反映的真实心脏运动一致。
需要说明的是，将当前帧心血管图像提取的运动信息映射到该三维数字模型上的过程中，除了根据运动信息之外，还可以利用将运动信息映射到心脏的三维实体模型上的过程中产生的数据，使得三维数字模型的仿真运动与真实心脏运动之前的误差更小。
需要说明的是，三维实体模型是根据心脏的静态的三维数字模型，预先制作的心脏的实体模型。
三维实体模型可以是用软性材料制作的。例如，可以采用Flexible、Agilus30或者医疗级别的硅胶等。
三维实体模型的内部包括若干个气囊，作为三维实体模型的动力源。通过控制指令对气囊的充放气进行控制，气囊的充放气可以对三维实体模型产生驱动作用，使得三维实体模型的运动可以模拟心脏的搏动。
若干个，指一个或多个。
三维实体模型的运动，包括三维实体模型整体的位移和三维实体模型中各局部的位移。
根据运动信息，控制上述三维实体模型内部的每个气囊充气或放气，将运动信息映射到该三维实体模型上，实现三维实体模型在控制下发生运动，实现三维实体模型与现实心血管图像的同步。
通过对心血管图像序列进行上述处理过程，可以实现对心脏运动进行仿真，即三维实体模型随着心跳频率的仿真运动，与心脏的心血管图像序列反映的真实心脏运动一致。
需要说明的是，将当前帧心血管图像提取的运动信息映射到该三维实体模型上的过程中，除了根据运动信息之外，还可以利用将运动信息映射到心脏的三维数字模型上的过程中产生的数据，使得三维实体模型的仿真运动与真实心脏运动之前的误差更小，与三维数字模型的仿真运动之间的误差也更小。
心脏运动的数字三生，指将心脏的各种静态和动态属性映射到虚拟空间(数字空间)中和实体模型中，形成可拆解、可复制、可转移、可修改、可删除、可重复操作的数字镜像和实体模型。
心脏运动的数字三生包括三组共生：心脏的心血管图像与三维数字模型的共生、心血管图像与三维实体模型的共生，及三维数字模型与三维实体模型的共生。
需要说明的是，本发明实施例提供的心脏运动的数字三生仿真方法，可以被用于与心脏有关的医学教学活动中，但不被用于心脏疾病的诊断和治疗活动中。通过本发明实施例提供的心脏运动的数字三生仿真方法，可以从数字模型和实体模型两方面演示心脏运动，医学、生物等相关专业的学生及需培训的医护人员等，可以从数字模型和实体模型两方面对基于心血管图像的诊断结果和解释进行印证，从而能提高教学的效果和效率。
本发明实施例通过将真实的心脏运动映射到心脏的三维数字模型和三维实体模型上，能实现三维数字模型和三维实体模型对真实的心脏运动的同步仿真。
基于上述各实施例的内容，根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型的具体步骤包括：根据运动信息、当前帧心血管图像对应的三维数字模型和动力学仿真方程，获取下一帧心血管图像对应的初步数字模型。
具体地，对于心脏的任一点O，点O在第i帧心血管图像中对应为点Ai，点O在第i帧心血管图像对应的三维数字模型中对应为点Bi，Fi为提取出的点Ai处的运动信息(作用力)。其中，i为正整数，其取值范围为1-n，n表示心血管图像序列中图像的总数。
可以通过动力学仿真方程模拟将Fi作用到点Bi的过程，通过该动力学仿真方程、Fi和Bi，可以计算出点O在第i+1帧心血管图像对应的三维数字模型中对应为点Bi+1。
需要说明的是，动力学仿真方程可以利用通常的动力学分析方法构建获得。
通过计算出心脏的每一点第i+1帧心血管图像对应的三维数字模型中对应的点，可以获得由心脏中的每一点第i+1帧心血管图像对应的三维数字模型中对应的点构成的三维数字模型，作为第i+1帧心血管图像对应的初步数字模型。
若判断获知第二位移差与第一位移差之差大于预设的第一阈值，或者第二位移差与第三位移差之差大于预设的第二阈值，则根据下一帧心血管图像和心脏的三维实体模型与下一帧心血管图像匹配的初步位置，对初步数字模型进行校正，获取下一帧心血管图像对应的三维数字模型。
其中，第一位移差，为下一帧心血管图像中心脏与当前帧心血管图像中心脏之间的位移差；第二位移差，为初步数字模型中心脏与当前帧心血管图像对应的三维数字模型中心脏之间的位移差；第三位移差，为心脏的三维实体模型与下一帧心血管图像匹配的初步位置和与当前帧心血管图像匹配的位置之间的位移差。
具体地，用Bi、Bi+1分别表示点Bi、Bi+1的坐标，点O的第二位移差X2＝Bi+1-Bi。
需要说明的是，第一位移差、第二位移差和第三位移差，均包括心脏每一点的第一位移差、第二位移差和第三位移差。
用Ai、Ai+1分别表示点Ai、Ai+1的坐标，点O的第一位移差X1＝Ai+1-Ai。点Ai+1为点O在第i+1帧心血管图像中对应为点。
需要说明的是，可以通过帧间预测的方法，确定Ai+1的坐标。
判断X1与X2之差是否大于预设的第一阈值；若是，说明第i+1帧心血管图像对应的初步数字模型的误差较大，需要校正。
第一阈值为极小的正数，无限接近0。
需要说明的是，X1与X2之差，是X1减X2的绝对值。
用Ci、Ci+1分别表示心脏的三维实体模型运动到与第i帧心血管图像匹配的位置时点O的坐标、运动到与第i+1帧心血管图像匹配的初步位置时点O的坐标。点O的第三位移差X3＝Ci+1-Ci。
心脏的三维实体模型与当前帧心血管图像匹配的位置，指心脏的三维实体模型运动到与当前帧心血管图像反映的情况一致时的位置，即心脏的三维实体模型的当前位置。
一致，指转换到同一尺度和坐标系中之后，当前帧心血管图像中心脏各点位置，与心脏的三维实体模型中个点的当前位置之差，小于预设的阈值。
心脏的三维实体模型与下一帧心血管图像匹配的位置，指心脏的三维实体模型运动到与下一帧心血管图像反映的情况一致时的位置，即心脏的三维实体模型的下一位置。心脏的三维实体模型与下一帧心血管图像匹配的初步位置，指心脏的三维实体模型的下一位置的初步计算结果。
判断X2与X3之差是否大于预设的第二阈值；若是，说明第i+1帧心血管图像对应的初步数字模型的误差较大，需要校正。
第二阈值为极小的正数，无限接近0。
需要说明的是，X2与X3之差，是X2减X3的绝对值。
可以利用心脏每一点对应的坐标Ai+1和Ci+1，对第i+1帧心血管图像对应的初步数字模型进行校正，直至心脏各点的X1与X2之差均小于第一阈值，且X2与X3之差均小于第二阈值。
可以理解的是，校正可能需要多次，每一次校正之后，将该次校正的结果作为新的初步数字模型，并针对新的初步数字模型进行X1与X2之差，与X2与X3之差的判断。
通过数字三生的三个部分之间的互相校正，可以使得仿真结果更接近实际的心脏运动。
本发明实施例通过下一帧心血管图像和心脏的三维实体模型与下一帧心血管图像匹配的初步位置，对初步数字模型进行校正，获取下一帧心血管图像对应的三维数字模型，能实现三维数字模型对真实的心脏运动更准确的同步仿真。
基于上述各实施例的内容，根据运动信息，控制心脏的三维实体模型的运动的具体步骤包括：根据运动信息生成控制指令，根据控制指令控制心脏的三维实体模型的运动，使心脏的三维实体模型运动至与下一帧心血管图像匹配的初步位置。
具体地，对于心脏的任一点O，点O在第i帧心血管图像中对应为点Ai，点O在第i帧心血管图像对应的三维数字模型中对应为点Bi，Fi为提取出的点Ai处的运动信息(作用力)。其中，i为正整数，其取值范围为1-n，n表示心血管图像序列中图像的总数。
根据Fi，可以生成对心脏的三维实体模型中各气囊的控制指令。根据该控制指令，每个气囊进行充气或放气。该控制指令还携带了各气囊的充气量和放气量的信息。
心脏的三维实体模型的各点随着各气囊的充放气，位置(坐标)发生变化，模拟心脏的收缩或舒张，使得各点运动至与下一帧心血管图像匹配的初步位置。
可以理解的是，与下一帧心血管图像匹配的初步位置，包括各点的初步的下一位置Ci+1。
若判断获知第三位移差与第一位移差之差大于预设的第三阈值，或者第三位移差与第二位移差之差大于第二阈值，则根据下一帧心血管图像和初步数字模型，对控制指令和初步位置进行校正，使心脏的三维实体模型运动至与下一帧心血管图像匹配的位置。
具体地，任一点O的第三位移差X3，可以通过与心脏的三维实体模型连接的数字传感器获取。
判断X1与X3之差是否大于预设的第三阈值；若是，说明控制指令和初步位置的误差较大，需要校正。
第三阈值为极小的正数，无限接近0。
需要说明的是，X1与X3之差，是X1减X3的绝对值。
判断X2与X3之差是否大于预设的第二阈值；若是，说明控制指令和初步位置的误差较大，需要校正。
可以利用心脏每一点对应的坐标Ai+1和Bi+1，对控制指令和初步位置进行校正，直至心脏各点的X1与X3之差均小于第三阈值，且X2与X3之差均小于第二阈值。
可以理解的是，校正可能需要多次，每一次校正之后，将该次校正的结果作为新的初步位置，并针对新的初步位置进行X1与X3之差，与X2与X3之差的判断。
通过数字三生的三个部分之间的互相校正，可以使得仿真结果更接近实际的心脏运动。
需要说明的是，坐标Ai、Bi和Ci的单位并不统一，在判断X2与X3之差、X1与X2之差、X1与X3之差时，都需要进行单位转换，统一单位。
本发明实施例根据下一帧心血管图像和初步数字模型，对控制指令和初步位置进行校正，使心脏的三维实体模型运动至与下一帧心血管图像匹配的位置，能实现三维实体模型对真实的心脏运动更准确的同步仿真。
基于上述各实施例的内容，获取下一帧心血管图像对应的初步数字模型之后还包括：若判断获知第二位移差与第一位移差之差小于预设的第一阈值，并且第二位移差与第三位移差之差小于预设的第二阈值，则将初步数字模型作为下一帧心血管图像对应的三维数字模型。
具体地，对于每一点O，判断X1与X2之差是否大于预设的第一阈值；
若否，则判断X2与X3之差是否大于预设的第二阈值；
若否，说明第i+1帧心血管图像对应的初步数字模型的误差在可接受的范围内，将初步数字模型作为下一帧心血管图像对应的三维数字模型。
本发明实施例通过将与下一帧心血管图像，与心脏的三维实体模型与下一帧心血管图像匹配的初步位置，均匹配的初步数字模型，作为下一帧心血管图像对应的三维数字模型，能实现三维数字模型对真实的心脏运动更准确的同步仿真。
基于上述各实施例的内容，根据控制指令控制心脏的三维实体模型的运动，使心脏的三维实体模型运动至与下一帧心血管图像匹配的初步位置之后还包括：若判断获知第三位移差与第一位移差之差小于预设的第三阈值，并且第三位移差与第二位移差之差小于第二阈值，则将初步位置作为心脏的三维实体模型与下一帧心血管图像匹配的位置。
具体地，对于每一点O，判断X1与X3之差是否大于预设的第一阈值；
若否，则判断X2与X3之差是否大于预设的第二阈值；
若否，说明初步位置的误差在可接受的范围内，将初步位置作为心脏的三维实体模型与下一帧心血管图像匹配的位置。
本发明实施例通过将与下一帧心血管图像和下一帧心血管图像对应的三维数字模型均匹配的初步位置作为心脏的三维实体模型与下一帧心血管图像匹配的位置，能实现三维实体模型对真实的心脏运动更准确的同步仿真。
基于上述各实施例的内容，根据心脏的当前帧心血管图像，提取心脏的运动信息之前还包括：将心脏的心血管图像序列输入至三维重建模型，获取心脏的原始三维数字模型。
其中，三维重建模型，是基于样本心血管图像序列和人工智能算法进行训练后获得的。
需要说明的是，步骤S101之前，先根据样本心血管图像序列和人工智能算法进行训练，获得三维重建模型。
对心脏的原始医学影像数据进行预处理，获得多个样本心血管图像序列。
对心脏的原始医学影像数据进行预处理的过程可以包括：
由于医疗设备采集到的心脏的原始医学影像数据包含了大量的冗余信息和噪声数据，不能直接使用，可以基于数据挖掘等技术，首先对这些原始数据进行清洗、去冗余；
由于上述原始医学影像数据对比度、亮度等方面存在一定的不足，进行清洗、去冗余之后，还可以通过数字图像处理和图像融合，对影像进行一定的处理操作，来突出心脏中易患病部位的成像信息；
由于很多医疗影像数据中包含了患者的基本个人信息，进行上述操作处理之后，可以利用字符模式识别等技术实现数据脱敏，去掉图像中的患者个人信息。
对于每一样本心血管图像序列，可以利用通常的医学图像后处理方法，获取该序列对应的三维点云数据。
训练三维重建模型时，可以基于深度学习网络等人工智能(ArtificialIntelligence，AI)算法进行训练。
将每一样本心血管图像序列通过通常的心脏模型(如体积模型、表面模型、形变模型或点分布模型等)建立的该样本对应的三维模型，该样本心血管图像序列的标签。
将每一样本心血管图像序列输入三维重建模型，将输出与该样本心血管图像序列的标签进行对比，人工智能算法根据对比结果调整三维重建模型的参数，直至三维重建模型的误差收敛，获得训练好的三维重建模型。
获得训练好的三维重建模型之后，可以将心脏的心血管图像序列输入该训练好的三维重建模型，获得心脏的静态的三维数字模型。该静态的三维数字模型，为心脏的原始三维数字模型。
根据原始三维数字模型进行3D打印，获取心脏的三维实体模型。
具体地，获得心脏的原始三维数字模型之后，可以通过3D打印机进行3D打印，获取实体模型。
实体模型打印成功之后，向该实体模型中添加若干个气囊，获得心脏的三维实体模型。
上述若干个气囊，可以添加在该实体模型中的左右心室之间。
本发明实施例通过人工智能算法构建心脏的三维数字模型，能获得更符合实际情况的三维数字模型，通过3D打印能获得更符合实际情况的三维实体模型。
基于上述各实施例的内容，根据心脏的当前帧心血管图像，提取心脏的运动信息的具体步骤包括：将当前帧心血管图像输入至运动信息检测模型，输出心脏的运动信息。
其中，运动信息检测模型是基于样本心血管图像序列进行训练后获得的。
具体地，获得的多个样本心血管图像序列，还可以用于训练运动信息检测模型。
可以通过通常的深度学习网络等人工智能算法，对运动信息检测模型进行训练，获得训练好的运动信息检测模型。
同一样本心血管图像序列中，当前帧中心脏的运动信息，可以通过下一帧和该帧获取。
获得训练好的运动信息检测模型之后，将心脏的当前帧心血管图像输入该训练好的运动信息检测模型，可以输出当前帧心血管图像中心脏的运动信息。
本发明实施例通过基于人工智能算法构建的运动信息检测模型，能获得的心脏的运动信息更准确，从而能实现更准确的三维数字模型和三维实体模型对真实的心脏运动的同步仿真。
图2为根据本发明实施例提供的心脏运动的数字三生仿真装置的结构示意图。基于上述各实施例的内容，如图2所示，该装置包括提取模块201和映射模块202，其中：
提取模块201，用于根据心脏的当前帧心血管图像，提取心脏的运动信息；
映射模块202，用于根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。
具体地，提取模块201利用通常的任一种基于图像的心脏运动参数估算方法，可以根据心脏的当前帧心血管图像，提取出当前帧心血管图像中心脏的运动信息。
映射模块202将根据当前帧心血管图像提取的运动信息映射到当前帧心血管图像对应的三维数字模型上，使得该三维数字模型在数字空间中发生运动，获得下一帧心血管图像对应的三维数字模型，实现在数字空间中的三维数字模型与现实心血管图像的同步；并根据运动信息，控制心脏的三维实体模型内部的每个气囊充气或放气，将运动信息映射到该三维实体模型上，实现三维实体模型在控制下发生运动，实现三维实体模型与现实心血管图像的同步。
本发明实施例提供的心脏运动的数字三生仿真装置，用于执行本发明上述各实施例提供的心脏运动的数字三生仿真方法，该心脏运动的数字三生仿真装置包括的各模块实现相应功能的具体方法和流程详见上述心脏运动的数字三生仿真方法的实施例，此处不再赘述。
该心脏运动的数字三生仿真装置用于前述各实施例的心脏运动的数字三生仿真方法。因此，在前述各实施例中的心脏运动的数字三生仿真方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例通过将真实的心脏运动映射到心脏的三维数字模型和三维实体模型上，能实现三维数字模型和三维实体模型对真实的心脏运动的同步仿真。
图3为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实施例的内容，如图3所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301上运行的计算机程序指令，以执行上述各方法实施例所提供的心脏运动的数字三生仿真方法，例如包括：根据心脏的当前帧心血管图像，提取心脏的运动信息；根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。
本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的心脏运动的数字三生仿真方法，例如包括：根据心脏的当前帧心血管图像，提取心脏的运动信息；根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明另一实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的心脏运动的数字三生仿真方法，例如包括：根据心脏的当前帧心血管图像，提取心脏的运动信息；根据运动信息和当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据运动信息，控制心脏的三维实体模型的运动。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行上述各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种心脏运动的数字三生仿真方法，其特征在于，包括：
根据心脏的当前帧心血管图像，提取所述心脏的运动信息；
根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据所述运动信息，控制所述心脏的三维实体模型的运动。
2.根据权利要求1所述的心脏运动的数字三生仿真方法，其特征在于，根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型的具体步骤包括：
根据所述运动信息、所述当前帧心血管图像对应的三维数字模型和动力学仿真方程，获取下一帧心血管图像对应的初步数字模型；
若判断获知第二位移差与第一位移差之差大于预设的第一阈值，或者所述第二位移差与第三位移差之差大于预设的第二阈值，则根据所述下一帧心血管图像和所述心脏的三维实体模型与所述下一帧心血管图像匹配的初步位置，对所述初步数字模型进行校正，获取所述下一帧心血管图像对应的三维数字模型；
其中，所述第一位移差，为所述下一帧心血管图像中所述心脏与所述当前帧心血管图像中所述心脏之间的位移差；所述第二位移差，为所述初步数字模型中所述心脏与所述当前帧心血管图像对应的三维数字模型中所述心脏之间的位移差；所述第三位移差，为所述心脏的三维实体模型与所述下一帧心血管图像匹配的初步位置和与所述当前帧心血管图像匹配的位置之间的位移差。
3.根据权利要求2所述的心脏运动的数字三生仿真方法，其特征在于，根据所述运动信息，控制所述心脏的三维实体模型的运动的具体步骤包括：
根据所述运动信息生成控制指令，根据所述控制指令控制所述心脏的三维实体模型的运动，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的初步位置；
若判断获知所述第三位移差与所述第一位移差之差大于预设的第三阈值，或者所述第三位移差与第二位移差之差大于所述第二阈值，则根据所述下一帧心血管图像和所述初步数字模型，对所述控制指令和所述初步位置进行校正，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的位置。
4.根据权利要求2所述的心脏运动的数字三生仿真方法，其特征在于，所述获取下一帧心血管图像对应的初步数字模型之后还包括：
若判断获知所述第二位移差与所述第一位移差之差小于预设的第一阈值，并且所述第二位移差与所述第三位移差之差小于预设的第二阈值，则将所述初步数字模型作为所述下一帧心血管图像对应的三维数字模型。
5.根据权利要求3所述的心脏运动的数字三生仿真方法，其特征在于，根据所述控制指令控制所述心脏的三维实体模型的运动，使所述心脏的三维实体模型运动至与所述下一帧心血管图像匹配的初步位置之后还包括：
若判断获知所述第三位移差与所述第一位移差之差小于预设的第三阈值，并且所述第三位移差与第二位移差之差小于所述第二阈值，则将所述初步位置作为所述心脏的三维实体模型与所述下一帧心血管图像匹配的位置。
6.根据权利要求1至5任一所述的心脏运动的数字三生仿真方法，其特征在于，所述根据心脏的当前帧心血管图像，提取所述心脏的运动信息之前还包括：
将所述心脏的心血管图像序列输入至三维重建模型，获取所述心脏的原始三维数字模型；
根据所述原始三维数字模型进行3D打印，获取所述心脏的三维实体模型；
其中，所述三维重建模型，是基于样本心血管图像序列和人工智能算法进行训练后获得的。
7.根据权利要求6所述的心脏运动的数字三生仿真方法，其特征在于，所述根据心脏的当前帧心血管图像，提取所述心脏的运动信息的具体步骤包括：
将所述当前帧心血管图像输入至运动信息检测模型，输出所述心脏的运动信息；
其中，所述运动信息检测模型是基于所述样本心血管图像序列进行训练后获得的。
8.一种心脏运动的数字三生仿真装置，其特征在于，包括：
提取模块，用于根据心脏的当前帧心血管图像，提取所述心脏的运动信息；
映射模块，用于根据所述运动信息和所述当前帧心血管图像对应的三维数字模型，获取下一帧心血管图像对应的三维数字模型，并根据所述运动信息，控制所述心脏的三维实体模型的运动。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的心脏运动的数字三生仿真方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的心脏运动的数字三生仿真方法的步骤。
CN201910810553.6A 2019-08-29 2019-08-29 心脏运动的数字三生仿真方法及装置 Active CN110555261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910810553.6A CN110555261B (zh) 2019-08-29 2019-08-29 心脏运动的数字三生仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810553.6A CN110555261B (zh) 2019-08-29 2019-08-29 心脏运动的数字三生仿真方法及装置

Publications (2)

Publication Number Publication Date
CN110555261A true CN110555261A (zh) 2019-12-10
CN110555261B CN110555261B (zh) 2021-06-18

Family

ID=68738420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810553.6A Active CN110555261B (zh) 2019-08-29 2019-08-29 心脏运动的数字三生仿真方法及装置

Country Status (1)

Country Link
CN (1) CN110555261B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111755104A (zh) * 2020-05-18 2020-10-09 清华大学 一种心脏状态监测方法、系统、电子设备及存储介质
CN111816313A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于左心室三维模型分析心肌运动的模拟显示方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270513A (zh) * 2010-08-12 2013-08-28 哈特弗罗公司 用于患者特异性血流建模的方法和系统
CN103489360A (zh) * 2012-06-12 2014-01-01 韦伯斯特生物官能(以色列)有限公司 物理心脏模拟器
CN105105775A (zh) * 2011-07-19 2015-12-02 株式会社东芝 心肌运动解析装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270513A (zh) * 2010-08-12 2013-08-28 哈特弗罗公司 用于患者特异性血流建模的方法和系统
US20150201849A1 (en) * 2010-08-12 2015-07-23 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
CN105105775A (zh) * 2011-07-19 2015-12-02 株式会社东芝 心肌运动解析装置
CN103489360A (zh) * 2012-06-12 2014-01-01 韦伯斯特生物官能(以色列)有限公司 物理心脏模拟器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IBRAHIM T.OZBOLAT等: "Application areas of 3D bioprinting", 《DRUG DISCOVERY TODAY》 *
孙正 等: "心血管的运动分析及符号描述", 《中国医学物理学杂志》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111755104A (zh) * 2020-05-18 2020-10-09 清华大学 一种心脏状态监测方法、系统、电子设备及存储介质
CN111755104B (zh) * 2020-05-18 2022-11-01 清华大学 一种心脏状态监测方法、系统、电子设备及存储介质
CN111816313A (zh) * 2020-07-01 2020-10-23 杭州脉流科技有限公司 基于左心室三维模型分析心肌运动的模拟显示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110555261B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
EP3444777A1 (en) Automatic change detection in medical images
US20190051419A1 (en) System and Method for Characterization of Electrical Properties of the Heart from Medical Images and Body Surface Potentials
CN105105775B (zh) 心肌运动解析装置
US9405996B2 (en) Method and system for generating a personalized anatomical heart model
CN107705855B (zh) 一种支持个性化的经皮冠状动脉成形术模拟训练系统及方法
CN103886581B (zh) 利用生物力学模型仿真配准术前和术中图像的系统和方法
Prakosa et al. Generation of synthetic but visually realistic time series of cardiac images combining a biophysical model and clinical images
US11024404B2 (en) System and method for medical image based cardio-embolic stroke risk prediction
CN107067398A (zh) 用于三维医学模型中缺失血管的补全方法及装置
WO2015086368A1 (en) Model-based segmentation of an anatomical structure
CN103229210A (zh) 图像配准装置
CN110555261B (zh) 心脏运动的数字三生仿真方法及装置
CN114173692A (zh) 用于推荐手术程序的参数的系统和方法
CN111814891A (zh) 医学图像合成方法、装置及存储介质
CN111916183B (zh) 动态心血管系统的建模方法、装置、设备及存储介质
Larsen et al. The Virtual Brain Project-development of a neurosurgical simulator
CN110689080B (zh) 一种血管结构影像的平面图谱构建方法
CN116747017A (zh) 脑出血手术规划系统及方法
Smith et al. Automated torso contour extraction from clinical cardiac MR slices for 3D torso reconstruction
CN114596225A (zh) 一种运动伪影模拟方法和系统
US20140032180A1 (en) Method and apparatus for computing deformation of an object
CN111755104B (zh) 一种心脏状态监测方法、系统、电子设备及存储介质
CN117476237B (zh) 一种用于老年人手术的模拟评估系统及方法
JP2019518266A (ja) ヒト又は動物の胴体のための生体力学的モデル生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant