CN115019877B - 生物组织模型的建模及更新方法、装置及存储介质 - Google Patents

生物组织模型的建模及更新方法、装置及存储介质 Download PDF

Info

Publication number
CN115019877B
CN115019877B CN202210935635.5A CN202210935635A CN115019877B CN 115019877 B CN115019877 B CN 115019877B CN 202210935635 A CN202210935635 A CN 202210935635A CN 115019877 B CN115019877 B CN 115019877B
Authority
CN
China
Prior art keywords
nodes
biological tissue
updating
grid
modeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210935635.5A
Other languages
English (en)
Other versions
CN115019877A (zh
Inventor
马志强
周彦冰
周来
吴东苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huamo Technology Co ltd
Original Assignee
Shanghai Huamo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huamo Technology Co ltd filed Critical Shanghai Huamo Technology Co ltd
Priority to CN202210935635.5A priority Critical patent/CN115019877B/zh
Publication of CN115019877A publication Critical patent/CN115019877A/zh
Application granted granted Critical
Publication of CN115019877B publication Critical patent/CN115019877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks

Abstract

本发明提供了生物组织模型的建模及更新方法、装置及存储介质。所述生物组织模型的建模方法包括以下步骤:根据力感更新频率确定第一节点数量,并根据所述生物组织的解剖数据,构建包含所述第一节点数量的第一节点的体网格;根据各所述第一节点的空间位置,确定位于显示平面的多个公共节点,以构建所述显示平面的粗糙面网格;以及根据视景更新频率确定第二节点数量,并对所述粗糙面网格进行密化处理,以构建包含所述第二节点数量的第二节点的精细面网格。

Description

生物组织模型的建模及更新方法、装置及存储介质
技术领域
本发明涉及手术模拟技术,尤其涉及一种生物组织模型的建模方法、一种生物组织模型的更新方法、一种生物组织模型的建模装置、一种生物组织模型的更新装置,以及两种计算机可读存储介质。
背景技术
虚拟眼科手术系统是通过计算机图形学、生物力学、人工智能、机器人与机械电子等多学科建立一个具有真实感、沉浸感的交互式手术环境,为眼科临床医生提供一个集术前计划、术中模拟和术后结果预测的交互培训平台。虚拟眼科手术系统涉及的技术体系包括眼部软组织建模、力反馈建模与跟踪、实时仿真算法、图形渲染等。系统根据人体眼球组织的物理特征和生物特征建立精确的三维仿真模型,再根据操作人员通过操纵物理界面与计算机生成的虚拟临床环境互动,模拟在外力作用下人体组织的各种变化。
高逼真度的虚拟眼科手术系统需要满足至少30Hz的视景更新和至少500Hz的力感更新频率。然而,眼科手术过程涉及诸如切割、缝合、撕裂等几何拓扑更改的非连续性操作,又包括刀具移动速度、位置、切割角度等手术特征参数。以超声乳化白内障手术为代表的眼科手术,其力感进一步具有10 mN量级的微力感知特点。此外,大部分眼科软组织力学性能具有不均匀性、非线性、各向异性、超弹性以及粘弹性等特征,为软组织实时变形以及生物特性仿真建模带来了困难。若采用现有的无网格方法为基础建立眼组织解剖模型,则难以满足模拟力感精度要求。反之,若采用基于网格的眼组织模型来处理诸如切割等手术过程,则需要动态更改模型网格的连接拓扑结构,从而消耗更多计算资源,并产生明显的力感迟滞效应,因而难以满足力感刷新频率的要求。
为了克服现有技术存在的上述缺陷,本领域亟需一种生物组织模型的建模及更新技术,通过对生物组织的物理模型及视景模型的解耦来实现力感反馈和视觉反馈的非同步更新,从而充分利用有限的计算资源来兼顾生物组织模型的力感反馈实时性和视觉显示精度。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
为了克服现有技术存在的上述缺陷,本发明提供了一种生物组织模型的建模方法、一种生物组织模型的更新方法、一种生物组织模型的建模装置、一种生物组织模型的更新装置,以及两种计算机可读存储介质。通过对生物组织的物理模型及视景模型的解耦,本发明能够实现力感反馈和视觉反馈的非同步更新,从而充分利用有限的计算资源来兼顾生物组织模型的力感反馈实时性和视觉显示精度。
具体来说,根据本发明的第一方面提供的上述生物组织模型的建模方法包括以下步骤:根据力感更新频率确定第一节点数量,并根据所述生物组织的解剖数据,构建包含所述第一节点数量的第一节点的体网格;根据各所述第一节点的空间位置,确定位于显示平面的多个公共节点,以构建所述显示平面的粗糙面网格;以及根据视景更新频率确定第二节点数量,并对所述粗糙面网格进行密化处理,以构建包含所述第二节点数量的第二节点的精细面网格。
进一步地,在本发明的一些实施例中,在根据力感更新频率确定第一节点数量,和/或根据视景更新频率确定第二节点数量之前,所述建模方法还包括以下步骤:根据人体的触觉分辨能力及系统的数据处理能力,确定所述力感更新频率,其中,所述力感更新频率选自500~1000Hz;和/或根据人眼的视觉分辨能力及系统的数据处理能力,确定所述视景更新频率,其中,所述视景更新频率选自30~120Hz。
进一步地,在本发明的一些实施例中,所述根据所述生物组织的解剖数据,构建包含所述第一节点数量的第一节点的体网格的步骤包括:基于分布位置,将所述生物组织划分为多个分区;根据各所述分区的分布位置进行三维重建,以获得所述生物组织的表面几何模型;将所述表面几何模型离散成多个质量点及多条网格边组成的网格数据;根据所述第一节点数量,对离散的网格数据进行网格清理;获取所述生物组织的解剖数据,以确定各所述分区的生物力学参数;以及将所述生物力学参数添加到各所述分区的质量点及网格边,以构建基于所述第一节点数量的第一节点的体网格。
进一步地,在本发明的一些实施例中,所述生物组织包括眼球。所述眼球包括外层、中层及内层。所述外层包括角膜及巩膜,所述中层包括虹膜、睫状体及脉络膜,所述内层包括视网膜及脉络膜。此外,所述解剖数据包括各所述分区的弹力与形变量之间的不均匀性关系、非线性关系、各向异性数据、超弹性参数和/或粘弹性参数。此外,所述生物力学参数包括各所述分区的弹性系数、阻尼系数、质量、密度和/或破裂极限阈值。
进一步地,在本发明的一些实施例中,在获取所述生物组织的解剖数据,以确定各所述分区的生物力学参数之前,所述建模方法还包括以下步骤:对所述生物组织的各所述分区进行单向拉伸、整体膨胀和/或超声剪切成像的结构试验,以获取所述生物组织的所述解剖数据。
进一步地,在本发明的一些实施例中,所述将所述生物力学参数添加到各所述分区的质量点及网格边,以构建基于所述第一节点数量的第一节点的体网格的步骤包括:根据各所述分区的质量和/或密度,设置位于所述分区的各所述质量点的属性;以及根据各所述分区的弹性系数、阻尼系数和/或破裂极限阈值,设置位于所述分区的各所述网格边的属性。
进一步地,在本发明的一些实施例中,在生成包含所述第二节点数量的第二节点的精细面网格之后,所述建模方法还包括以下步骤:采用多种颜色和/或多种光照的渲染参数对所述精细面网格的各所述分区进行渲染,以体现各所述分区的形态,并体现各所述分区之间的层次关系。
此外,根据本发明的第二方面提供的上述生物组织模型的更新方法包括以下步骤:获取虚拟手术器械的位姿数据,以进行所述生物组织模型与所述虚拟手术器械的碰撞处理;基于所述碰撞处理的结果,根据预设的力感更新频率,更新所述生物组织模型的体网格中多个第一节点的位置及生物力学参数,其中,所述第一节点的数量是根据所述力感更新频率确定,所述多个第一节点中包含位于显示平面的多个公共节点;将各所述公共节点的更新位置同步映射到所述生物组织模型的精细面网格,其中,所述精细面网格位于所述显示平面,其中包括多个第二节点,所述第二节点的数量是根据预设的视景更新频率确定,其中包含所述多个公共节点;以及根据各所述公共节点的更新位置,以所述视景更新频率更新所述精细面网格中各所述第二节点的位置,并重新渲染所述精细面网格。
此外,根据本发明的第三方面提供的上述生物组织模型的建模装置包括存储器及处理器。所述处理器连接所述存储器,并被配置用于实施本发明的第一方面提供的上述生物组织模型的建模方法。
此外,根据本发明的第四方面提供的上述生物组织模型的更新装置包括存储器及处理器。所述处理器连接所述存储器,并被配置用于实施本发明的第二方面提供的上述生物组织模型的更新方法。
此外,根据本发明的第五方面提供的上述计算机可读存储介质,其上存储有计算机指令。所述计算机指令被处理器执行时,实施本发明的第一方面提供的上述生物组织模型的建模方法。
此外,根据本发明的第六方面提供的上述计算机可读存储介质,其上存储有计算机指令。所述计算机指令被处理器执行时,实施本发明的第二方面提供的上述生物组织模型的更新方法。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的上述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了根据本发明的一些实施例提供的生物组织模型的处理方法的流程示意图。
图2示出了根据本发明的一些实施例提供的体网格与精细面网格的节点自由度映射的示意图。
图3示出了根据本发明的一些实施例提供的体网格的架构示意图。
图4示出了根据本发明的一些实施例提供的生物组织模型的更新方法的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍,但这并不代表此发明的特征仅限于该实施方式。恰恰相反,结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解,以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外,为了避免混乱或模糊本发明的重点,有些具体细节将在描述中被省略。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
能理解的是,虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分,这些组件、区域、层和/或部分不应被这些用语限定,且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此,以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。
如上所述,高逼真度的虚拟眼科手术系统需要满足至少30Hz的视景更新和至少500Hz的力感更新频率。然而,眼科手术过程涉及诸如切割、缝合、撕裂等几何拓扑更改的非连续性操作,又包括刀具移动速度、位置、切割角度等手术特征参数。以超声乳化白内障手术为代表的眼科手术,其力感进一步具有10 mN量级的微力感知特点。此外,大部分眼科软组织力学性能具有不均匀性、非线性、各向异性、超弹性以及粘弹性等特征,为软组织实时变形以及生物特性仿真建模带来了困难。若采用现有的无网格方法为基础建立眼组织解剖模型,则难以满足模拟力感精度要求。反之,若采用基于网格的眼组织模型来处理诸如切割等手术过程,则需要动态更改模型网格的连接拓扑结构,从而消耗更多计算资源,并产生明显的力感迟滞效应,因而难以满足力感刷新频率的要求。
为了克服现有技术存在的上述缺陷,本发明提供了一种生物组织模型的建模方法、一种生物组织模型的更新方法、一种生物组织模型的建模装置、一种生物组织模型的更新装置,以及两种计算机可读存储介质。通过对生物组织的物理模型及视景模型的解耦,本发明能够实现力感反馈和视觉反馈的非同步更新,从而充分利用有限的计算资源来兼顾生物组织模型的力感反馈实时性和视觉显示精度。
在一些非限制性的实施例中,本发明的第一方面提供的上述生物组织模型的建模方法,可以由本发明的第三方面提供的上述生物组织模型的建模装置来实施。具体来说,该建模装置中配置有第一存储器及第一处理器。该第一存储器包括但不限于本发明的第五方面提供的上述计算机可读存储介质,其上存储有计算机指令。该第一处理器连接该第一存储器,被配置用于执行该第一存储器上存储的计算机指令,以实施本发明的第一方面提供的上述生物组织模型的建模方法。
以下将结合一些建模方法的实施例来描述上述建模装置的工作原理。本领域的技术人员可以理解,这些建模方法只是本发明提供的一些非限制性的实施方式,旨在清楚地展示本发明的主要构思,并提供一些便于公众实施的具体方案,而非用于限制该建模装置的全部功能或全部公众方式。同样地,该建模装置也只是本发明提供的一种非限制性的实施方式,不对这些建模方法中各步骤的执行主体构成限制。
请参考图1,图1示出了根据本发明的一些实施例提供的生物组织模型的处理方法的流程示意图。
在图1所示的实施例中,生物组织模型的建模装置可以首先获取生物组织的分层解剖图像,并根据该分层解剖图像进行三维重建,以获得生物组织的几何可视化模型。
以眼球为例,其可按照解剖位置被分为外层、中层和内层,其中,该外层包括角膜及巩膜,该中层包括虹膜、睫状体及脉络膜,该内层包括视网膜及脉络膜。建模装置可以采用体绘制法,从眼科医学数字解剖图像三维重建出眼球组织几何可视化模型,再借助颜色、光照等渲染参数体现眼球组织的形态和彼此间的层次关系。此时,眼球组织呈现在虚拟环境中最直观的体现是眼部表面的可视化模型。
进一步地,考虑到眼科软组织力学性能具有不均匀性、非线性、各向异性、超弹性以及粘弹性等特征。技术人员还可以通过眼部组织结构单向拉伸、整体膨胀、超声剪切成像等结构试验,获取分区获取角膜、巩膜、晶状体等多个位置的解剖数据,再根据各分区解剖数据确定各分区的弹性系数、阻尼系数、质量、密度和/或破裂极限阈值等生物力学参数。之后,建模装置可以对三维重建的眼球组织几何可视化模型进行离散化处理,并结合各分区的弹性系数、阻尼系数、质量、密度和/或破裂极限阈值等生物力学参数,构建与真实眼球更为接近的生物材料本构方程,从而逼真再现眼球的生物力学特性。
具体请参考图2,图2示出了根据本发明的一些实施例提供的体网格与精细面网格的节点自由度映射的示意图。
如图2所示,在对眼球组织几何可视化模型进行离散化处理的过程中,建模装置可以首先采用三角形网格的形式,将三维重建得到的眼部解剖表面几何模型离散成多组粗糙表面网格数据。之后,建模装置可以根据人体的触觉分辨能力(即触觉响应)及系统的数据处理能力,确定生物组织模型的力感更新频率,再结合该力感更新频率及系统的数据处理能力,确定对应精细程度的第一节点数量。在此,该力感更新频率是指生物组织模型中各节点的生物力学参数的更新频率。为了避免力感迟滞效应,建模装置可以配置较少的第一节点数量,以优先确保力感更新频率至少保持在500Hz左右,或基于高算力系统的强大数据处理能力的支持,将力感更新频率向上升级至500~1000Hz或1000Hz以上。根据系统的数据处理能力及更新频率确定模型节点数量(即精细程度)的具体方案,不涉及本领域的技术改进,在此不做赘述。
在根据力感更新频率确定第一节点数量之后,建模装置可以借助Delaunay四面体剖分方法对离散后的表面网格进行网格清理,以获得包含该第一节点数量的第一节点的网格数据,再将各生物力学参数分别添加到网格数据的各分区的质量点及网格边,构建眼球组织的体网格(即物理模型),以用于手术过程力感的计算更新。
具体请参考图3,图3示出了根据本发明的一些实施例提供的体网格的架构示意图。
如图3所示,基于四面体剖分方法构建的网格数据可以被分为多个四面体单元,其中,每一四面体单元包括四个质量点(即第一节点)f、i、j、n,以及连接各质量点f、i、j、n的网格边。考虑手术仿真的实时性要求,建模装置可以采用质点弹簧系统建立统一的眼部生物软组织仿真模型。具体来说,在构建眼球组织的体网格的过程中,离散后的各网格节点f、 i、j、n可以被离散成质量点,而各网格边可以离散成弹簧单元。建模装置可以根据各分区的质量m i 和/或密度设置位于该分区的各质量点的属性,并根据各分区的弹性系数k i 、阻尼系数c i 和/或破裂极限阈值F th 设置位于该分区的各网格边的属性,从而获得准确表征眼部生物软组织中各分区的生物力学特性的仿真模型。
通过采用包含较少节点数量的粗糙体网格模型来表征眼部生物软组织中各分区的生物力学特性,本发明可以有效降低系统的数据处理负荷,从而提升手术力感的更新实时性。进一步地,通过结合人体的触觉分辨能力及系统的数据处理能力来确定体网格的第一节点数量,本发明提供的上述生物组织模型的建模方法提供了在有限的数据处理能力下,牺牲部分力感精细度而优先保障手术力感的更新实时性的构思。
此外,如图1所示,在构建生物组织模型的过程中,建模装置还可以对三维重建的生物组织的表面几何模型进行精细化的表面渲染,借助局部模型精细化处理来提高视景系统的显示精度。
具体来说,在一些实施例中,建模装置可以首先根据人眼的视觉分辨能力及系统的数据处理能力,确定生物组织模型的视景更新频率。在此,该视景更新频率是指生物组织模型中各节点的位置和/或渲染参数的更新频率。为了优先保障视景系统的画面精度,视景更新频率可以基于人眼的视觉分辨能力(即视觉响应)的下限被设置在30Hz左右,从而通过第二节点数量的最大化来优先保障视景系统的显示精度。进一步地,在一些优选的实施例中,对于数据处理能力更高的系统,建模装置也可以在优先确保第二节点数量满足显示精度的前提下,基于高算力系统的强大数据处理能力的支持,将视景更新频率适当升级至30~120Hz,以提供更精美、细致的视觉反馈,其具体参数在此不做限定。根据系统的数据处理能力及更新频率确定模型节点数量(即精细程度)的具体方案,不涉及本领域的技术改进,在此不做赘述。
在根据视景更新频率确定第二节点数量之后,建模装置可以根据体网格中各第一节点的空间位置确定位于显示平面的多个公共节点,以构建位于显示平面的粗糙面网格,再根据第二节点数量对该粗糙面网格进行密化处理,构建包含第二节点数量的第二节点的精细面网格。之后,建模装置还可以采用多种颜色和/或多种光照的渲染参数对精细面网格的各分区进行渲染,以体现各分区的形态,并体现各分区之间的层次关系,从而实现生物组织模型的高精度显示。
如此,本发明即可根据上述包含第一节点数量的第一节点的体网格,以及上述包含第二节点数量的第二节点的精细面网格,非同步地模拟生物组织的生物力学特性及视觉特性。
请继续参考图1,在完成生物组织模型的建模流程之后,本发明即可根据预设的力感更新频率(例如:500~1000Hz)更新生物组织模型的体网格中多个第一节点的位置及生物力学参数,并根据各公共节点的更新位置,以视景更新频率(例如:30~120Hz)更新精细面网格中各第二节点的位置,并重新渲染精细面网格,从而充分利用有限的计算资源来兼顾生物组织模型的力感反馈实时性和视觉显示精度。
在一些非限制性的实施例中,本发明的第二方面提供的上述生物组织模型的更新方法,可以由本发明的第四方面提供的上述生物组织模型的更新装置来实施。具体来说,该更新装置中配置有第二存储器及第二处理器。该第二存储器包括但不限于本发明的第六方面提供的上述计算机可读存储介质,其上存储有计算机指令。该第二处理器连接该第二存储器,被配置用于执行该第二存储器上存储的计算机指令,以实施本发明的第二方面提供的上述生物组织模型的更新方法。
以下将结合一些更新方法的实施例来描述上述建模装置的工作原理。本领域的技术人员可以理解,这些更新方法只是本发明提供的一些非限制性的实施方式,旨在清楚地展示本发明的主要构思,并提供一些便于公众实施的具体方案,而非用于限制该更新装置的全部功能或全部公众方式。同样地,该更新装置也只是本发明提供的一种非限制性的实施方式,不对这些更新方法中各步骤的执行主体构成限制。
请结合参考图1及图4,图4示出了根据本发明的一些实施例提供的生物组织模型的更新方法的流程示意图。
在图4所示的实施例中,生物组织模型的更新过程可以发生在虚拟手术的模拟过程中,涉及切割、缝合、撕裂等几何拓扑更改的非连续性操作。具体来说,在虚拟手术的模拟过程中,更新装置可以首先获取虚拟手术器械(例如:手术刀)的位姿数据,并根据该位姿数据进行生物组织模型与虚拟手术器械的碰撞处理。在此,该位姿数据包括但不限于刀具移动速度、位置、切割角度等手术特征参数。以超声乳化白内障手术为例,其还需要产生10 mN量级的微力感反馈。
响应于手术刀具与生物组织(例如:眼球组织)交互产生接触力的碰撞处理结果,包含较少数量的第一节点的体网格将率先根据力感更新频率(例如:500~1000Hz)进行各相关弹簧质点(例如:碰撞点及其周围的形变质点)的位移变化,并根据各相关弹簧质点的位移量,分别计算各相关弹簧质点形变所产生的弹力的大小及方向。之后,更新装置可以经由连接的力反馈设备向用户提供相应的反馈力,并按照力感更新频率实时更新体网格中各相关弹簧质点的位置及生物力学参数。
进一步地,针对配置了破裂极限阈值的弹簧单元,更新装置还可以优选地采用连续损伤判断准则来判断眼部组织单元是否达到破裂极限。若判断结果指示眼部组织单元发生破损,则更新装置可以执行网格更新算法,以更新眼球组织网格连接拓扑,并更新眼球组织表面节点模型的连接数据,直到仿真过程结束。
鉴于生物组织模型与虚拟手术器械的碰撞处理、形变量计算及反馈力计算流程,不涉及本发明的技术改进,在此不做赘述。
由于粗糙体网格与精细面网格的公共节点之间存在节点自由度映射的关系,响应于位于显示平面的任意一个或多个公共节点发生位置的变化的结果,更新装置可以从体网格的各第一节点数据中提取公共节点形变量等数据,并将其同步更新到精细面网格的对应第二节点。之后,响应于公共节点的位置参数被更新,更新装置可以采用差值方法分别计算精细面网格中其余各第二节点的更新位置,并重新确定各第二节点的颜色和/或光照等渲染参数,再按照视景更新频率(例如:30~120Hz)对精细面网格中各第二节点的位置及渲染参数进行更新。
综上,通过采用上述实施例所提供的生物组织模型的建模及更新方法,本发明基于较少数量的第一节点来构建表征生物组织中各分区的生物力学特性的粗糙体网格,通过牺牲部分力感精细度来提升体网格的更新频率(例如:500~1000Hz),从而优先保障手术力感反馈的实时性。同时,本发明还基于较多数量的第二节点来构建显示生物组织中各分区视觉细节的精细面网格,通过视景更新频率(例如:30~120Hz)来优先保障生物组织模型的高精度显示。借助这种局部模型精细化的处理方式,本发明通过对粗糙体网格及精细面网格的更新频率的解耦,在有限的硬件计算能力下兼顾了手术力感的反馈实时性和视景系统的显示精度,从而同时满足了虚拟仿真手术系统对于反馈实时性与显示精度的需求。进一步地,通过经由显示平面上的多个公共节点的节点自由度映射来进行粗糙体网格与精细面网格之间的联动,本发明提供的上述生物组织模型还优选地实现了更新数据的复用,从而进一步消除了采用两套独立模型带来的数据冗余,并进一步降低了本发明对硬件计算能力的需求。
尽管为使解释简单化将上述方法图示并描述为一系列动作,但是应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将可理解,信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如,以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
尽管上述的实施例所述的建模装置及更新装置可以通过软件与硬件的组合来实现。但是可以理解,该建模装置及更新装置也可单独在软件或硬件中加以实施。对于硬件实施而言,该建模装置及更新装置可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行上述功能的其它电子装置或上述装置的选择组合来加以实施。对软件实施而言,该建模装置及更新装置可通过在通用芯片上运行的诸如程序模块(procedures)和函数模块(functions)等独立的软件模块来加以实施,其中每一个模块执行一个或多个本文中描述的功能和操作。
结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的,且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (12)

1.一种生物组织模型的建模方法,其特征在于,包括以下步骤:
根据预设的力感更新频率确定第一节点数量,并构建包含所述第一节点数量的第一节点的体网格;
根据所述生物组织的解剖数据,确定各所述第一节点的生物力学参数;
根据各所述第一节点的空间位置,确定位于显示平面的多个公共节点,以构建所述显示平面的粗糙面网格;以及
根据预设的视景更新频率确定第二节点数量,并对所述粗糙面网格进行密化处理,以构建包含所述第二节点数量的第二节点的精细面网格。
2.如权利要求1所述的建模方法,其特征在于,在根据力感更新频率确定第一节点数量,和/或根据视景更新频率确定第二节点数量之前,所述建模方法还包括以下步骤:
根据人体的触觉分辨能力及系统的数据处理能力,确定所述力感更新频率,其中,所述力感更新频率选自500~1000Hz;和/或
根据人眼的视觉分辨能力及系统的数据处理能力,确定所述视景更新频率,其中,所述视景更新频率选自30~120Hz。
3.如权利要求1所述的建模方法,其特征在于,所述构建包含所述第一节点数量的第一节点的体网格的步骤包括:基于分布位置,将所述生物组织划分为多个分区;根据各所述分区的分布位置进行三维重建,以获得所述生物组织的表面几何模型;以及将所述表面几何模型离散成多个质量点及多条网格边组成的网格数据,
所述根据所述生物组织的解剖数据,确定各所述第一节点的生物力学参数的步骤包括:根据所述第一节点数量,对离散的网格数据进行网格清理;获取所述生物组织的解剖数据,以确定各所述分区的生物力学参数;以及将所述生物力学参数添加到各所述分区的质量点及网格边,以构建基于所述第一节点数量的第一节点的体网格。
4.如权利要求3所述的建模方法,其特征在于,所述生物组织包括眼球,所述眼球包括外层、中层及内层,其中,
所述外层包括角膜及巩膜,所述中层包括虹膜、睫状体及脉络膜,所述内层包括视网膜及脉络膜,和/或
所述解剖数据包括各所述分区的弹力与形变量之间的不均匀性关系、非线性关系、各向异性数据、超弹性参数和/或粘弹性参数,和/或
所述生物力学参数包括各所述分区的弹性系数、阻尼系数、质量、密度和/或破裂极限阈值。
5.如权利要求4所述的建模方法,其特征在于,在获取所述生物组织的解剖数据,以确定各所述分区的生物力学参数之前,所述建模方法还包括以下步骤:
对所述生物组织的各所述分区进行单向拉伸、整体膨胀和/或超声剪切成像的结构试验,以获取所述生物组织的所述解剖数据。
6.如权利要求4所述的建模方法,其特征在于,所述将所述生物力学参数添加到各所述分区的质量点及网格边,以构建基于所述第一节点数量的第一节点的体网格的步骤包括:
根据各所述分区的质量和/或密度,设置位于所述分区的各所述质量点的属性;以及
根据各所述分区的弹性系数、阻尼系数和/或破裂极限阈值,设置位于所述分区的各所述网格边的属性。
7.如权利要求3所述的建模方法,其特征在于,在生成包含所述第二节点数量的第二节点的精细面网格之后,所述建模方法还包括以下步骤:
采用多种颜色和/或多种光照的渲染参数对所述精细面网格的各所述分区进行渲染,以体现各所述分区的形态,并体现各所述分区之间的层次关系。
8.一种生物组织模型的更新方法,其特征在于,包括以下步骤:
获取虚拟手术器械的位姿数据,以进行所述生物组织模型与所述虚拟手术器械的碰撞处理;
基于所述碰撞处理的结果,根据预设的力感更新频率,更新所述生物组织模型的体网格中多个第一节点的位置及生物力学参数,其中,所述第一节点的数量是根据所述力感更新频率确定,所述多个第一节点中包含位于显示平面的多个公共节点;
将各所述公共节点的更新位置同步映射到所述生物组织模型的精细面网格,其中,所述精细面网格位于所述显示平面,其中包括多个第二节点,所述第二节点的数量是根据预设的视景更新频率确定,其中包含所述多个公共节点;以及
根据各所述公共节点的更新位置,以所述视景更新频率更新所述精细面网格中各所述第二节点的位置,并重新渲染所述精细面网格。
9.一种生物组织模型的建模装置,其特征在于,包括:
存储器;以及
处理器,所述处理器连接所述存储器,并被配置用于实施如权利要求1~7中任一项所述的生物组织模型的建模方法。
10.一种生物组织模型的更新装置,其特征在于,包括:
存储器;以及
处理器,所述处理器连接所述存储器,并被配置用于实施如权利要求8所述的生物组织模型的更新方法。
11.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时,实施如权利要求1~7中任一项所述的生物组织模型的建模方法。
12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时,实施如权利要求8所述的生物组织模型的更新方法。
CN202210935635.5A 2022-08-05 2022-08-05 生物组织模型的建模及更新方法、装置及存储介质 Active CN115019877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210935635.5A CN115019877B (zh) 2022-08-05 2022-08-05 生物组织模型的建模及更新方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210935635.5A CN115019877B (zh) 2022-08-05 2022-08-05 生物组织模型的建模及更新方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115019877A CN115019877A (zh) 2022-09-06
CN115019877B true CN115019877B (zh) 2022-11-04

Family

ID=83065637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210935635.5A Active CN115019877B (zh) 2022-08-05 2022-08-05 生物组织模型的建模及更新方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115019877B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061537A1 (en) * 2002-01-17 2003-07-31 Masachusetts Eye And Ear Infirmary Minimally invasive retinal prosthesis
CN101217009A (zh) * 2008-01-18 2008-07-09 北京航空航天大学 面向手眼协调操作的力觉视觉融合显示平台
JP2010279631A (ja) * 2009-06-08 2010-12-16 Mitsubishi Precision Co Ltd 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
CN102044086A (zh) * 2010-11-30 2011-05-04 华北水利水电学院 一种软组织形变仿真方法
JP2012155152A (ja) * 2011-01-26 2012-08-16 Nagoya Institute Of Technology 仮想脳外科手術シミュレータ
CN104318056A (zh) * 2014-09-24 2015-01-28 北京航空航天大学 基于位置动力学的软组织变形和切割模拟方法
CN104916184A (zh) * 2015-06-16 2015-09-16 中国科学院自动化研究所 一种面向术前培训的虚拟手术模拟训练系统及其训练方法
CN108961907A (zh) * 2018-08-17 2018-12-07 深圳先进技术研究院 虚拟显微眼科手术训练方法和系统
CN109241680A (zh) * 2018-10-30 2019-01-18 南昌航空大学 基于有限元的失重状态下的人眼生物力学模拟方法
CN109273091A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种基于术中数据的经皮肾镜取石虚拟手术系统
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、系统和存储介质
CN110459083A (zh) * 2019-08-22 2019-11-15 北京众绘虚拟现实技术研究院有限公司 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
CN110634572A (zh) * 2019-09-24 2019-12-31 杭州阿特瑞科技有限公司 基于力学方程的血管血流模拟方法及相关装置
US10698493B1 (en) * 2019-06-26 2020-06-30 Fvrvs Limited Virtual reality surgical training systems with advanced haptic feedback
CN111488670A (zh) * 2020-03-05 2020-08-04 天津大学 一种非线性的质点弹簧软组织形变仿真方法
CN111553978A (zh) * 2020-04-28 2020-08-18 上海无线电设备研究所 一种基于三角形网格微元的三维粗糙模型建模方法
CN113643749A (zh) * 2021-07-28 2021-11-12 哈尔滨工业大学 一种网格细胞的模型构建方法及系统
CN114120735A (zh) * 2021-07-28 2022-03-01 上海华模科技有限公司 白内障超声乳化虚拟手术训练系统
CN114117835A (zh) * 2021-07-28 2022-03-01 上海华模科技有限公司 一种眼科手术模拟训练器中的眼球建模方法
CN114241156A (zh) * 2021-12-15 2022-03-25 上海交通大学医学院附属第九人民医院 用于仿真软组织变形的装置、仿真系统
CN114267219A (zh) * 2021-12-15 2022-04-01 上海交通大学医学院附属第九人民医院 虚拟手术仿真装置及仿真系统
CN114332936A (zh) * 2021-12-29 2022-04-12 北京理工大学 虚拟环境下提高紧凑空间手部运动精度的视觉反馈方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003061537A1 (en) * 2002-01-17 2003-07-31 Masachusetts Eye And Ear Infirmary Minimally invasive retinal prosthesis
CN101217009A (zh) * 2008-01-18 2008-07-09 北京航空航天大学 面向手眼协调操作的力觉视觉融合显示平台
JP2010279631A (ja) * 2009-06-08 2010-12-16 Mitsubishi Precision Co Ltd 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
CN102044086A (zh) * 2010-11-30 2011-05-04 华北水利水电学院 一种软组织形变仿真方法
JP2012155152A (ja) * 2011-01-26 2012-08-16 Nagoya Institute Of Technology 仮想脳外科手術シミュレータ
CN104318056A (zh) * 2014-09-24 2015-01-28 北京航空航天大学 基于位置动力学的软组织变形和切割模拟方法
CN104916184A (zh) * 2015-06-16 2015-09-16 中国科学院自动化研究所 一种面向术前培训的虚拟手术模拟训练系统及其训练方法
CN109273091A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种基于术中数据的经皮肾镜取石虚拟手术系统
CN108961907A (zh) * 2018-08-17 2018-12-07 深圳先进技术研究院 虚拟显微眼科手术训练方法和系统
CN109241680A (zh) * 2018-10-30 2019-01-18 南昌航空大学 基于有限元的失重状态下的人眼生物力学模拟方法
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、系统和存储介质
US10698493B1 (en) * 2019-06-26 2020-06-30 Fvrvs Limited Virtual reality surgical training systems with advanced haptic feedback
CN110459083A (zh) * 2019-08-22 2019-11-15 北京众绘虚拟现实技术研究院有限公司 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
CN110634572A (zh) * 2019-09-24 2019-12-31 杭州阿特瑞科技有限公司 基于力学方程的血管血流模拟方法及相关装置
CN111488670A (zh) * 2020-03-05 2020-08-04 天津大学 一种非线性的质点弹簧软组织形变仿真方法
CN111553978A (zh) * 2020-04-28 2020-08-18 上海无线电设备研究所 一种基于三角形网格微元的三维粗糙模型建模方法
CN113643749A (zh) * 2021-07-28 2021-11-12 哈尔滨工业大学 一种网格细胞的模型构建方法及系统
CN114120735A (zh) * 2021-07-28 2022-03-01 上海华模科技有限公司 白内障超声乳化虚拟手术训练系统
CN114117835A (zh) * 2021-07-28 2022-03-01 上海华模科技有限公司 一种眼科手术模拟训练器中的眼球建模方法
CN114241156A (zh) * 2021-12-15 2022-03-25 上海交通大学医学院附属第九人民医院 用于仿真软组织变形的装置、仿真系统
CN114267219A (zh) * 2021-12-15 2022-04-01 上海交通大学医学院附属第九人民医院 虚拟手术仿真装置及仿真系统
CN114332936A (zh) * 2021-12-29 2022-04-12 北京理工大学 虚拟环境下提高紧凑空间手部运动精度的视觉反馈方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel virtual cutting method for deformable objects using high order elements combined with mesh optimization;Monan wang et al.,;《The international journal of medical robotics and computer assisted surgery》;20220517;第1-13页 *
虚拟手术中软组织形变仿真研究综述;郭煜 等;《集成技术》;20130331;第2卷(第2期);第52-61页 *

Also Published As

Publication number Publication date
CN115019877A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US10437339B2 (en) Haptic augmented and virtual reality system for simulation of surgical procedures
US9563266B2 (en) Haptic augmented and virtual reality system for simulation of surgical procedures
Basdogan et al. VR-based simulators for training in minimally invasive surgery
US9330502B2 (en) Mixed reality simulation methods and systems
Malone et al. Simulation in neurosurgery: a review of computer-based simulation environments and their surgical applications
Sagar et al. A virtual environment and model of the eye for surgical simulation
Sinclair et al. Computer-simulated eye surgery: a novel teaching method for residents and practitioners
Pan et al. Graphic and haptic simulation system for virtual laparoscopic rectum surgery
Hansen et al. Modelling of interaction between a spatula and a human brain
Lam et al. Computer-based virtual reality simulator for phacoemulsification cataract surgery training
Al-Khlaifah et al. A survey of modeling approaches for medical simulators
CN114241156A (zh) 用于仿真软组织变形的装置、仿真系统
Downs et al. Multiscale finite element modeling of the lamina cribrosa microarchitecture in the eye
CN115019877B (zh) 生物组织模型的建模及更新方法、装置及存储介质
Camp et al. Virtual reality in medicine and biology
CN114267219B (zh) 虚拟手术仿真装置及仿真系统
Balaniuk et al. Cosmetic breast surgery simulation
JPH11219100A (ja) 医用シミュレータシステム
CN115019591B (zh) 手术模拟方法、装置及存储介质
Lam et al. Virtual simulation of eyeball and extraocular muscle reaction during cataract surgery
Perez et al. Cataract surgery simulator for medical education & finite element/3D human eye model
WO2004081899A1 (en) Method of generating a computer model of a deformable object
Dequidt et al. Vascular neurosurgery simulation with bimanual haptic feedback
Lee et al. Neurosurgery simulation using non-linear finite element modeling and haptic interaction
Turini et al. New techniques for computer-based simulation in surgical training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant