CN110047145B - 基于深度学习和有限元建模的组织变形模拟系统及方法 - Google Patents

基于深度学习和有限元建模的组织变形模拟系统及方法 Download PDF

Info

Publication number
CN110047145B
CN110047145B CN201910299403.3A CN201910299403A CN110047145B CN 110047145 B CN110047145 B CN 110047145B CN 201910299403 A CN201910299403 A CN 201910299403A CN 110047145 B CN110047145 B CN 110047145B
Authority
CN
China
Prior art keywords
finite element
target
dimensional
original
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910299403.3A
Other languages
English (en)
Other versions
CN110047145A (zh
Inventor
李登旺
赵承倩
吴敬红
孔问问
虞刚
陆华
刘丹华
薛洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910299403.3A priority Critical patent/CN110047145B/zh
Publication of CN110047145A publication Critical patent/CN110047145A/zh
Application granted granted Critical
Publication of CN110047145B publication Critical patent/CN110047145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习和有限元建模的组织变形模拟系统及方法，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。该系统包括图像采集装置和处理器；所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型。

Description

基于深度学习和有限元建模的组织变形模拟系统及方法
技术领域
本公开涉及自动定位检测、有限元建模及配准技术领域，具体涉及一种基于深度学习和有限元建模的组织变形模拟系统及方法。
背景技术
随着虚拟现实技术的发展，3D建模技术取得了巨大进步，对于辅助医生准确识别与切除病变组织、避免损伤重要组织器官或功能区、提高手术质量等具有重要临床意义。3D建模技术的成功应用需要选用有效的建模方法和矫正方法。
实施有效的建模，关键步骤之一是生成其网格化模型。网格质量决定了组织变形模拟的精度。基于有限元的建模方法是迄今为止最为有效的数值计算方法之一，能够满足组织的生物力学的属性，并且易于并行处理，但是计算量大。另外，矫正方法的选择也是建模成功的重要一步。矫正方法大致可以分为三类：术中影像矫正、非刚体配准方法与变形图谱方法。发明人在研发过程中发现，术中影像矫正是精确度最高的方法，但缺点是费用昂贵，且容易造成术中感染，大规模的临床推广仍需时日。非刚体配准算法可分为基于数学模型(如B样条模型)和基于物理模型(如线弹性模型与固体理论模型)两种方法。基于物理模型的方法能够通过组织的生物力学属性来约束组织的运动，相对于数学模型来说，能大幅减少计算量。
发明内容
为了克服上述现有技术的不足，本公开提供了一种基于深度学习和有限元建模的组织变形模拟系统及方法，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。
本公开所采用的技术方案是：
一种基于深度学习和有限元建模的组织变形模拟系统，该系统包括图像采集装置和处理器；
所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；
所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型。
作为本公开的进一步技术方案，所述处理器包括：
图像获取模块，用于获取图像采集装置采集的原始图像以及目标图像，并将其格式转换为PNG格式的图像；
感兴趣区域选取模块，用于选取原始图像和目标图像的感兴趣区域；
三维有限元模型构建模块，用于利用三维有限元网格生成器分别建立原始三维有限元模型和目标形变三维有限元模型；
三维配准模块，用于提取原始预配准区域和目标形变预配准区域，并对其进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；
有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取旋转向量和位移向量；
模型模拟模块，用于将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型。
作为本公开的进一步技术方案，所述感兴趣区域选取模块具体用于：
将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸。
作为本公开的进一步技术方案，还包括主成分分析模块，所述主成分分析，用于提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准模块的输入。
作为本公开的进一步技术方案，所述模型模拟模块具体用于：
读取原始三维有限元模型；
将有限元分析模块提取的旋转向量和平移向量作为有限元仿真的约束；
设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。
一种基于深度学习和有限元建模的组织变形模拟方法，该方法包括以下步骤：
获取原始图像和目标图像；
分别选取原始图像和目标图像的感兴趣区域；
建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；
对旋转平移矩阵进行有限元分析，提取有限元特征；
模拟目标形变组织三维模型。
作为本公开的进一步技术方案，所述分别选取原始图像和目标图像的感兴趣区域的步骤包括：
将获取的原始图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到原始预建模的感兴趣区域，并将原始预建模的感兴趣区域进行归一化处理至同一尺寸；
将获取的目标图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到目标预建模的感兴趣区域，并将目标预建模的感兴趣区域进行归一化处理至同一尺寸。
作为本公开的进一步技术方案，所述三维配准的步骤包括：
对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准的输入；
采用基于物理模型的3D-ICP点云配准算法对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。
作为本公开的进一步技术方案，所述有限元特征包括旋转向量和位移向量。
作为本公开的进一步技术方案，所述模拟目标形变组织三维模型的步骤包括：
将所建立的原始三维有限元模型输入仿真器，并将提取的旋转向量和平移向量作为仿真器的约束条件；
设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。
通过上述技术方案，本公开的有益效果是：
(1)本公开利用基于Overfeat的深度学习神经网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度。
(2)本公开利用三维有限元网格生成器，为感兴趣区建立以四面体为单位的有限元模型，同时采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的形变位移场，为有限元仿真建模提供约束条件。
(3)本公开通过NiftySim仿真建模器，为组织变形施加约束条件，实时准确模拟组织变形，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。
图1是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟系统结构框图；
图2是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟方法流程图一；
图3是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟方法流程图二。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供一种基于深度学习和有限元建模的组织变形模拟系统，请参阅附图1，该系统包括图像采集装置、处理器和显示装置。
所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器。
所述处理器，用于利用深度学习神经网络自动选取出原始图像和目标图像的感兴趣区域，将选取的原始图像和目标图像的感兴趣区域输入到三维有限元网格生成器建立原始三维有限元模型和目标形变三维有限元模型，将原始三维有限元模型和目标形变三维有限元模型进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征作为约束条件，最后将原始图像的原始三维有限元模型和约束条件输入NiftySim仿真建模器中，进行形变的仿真模拟，得到目标形变组织三维模型。
所述显示装置，用于显示处理器输出的目标形变组织三维模型。
在本实施例中，所述处理器包括图像获取模块、感兴趣区域选取模块、三维有限元模型构建模块、主成分分析模块、三维配准模块、有限元分析模块和模型模拟模块，其中：
所述图像获取模块，用于获取图像采集装置采集的原始组织的原始图像以及变形组织的目标图像，将DICM格式的原始图像转换成PNG格式的原始图像；将DICM格式的目标图像转换成PNG格式的目标图像。
所述感兴趣区域选取模块，用于将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸。
所述三维有限元模型构建模块，用于将选取的原始预建模的感兴趣区域以及目标预建模的感兴趣区域分别输入三维有限元网格生成器Gmsh，利用三维有限元网格生成器Gmsh分别建立原始三维有限元模型与目标形变有限元模型。
所述主成分分析模块，用于分别对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始预配准区域和目标形变预配准区域。
所述三维配准模块，用于对原始预配准区域和目标形变预配准区域进行三维配准，获取原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。
所述有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取有效的有限元特征，包括旋转向量和位移向量。
所述模型模拟模块，用于将原始图像的原始三维有限元模型输入NifySim仿真建模器，将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型。
本实施例提出的基于深度学习和有限元建模的组织变形模拟系统，通过感兴趣区域选取模块利用Overfeat目标检测网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度；通过三维有限元模型构建模块利用三维有限元网格生成器，为感兴趣区建立以四面体为单位的有限元模型；同时通过三维配准模块采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的旋转平移矩阵，为有限元仿真建模提供约束条件；通过模型模拟模块实时准确模拟组织变形三维模型。本系统利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。
实施例二
本实施例提供一种基于深度学习和有限元建模的组织变形模拟方法,利用目标检测的深度学习网络自动选取出原始图像和目标图像的感兴趣区，将选取的原始图像和目标图像的感兴趣区输入到三维有限元网格生成器建立原始三维有限元模型和目标形变三维有限元模型，将原始图像和目标图像生成的有限元模型进行三维配准，获取形变位移场，对形变位移场进行有限元分析，提取有限元特征作为约束条件，最后将目标图像的有限元模型和约束条件输入NiftySim仿真建模器中，进行形变的仿真模拟，得到组织形变三维模型。
请参阅附图2和附图3，所述基于深度学习和有限元建模的组织变形模拟方法包括以下步骤：
S101，获取未变形组织的原始图像和已变形组织的目标图像。
具体地，所述步骤101中，分别获取原始组织的原始图像以及变形组织的目标图像，并将DICM格式的原始图像转换成PNG格式的原始图像；将DICM格式的目标图像转换成PNG格式的目标图像。
S102，分别选取原始预建模的感兴趣区域以及目标预建模的感兴趣区域。
具体地，所述步骤102中，将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域进行归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域进行归一化处理至同一尺寸。
在本实施例中，采用基于OverFeat的深度学习神经网络作为感兴趣区自动选取网络。OverFeat是一种端到端的自动目标检测网络，它把分类、定位和检测这三大视觉任务整合到一个框架中；OverFeat在ConvNet中有效地实现了多尺度和滑动窗口方法；通过学习预测物体边界，用回归网络代替分类器层来进行定位；通过累加而不是抑制边界框以增加检测置信度。
具体地，所述步骤102中，选取原始预建模的感兴趣区域，其具体实现方式如下：
选取目标组织，生成对应.xml文件作为基于OverFeat的深度学习神经网络的标签；将PNG格式的原始图像作为基于OverFeat的深度学习神经网络的输入，训练深度学习神经网络，并不断调整训练参数以获取最优网络，以获得原始数据集的预建模感兴趣区域。
具体地，所述步骤102中，选取目标预建模的感兴趣区域，其具体实现方式如下：
选取目标组织，生成对应.xml文件作为基于OverFeat的深度学习神经网络的标签；将PNG格式的目标图像作为基于OverFeat的深度学习神经网络的输入，训练深度学习神经网络，并不断调整训练参数以获取最优网络，以获得目标数据集的预建模感兴趣区域。
具体地，所述步骤102中，将感兴趣区域归一化处理至同一尺寸，其具体实现方式如下：
以最大的尺寸为基准，生成一幅同样大小的纯黑图像(所有像素值均为0)。
将目标检测网络获取的感兴趣区域与纯黑图像像素值相加，实现小尺寸感兴趣区域的扩展，实现尺寸归一化。
本实施例利用深度学习神经网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度。
由于预模拟组织在整幅图像的占比较小，本实施例采用目标检测网络准确的选取包含全部预模拟组织的感兴趣区域，一方面很大程度上减小了后续有限元建模、3D配准和形变仿真的计算负担，减少内存空间的占用和时间消耗；另一方面，能有效地避免感兴趣区周围组织对配准的影响，提高配准精度。
S103，分别建立原始三维有限元模型与目标形变有限元模型。
在本实施例中，将选取的原始预建模的感兴趣区域以及目标预建模的感兴趣区域分别输入三维有限元网格生成器Gmsh，利用三维有限元网格生成器Gmsh分别为感兴趣区域建立以四面体为单位的原始三维有限元模型与目标形变有限元模型。
三维有限元网格生成器Gmsh是一个带有内置前后期处理机制的三维有限元网格生成器，其设计的目标是提供一个简单的啮合工具用以处理学术问题，具有参数投入和先进的可视化能力。Gmsh围绕四个单元分别为几何，网格，求解和后处理。
三维有限元网格生成器，有两种运行方式。第一种运行Gmsh的方式是交互式的图形界面方式，只需要在命令行下键入Gmsh就可以。另外一个运行Gmsh的方法是非交互方式，这种方式更加方便。本实施例采用非交互式方式，直接在命令行上加参数运行。
S104，分别对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始预配准的结点集合和目标形变预配准的结点集合。
具体地，提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准的输入。
S105，对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。
具体地，采用基于物理模型的3D-ICP点云配准算法对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。其具体实现方式如下：
获取原始预配准的结点集合与目标形变预配准的结点集合中任意两个结点之间的旋转平移矩阵；
在已知一个旋转平移初始值的情况下，将源结点变换到目标结点相同的坐标系下，计算得到更加精确的旋转平移矩阵。
本实施例采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的旋转平移矩阵，为有限元仿真建模提供约束条件。
S106，对旋转平移矩阵进行有限元分析，提取有效的有限元特征。
具体地，对步骤105得到的旋转平移矩阵进行有限元分析，提取旋转向量和位移向量，作为Niftysim仿真器输入的约束条件。
S107，将提取的有限元特征作为约束条件，利用仿真模型模拟出变形后的组织三维模型。
具体地，所述步骤107中，将原始图像的原始三维有限元模型输入NifySim仿真建模器，将提取的有限元特征作为约束条件，模拟出变形后的组织三维模型。
NiftySim是伦敦大学开发的高性能非线性有限元求解器。一个关键的特性是基于GPU的执行工具包，它的性能显著优于同类型的商业包。
具体地，所述步骤107中，模拟变形后的组织三维模型，其具体实现方式如下：
读取GMSH生成的原始三维有限元模型；
将有限元分析提取的旋转向量和平移向量作为有限元仿真的约束；
设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的组织三维模型。
本实施例提出的基于深度学习和有限元建模的组织变形模拟方法，采用计算机自动检测、有限元建模、NiftySim仿真等技术实现组织变形的快速准确模拟。采用GPU和深度学习神经网络，有效减少计算机耗时；采用自动定位检测的预处理技术，自动选取有效信息更多的感兴趣区。对配准得到的形变位移场进行有限元分析，作为仿真模拟的约束条件，有效的模拟出了形变组织的模型，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (4)

1.一种基于深度学习和有限元建模的组织变形模拟系统，其特征是，包括图像采集装置和处理器；
所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；
所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型；
所述处理器包括：
图像获取模块，用于获取图像采集装置采集的原始图像以及目标图像，并将其格式转换为PNG格式的图像；
感兴趣区域选取模块，用于选取原始图像和目标图像的感兴趣区域；具体地，
将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸；
三维有限元模型构建模块，用于利用三维有限元网格生成器分别建立原始三维有限元模型和目标形变三维有限元模型；
三维配准模块，用于提取原始预配准区域和目标形变预配准区域，并对其进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；
有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取旋转向量和位移向量；
模型模拟模块，用于将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型；具体地，
读取原始三维有限元模型；
将有限元分析模块提取的旋转向量和平移向量作为有限元仿真的约束；
设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。
2.根据权利要求1所述的基于深度学习和有限元建模的组织变形模拟系统，其特征是，还包括主成分分析模块，所述主成分分析模块，用于提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准模块的输入。
3.一种基于深度学习和有限元建模的组织变形模拟方法，其特征是，该方法包括以下步骤：
获取原始图像和目标图像；
分别选取原始图像和目标图像的感兴趣区域；
建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；
对旋转平移矩阵进行有限元分析，提取有限元特征；
模拟目标形变组织三维模型；
所述分别选取原始图像和目标图像的感兴趣区域的步骤包括：
将获取的原始图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到原始预建模的感兴趣区域，并将原始预建模的感兴趣区域进行归一化处理至同一尺寸；
将获取的目标图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到目标预建模的感兴趣区域，并将目标预建模的感兴趣区域进行归一化处理至同一尺寸；
所述三维配准的步骤包括：
对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准的输入；
采用基于物理模型的3D-ICP点云配准算法对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；
所述模拟目标形变组织三维模型的步骤包括：
将所建立的原始三维有限元模型输入仿真器，并将提取的旋转向量和平移向量作为仿真器的约束条件；
设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。
4.根据权利要求3所述的基于深度学习和有限元建模的组织变形模拟方法，其特征是，所述有限元特征包括旋转向量和位移向量。
CN201910299403.3A 2019-04-15 2019-04-15 基于深度学习和有限元建模的组织变形模拟系统及方法 Active CN110047145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299403.3A CN110047145B (zh) 2019-04-15 2019-04-15 基于深度学习和有限元建模的组织变形模拟系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299403.3A CN110047145B (zh) 2019-04-15 2019-04-15 基于深度学习和有限元建模的组织变形模拟系统及方法

Publications (2)

Publication Number Publication Date
CN110047145A CN110047145A (zh) 2019-07-23
CN110047145B true CN110047145B (zh) 2023-05-16

Family

ID=67277108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299403.3A Active CN110047145B (zh) 2019-04-15 2019-04-15 基于深度学习和有限元建模的组织变形模拟系统及方法

Country Status (1)

Country Link
CN (1) CN110047145B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221403B (zh) * 2021-04-28 2022-10-14 中汽数据(天津)有限公司 基于深度强化学习的有限元网格优化方法、设备和介质
CN117934747A (zh) * 2024-03-22 2024-04-26 山东省地震工程研究院 一种基于激光点云数据的活动构造地貌三维模型构建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
CN106529062A (zh) * 2016-11-20 2017-03-22 重庆交通大学 一种基于深度学习的桥梁结构健康诊断方法
CN107704661A (zh) * 2017-09-13 2018-02-16 南方医科大学南方医院 用于胃癌腔镜手术实时导航系统的混合有限元形变模型的构建方法
CN108363870A (zh) * 2018-02-11 2018-08-03 宁波大学 一种基于深度学习的数控机床主轴热误差建模方法
WO2018156087A1 (en) * 2017-02-27 2018-08-30 National University Of Singapore Finite-element analysis augmented reality system and method
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
US10340165B2 (en) * 2016-03-29 2019-07-02 Kla-Tencor Corporation Systems and methods for automated multi-zone detection and modeling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
CN106529062A (zh) * 2016-11-20 2017-03-22 重庆交通大学 一种基于深度学习的桥梁结构健康诊断方法
WO2018156087A1 (en) * 2017-02-27 2018-08-30 National University Of Singapore Finite-element analysis augmented reality system and method
CN109427058A (zh) * 2017-08-17 2019-03-05 西门子保健有限责任公司 医学图像中的自动变化检测
CN107704661A (zh) * 2017-09-13 2018-02-16 南方医科大学南方医院 用于胃癌腔镜手术实时导航系统的混合有限元形变模型的构建方法
CN108363870A (zh) * 2018-02-11 2018-08-03 宁波大学 一种基于深度学习的数控机床主轴热误差建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3D-PhysNet: Learning the Intuitive Physics of Non-Rigid Object Deformations";zhihua wang et al;《arXiv:1805.00328v2》;20181024;全文 *
"A machine learning approach for real-time modelling of tissue deformation in image-guided neurosurgery";Michele Tonutti et al;《Artificial Intelligence in Medicine》;20170731;第80卷;全文 *

Also Published As

Publication number Publication date
CN110047145A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
EP4044115A1 (en) Image processing method and apparatus based on artificial intelligence, and device and storage medium
CN113496507A (zh) 一种人体三维模型重建方法
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN110047145B (zh) 基于深度学习和有限元建模的组织变形模拟系统及方法
WO2021057148A1 (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111340937A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
Yang et al. Multiscale mesh deformation component analysis with attention-based autoencoders
CN117611753B (zh) 基于人工智能重建技术的面部整形修复辅助系统及方法
CN113706562A (zh) 图像分割方法、装置、系统及细胞分割方法
Deng et al. ELMGAN: A GAN-based efficient lightweight multi-scale-feature-fusion multi-task model
CN116802683A (zh) 图像的处理方法和系统
CN111563944B (zh) 三维人脸表情迁移方法及系统
CN116977506A (zh) 模型动作重定向的方法、装置、电子设备及存储介质
CN115760552A (zh) 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统
CN111459050B (zh) 一种基于双网互联的智慧仿真型护理教学系统及教学方法
Wei et al. An improved image segmentation algorithm ct superpixel grid using active contour
Jia et al. A Multi-style Interior Floor Plan Design Approach Based on Generative Adversarial Networks
Xu The Application of Interactive Visualization and Computer Vision in Intelligent Education Based on Big Data AI Technology
CN110991229A (zh) 基于dsp芯片与量化模型的三维物体识别方法
Abaidi et al. GAN-based generation of realistic compressible-flow samples from incomplete data
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
Li et al. Video image moving target recognition method based on generated countermeasure network
Duan et al. DIQA-FF: dual image quality assessment for face frontalization
Wen Research on Modern Book Packaging Design Based on Aesthetic Evaluation Based on a Deep Learning Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant