CN111063441A - 一种肝脏变形预测方法、系统及电子设备 - Google Patents
一种肝脏变形预测方法、系统及电子设备 Download PDFInfo
- Publication number
- CN111063441A CN111063441A CN201911170249.6A CN201911170249A CN111063441A CN 111063441 A CN111063441 A CN 111063441A CN 201911170249 A CN201911170249 A CN 201911170249A CN 111063441 A CN111063441 A CN 111063441A
- Authority
- CN
- China
- Prior art keywords
- liver
- data
- deformation
- point
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000006073 displacement reaction Methods 0.000 claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000012952 Resampling Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 15
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000012084 abdominal surgery Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种肝脏变形预测方法、系统及电子设备。包括：步骤a：获取肝脏四面体的变形数据；步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。本申请在腹腔镜图像下获得部分肝脏表面的位移后，使用卷积神经网络获得肝脏全部表面和肝脏内部结构的位移信息；本申请对肝脏整体的位移有很有效的预测效果，并可大幅度减少预测所用的时间。
Description
技术领域
本申请属于医学图像处理技术领域，特别涉及一种肝脏变形预测方法、系统及电子设备。
背景技术
肝脏腹腔镜手术因其手术创伤小、对患者危害轻等特点，已被广泛地使用在腹腔手术中。腹腔镜手术导航通过获得患者术前数据，得到肝脏病灶区域和附近的血管位置等信息，同术中的腹腔镜图像相结合，可以有效地在腹腔镜狭小的视野里获得更多信息，指导医生完成手术规划，并减少意外情况发生，逐渐成为医生的得力助手。由于手术过程中需要患者腹部充气，产生气腹压和腹部器官之间的挤压，引起腹部器官发生变形，术前数据和术中图像往往不是准确的线性对应关系，使用刚性配准算法，无法将术前数据和术中信息有效统一，易对医生实际手术操作产生错误引导。术中重新采集患者病灶信息亦是不现实的，只能通过腹腔镜图像获得部分器官表面，大部分传统的非刚性配准也很难用于在实际的使用中。
目前主流的模拟肝脏在腹腔镜的变形是使用生物力学模型。生物力学模型可以用较小的不规则单元体精准地表示肝脏的复杂结构，并且可以计算精准的肝脏物理变形，但是由于庞大的参数和计算量，导致了结果准确但耗时很长，降低耗时但精度低的问题，往往不能做到实时的效果。同时作为求解生物力学模型条件的边界条件，在术中条件下也很难获得和确定。
发明内容
本申请提供了一种肝脏变形预测方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种肝脏变形预测方法，包括以下步骤：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
本申请实施例采取的技术方案还包括：在所述步骤a中，所述获取肝脏四面体的变形数据具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对所述肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格；随机在肝脏表面选择设定大小的区域作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加一定大小的力到另一个随机的设定大小的区域，给予肝脏变形的动力；使用Elmer算法计算变形后的结果，得到对应点的位移矢量信息；并移除肝脏数据中最大位移大于一定大小的区域。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述对肝脏四面体的变形数据进行重采样插值和预处理具体为：首先，将肝脏重采样到64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负；然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分；对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离以及是否为零位移点。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述卷积神经网络包括编码器和解码器，使用编码器降低分辨率并学习数据特征，使用跳跃连接，将前端信息复制到解码器，解码器使用平均池化来降低数据分辨率提高通道数；解码器有三个上采样，采用最临近插值，将分辨率提高一倍，使得网络的输出分辨率与输入分辨率相同。
本申请实施例采取的技术方案还包括：所述步骤c后还包括：构建损失函数，得到最优化的卷积神经网络；损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算；误差函数表达为：
上述公式中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0；分辨率i∈(64,32,16,8，最后的损失函数作为不同分辨率的加权和：
上述公式中，选取权重λ64＝λ32＝λ16＝λ8＝1。
本申请实施例采取的另一技术方案为：一种肝脏变形预测系统，包括：
数据获取模块：用于获取肝脏四面体的变形数据；
数据处理模块：用于对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
网络构建模块：用于根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
本申请实施例采取的技术方案还包括：所述数据获取模块获取肝脏四面体的变形数据具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对所述肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格；随机在肝脏表面选择设定大小的区域作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加一定大小的力到另一个随机的设定大小的区域，给予肝脏变形的动力；使用Elmer算法计算变形后的结果，得到对应点的位移矢量信息；并移除肝脏数据中最大位移大于一定大小的区域。
本申请实施例采取的技术方案还包括：所述数据处理模块对肝脏四面体的变形数据进行重采样插值和预处理具体为：首先，将肝脏重采样到64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负；然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分；对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离以及是否为零位移点。
本申请实施例采取的技术方案还包括：所述卷积神经网络包括编码器和解码器，使用编码器降低分辨率并学习数据特征，使用跳跃连接，将前端信息复制到解码器，解码器使用平均池化来降低数据分辨率提高通道数；解码器有三个上采样，采用最临近插值，将分辨率提高一倍，使得网络的输出分辨率与输入分辨率相同。
本申请实施例采取的技术方案还包括网络优化模块，所述网络优化模块用于构建损失函数，得到最优化的卷积神经网络；损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算；误差函数表达为：
上述公式中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0；分辨率i∈(64,32,16,8)，最后的损失函数作为不同分辨率的加权和：
上述公式中，选取权重λ64＝λ32＝λ16＝λ8＝1。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的肝脏变形预测方法的以下操作：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的肝脏变形预测方法、系统及电子设备在腹腔镜图像下获得部分肝脏表面的位移后，使用卷积神经网络获得肝脏全部表面和肝脏内部结构的位移信息；本申请对肝脏整体的位移有很有效的预测效果，并可大幅度减少预测所用的时间。
附图说明
图1是本申请实施例的肝脏变形预测方法的流程图；
图2为卷积神经网络结构图；
图3是本申请实施例的肝脏变形预测系统的结构示意图；
图4是本申请实施例提供的肝脏变形预测方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的肝脏变形预测方法的流程图。本申请实施例的肝脏变形预测方法包括以下步骤：
步骤100：获取肝脏四面体的变形数据；
步骤100中，肝脏四面体变形数据的获取方式具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格。随机在肝脏表面选择设定大小的区域(本申请设定该区域为2.5-5.5cm，具体可根据实际操作进行设定)作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加一定大小的力(本申请设定为0.5-1.5N，具体可根据实际操作进行设定)到另一个随机的设定大小的区域(本申请设定该区域为2.5-3.5cm，具体可根据实际操作进行设定)，给予肝脏变形的动力。使用Elmer软件计算变形后的结果，可以得到对应点的位移矢量信息。移除肝脏数据中最大位移大于一定大小的区域(本申请设定该区域为15cm，具体可根据实际操作进行设定)，因为不符合实际的情况。
步骤200：对肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤200中，重采样插值和预处理具体包括：首先，将肝脏重采样到边长0.3cm的64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负。然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分(因为两者位移矢量都为零矢量)。对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离和是否为零位移点。
步骤300：根据肝脏数据集构建卷积神经网络；
步骤300中，卷积神经网络结构如图2所示，其中上面数字表示通道数，下面数字表示分辨率。位移场的学习过程中，肝脏一部分的变形，不仅会影响周围点的位移，也有可能对整个肝脏造成影响。所以在网络中每个输入点都有可能会作用于输出点，即每个输出点必须有一个跨越整个输入的接受域。本申请实施例中的卷积神经网络结构类似U-net结构，网络输入的数据大小为64×64×64×5，网络输出的是肝脏部分的位移矢量，即为64×64×64×3。卷积神经网络包括编码器和解码器两个部分，使用编码器降低分辨率并学习数据特征，并使用跳跃连接，将前端信息复制到解码器部分，解码器使用平均池化来降低数据分辨率提高通道数。与U-Net不同，本网络使用三维输入数据，所有卷积都是在三维空间中计算的。解码器有三个上采样，采用最临近插值，将分辨率提高一倍，确保网络的输出分辨率与输入分辨率相同。卷积核大小为3，padding＝1，卷积后使用SoftSign函数作为激活函数。
步骤400：卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测；
步骤400中，卷积神经网络可以在获取部分肝脏表面位移后，对肝脏整体的位移有很有效的预测效果，并大幅度减少预测所用的时间。
步骤500：构建损失函数，得到最优化的卷积神经网络；
步骤500中，损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算，使得网络可以在编码器和最底层更专注于降低误差，解码器更专注于提高分辨率。误差函数表达为：
公式(1)中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0。分辨率i∈(64,32,16,8)，最后的损失函数作为不同分辨率的加权和：
公式(2)中，选取权重λ64＝λ32＝λ16＝λ8＝1。
请参阅图3，是本申请实施例的肝脏变形预测系统的结构示意图。本申请实施例的肝脏变形预测系统包括数据获取模块、数据处理模块、网络构建模块、网络优化模块。
数据获取模块：用于获取肝脏四面体的变形数据；其中，肝脏四面体变形数据的获取方式具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格。随机在肝脏表面选择设定大小的区域(本申请设定该区域为2.5-5.5cm，具体可根据实际操作进行设定)作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加0.5-1.5N的力到另一个随机的设定大小的区域(本申请设定该区域为2.5-3.5cm，具体可根据实际操作进行设定)，给予肝脏变形的动力。使用Elmer软件计算变形后的结果，可以得到对应点的位移矢量信息。移除肝脏数据中最大位移大于15cm的区域，因为不符合实际的情况。
数据处理模块：用于对肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；其中，重采样插值和预处理具体包括：首先，将肝脏重采样到边长0.3cm的64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负。然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分(因为两者位移矢量都为零矢量)。对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离和是否为零位移点。
网络构建模块：用于根据肝脏数据集构建卷积神经网络，卷积神经网络在获取部分肝脏表面位移后，对肝脏整体变形进行预测；其中，卷积神经网络结构如图2所示，其中上面数字表示通道数，下面数字表示分辨率。位移场的学习过程中，肝脏一部分的变形，不仅会影响周围点的位移，也有可能对整个肝脏造成影响。所以在网络中每个输入点都有可能会作用于输出点，即每个输出点必须有一个跨越整个输入的接受域。本申请实施例中的卷积神经网络结构类似U-net结构，网络输入的数据大小为64×64×64×5，网络输出的是肝脏部分的位移矢量，即为64×64×64×3。卷积神经网络包括编码器和解码器两个部分，使用编码器降低分辨率并学习数据特征，并使用跳跃连接，将前端信息复制到解码器部分，解码器使用平均池化来降低数据分辨率提高通道数。与U-Net不同，本网络使用三维输入数据，所有卷积都是在三维空间中计算的。解码器有三个上采样，采用最临近插值，将分辨率提高一倍，确保网络的输出分辨率与输入分辨率相同。卷积核大小为3，padding＝1，卷积后使用SoftSign函数作为激活函数。
网络优化模块：用于构建损失函数，得到最优化的卷积神经网络；其中，损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算，使得网络可以在编码器和最底层更专注于降低误差，解码器更专注于提高分辨率。误差函数表达为：
公式(1)中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0。分辨率i∈(64,32,16,8)，最后的损失函数作为不同分辨率的加权和：
公式(2)中，选取权重λ64＝λ32＝λ16＝λ8＝1。
经数据实验证明，本申请提出的卷积神经网络具有较高的可靠性，可用于实际应用中。
图4是本申请实施例提供的肝脏变形预测方法的硬件设备结构示意图。如图4所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
本申请实施例的肝脏变形预测方法、系统及电子设备在腹腔镜图像下获得部分肝脏表面的位移后，使用卷积神经网络获得肝脏全部表面和肝脏内部结构的位移信息；本申请对肝脏整体的位移有很有效的预测效果，并可大幅度减少预测所用的时间。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种肝脏变形预测方法，其特征在于，包括以下步骤：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
2.根据权利要求1所述的肝脏变形预测方法，其特征在于，在所述步骤a中，所述获取肝脏四面体的变形数据具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对所述肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格；随机在肝脏表面选择设定大小的区域作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加一定大小的力到另一个随机的设定大小的区域，给予肝脏变形的动力；使用Elmer算法计算变形后的结果，得到对应点的位移矢量信息；并移除肝脏数据中最大位移大于一定大小的区域。
3.根据权利要求2所述的肝脏变形预测方法，其特征在于，在所述步骤b中，所述对肝脏四面体的变形数据进行重采样插值和预处理具体为：首先，将肝脏重采样到64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负；然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分；对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离以及是否为零位移点。
4.根据权利要求1至3任一项所述的肝脏变形预测方法，其特征在于，在所述步骤c中，所述卷积神经网络包括编码器和解码器，使用编码器降低分辨率并学习数据特征，使用跳跃连接，将前端信息复制到解码器，解码器使用平均池化来降低数据分辨率提高通道数；解码器有三个上采样，采用最临近插值，将分辨率提高一倍，使得网络的输出分辨率与输入分辨率相同。
5.根据权利要求4所述的肝脏变形预测方法，其特征在于，所述步骤c后还包括：构建损失函数，得到最优化的卷积神经网络；损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算；误差函数表达为：
上述公式中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0；分辨率i∈(64,32,16,8，最后的损失函数作为不同分辨率的加权和：
上述公式中，选取权重λ64＝λ32＝λ16＝λ8＝1。
6.一种肝脏变形预测系统，其特征在于，包括：
数据获取模块：用于获取肝脏四面体的变形数据；
数据处理模块：用于对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
网络构建模块：用于根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
7.根据权利要求6所述的肝脏变形预测系统，其特征在于，所述数据获取模块获取肝脏四面体的变形数据具体为：从术前患者的肝脏CT图像中分割获得肝脏数据，对所述肝脏数据重建获得肝脏表面三角形网格，并生成对应的肝脏四面体网格；随机在肝脏表面选择设定大小的区域作为零位移边界条件，模拟肝脏与相邻器官相固定的地方，施加一定大小的力到另一个随机的设定大小的区域，给予肝脏变形的动力；使用Elmer算法计算变形后的结果，得到对应点的位移矢量信息；并移除肝脏数据中最大位移大于一定大小的区域。
8.根据权利要求7所述的肝脏变形预测系统，其特征在于，所述数据处理模块对肝脏四面体的变形数据进行重采样插值和预处理具体为：首先，将肝脏重采样到64×64×64的规则网格中，计算规则网格中每个点到肝脏最近表面点的距离，并设在肝脏表面外的点到肝脏最近表面点的距离为正，在肝脏表面内的点到肝脏最近表面点的距离为负；然后，将肝脏零位移点的部分标记出来，与非肝脏内部点加以区分；对于规则网格，每一个点包含三重信息五个数据，分别为：矢量的三个方向、距离肝脏表面的最近距离以及是否为零位移点。
9.根据权利要求6至8任一项所述的肝脏变形预测系统，其特征在于，所述卷积神经网络包括编码器和解码器，使用编码器降低分辨率并学习数据特征，使用跳跃连接，将前端信息复制到解码器，解码器使用平均池化来降低数据分辨率提高通道数；解码器有三个上采样，采用最临近插值，将分辨率提高一倍，使得网络的输出分辨率与输入分辨率相同。
10.根据权利要求9所述的肝脏变形预测系统，其特征在于，还包括网络优化模块，所述网络优化模块用于构建损失函数，得到最优化的卷积神经网络；损失函数添加了额外的下采样位移估计与标签对应的下采样相误差计算；误差函数表达为：
上述公式中，ui为解码器在分辨率为i时额外输出的部分，utar,i为标签数据为对应分辨率下采样结果，
为对应分辨点的个数，如果点在肝脏外面，则O(p)＝0；分辨率i∈(64,32,16,8，最后的损失函数作为不同分辨率的加权和：
上述公式中，选取权重λ64＝λ32＝λ16＝λ8＝1。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至5任一项所述的肝脏变形预测方法的以下操作：
步骤a：获取肝脏四面体的变形数据；
步骤b：对所述肝脏四面体的变形数据进行重采样插值和预处理，生成肝脏数据集；
步骤c：根据肝脏数据集构建卷积神经网络，所述卷积神经网络在获取肝脏表面位移后，对肝脏整体变形进行预测。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911170249.6A CN111063441A (zh) | 2019-11-26 | 2019-11-26 | 一种肝脏变形预测方法、系统及电子设备 |
| PCT/CN2020/128849 WO2021104061A1 (zh) | 2019-11-26 | 2020-11-13 | 一种肝脏变形预测方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911170249.6A CN111063441A (zh) | 2019-11-26 | 2019-11-26 | 一种肝脏变形预测方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111063441A true CN111063441A (zh) | 2020-04-24 |
Family
ID=70298254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911170249.6A Pending CN111063441A (zh) | 2019-11-26 | 2019-11-26 | 一种肝脏变形预测方法、系统及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111063441A (zh) |
| WO (1) | WO2021104061A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021104061A1 (zh) * | 2019-11-26 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肝脏变形预测方法、系统及电子设备 |
| CN113112499A (zh) * | 2021-04-29 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 肝脏内部组织的位移预测方法、装置、系统及电子设备 |
| CN113592890A (zh) * | 2021-05-28 | 2021-11-02 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114944216B (zh) * | 2022-05-22 | 2023-08-01 | 北京航空航天大学 | 一种融合解剖及力学特性的脊柱手术直线型路径自动规划方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110270044A1 (en) * | 2010-05-03 | 2011-11-03 | Ron Kimmel | Surgery planning based on predicted results |
| CN104956405A (zh) * | 2013-02-13 | 2015-09-30 | 三菱电机株式会社 | 用于模拟胸部4dct的方法 |
| CN108766579A (zh) * | 2018-05-28 | 2018-11-06 | 北京交通大学长三角研究院 | 一种基于高融合度增强现实的虚拟脑外科手术仿真方法 |
| CN110392914A (zh) * | 2017-02-03 | 2019-10-29 | 费奥普斯有限公司 | 确定心脏介入治疗后血液动力功能不全的风险的系统和方法 |
| CN110400283A (zh) * | 2018-04-20 | 2019-11-01 | 西门子医疗有限公司 | 实时且准确的软组织变形预测 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408734B (zh) * | 2014-12-11 | 2017-10-27 | 山东师范大学 | 联合图像分割与形变配准技术的自适应目标区域转换方法 |
| CN106846330A (zh) * | 2016-12-22 | 2017-06-13 | 浙江大学宁波理工学院 | 人体肝脏特征建模及血管模型空间归一方法 |
| CN111063441A (zh) * | 2019-11-26 | 2020-04-24 | 中国科学院深圳先进技术研究院 | 一种肝脏变形预测方法、系统及电子设备 |
-
2019
- 2019-11-26 CN CN201911170249.6A patent/CN111063441A/zh active Pending
-
2020
- 2020-11-13 WO PCT/CN2020/128849 patent/WO2021104061A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110270044A1 (en) * | 2010-05-03 | 2011-11-03 | Ron Kimmel | Surgery planning based on predicted results |
| CN104956405A (zh) * | 2013-02-13 | 2015-09-30 | 三菱电机株式会社 | 用于模拟胸部4dct的方法 |
| CN110392914A (zh) * | 2017-02-03 | 2019-10-29 | 费奥普斯有限公司 | 确定心脏介入治疗后血液动力功能不全的风险的系统和方法 |
| CN110400283A (zh) * | 2018-04-20 | 2019-11-01 | 西门子医疗有限公司 | 实时且准确的软组织变形预测 |
| CN108766579A (zh) * | 2018-05-28 | 2018-11-06 | 北京交通大学长三角研究院 | 一种基于高融合度增强现实的虚拟脑外科手术仿真方法 |
Non-Patent Citations (1)
| Title |
|---|
| MICHA PFEIFFER 等: "Learning soft tissue behavior of organs for surgical navigation with convolutional neural networks", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》, vol. 14, no. 7, pages 1147, XP036808226, DOI: 10.1007/s11548-019-01965-7 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021104061A1 (zh) * | 2019-11-26 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肝脏变形预测方法、系统及电子设备 |
| CN113112499A (zh) * | 2021-04-29 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 肝脏内部组织的位移预测方法、装置、系统及电子设备 |
| CN113112499B (zh) * | 2021-04-29 | 2022-04-12 | 中国科学院深圳先进技术研究院 | 肝脏内部组织的位移预测方法、装置、系统及电子设备 |
| CN113592890A (zh) * | 2021-05-28 | 2021-11-02 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
| CN113592890B (zh) * | 2021-05-28 | 2022-02-11 | 北京医准智能科技有限公司 | 一种ct图像肝脏分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021104061A1 (zh) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111063441A (zh) | 一种肝脏变形预测方法、系统及电子设备 | |
| US10861134B2 (en) | Image processing method and device | |
| CN111192356B (zh) | 感兴趣区域的显示方法、装置、设备和存储介质 | |
| JP2022191354A (ja) | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 | |
| JP2008546441A (ja) | 第１及び第２画像を比較するためのモデルに基づく弾性画像登録方法 | |
| Guo et al. | Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography | |
| CN112102373A (zh) | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 | |
| WO2011109710A1 (en) | Hierarchical atlas-based segmentation | |
| WO2015166871A1 (en) | Method for registering source image with target image | |
| WO2023207743A1 (zh) | 图像检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN114187296A (zh) | 胶囊内窥镜图像病灶分割方法、服务器及系统 | |
| US20220108540A1 (en) | Devices, systems and methods for generating and providing image information | |
| Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
| CN108805876B (zh) | 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统 | |
| CN113888698A (zh) | 一种面向肝切除术的动态三维重建方法及系统 | |
| CN113362291A (zh) | 用于获取图像中目标物的方法和相关产品 | |
| US20240005498A1 (en) | Method of generating trained model, machine learning system, program, and medical image processing apparatus | |
| CN111161330B (zh) | 非刚性图像配准方法、装置、系统、电子设备、存储介质 | |
| CN113129418A (zh) | 基于三维影像的目标表面重建方法、装置、设备和介质 | |
| JP7456928B2 (ja) | 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
| CN116993805A (zh) | 面向手术规划辅助的术中剩余器官体积估计系统 | |
| US20140032180A1 (en) | Method and apparatus for computing deformation of an object | |
| AU2021201735B2 (en) | Representing an interior of a volume | |
| CN112381825B (zh) | 用于病灶区图像几何特征提取的方法和相关产品 | |
| JP2023525287A (ja) | ラベルなしの動き学習 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |