CN111161333A - 一种肝脏呼吸运动模型的预测方法、装置及存储介质 - Google Patents

一种肝脏呼吸运动模型的预测方法、装置及存储介质 Download PDF

Info

Publication number
CN111161333A
CN111161333A CN201911288651.4A CN201911288651A CN111161333A CN 111161333 A CN111161333 A CN 111161333A CN 201911288651 A CN201911288651 A CN 201911288651A CN 111161333 A CN111161333 A CN 111161333A
Authority
CN
China
Prior art keywords
liver
displacement vector
abdomen
vector fields
respiratory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911288651.4A
Other languages
English (en)
Other versions
CN111161333B (zh
Inventor
贾富仓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911288651.4A priority Critical patent/CN111161333B/zh
Publication of CN111161333A publication Critical patent/CN111161333A/zh
Application granted granted Critical
Publication of CN111161333B publication Critical patent/CN111161333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请公开了一种肝脏呼吸运动模型的预测方法、装置及存储介质。该方法包括：获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。通过这种方式，对不同呼吸相位的腹部肝脏CT图像进行配准，以构建肝脏呼吸运动模型对肝脏运动进行预测，而不需要在患者体内植入标记点，能够减少二次手术带来的风险。

Description

一种肝脏呼吸运动模型的预测方法、装置及存储介质
技术领域
本申请涉及医学图像处理应用技术领域，尤其涉及一种肝脏呼吸运动模型的预测方法、装置及存储介质。
背景技术
随着人体的呼吸运动，人体器官的形状、位置会发生明显变化，使得采集到的CT图像出现差异，为了消除患者因为呼吸运动而引起的术前图像信息与术中图像信息的差异，目前主要的方法是通过呼吸运动建模，来作为呼吸运动补偿。
现有技术中，通常使用两种方式构建呼吸运动模型，第一种为基于肺部CT图像的呼吸运动模型，通过CT扫描仪记录的患者体外标记的三维空间坐标，再找到体外信号与肺部CT图像对应关系，利用4D肺部CT弹性配准获取每一个配准控制点对于时间的三维形变位移，进而应用时间拟合获得体外呼吸信号拟合曲线和配准
Figure BDA0002315601460000011
控制点拟合曲线。最终，线性拟合每一个控制点的形变位移与对应的信号值，完成呼吸运动线性模型的构建。
第二种为PCA统计运动模型：通过患者腹部表面和肺部植入标记点作为替代信号，记录内外标记点的运动信息。在使用的4D-CT图像，同步RPM信号和使用基于阈值的分割算法从4D-CT体积提取的患者表面，随后构建了基于主成分分析的患者特异性模型。
发明内容
为解决上述问题，本申请提供一种肝脏呼吸运动模型的预测方法、装置及存储介质，无需在患者体内植入标记即可实现呼吸运动预测，减少二次手术带来的感染风险。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种肝脏呼吸运动模型的预测方法，该方法包括：获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。
其中，对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场，包括：在多个待检测图像中，选择一个待检测图像作为参考图像，其余待检测图像作为非参考图像；其中，参考图像为最大呼吸状态下的待检测图像；对参考图像和非参考图像进行预处理，以得到多组肝脏区域与腹部区域对应的肝脏表面和腹部表面；对多组肝脏表面和腹部表面进行表面点提取，并对提取的表面点进行稀疏处理；对稀疏处理后的多组肝脏表面和腹部表面进行配准，以得到多组肝脏位移向量场和腹部位移向量场。
其中，对稀疏处理后的多组肝脏表面和腹部表面进行配准，以得到多组肝脏位移向量场和腹部位移向量场，包括：分别将稀疏处理后的多组肝脏表面和腹部表面投影到同一二维平面空间，以得到多组术前二维形状图像和术中二维形状图像；对多组术前二维形状图像和术中二维形状图像进行基于缩放变换的非刚体配准，以得到多组术前二维形状图像和术中二维形状图像在二维空间ROI区域内的多组表面点之间的二维对应关系；对多组表面点进行反投影操作，以得到多组表面点之间的三维对应关系，进而生成多组肝脏表面和腹部表面之间对应的表面点集；基于多组对应的表面点集，通过点对匹配算法实现肝脏表面和腹部表面之间的初始刚体配准，并使用ICP算法对初始刚体配准进行优化，以得到多组肝脏位移向量场和腹部位移向量场。
其中，根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，包括：根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型；采用内外呼吸幅度关联法得到每个呼吸相位对应的最佳训练集；计算每个呼吸相位对应的表面相似度系数；将最佳训练集的平均值和表面相似度系数代入统计模型中，以得到对应每个呼吸相位的最终呼吸运动模型。
其中，根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型，包括：将每组肝脏位移向量场和腹部位移向量场作为列向量，整合为一个矩阵；利用主成分分析的方法对矩阵进行奇异值分解，以得到矩阵的特征向量和特征值；根据特征向量和特征值构建呼吸运动位移场的统计模型。
其中，根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型，包括：采用以下公式计算：
Figure BDA0002315601460000033
其中，u(w)表示与整个呼吸运动周期中任何呼吸相位对应的位移向量场，
Figure BDA0002315601460000034
代表手术前获得的整个呼吸周期的DVF的平均向量，E代表获得的特征向量集的子集，即对应于最大两个特征值的特征向量矩阵，W代表PCA统计模型系数集，并且初始值是对应的特征值集。
其中，采用内外呼吸幅度关联法得到每个呼吸相位对应的最佳训练集，包括：根据多组肝脏位移向量场和腹部位移向量场，计算多组肝脏表面和腹部表面的振幅，并建立多组肝脏表面的振幅和腹部表面的振幅之间的关联；根据每个呼吸相位的腹部位移向量场，获取训练集中在腹部位移向量场前后的两个呼吸相位的最佳肝脏位移向量场，并将每组最佳肝脏位移向量场作为每个呼吸相位对应的最佳训练集。
其中，计算每个呼吸相位对应的表面相似度系数，包括：采用以下公式计算：Wopt＝argmaxWSim(SW,Si)；其中，Wopt代表最佳PCA统计模型参数，SW代表手术前腹部CT的表面，Si代表术中腹表面，Sim(SW,Si)表示术前和术中腹表面之间的相似度，与两个表面的欧几里得距离成反比。
其中，将最佳训练集的平均值和表面相似度系数代入统计模型中，以得到对应每个呼吸相位的最终呼吸运动模型，包括：采用如下公式计算：
Figure BDA0002315601460000031
其中，uestimateed表示整个腹部内部呼吸运动位移的估计矢量场，
Figure BDA0002315601460000032
为最佳训练集中的平均值。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种肝脏呼吸运动模型的预测装置，包括处理器及存储器，其中，存储器用于存储处理器执行的计算机程序；处理器用于执行计算机程序以实现上述肝脏呼吸运动模型的预测方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述肝脏呼吸运动模型的预测方法。
本申请的有益效果是：本申请提供的肝脏呼吸运动模型的预测方法，该方法包括：获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。通过这种方式，对不同呼吸相位的腹部肝脏CT图像进行配准，以构建肝脏呼吸运动模型对肝脏运动进行预测，而不需要在患者体内植入标记点，能够减少二次手术带来的风险。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请肝脏呼吸运动模型的预测方法一实施例的流程示意图；
图2是图1实施例肝脏呼吸运动模型的预测方法中步骤S12的一具体流程示意图；
图3是图2实施例肝脏呼吸运动模型的预测方法中步骤S124的一具体流程示意图；
图4是本申请肝脏呼吸运动模型的预测方法实施例中表面点配准原理示意图；
图5是图1实施例肝脏呼吸运动模型的预测方法中步骤S13的一具体流程示意图；
图6是图5实施例肝脏呼吸运动模型的预测方法中步骤S131的一具体流程示意图；
图7是图5实施例肝脏呼吸运动模型的预测方法中步骤S132的一具体流程示意图；
图8是本申请肝脏呼吸运动模型的预测装置一实施例的结构示意图；
图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。
本申请的发明人经过长期的研究发现：虽然现在有许多已提出的呼吸运动模型，所用的方法与技巧都很多，但绝大多数是针对肺部呼吸运动的建模，针对肝脏部分的呼吸运动建模则非常少，一方面是因为肺部的呼吸运动更为明显，研究起来相对容易一些，另一方面是肝脏方面特有的数据集较少。而且，现有的呼吸运动模型大多针对的是特定的数据集，并不能广泛应用，并且需要在患者体内植入标记点，这样会有进一步感染的风险。为解决上述问题，本申请至少提出如下实施例。
参阅图1，图1是本申请肝脏呼吸运动模型的预测方法一实施例的流程示意图，包括：
S11：获取分别对应多个呼吸相位的多个待检测图像。
在本实施例中，获取10个呼吸相位对应的10个待检测图像。
其中，每个待检测图像均包括肝脏区域和腹部区域，且均为4D-CT图像。
S12：对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场。
具体地，在一应用场景中，可以通过如图2所示的方法实现上述步骤S12，本实施例的方法包括步骤S121至步骤S124。
S121：在多个待检测图像中，选择一个待检测图像作为参考图像，其余待检测图像作为非参考图像。
利用实验所采集的10个呼吸相位的4D-CT图像，选择呼吸状态最大的图像作为参考图像，以参考图像为准进行初步图像配准，以使所有相位的图像大致对齐。
S122：对参考图像和非参考图像进行预处理，以得到多组肝脏区域与腹部区域对应的肝脏表面和腹部表面。
首先，对采集到的所有相位的CT图像进行剪切处理，通过在MITK软件上观察冠状面的显示，确定肝脏的上下范围，从而根据肝脏的位置范围对图像进行裁剪，以使采集的图像保留胸腹部区域，也就是肝脏对应的部分区域；接着，对剪切后的图像进行图像分割操作，分割出肝脏和腹部，然后利用分割出的肝脏和腹部提取出肝脏表面和腹部表面。
具体地，对于肝脏的分割，可以利用现有的肝脏分割方法获得，肝脏表面的提取则利用MITK软件上表面提取功能获得。
而对于腹部表面的提取，可以先对原始的CT图像做区域增长分割，从分割得到的腹部区域中提取出腹部的整个表面，然后根据输入的冠状面方向的图像像素坐标索引阈值提取腹部的上表面，也即是腹部表面。
S123：对多组肝脏表面和腹部表面进行表面点提取，并对提取的表面点进行稀疏处理。
为了提高计算效率，可以在配准之前进行表面点集的稀疏处理，保留原表面30％的像素点集。
S124：对稀疏处理后的多组肝脏表面和腹部表面进行配准，以得到多组肝脏位移向量场和腹部位移向量场。
具体地，可以通过如图3所示的方法实现上述步骤S124，本实施例的方法包括步骤S1241至步骤S1244。
S1241：分别将稀疏处理后的多组肝脏表面和腹部表面投影到同一二维平面空间，以得到多组术前二维形状图像和术中二维形状图像。
可选地，对于术前二维形状图像的生成，将术前腹部CT表面投影到其冠状平面内生成其二维投影图像，根据该二维投影图像中的感兴趣区域(ROI，region of interest)，再生成一个包含矩形区域的二值图像，即为术前二维图像。
对于术中二维形状图像的生成，利用摆正后的腹部ROI图像在术前二维形状图像空间中生成一个矩形区域，在该矩形区域生成过程中，两距离值的单位使用像素点索引距离代替像素点物理距离，以此得到术中二维形状图像。
可选地，在步骤S1242之前，还需要构造肝脏表面与腹部表面的表面点集之间的对应关系，参阅图4，图4是本申请肝脏呼吸运动模型的预测方法实施例中表面点配准原理示意图；通过将提取到的肝脏表面和腹部表面分别投影到同一二维平面中，生成二维形状图像，也即是上述生成的术前和术中的二维形状图像，并对生成的术前和术中的二维形状图像进行配准，得到术前和术中的表面点集在二维空间中的对应关系，最后通过反投影即可确定术前和术中的表面点集在三维空间中的对应关系。
S1242：对多组术前二维形状图像和术中二维形状图像进行基于缩放变换的非刚体配准，以得到多组术前二维形状图像和术中二维形状图像在二维空间ROI区域内的多组表面点之间的二维对应关系。
对多组术前二维形状图像和术中二维形状图像进行基于缩放变换的非刚体配准，配准完成后即可确定两二值图像ROI区域的像素点之间的二维对应关系。
S1243：对多组表面点进行反投影操作，以得到多组表面点之间的三维对应关系，进而生成多组肝脏表面和腹部表面之间对应的表面点集。
由于表面三维坐标空间到二维坐标空间中的对应性已经建立，则可以直接通过反投影，由多组二维像素表面点坐标找到对应的三维点集，进而得到多组肝脏表面和腹部表面之间对应的表面点集。
S1244：基于多组对应的表面点集，通过点对匹配算法实现肝脏表面和腹部表面之间的初始刚体配准，并使用ICP算法对初始刚体配准进行优化，以得到多组肝脏位移向量场和腹部位移向量场。
其中，ICP算法即迭代最近点算法，是经典的数据匹配算法，通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行上述运算直到满足给定的误差要求；在本实施例中，经典ICP算法用于对初始配准进行优化，降低数据误差，最终完成腹部表面和肝部表面的自动配准，得到多组肝脏位移向量场(IDVF)和腹部位移向量场(SDVF)。
本实施例中，选择将最大呼吸状态下的3D-CT图像的肝脏和腹部表面图像作为参考图像，利用稀疏表面点集配准方法将其他相位的肝脏和腹部表面图像配准到参考图像，从而得到各个呼吸相位相对参考相位关于整个肝脏和腹部的呼吸运动位移向量场(DVF)。通过以上提出的图像配准方法，能够提高配准效率，缩短配准所需花费的时间。
S13：根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。
需要说明的是，在本实施例中所用的图像数据是10个相位的，除去参考相位0之外，有9个数据集(相位1-9)，在模型训练和测试的时候使用交叉验证的方法，即8个数据作为训练集，1个数据作为测试验证。
具体地，可以通过如图5所示的方法实现上述步骤S13，本实施例的方法包括步骤S131至步骤S134。
S131：根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型。
具体地，可以通过如图6所示的方法实现上述步骤S131，本实施例的方法包括步骤S1311至步骤S1313。
S1311：将每组肝脏位移向量场和腹部位移向量场作为单独的列向量，整合为一个矩阵。
将每个呼吸阶段的所有IDVF和SDVF作为单独的列向量uj＝[x1,j,y1,j,z1,j,….xM,j,yM,j,zM,j]T；其中，[xi,j,yi,j,zi,j]T表示位于的呼吸运动位移向量对应于第i个呼吸相位的腹部图像的第j个图像像素坐标位置；接着整合整个周期的DVF，也即是整合IDVF和SDVF以构成腹部呼吸运动矢量场U的U集，U＝[u1,u2,u3,…,uj,…,uN]。
S1312：利用主成分分析的方法对矩阵进行奇异值分解，以得到矩阵的特征向量和特征值。
将矩阵U定中心以获得矩阵
Figure BDA0002315601460000091
并对
Figure BDA0002315601460000092
进行奇异值分解，并获得矩阵U的特征向量和特征值。
S1313：根据特征向量和特征值构建呼吸运动位移场的统计模型。
将特征值从大到小进行分类，选择与两个最大特征值相对应的特征向量，以此构建术前呼吸运动位移场的统计模型。
具体地，构建呼吸运动位移场的统计模型可以采用以下公式计算：
Figure BDA0002315601460000093
其中，u(w)表示与整个呼吸运动周期中任何呼吸相位对应的位移向量场，
Figure BDA0002315601460000094
代表手术前获得的整个呼吸周期的DVF的平均向量，E代表获得的特征向量集的子集，即对应于最大两个特征值的特征向量矩阵，W代表PCA统计模型系数集，并且初始值是对应的特征值集。
具体地，在本实施例中，会做9次模型训练和验证，其中，相位1到相位9的数据都会作为测试集，其余8个为训练集。例如，当用第三相位的数据作为验证集时，即表示第三相位的数据作为术中数据，其余相位的数据作为术前数据，也即训练集。
S132：采用内外呼吸幅度关联法得到每个呼吸相位对应的最佳训练集。
具体地，可以通过如图7所示的方法实现上述步骤S132，本实施例的方法包括步骤S1321至步骤S1322。
S1321：根据多组肝脏位移向量场和腹部位移向量场，计算多组肝脏表面和腹部表面的振幅，并建立多组肝脏表面的振幅和腹部表面的振幅之间的关联。
首先，对上述表面点集经过稀疏处理和配准后得到的多组肝脏位移向量场合腹部位移向量场进行计算，以分别得到肝脏表面和腹部表面的振幅大小，并将得到的肝脏表面和腹部表面的振幅一一关联，以得到关于内外呼吸幅度的曲线。
S1322：根据每个呼吸相位的腹部位移向量场，获取训练集中在腹部位移向量场前后的两个呼吸相位的最佳肝脏位移向量场，并将每组最佳肝脏位移向量场作为每个呼吸相位对应的最佳训练集。
以一个呼吸相位为例，由于内外呼吸幅度趋势的相近性，当要使用预测模型时，可以根据该呼吸相位的术中腹部表面得到腹部DVF的大小，然后推算出这个DVF的值在之前计算的内外呼吸幅度大小的曲线上的区间位置，找到与该腹部DVF幅度大小最接近的前后两个相位的腹部表面，根据内外变化趋势的一致性，就可以获得与该表面相对应两个相位的肝脏DVF，也就是最佳肝脏DVF；此时，可以将这两个相位的肝脏DVF作为最优输入的训练数据集，也即是该呼吸相位对应的最佳训练集，而不再使用所有相位的肝脏DVF作为训练集，能够减少对相关性低的数据的使用，并能提高实验的预测精度和效率。
通过上述的方式，即可分别获得除参考相位以外的其他相位对应的最佳训练集。
S133：计算每个呼吸相位对应的表面相似度系数。
同样以一个呼吸相位为例，先利用分水岭结合距离阈值提取腹部表面，重建腹部表面的三维点云，以获得术中腹部表面；再使用阈值方法从术前CT参考图像中提取腹部表面，以获得术前腹部表面；基于整体形状二维投影方法，实现了术中腹面和术前CT面的刚体自动配准，然后初始化了基于术中腹面表面和术前CT表面到欧几里得距离的最近邻点的优化措施。其中，分水岭算法是一种图像区域分割法，在分割的过程中，它会把跟临近像素间的相似性作为重要的参考依据，从而将在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓。
具体地，计算每个呼吸相位对应的表面相似度系数可以通过如下公式计算：
Wopt＝argmaxWSim(SW,Si)；
其中，Wopt代表最佳PCA统计模型参数，也即是表面相似度参数，SW代表手术前腹部CT的表面，Si代表术中腹表面，Sim(SW,Si)表示术前和术中腹表面之间的相似度，与两个表面的欧几里得距离成反比。
然后，使用优化算法(LM，Levenberg-Marquard)迭代调整PCA统计模型参数W。对于获取的每个模型参数，为整个腹部区域计算DVF。将DVF应用于术前CT参考图像以获取变形的术前CT表面，然后更新两个表面的相似度值。直到两个表面之间的欧几里得距离最小，迭代终止，此时相似性度量最大，并获得最佳PCA统计模型参数Wopt。
S134：将最佳训练集的平均值和表面相似度系数代入统计模型中，以得到对应每个呼吸相位的最终呼吸运动模型，并利用最终呼吸运动模型对肝脏运动进行预测。
通过上述内外呼吸幅度关联法获得的每个呼吸相位的最佳训练集，因此在统计模型公式中，我们使用
Figure BDA0002315601460000111
代替
Figure BDA0002315601460000112
以进一步完善模型；其中，
Figure BDA0002315601460000113
即表示通过内外呼吸幅度关联法获得的最佳训练集的平均值。
具体地，计算最终呼吸运动模型可以通过如下公式计算：
Figure BDA0002315601460000114
其中，uestimateed表示整个腹部内部呼吸运动位移的估计矢量场，Wopt代表最佳PCA统计模型参数，
Figure BDA0002315601460000115
为最佳训练集中的平均值。
可以理解的，不同呼吸相位下得到的呼吸运动模型也不相同，此时，对应不同呼吸相位下的图像数据，将其腹部表面点集作为输入数据，即可通过呼吸运动模型预测出对应的肝脏的位移向量场。通过基于表面相似度优化的肝脏呼吸运动模型，能够提高模型预测的精度。具体的：
本申请已经经过实验数据，应既具有较高的预测精度，可用于实际应用中。对于每个病例第一阶段采集的腹部4D-CT图像包含10个呼吸阶段，移除参考阶段，并且使用对应于剩余九个呼吸阶段的CT数据对模型进行九轮交叉验证，也就是说，一组4D-CT可用于计算9个呼吸运动估计误差，每组4D-CT图像的具体处理流程如下：
首先，对预处理后的图像进行腹部分割和表面提取，然后选择参考呼吸相位，并选择残余相位的呼吸运动矢量场相对于参考相位通过腹部CT图像(DVF)计算，然后从9个呼吸阶段中选择测试阶段，使用剩余的8个DVF构建呼吸运动模型，并使用模拟表面计算当前状态下的DVF对应于模拟表面的腹部表面作为模型输入；DVF通过比较对应于测试阶段的DVF来计算模型的运动估计误差，从9个呼吸阶段重复测试阶段产生9个误差计算。
对于运动估计误差的每个计算，将估计的腹部DVF与对应的真实DVF之间的差矢量的中值作为单个误差计算的结果。计算了7组4D-CT图像的70个运动估计误差，统计误差的均值、标准差、中位数。实验结果如下表所示，下表示出的是单次运动估计的呼吸运动模型运动估计误差的统计结果，单位为mm：
Method Mean SD Median
Fayad et al.2011 0.67 0.04 0.64
Our method 0.35 0.08 0.33
可以看出，本申请方案具有较高的预测精度，可用于实际应用中。
区别于现有技术，本申请提供的肝脏呼吸运动模型的预测方法，该方法包括：获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。通过这种方式，对不同呼吸相位的腹部肝脏CT图像进行配准，以构建肝脏呼吸运动模型对肝脏运动进行预测，而不需要在患者体内植入标记点，能够减少二次手术带来的风险。
参阅图8，图8是本申请肝脏呼吸运动模型的预测装置一实施例的结构示意图。本实施例的肝脏呼吸运动模型的预测装置80包括处理器81和存储器82，处理器81耦接存储器82。其中，存储器82用于存储处理器81执行的计算机程序。处理器81用于执行计算机程序以实现如下方法步骤：
获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。
在本实施例中，处理器81还可以称为CPU(Central Processing Unit，中央处理单元)。处理器81可能是一种集成电路芯片，具有信号的处理能力。处理器81还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器81可以由多个成电路芯片共同实现。
需要说明的是，本实施例的肝脏呼吸运动模型的预测装置80是基于上述方法实施例的一实体终端，其实施原理和步骤类似，在此不再赘述。因此，计算机程序在被处理器81执行时，还可以实现上述任一实施例中的其它方法步骤，在此不再赘述。
参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图。
本实施例的计算机存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用以实现如下方法步骤：
获取分别对应多个呼吸相位的多个待检测图像；其中，每个待检测图像均包括肝脏区域和腹部区域；对多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用呼吸运动模型对肝脏运动进行预测。
需要说明的是，本实施例的计算机程序91所执行的方法步骤是基于上述方法实施例的，其实施原理和步骤类似。因此，计算机程序91在被处理器执行时，还可以实现上述任一实施例中的其他方法步骤，在此不再赘述。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种肝脏呼吸运动模型的预测方法，其特征在于，所述方法包括：
获取分别对应多个呼吸相位的多个待检测图像；其中，每个所述待检测图像均包括肝脏区域和腹部区域；
对所述多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场；
根据所述多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，以利用所述呼吸运动模型对肝脏运动进行预测。
2.根据权利要求1所述的方法，其特征在于，
所述对所述多个待检测图像进行配准，以得到多组肝脏位移向量场和腹部位移向量场，包括：
在所述多个待检测图像中，选择一个所述待检测图像作为参考图像，其余所述待检测图像作为非参考图像；其中，所述参考图像为最大呼吸状态下的所述待检测图像；
对所述参考图像和所述非参考图像进行预处理，以得到多组所述肝脏区域与所述腹部区域对应的肝脏表面和腹部表面；
对多组所述肝脏表面和腹部表面进行表面点提取，并对提取的表面点进行稀疏处理；
对稀疏处理后的多组所述肝脏表面和腹部表面进行配准，以得到多组肝脏位移向量场和腹部位移向量场。
3.根据权利要求2所述的方法，其特征在于，
所述对稀疏处理后的多组所述肝脏表面和腹部表面进行配准，以得到多组肝脏位移向量场和腹部位移向量场，包括：
分别将稀疏处理后的多组所述肝脏表面和腹部表面投影到同一二维平面空间，以得到多组术前二维形状图像和术中二维形状图像；
对所述多组术前二维形状图像和术中二维形状图像进行基于缩放变换的非刚体配准，以得到所述多组术前二维形状图像和术中二维形状图像在二维空间ROI区域内的多组所述表面点之间的二维对应关系；
对多组所述表面点进行反投影操作，以得到多组所述表面点之间的三维对应关系，进而生成多组所述肝脏表面和腹部表面之间对应的表面点集；
基于多组所述对应的表面点集，通过点对匹配算法实现所述肝脏表面和腹部表面之间的初始刚体配准，并使用ICP算法对所述初始刚体配准进行优化，以得到多组所述肝脏位移向量场和腹部位移向量场。
4.根据权利要求3所述的方法，其特征在于，
所述根据所述多组肝脏位移向量场和腹部位移向量场构建呼吸运动模型，包括：
根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型；
采用内外呼吸幅度关联法得到每个所述呼吸相位对应的最佳训练集；
计算每个所述呼吸相位对应的表面相似度系数；
将所述最佳训练集的平均值和所述表面相似度系数代入所述统计模型中，以得到对应每个所述呼吸相位的最终呼吸运动模型。
5.根据权利要求4所述的方法，其特征在于，
所述根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型，包括：
将每组所述肝脏位移向量场和腹部位移向量场作为列向量，整合为一个矩阵；
利用主成分分析的方法对所述矩阵进行奇异值分解，以得到所述矩阵的特征向量和特征值；
根据所述特征向量和特征值构建呼吸运动位移场的统计模型。
6.根据权利要求5所述的方法，其特征在于，
所述根据多组肝脏位移向量场和腹部位移向量场构建呼吸运动位移场的统计模型，包括：
采用以下公式计算：
Figure FDA0002315601450000021
其中，u(w)表示与整个呼吸运动周期中任何呼吸相位对应的位移向量场，
Figure FDA0002315601450000031
代表手术前获得的整个呼吸周期的DVF的平均向量，E代表获得的特征向量集的子集，即对应于最大两个特征值的特征向量矩阵，W代表PCA统计模型系数集，并且初始值是对应的特征值集。
7.根据权利要求4所述的方法，其特征在于，
所述采用内外呼吸幅度关联法得到每个所述呼吸相位对应的最佳训练集，包括：
根据所述多组肝脏位移向量场和腹部位移向量场，计算多组所述肝脏表面和腹部表面的振幅，并建立多组所述肝脏表面的振幅和腹部表面的振幅之间的关联；
根据每个所述呼吸相位的所述腹部位移向量场，获取训练集中在所述腹部位移向量场前后的两个呼吸相位的最佳肝脏位移向量场，并将每组所述最佳肝脏位移向量场作为每个呼吸相位对应的最佳训练集。
8.根据权利要求7所述的方法，其特征在于，
所述计算每个所述呼吸相位对应的表面相似度系数，包括：
采用以下公式计算：
Wopt＝argmaxWSim(SW，Si)；
其中，Wopt代表最佳PCA统计模型参数，SW代表手术前腹部CT的表面，Si代表术中腹表面，Sim(SW，Si)表示术前和术中腹表面之间的相似度，与两个表面的欧几里得距离成反比。
9.根据权利要求8所述的方法，其特征在于，
所述将所述最佳训练集的平均值和所述表面相似度系数代入所述统计模型中，以得到对应每个所述呼吸相位的最终呼吸运动模型，包括：
采用如下公式计算：
Figure FDA0002315601450000032
其中，uestimateed表示整个腹部内部呼吸运动位移的估计矢量场，
Figure FDA0002315601450000033
为所述最佳训练集中的平均值。
10.一种肝脏呼吸运动模型的预测装置，其特征在于，包括处理器以及存储器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现如权利要求1-9任一项所述的肝脏呼吸运动模型的预测方法。
11.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现权利要求1-9中任一项所述的肝脏呼吸运动模型的预测方法。
CN201911288651.4A 2019-12-12 2019-12-12 一种肝脏呼吸运动模型的预测方法、装置及存储介质 Active CN111161333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911288651.4A CN111161333B (zh) 2019-12-12 2019-12-12 一种肝脏呼吸运动模型的预测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288651.4A CN111161333B (zh) 2019-12-12 2019-12-12 一种肝脏呼吸运动模型的预测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111161333A true CN111161333A (zh) 2020-05-15
CN111161333B CN111161333B (zh) 2023-04-18

Family

ID=70557183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288651.4A Active CN111161333B (zh) 2019-12-12 2019-12-12 一种肝脏呼吸运动模型的预测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111161333B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053330A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于pca和tssm模型的膈肌预测系统及方法
CN112515763A (zh) * 2020-11-27 2021-03-19 中国科学院深圳先进技术研究院 目标物的定位显示方法、系统、装置和电子设备
CN112998853A (zh) * 2021-02-25 2021-06-22 四川大学华西医院 腹部血管动态造影2d建模方法、3d建模方法及检测系统
CN113112486A (zh) * 2021-04-20 2021-07-13 中国科学院深圳先进技术研究院 一种肿瘤的运动估计方法、装置、终端设备和存储介质
CN114451990A (zh) * 2020-11-09 2022-05-10 北京理工大学 针对肿瘤热消融的术中动态路径优化方法及装置
WO2022227597A1 (zh) * 2021-04-29 2022-11-03 中国科学院深圳先进技术研究院 肝脏内部组织的位移预测方法、装置、系统及电子设备
WO2023283866A1 (zh) * 2021-07-12 2023-01-19 中国科学院深圳先进技术研究院 呼吸运动模型的构建方法和无标记呼吸运动预测方法
CN116849691A (zh) * 2023-08-11 2023-10-10 南京安科医疗科技有限公司 一种心脏ct成像全局最优相位自动识别方法、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2839854A1 (en) * 2014-01-17 2015-07-17 Centre For Imaging Technology Commercialization (Cimtec) 2d-3d rigid registration method to compensate for organ motion during an interventional procedure
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
US20180368731A1 (en) * 2016-02-15 2018-12-27 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and recording medium recording same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2839854A1 (en) * 2014-01-17 2015-07-17 Centre For Imaging Technology Commercialization (Cimtec) 2d-3d rigid registration method to compensate for organ motion during an interventional procedure
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
US20180368731A1 (en) * 2016-02-15 2018-12-27 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and recording medium recording same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H.FAYAD等: "Patient specific respiratory motion modeling using a 3D patient’s external surface" *
肖德强: "基于 Kinect 相机的肝脏穿刺介入导航研究" *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053330B (zh) * 2020-08-28 2023-06-20 西安电子科技大学 基于pca和tssm模型的膈肌预测系统及方法
CN112053330A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于pca和tssm模型的膈肌预测系统及方法
CN114451990A (zh) * 2020-11-09 2022-05-10 北京理工大学 针对肿瘤热消融的术中动态路径优化方法及装置
CN112515763A (zh) * 2020-11-27 2021-03-19 中国科学院深圳先进技术研究院 目标物的定位显示方法、系统、装置和电子设备
CN112515763B (zh) * 2020-11-27 2021-09-10 中国科学院深圳先进技术研究院 目标物的定位显示方法、系统、装置和电子设备
CN112998853B (zh) * 2021-02-25 2023-05-23 四川大学华西医院 腹部血管动态造影2d建模方法、3d建模方法及检测系统
CN112998853A (zh) * 2021-02-25 2021-06-22 四川大学华西医院 腹部血管动态造影2d建模方法、3d建模方法及检测系统
WO2022222502A1 (zh) * 2021-04-20 2022-10-27 中国科学院深圳先进技术研究院 一种肿瘤的运动估计方法、装置、终端设备和存储介质
CN113112486B (zh) * 2021-04-20 2022-11-29 中国科学院深圳先进技术研究院 一种肿瘤的运动估计方法、装置、终端设备和存储介质
CN113112486A (zh) * 2021-04-20 2021-07-13 中国科学院深圳先进技术研究院 一种肿瘤的运动估计方法、装置、终端设备和存储介质
WO2022227597A1 (zh) * 2021-04-29 2022-11-03 中国科学院深圳先进技术研究院 肝脏内部组织的位移预测方法、装置、系统及电子设备
WO2023283866A1 (zh) * 2021-07-12 2023-01-19 中国科学院深圳先进技术研究院 呼吸运动模型的构建方法和无标记呼吸运动预测方法
CN116849691A (zh) * 2023-08-11 2023-10-10 南京安科医疗科技有限公司 一种心脏ct成像全局最优相位自动识别方法、设备和存储介质
CN116849691B (zh) * 2023-08-11 2024-03-12 南京安科医疗科技有限公司 一种心脏ct成像全局最优相位自动识别方法、设备和存储介质

Also Published As

Publication number Publication date
CN111161333B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111161333B (zh) 一种肝脏呼吸运动模型的预测方法、装置及存储介质
CN106485695B (zh) 基于统计形状模型的医学图像Graph Cut分割方法
US7787683B2 (en) Tree structure based 2D to 3D registration
Rivaz et al. Self-similarity weighted mutual information: a new nonrigid image registration metric
Wang et al. Elastic model based non-rigid registration incorporating statistical shape information
EP3444781B1 (en) Image processing apparatus and image processing method
Urschler et al. SIFT and shape context for feature-based nonlinear registration of thoracic CT images
Oktay et al. Learning shape representations for multi-atlas endocardium segmentation in 3D echo images
Ghose et al. Multiple mean models of statistical shape and probability priors for automatic prostate segmentation
US20080285822A1 (en) Automated Stool Removal Method For Medical Imaging
Nemoto et al. A unified framework for concurrent detection of anatomical landmarks for medical image understanding
Stough et al. Regional appearance in deformable model segmentation
Schramm et al. Toward fully automatic object detection and segmentation
Nouranian et al. An automatic multi-atlas segmentation of the prostate in transrectal ultrasound images using pairwise atlas shape similarity
Broadhurst et al. Histogram statistics of local model-relative image regions
Urschler et al. Assessing breathing motion by shape matching of lung and diaphragm surfaces
Feng et al. A generic mutual information based algorithm for spatial registration of multi-modal medical images
Hoogendoorn et al. A groupwise mutual information metric for cost efficient selection of a suitable reference in cardiac computational atlas construction
Cao et al. Respiration induced fiducial motion tracking in ultrasound using an extended SFA approach
CN113056744A (zh) 数据扩充
Jeong et al. Modeling inter-and intra-patient anatomical variation using a bilinear model
Roelofs Deep learning-based affine and deformable 3D medical image registration
Cheung et al. Fast Adaptive Bases Algorithm for Non-rigid Image Registration.
Vidal et al. Template registration with missing parts: Application to the segmentation of M. tuberculosis infected lungs
Loeckx et al. 3D lung registration using splineMIRIT and robust tree registration (RTR)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jia Fucang

Inventor after: Bao Xuezhi

Inventor before: Jia Fucang

GR01 Patent grant
GR01 Patent grant