CN112070685A - Hifu治疗系统的动态软组织运动预测的方法 - Google Patents

Hifu治疗系统的动态软组织运动预测的方法 Download PDF

Info

Publication number
CN112070685A
CN112070685A CN202010793791.3A CN202010793791A CN112070685A CN 112070685 A CN112070685 A CN 112070685A CN 202010793791 A CN202010793791 A CN 202010793791A CN 112070685 A CN112070685 A CN 112070685A
Authority
CN
China
Prior art keywords
soft tissue
image sequence
dynamic soft
motion prediction
tissue motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010793791.3A
Other languages
English (en)
Other versions
CN112070685B (zh
Inventor
袁志勇
李洁
赵俭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010793791.3A priority Critical patent/CN112070685B/zh
Publication of CN112070685A publication Critical patent/CN112070685A/zh
Application granted granted Critical
Publication of CN112070685B publication Critical patent/CN112070685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种HIFU治疗系统的动态软组织运动预测的方法，首先进行HIFU图像序列的预处理；构造图像序列与标签序列的预测映射关系；构建数据集并对训练集进行在线数据增强；搭建HIFU治疗系统的动态软组织运动预测模型并进行训练，通过评估指标优化网络得出最优模型；得到最优模型后，将测试集输入到网络中，进行动态软组织医学图像序列运动预测和性能评价。本发明采用堆叠卷积长短时记忆网络结合时间包装器的组合模式为网络模型处理医学图像序列提供了基础数据条件并且能充分利用HIFU图像序列的时空信息，能够对HIFU治疗系统动态软组织进行具有精确轮廓的运动预测。

Description

HIFU治疗系统的动态软组织运动预测的方法
技术领域
本发明属于医学图像处理技术领域，涉及一种运动预测的方法，具体涉及一种在HIFU治疗系统的动态软组织运动预测的方法。
背景技术
HIFU治疗系统是一种“能够将超声波束聚焦于靶组织，使其生热以致消融而不损害周围健康机体”的治疗设备，其最突出和最富竞争力的特点是无创或微创。其核心技术，是在考虑到人体结构的不均匀性、高声强时的非线性和将组织作为时变体系的前提下，对病灶实现精准定位，从而对HIFU治疗系统的声输出实现精准的时空控制。在HIFU治疗手术导航中，随着患者呼吸运动及体位变化等因素，靶组织会产生整体偏移，此外，由于靶组织自身性质的原因，还时常伴随着微小形变。一旦治疗过程中靶组织状态发生改变而系统却没有来得及调整靶区位置，不仅没有消融的正确病灶，且高温的副作用对正常组织的损害也往往是不可忽视的。为了达到精准治疗的目的，我们可以利用医学超声影像作为引导手段来提前预测靶组织的位置，使得系统来得及调整治疗靶区位置。
在过去的几十年里，研究人员已提出了许多用于运动跟踪预测的方法。先前的跟踪方法可以大致分为两类：无模型匹配跟踪方法和基于模型的匹配跟踪方法。在无模型跟踪预测方法中，块匹配方法是使用最广泛的方法。块匹配方法使用图像的局部结构信息来估计目标组织的状态以进行跟踪，其主要思想是通过将查询块与相邻块进行匹配，从这些相邻块中找到最接近查询块的多个相邻图像块。然而，块匹配方法不能很好地解决局部图像结构的不稳定性，更无法充分利用图像序列的先验信息。基于模型的跟踪预测方法是近十年来的研究热点。基于模型的跟踪预测可以利用医学图像序列的先验信息构建医学器官的数学预测网络模型(例如运动模型)，通过优化模型参数来增强鲁棒性。然而，上述传统医学图像处理方法大多是将将靶组织视为一个刚性的整体或一个点，无法准确定位靶组织的区域和边界，因此也无法很精准进行软组织运动预测。此外，传统方法在超声序列的目标跟踪和运动预测中存在以下缺点：跟踪目标轮廓的急剧变化可能导致运动预测效果较差；如果帧间目标位移太大或传统方法错误地估计了目标的尺度和方向，则可能导致跟踪目标丢失。
目前，深度学习方法已广泛用于医学图像处理中。与此同时，基于深度学习的目标跟踪和运动预测算法也已成为运动预测领域不可或缺的一部分。考虑到深度学习方法具有强大的非线性建模能力和能够利用序列图像的时空信息的优势，基于深度学习的图像序列方法非常适合处理超声医学图像序列数据。这为医学图像中动态软组织的运动预测提供了一种新思路。
发明内容
本发明充分考虑了HIFU治疗系统在精准治疗上的需求和上述现有技术的不足，提供了一种HIFU治疗系统动态软组织运动预测的方法。
本发明所采用的技术方案是：一种HIFU治疗系统的动态软组织运动预测的方法，其特征在于，包括以下步骤：
步骤1：对HIFU源图像序列数据进行预处理，对得到的图像序列数据缩放至统一尺寸，进一步对图像序列数据进行灰度化处理，对标签序列数据Label进行二值化处理；其中，记预处理后的源图像序列数据为图像序列数据Image，标签序列数据Label为经专家手工分割的掩膜图像序列数据；
步骤2：构造图像序列数据Image与标签序列数据Label的预测映射关系，图像序列某一帧图像Imagei对应下一帧的标签Labeli+1；
步骤3：构建包括训练集、验证集和测试集的医学图像序列数据集，并对其中的训练集进行在线数据增强；
步骤4：搭建HIFU治疗系统的动态软组织运动预测网络模型，采用堆叠卷积长短时记忆网络结合时间包装器的组合模式来有效利用医学图像序列的时空信息，并根据设定的训练策略训练动态软组织运动预测网络模型参数；
步骤5：将测试集数据输入训练好的动态软组织运动预测网络模型，生成相应的动态软组织运动预测结果图，将预测结果图与真实结果图相比较，得到HIFU治疗系统的动态软组织运动预测的结果和性能指标。
作为优选，步骤1中，对HIFU医学图像序列数据Image进行去噪、增强和归一化处理。
作为优选，步骤3中的具体实现包括以下子步骤：
步骤3.1：将预处理后的HIFU图像序列数据按8:1:1的预设比例划分成训练集、验证集和测试集，用于对动态软组织运动预测网络进行训练、验证和测试；
步骤3.2：采用在线数据增强的方法对训练集进行数据增强，即在数据生成器中对传入动态软组织运动预测网络的图像序列数据进行增强；其中，数据生成器为自定义批量数据生成器：从HIFU图像序列的第一帧开始，每连续N帧为一个整体作为训练所选取的一个样本，各样本第一帧为循环后移一帧的关系，即下个样本的第一帧是上个样本第一帧Pi的下一帧Pi+1；对每一个样本通过整体的旋转、裁剪和翻转变换得到固定大小的输入图像序列；最终由数据生成器生成并传入网络的数据为5D张量，其格式为(samples,time,rows,cols,channels)；其中samples相当于批尺寸batch_size，即一次训练所选取的样本数；time为每个样本sample中的时序数也就是帧数；rows、cols和channels分别为图像的行像素、列像素和通道数。
作为优选，步骤4中，所述预测网络模型包含输入模块、特征图模块、输出模块、编码器模块和解码器模块；在U-Net网络中，在编码模块和解码模块各尺度中用堆叠卷积长短时记忆网络ConvLSTM代替常规LSTM的操作，每一个卷积长短时记忆网络层ConvLSTM都包含BN层、卷积长短时记忆网络ConvLSTM以及使用激活函数激活；与此同时，在各尺度间的池化操作和上采样操作中加入了时间包装器TimeDistributed层，采用带时间包装器TimeDistributed层的池化与上采样过程来适配堆叠卷积长短时记忆网络ConvLSTM的数据格式，并通过时间包装器TimeDistributed层按顺序处理医学图像序列每一帧图像以确保时间一致性，保证了对医学图像序列中时序信息的正确使用；对同一尺度采用跳过连接操作进行高级语义信息和低级特征信息的融合。
作为优选，步骤4中，建立包括像素准确率系数PA、集合相似度度量系数Dice和平均交并比系数mIoU的评估指标，使用Dice_Loss函数作为损失函数，使用sigmoid函数作为激活层，采用Adam优化器来自适应学习率；通过评估指标优化动态软组织运动预测预测网络模型，得到并保存最优动态软组织运动预测预测网络模型；
所述像素准确率系数PA，是所有分类正确的像素数占像素总数的比例，计算公式为：
Figure BDA0002624751770000031
其中，FP表示假正例，FN表示假负例，TP表示真正例，TN表示真负例；
所述集合相似度度量系数
Figure BDA0002624751770000032
表示X,Y样本的相似度：
所述平均交并比系数mIoU反映动态软组织运动预测网络模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果，其二分类的mIoU为：
Figure BDA0002624751770000041
损失函数Dice_Loss用于比较预测结果跟标签之间的相似度，用于二值图像分割，即标签为二值，也用于多标签情况；
Figure BDA0002624751770000042
作为优选，步骤4中，训练集上训练HIFU治疗系统动态软组织运动预测网络模型，验证集上辅助调试网络训练参数，判断验证过程中的损失值是否小于之前验证过程中的最小的损失值，并保存当前迭代次数中最优模型；
判断是否达到当前迭代次数；若达到则输出最优模型并保存模型参数，否则，进行下一次迭代；直至获得最优动态软组织运动预测预测网络模型。
本发明将动态软组织运动预测转化为图像序列的精准轮廓分割问题。本方法主要用于动态软组织运动预测，输入数据为医学图像序列，除了在构造图像序列与标签序列的预测映射关系部分与普通的医学图像分割方法不同；在U-Net模型基础上，以卷积长短时记忆神经网络(ConvLSTM)代替常规的长短时记忆神经网络(LSTM)的操作结合时间包装器(TimeDistributed包装层)得到本方法提出的HIFU治疗系统动态软组织运动预测网络模型。该模型能充分利用医学图像序列的时空信息，能对动态软组织超声影像进行时序分割和预测从而达到对靶组织具有精准轮廓的运动预测。
与现有技术相比，本发明具有以下的创新与优势：
本发明引入了堆叠卷积长短时记忆网络结合时间包装器的组合模式，为网络模型处理医学图像序列提供了基础数据条件，并且能充分利用图像序列的时空信息。设计了一个独创性的医学图像序列数据集中源图像序列Image与标签序列Label之间的映射关系，该映射关系能将动态软组织运动预测的问题有效转化为医学图像序列的精准轮廓分割预测问题。在各尺度内，堆叠卷积LSTM结构不仅能够得到时序关系，还能够像卷积层一样提取特征，提取空间特征，这样就能够得到时空特征。在各尺度间，不同于传统的将图像序列视作一个立体整体进行操作，采用时间包装器操作用于按顺序处理每一帧图像序列确保时间一致性，以强调对时序信息的正确使用，以提高模型实现多对多的能力。本发明充分利用了HIFU图像序列的时空信息，能够对动态软组织进行精确轮廓的运动预测，为HIFU治疗系统及时调整治疗靶点位置，以实现精准治疗提供了技术依据。
附图说明
图1为本发明实施例的流程框图。
图2为本发明实施例的动态软组织运动预测网络模型结构框图。
图3为本发明实施例的动态软组织运动预测网络模型示意图。
图4为本发明实施例的方法与其他方法对HIFU治疗系统动态软组织的运动预测结果对比图。其中，a为原始图像，b为本方法提出的HIFU治疗系统的动态软组织运动预测网络模型的预测结果，c为3D U-Net模型的预测结果，d为V-Net模型的预测结果。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明做详细描述。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
请见图1，本实施例提供的一种HIFU治疗系统的动态软组织运动预测的方法，包括以下步骤：
步骤1：对HIFU源图像序列数据进行预处理，对得到的图像序列数据缩放至统一尺寸，进一步对图像序列数据进行灰度化处理，对标签序列数据Label进行二值化处理；其中，记预处理后的源图像序列数据为图像序列数据Image，标签序列数据Label为经专家手工分割的掩膜图像序列数据；
本实施例中，对HIFU医学图像序列数据进行去噪、增强和归一化处理。
本实施例中，预处理完后得到286张HIFU源图像(指图像序列数据Image)和286张相应的掩膜图像(指标签序列数据Label)，对应的数据格式均为(286，256，256，1)。
步骤2：构造图像序列数据Image与标签序列数据Label的预测映射关系，图像序列某一帧图像Imagei对应下一帧的标签Labeli+1；
本实施例中图像与标签的映射关系并非常见的单帧图像分割的映射关系。在本实施例提出的HIFU治疗系统的动态软组织运动预测的方法中，采用图像对应下一帧标签的方法可以在一定程度提取医学图像序列中时空关系，网络中可以较好的拟合出较有规律的微小形变(如呼吸作用产生的微小位移在一定程度带有规律)，由此该方法将动态软组织运动预测转化为图像序列的精准轮廓分割问题。为了保证预测结果的准确性，后续操作“将训练好的模型应用在测试集上测试模型，并使用相应的评价指标对动态软组织运动预测效果进行评估”中，本实施例采用的是预测结果对应其真实标签来计算评估指标。本实施例中采用每连续16帧HIFU图像为一个序列数据，初步得到201组训练集、23组验证集和30组测试集。其对应的数据格式分别为(201，16，256，256，1)、(23，16，256，256，1)和(30，16，256，256，1)。
本发明中采用图像对应下一帧标签的方法可以在一定程度提取医学图像序列中时空关系。
步骤3：构建包括训练集、验证集和测试集的医学图像序列数据集，并对其中的训练集进行在线数据增强；
步骤3中的具体实现包括以下子步骤：
步骤3.1：将预处理后的HIFU图像序列数据按8:1:1的预设比例划分成训练集、验证集和测试集，用于对动态软组织运动预测网络进行训练、验证和测试；
本实施例将预处理后的HIFU图像序列按8:1:1的比例划分成数据集形式，包括训练集、验证集和测试集，以便对网络模型进行训练、验证和测试。
步骤3.2：采用在线数据增强的方法对训练集进行数据增强，即在数据生成器中对传入动态软组织运动预测网络的图像序列数据进行增强；其中，数据生成器为自定义批量数据生成器：从HIFU图像序列的第一帧开始，每连续N帧为一个整体作为训练所选取的一个样本，各样本第一帧为循环后移一帧的关系，即下个样本的第一帧是上个样本第一帧Pi的下一帧Pi+1；对每一个样本通过整体的旋转、裁剪和翻转变换得到固定大小的输入图像序列；最终由数据生成器生成并传入网络的数据为5D张量，其格式为(samples,time,rows,cols,channels)；其中samples相当于批尺寸batch_size，即一次训练所选取的样本数；time为每个样本sample中的时序数也就是帧数；rows、cols和channels分别为图像的行像素、列像素和通道数。
步骤4：搭建HIFU治疗系统的动态软组织运动预测网络模型，采用堆叠卷积长短时记忆网络结合时间包装器的组合模式来有效利用医学图像序列的时空信息，并根据设定的训练策略训练预测网络模型参数；
本实施例的训练策略采用的较为成熟的现有训练策略思想，具体指“建立包括像素准确率系数PA、集合相似度度量系数Dice和平均交并比系数mIoU的评估指标，使用Dice_Loss函数作为损失函数，使用sigmoid函数作为激活层，采用Adam优化器来自适应学习率；通过评估指标优化网络，得到并保存最优运动预测网络模型。”
参见图2，为搭建HIFU治疗系统动态软组织运动预测的结构框图，该网络主要由5个模块组成，其中包含输入模块、特征图模块、输出模块、编码器模块和解码器模块。在原有U-Net网络模型中，在编码模块和解码模块各尺度中用堆叠卷积长短时记忆网络ConvLSTM代替常规LSTM的操作，与此同时，在各尺度间的池化操作和上采样操作中加入了时间包装器TimeDistributed层。
参见图3，为HIFU治疗系统的动态软组织运动预测的方法的网络模型示意图。HIFU治疗系统动态软组织运动预测的网络模型是基于医学图像领域常用的U型卷积神经网路改进而来的。传统的U型卷积神经网路如3D U-Net和V Net采用三维卷积Conv3d、3D池化等三维相关的操作更适用单纯的立体三维图像，而不适用于带有时序信息的医学图像序列。改进后的HIFU治疗系统动态软组织运动预测的网络模型不仅能利用医学图像序列的空间信息，同时堆叠卷积长短时记忆网络模块ConvLSTM和时间包装器TimeDistributed层的有效结合也很好的利用了医学图像序列的时间信息，为HIFU治疗系统动态软组织运动预测提供了必要的基础。
本步骤在各尺度内，本实施例采用了堆叠卷积长短时记忆网络ConvLSTM，加强医学图像序列中时序信息的利用。每一个卷积长短时记忆网络层ConvLSTM都包含BN层、卷积长短时记忆操作ConvLSTM以及使用激活函数激活；本实施例中采用BN和dropout的操作以防止过拟合。
本步骤在各尺度间，采用带时间包装器TimeDistributed层的池化与上采样过程来适配堆叠卷积长短时记忆网络ConvLSTM的数据格式，并通过时间包装器TimeDistributed层按顺序处理医学图像序列每一帧图像以确保时间一致性，保证了对医学图像序列中时序信息的正确使用；堆叠卷积长短时记忆网络结合时间包装器的组合模式为网络模型处理医学图像序列提供了基础数据条件并且能充分利用图像序列的时空信息，既能包装图像序列以提高模型实现多对多的能力，又能使模型更深入以获得更高的运动预测准确性。
本步骤对同一尺度采用跳过连接操作，进行高级语义信息和低级特征信息的融合。从理论上讲，低维信息图的感受野较小，主要包括局部细节特征。相应地，高维信息图具有较大的感受野，主要包含全局信息。低维信息可以更好的映射边缘等底层信息，高维信息具有较高的抽象性，可以映射高层全局信息。
堆叠卷积长短时记忆网络结合时间包装器的组合模式为网络模型处理医学图像时序序列提供了基础数据条件并且能充分利用时序序列的时空信息，既能包装图像序列以提高模型实现多对多的能力，又能使模型更深入以提升HIFU治疗系统的动态软组织运动预测的准确性。
步骤5：建立包括像素准确率系数PA、集合相似度度量系数Dice和平均交并比系数mIoU的评估指标，通过评估指标优化网络，得到并保存最优动态软组织运动预测网络模型；
本实施例中，建立包括像素准确率系数PA、集合相似度度量系数Dice和平均交并比系数mIoU的评估指标，使用Dice_Loss函数作为损失函数，使用sigmoid函数作为激活层，采用Adam优化器来自适应学习率；通过评估指标优化网络，得到并保存最优动态软组织运动预测网络模型。
本实施例中，像素准确率系数PA，是所有分类正确的像素数占像素总数的比例，计算公式为：
Figure BDA0002624751770000081
其中，FP表示假正例，FN表示假负例，TP表示真正例，TN表示真负例；
本实施例中，集合相似度度量系数
Figure BDA0002624751770000082
表示X,Y样本的相似度：
本实施例中，平均交并比系数mIoU反映动态软组织运动预测网络模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果，其二分类的mIoU为：
Figure BDA0002624751770000083
本实施例中，损失函数Dice_Loss用于比较预测结果跟标签之间的相似度，用于二值图像分割，即标签为二值，也用于多标签情况；
Figure BDA0002624751770000084
Figure BDA0002624751770000085
训练集上训练HIFU治疗系统动态软组织运动预测的网络模型，验证集上辅助调试网络训练参数，判断验证过程中的损失值是否小于之前验证过程中的最小的损失值，并保存当前迭代次数中最优模型；
判断是否达到当前迭代次数；若达到则输出最优模型并保存模型参数，否则，进行下一次迭代；直至获得最优动态软组织运动预测网络模型。
步骤6：将测试集数据输入最优动态软组织运动预测网络模型，生成相应的动态软组织运动预测结果图，将预测结果图与真实结果图相比较，得到HIFU治疗系统的动态软组织运动预测结果和性能指标。
最后将训练好的模型应用在测试集上测试模型，并使用相应的评价指标对动态软组织运动预测效果进行评估。本发明实施例中，分别采用像素准确率系数PA、集合相似度度量系数Dice以及平均交并比系数mIoU这3个指标与现有的3D U-Net、V-Net以及本发明中所提出的HIFU治疗系统动态软组织运动预测的网络模型STU-Net进行比较。
本实例实验采用基于python语言的Keras结合TensorFlow框架搭建，操作系统为64位Ubuntu16.04LTS，硬件平台为Intel Corei5-7640X，主频为4.00GHZ，内存为32GB，GPU为GeForce GTX 1080Ti，显存为11GB。
为验证本发明提出的方法对HIFU治疗系统动态软组织运动预测的有效性，将本发明提出的HIFU治疗系统的动态软组织运动预测的方法与3D U-Net和VNet取相同的基础参数，在相同的HIFU医学图像序列训练集，验证集和测试集上进行模型训练、验证及测试，其分割预测结果示意图如图4所示。从表1可以定量得出，本方法在像素准确率系数PA、集合相似度度量系数Dice以及平均交并比系数mIoU这3个指标上均优于3D U-Net和V Net方法。此外，从图4可以定性分析出，3D U-Net在进行HIFU治疗系统动态软组织运动预测时经常出现小范围背景误预测的情况，而V-Net在预测图像边缘的准确度和平滑度上都略差于本发明方法的预测结果。综上所述，本发明提出的方法在HIFU治疗系统动态软组织运动预测上表现优异，能充分有效的利用HIFU图像序列的时空信息，能够对动态软组织进行具有精确轮廓的运动预测。
表1为本发明提出的HIFU治疗系统动态软组织运动预测的方法与3DU-Net和V-Net的评估指标比较结果(epoch＝30)；数字的粗体表示最优结果。
表1
Figure BDA0002624751770000091
应当理解的是，本说明书未详细阐述的部分均属于现有技术。应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种HIFU治疗系统的动态软组织运动预测的方法，其特征在于，包括以下步骤：
步骤1：对HIFU源图像序列数据进行预处理，对得到的图像序列数据缩放至统一尺寸，进一步对图像序列数据进行灰度化处理，对标签序列数据Label进行二值化处理；其中，记预处理后的源图像序列数据为图像序列数据Image，标签序列数据Label为经专家手工分割的掩膜图像序列数据；
步骤2：构造图像序列数据Image与标签序列数据Label的预测映射关系，图像序列某一帧图像Imagei对应下一帧的标签Labeli+1；
步骤3：构建包括训练集、验证集和测试集的医学图像序列数据集，并对其中的训练集进行在线数据增强；
步骤4：搭建HIFU治疗系统的动态软组织运动预测网络模型，采用堆叠卷积长短时记忆网络结合时间包装器的组合模式来有效利用医学图像序列的时空信息，并根据设定的训练策略训练动态软组织运动预测网络模型参数；
步骤5：将测试集数据输入训练好的动态软组织运动预测网络模型，生成相应的动态软组织运动预测结果图，将预测结果图与真实结果图相比较，得到HIFU治疗系统的动态软组织运动预测的结果和性能指标。
2.根据权利要求1所述的HIFU治疗系统的动态软组织运动预测的方法，其特征在于：步骤1中，对HIFU医学图像序列数据进行去噪、增强和归一化处理。
3.根据权利要求1所述的HIFU治疗系统的动态软组织运动预测的方法，其特征在于，步骤3中的具体实现包括以下子步骤：
步骤3.1：将预处理后的HIFU图像序列按预设比例划分成训练集、验证集和测试集，用于对动态软组织运动预测网络进行训练、验证和测试；
步骤3.2：采用在线数据增强的方法对训练集进行数据增强，即在数据生成器中对传入动态软组织运动预测网络的图像序列数据进行增强；其中，数据生成器为自定义批量数据生成器：从HIFU图像序列的第一帧开始，每连续N帧为一个整体作为训练所选取的一个样本，各样本第一帧为循环后移一帧的关系，即下个样本的第一帧是上个样本第一帧Pi的下一帧Pi+1；对每一个样本通过整体的旋转、裁剪和翻转变换得到固定大小的输入图像序列；最终由数据生成器生成并传入网络的数据为5D张量，其格式为(samples,time,rows,cols,channels)；其中samples相当于批尺寸batch_size，即一次训练所选取的样本数；time为每个样本sample中的时序数也就是帧数；rows、cols和channels分别为图像的行像素、列像素和通道数。
4.根据权利要求1所述的HIFU治疗系统的动态软组织运动预测的方法，其特征在于：步骤4中，搭建HIFU治疗系统的动态软组织运动预测网络模型的过程具体如下：
所述预测网络模型包含输入模块、特征图模块、输出模块、编码器模块和解码器模块；
在U-Net网络中，在编码模块和解码模块各尺度中用堆叠卷积长短时记忆网络ConvLSTM代替常规LSTM的操作，每一个卷积长短时记忆网络层ConvLSTM都包含BN层、卷积长短时记忆网络ConvLSTM以及使用激活函数激活；与此同时，在各尺度间的池化操作和上采样操作中加入了时间包装器TimeDistributed层，采用带时间包装器TimeDistributed层的池化与上采样过程来适配堆叠卷积长短时记忆网络ConvLSTM的数据格式，并通过时间包装器TimeDistributed层按顺序处理医学图像序列每一帧图像以确保时间一致性，保证了对医学图像序列中时序信息的正确使用；
对同一尺度采用跳过连接操作进行高级语义信息和低级特征信息的融合。
5.根据权利要求1-4任意一项所述的HIFU治疗系统的动态软组织运动预测的方法，其特征在于：步骤4中，建立包括像素准确率系数PA、集合相似度度量系数Dice和平均交并比系数mIoU的评估指标，使用Dice_Loss函数作为损失函数，使用sigmoid函数作为激活层，采用Adam优化器来自适应学习率；通过评估指标优化动态软组织运动预测网络模型，得到并保存最优动态软组织运动预测网络模型；
所述像素准确率系数PA，是所有分类正确的像素数占像素总数的比例，计算公式为：
Figure FDA0002624751760000021
其中，FP表示假正例，FN表示假负例，TP表示真正例，TN表示真负例；
所述集合相似度度量系数
Figure FDA0002624751760000022
表示X,Y样本的相似度：
所述平均交并比系数mIoU反映动态软组织运动预测网络模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果，其二分类的mIoU为：
Figure FDA0002624751760000023
损失函数Dice_Loss用于比较预测结果跟标签之间的相似度，用于二值图像分割，即标签为二值，也用于多标签情况；
Figure FDA0002624751760000031
6.根据权利要求5所述的HIFU治疗系统的动态软组织运动预测的方法，其特征在于：步骤4中，训练集上训练HIFU治疗系统动态软组织运动动态软组织运动预测网络模型，验证集上辅助调试网络训练参数，判断验证过程中的损失值是否小于之前验证过程中的最小的损失值，并保存当前迭代次数中最优模型；
判断是否达到当前迭代次数；若达到则输出最优模型并保存模型参数，否则，进行下一次迭代；直至获得最优动态软组织运动预测的网络模型。
CN202010793791.3A 2020-08-10 2020-08-10 Hifu治疗系统的动态软组织运动预测的方法 Active CN112070685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010793791.3A CN112070685B (zh) 2020-08-10 2020-08-10 Hifu治疗系统的动态软组织运动预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010793791.3A CN112070685B (zh) 2020-08-10 2020-08-10 Hifu治疗系统的动态软组织运动预测的方法

Publications (2)

Publication Number Publication Date
CN112070685A true CN112070685A (zh) 2020-12-11
CN112070685B CN112070685B (zh) 2023-08-18

Family

ID=73660956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010793791.3A Active CN112070685B (zh) 2020-08-10 2020-08-10 Hifu治疗系统的动态软组织运动预测的方法

Country Status (1)

Country Link
CN (1) CN112070685B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112967275A (zh) * 2021-03-29 2021-06-15 中国科学院深圳先进技术研究院 软组织运动预测方法、装置、终端设备及可读存储介质
CN113066081A (zh) * 2021-04-15 2021-07-02 哈尔滨理工大学 一种基于三维mri图像的乳腺肿瘤分子亚型检测方法
CN113570619A (zh) * 2021-07-13 2021-10-29 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647643A (zh) * 2018-05-11 2018-10-12 浙江工业大学 一种基于深度学习的填料塔液泛状态在线辨识方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647643A (zh) * 2018-05-11 2018-10-12 浙江工业大学 一种基于深度学习的填料塔液泛状态在线辨识方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIANGYUN LIAO 等: "Modeling and Predicting Tissue Movement and Deformation for High Intensity Focused Ultrasound Therapy", PLOS ONE *
倪波 等: "构建MRI统计形变模型的子宫肌瘤超声图像分割方法", 计算机辅助设计与图形学学报, vol. 25, no. 6 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819831A (zh) * 2021-01-29 2021-05-18 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112819831B (zh) * 2021-01-29 2024-04-19 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112967275A (zh) * 2021-03-29 2021-06-15 中国科学院深圳先进技术研究院 软组织运动预测方法、装置、终端设备及可读存储介质
WO2022206036A1 (zh) * 2021-03-29 2022-10-06 中国科学院深圳先进技术研究院 软组织运动预测方法、装置、终端设备及可读存储介质
CN113066081A (zh) * 2021-04-15 2021-07-02 哈尔滨理工大学 一种基于三维mri图像的乳腺肿瘤分子亚型检测方法
CN113570619A (zh) * 2021-07-13 2021-10-29 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统
CN113570619B (zh) * 2021-07-13 2024-05-14 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统

Also Published As

Publication number Publication date
CN112070685B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN112070685A (zh) Hifu治疗系统的动态软组织运动预测的方法
CN112150425B (zh) 一种基于神经网络的无监督血管内超声图像配准方法
CN110097131B (zh) 一种基于对抗协同训练的半监督医疗图像分割方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN112001122B (zh) 基于端到端生成对抗网络的非接触式生理信号测量方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN114004817A (zh) 一种分割网络半监督训练方法、系统、设备及存储介质
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN115018809A (zh) Ct图像的靶区分割识别方法及系统
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN115760874A (zh) 一种基于联合空间域的多尺度U-Net医学图像分割方法
CN117456183A (zh) 一种多层级特征提取融合注意力机制的医学图像分割方法
CN111888665B (zh) 基于自适应对抗网络的三维剂量分布预测模型的构建方法
CN112634293A (zh) 一种基于由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
CN116309748A (zh) 基于注意力机制的跨模态3d医学图像配准方法
CN113569758B (zh) 基于动作三元组引导的时序动作定位方法、系统、设备及介质
Mannem et al. A deep neural network based correction scheme for improved air-tissue boundary prediction in real-time magnetic resonance imaging video
CN115526898A (zh) 一种医学影像分割方法
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
CN112818950A (zh) 一种基于生成对抗网络和时间卷积网络的唇语识别方法
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
Li et al. SSCK-Net: Spine segmentation in MRI based on cross attention and key-points recognition-assisted learner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant