CN114187472A - 一种基于模型驱动元学习的乳腺癌分子亚型预测方法 - Google Patents

一种基于模型驱动元学习的乳腺癌分子亚型预测方法 Download PDF

Info

Publication number
CN114187472A
CN114187472A CN202111478418.XA CN202111478418A CN114187472A CN 114187472 A CN114187472 A CN 114187472A CN 202111478418 A CN202111478418 A CN 202111478418A CN 114187472 A CN114187472 A CN 114187472A
Authority
CN
China
Prior art keywords
magnetic resonance
learning
enhanced magnetic
attention
breast cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111478418.XA
Other languages
English (en)
Inventor
潘祥
王益航
吕天旭
厉力华
张岩
胡曙东
张继如
刘渊
谢振平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111478418.XA priority Critical patent/CN114187472A/zh
Publication of CN114187472A publication Critical patent/CN114187472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模型驱动元学习的乳腺癌分子亚型预测方法，包括，通过乳腺癌数据库获取动态增强磁共振图像和动态增强磁共振图像的标签；将动态增强磁共振图像进行处理得到动态增强磁共振体积数据，将动态增强磁共振体积数据与动态增强磁共振图像的标签匹配得到有标签的动态增强磁共振体积数据；将有标签的动态增强磁共振体积数据分为支持集和查询集，利用支持集和查询集构建时空循环注意力分类器；利用改进的元学习策略优化时空循环注意力分类器，通过时空循环注意力分类器进行分子亚型预测。本发明能够在小量数据样本的情况下准确的实现乳腺癌的分子亚型预测。

Description

一种基于模型驱动元学习的乳腺癌分子亚型预测方法
技术领域
本发明涉及小样本学习的技术领域，尤其涉及一种基于模型驱动元学习的乳腺癌分子亚型预测方法。
背景技术
近年来，乳腺癌分子亚型成为研究热点，因为不同分子亚型乳腺癌在疾病的表达、对治疗的反应、预后及生存结果上存在显著差异，些传统的乳腺癌分子亚型方法，有尝试通过患者影像预测乳腺癌分子亚型，比如采用的影像技术有乳腺钼靶、乳腺超声、正电子断层扫描与动态增强磁共振等，然而这些技术一般采用人工提取特征，存在主观性，很难客观反应乳腺癌本质特征。
最近，深度学习算法在医学图像分类中取得了巨大的成功，更多的研究试图将深度学习算法应用于癌症检测和诊断领域，然而医学图像的数据量极低，妨碍了深度学习算法充分发挥其潜力，并限制了评估结果的能力，因此，利用少量的医学图像样本对其进行分类是一个具有挑战性的问题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于模型驱动元学习的乳腺癌分子亚型预测方法，能够避免人工判别的主观性的同时解决了少量的医学图像样本分类的问题。
为解决上述技术问题，本发明提供如下技术方案：包括，通过乳腺癌数据库获取动态增强磁共振图像和动态增强磁共振图像的标签；将所述动态增强磁共振图像进行处理得到所述动态增强磁共振体积数据，将所述动态增强磁共振体积数据与所述动态增强磁共振图像的标签进行匹配得到有标签的动态增强磁共振体积数据；将所述有标签的动态增强磁共振体积数据分为支持集和查询集，利用支持集和查询集构建时空循环注意力分类器；利用改进的元学习策略优化所述时空循环注意力分类器，通过所述时空循环注意力分类器进行分子亚型预测。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：还包括，所述动态增强磁共振图像包括三个空间维度和一个时间维度；所述动态增强磁共振图像的标签包括正常型、管腔上皮型、HER-2过表达型和基底细胞样型。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：将所述动态增强磁共振图像进行处理包括，根据人工标注病灶区域面积大小，在所述动态增强磁共振图像上截取病灶区域的感兴趣区域图像；将感兴趣区域图像统一采样为像素相同的图像，并放入三维矩阵中，得到动态增强磁共振体积数据。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：将所述有标签的动态增强磁共振体积数据分为支持集和查询集包括将所述有标签的动态增强磁共振体积数据通过N-way K-shot分类策略划分支持集和查询集。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：所述时空循环注意力分类器包括：循环神经网络、注意力机制、批标准化层和池化层；所述时空循环注意力分类器用循环神经网络并加入注意力机制，首先连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作并加入注意力机制用来连接下一层；接着连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作并加入注意力机制用来连接下一层；再接着连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作；再进行压平操作；最后采用全连接层，采用归一化指数函数激活函数进行结果预测；所述卷积运算都使用a个滤波器；内循环采用梯度下降过程，学习率由模型自由选择；外循环学习率为b，采用Adam优化器。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：所述循环神经网络包括3个卷积层：一个是前一层进入单元的输入，另一个是过去和未来时间帧的隐藏状态，最后一个是上一次迭代的隐藏状态,
Figure BDA0003394494470000031
表示在第l层、时间帧t和迭代次数i的特征表达，
Figure BDA0003394494470000032
表示在第l-1层、时间帧t和迭代次数i的特征表达，
Figure BDA0003394494470000033
表示在第l层、时间帧t和迭代次数i-1的特征表达；
Figure BDA0003394494470000034
是当信息在CRAN内向前传播时计算的表达，
Figure BDA0003394494470000035
是在t-1时刻当信息在CRAN内向前传播时计算的表达；
Figure BDA0003394494470000036
是信息在CRAN内向后传播时计算的表达，
Figure BDA0003394494470000037
是在t+1时刻当信息在CRAN内向后传播时计算的表达。CRAN的详细表达为：
Figure BDA0003394494470000038
Figure BDA0003394494470000039
Figure BDA00033944944700000310
*为卷积运算，
Figure BDA00033944944700000311
为线线性整流激活函数，Wl为输入到隐藏卷积的过滤器，Wi为在迭代过程中演化的隐藏到隐藏的循环卷积，Wt为随时间演化的循环卷积滤波器，t为时刻，Al为一个偏差项。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：还包括，
时空循环注意力分类器学习图像形态学和药代动力学特征表征的步骤为：给出动态MR序列为
Figure BDA00033944944700000312
定义时刻t的每个MRI体积Vt为:
Figure BDA00033944944700000313
构造卷积循环注意力网络学习形态学和药代动力学表征，并周期性地利用循环注意力来模拟动态对比增强依赖性，可表示为：
yspatio-temporal＝fM(fM-1(…(f1(xnt))))
其中，H和W为输入图像的高度和宽度，S为每个空间体积数中的切片数，T为时间点，V1,V2,…VT表示在1,2,…T时刻体积数据，
Figure BDA00033944944700000314
表示在空间上具有S个切片数并且具有T个时序数的高度为H宽度为W的总数据；
Figure BDA00033944944700000315
表示在具体t时刻第1,2,…S的体积数据；yspatio-temporal代表卷积循环注意力的预测，xnt表示带切片的下采样图像序列，f表示卷积循环注意力网，M表示迭代次数。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：所述改进的元学习策略包括，
对小样本数据集进行2步标准训练，所述2步标准训练包括内循环更新和外循环更新；
计算时空循环注意力分类器的损失：
Figure BDA0003394494470000041
对于每一层，设置L个学习率实例供分类器选择。学习每个层的内环学习率公式定义为：
Figure BDA0003394494470000042
其中，αn为分类器第n层的内循环学习率，Φ为随机选择函数，l1,l2,…,ln表示第1,2,…n的学习率，L为卷积循环注意力网可训练层的总数，
Figure BDA0003394494470000043
为在第J批任务的第i组支持集或查询集的损失，xi为第i组支持集或查询集数据，yi为第i支持集或查询集标签，fθ′(xi)为支持集或查询集的预测值。
作为本发明所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的一种优选方案，其中：所述内循环更新和所述外循环更新包括，
所述内循环更新：元学习策略学习一批任务，定义一个具有元参数θ神经网络fθ，随机初始化θ＝θ0，在对来自支持集Xj的数据进行少量M梯度下降后，获得θM；使用查询集Yj评估网络
Figure BDA0003394494470000044
的分类性能；j是一批任务的索引，M是内循环更新次数；支持集Xj使用梯度下降计算自适应参数：
Figure BDA0003394494470000045
外循环更新：
Figure BDA0003394494470000046
其中，
Figure BDA0003394494470000047
为在任务j上经过M次梯度下降后的基本网络参数权重，
Figure BDA0003394494470000048
为在任务j上经过M-1次梯度下降后的基本网络参数权重，α为内部循环学习率，
Figure BDA0003394494470000051
为θ的随机梯度下降过程，
Figure BDA0003394494470000052
为在任务j上经过M-1次梯度下降后的神经网络，
Figure BDA0003394494470000053
为支持集的损失；θ0为随机初始化参数，β为外循环学习率，
Figure BDA0003394494470000054
为θ的随机梯度下降过程，
Figure BDA0003394494470000055
为查询集的损失。
本发明的有益效果：通过使用了模型驱动和元学习技术来探索4D时空相关性，并且能够在小量数据样本的情况下准确的实现乳腺癌的分子亚型预测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的流程示意图；
图2为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的感兴趣区域图；
图3为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的模型驱动元学习体系结构图；
图4为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的时空循环注意分类器结构图；
图5为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的卷积循环注意力网络结构图；
图6为本发明第一个实施例所述的基于模型驱动元学习的乳腺癌分子亚型预测方法的元学习策略图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～6，为本发明的第一个实施例，该实施例提供了一种基于模型驱动元学习的乳腺癌分子亚型预测方法，包括：
S1:通过乳腺癌数据库获取动态增强磁共振图像和动态增强磁共振图像的标签。
(1)动态增强磁共振图像包括三个空间维度和一个时间维度；
(2)动态增强磁共振图像的标签包括正常型(Normal-like)，管腔上皮型(Luminal)，HER-2过表达型(HER-2enriched)和基底细胞样型(Basal-like)。
S2：参照图2，将动态增强磁共振图像进行处理得到动态增强磁共振体积数据，将动态增强磁共振体积数据与动态增强磁共振图像的标签匹配得到有标签的动态增强磁共振体积数据。
(1)根据人工标注病灶区域面积大小，在动态增强磁共振图像上截取病灶区域1倍和1.5倍大小的感兴趣区域(region of interest，ROI)图像；
(2)为了确保每个病例的图像数量相同，本发明选用切片位于序列中肿瘤最大横截面位置本身及其前4张和之后4张切片上截取感兴趣区域(ROI)图像；
(3)在9张切片中，将感兴趣区域(region of interest，ROI)图像统一采样为32×32像素大小的图像，并将它们按顺序放入三维矩阵中。最后，得到了147个大小为32×32×9的体积数据。
S3：将有标签的动态增强磁共振体积数据分为支持集和查询集，利用支持集和查询集构建时空循环注意力分类器。
(1)对147个动态增强磁共振(DCE-MRI)体积数据构造N-way K-shot分类任务；
(2)给出支持集和查询集样本，它们由{1,2,3,4,5}个样本组成，每个样本来自4个不同的类，构造出了4-way 1-shot、4-way 2-shot、4-way 3-shot、4-way 4-shot、4-way 5-shot的分类任务；
(3)参照图4，时空循环注意力分类器包括：循环神经网络、注意力机制、批标准化层和池化层；
进一步的，时空循环注意力分类采用循环神经网络(RNN)并加入注意力机制(RAN)，首先连接7×7×7的卷积运算，采用线性整流函数(ReLU)激活函数，然后连接一个批标准化层用来缓解一定的过拟合现象，然后连接2×2×2的最大池化操作并加入注意力机制用来连接下一层；接着连接5×5×5的卷积运算，采用线性整流函数(ReLU)激活函数，然后连接一个批标准化层用来缓解一定的过拟合现象，然后连接2×2×2的最大池化操作并加入注意力机制用来连接下一层；再接着连接1×1×1的卷积运算，采用线性整流函数(ReLU)激活函数，然后连接一个批标准化层用来缓解一定的过拟合现象，然后连接2×2×2的最大池化操作；再接着进行压平操作；最后采用全连接层，采用归一化指数函(Softmax)激活函数进行结果预测；本发明卷积操作都使用64个滤波器；内循环采用自定义梯度下降过程，学习率由模型自由选择；外循环学习率为0.001，采用Adam优化器；
其中，参照图5，循环神经网络包括3个卷积层：一个是前一层进入单元的输入，另一个是过去和未来时间帧的隐藏状态，最后一个是上一次迭代的隐藏状态,
Figure BDA0003394494470000081
表示在第l层、时间帧t和迭代次数i的特征表达，
Figure BDA0003394494470000082
表示在第l-1层、时间帧t和迭代次数i的特征表达，
Figure BDA0003394494470000083
表示在第l层、时间帧t和迭代次数i-1的特征表达；
Figure BDA0003394494470000084
是当信息在CRAN内向前传播时计算的表达，
Figure BDA0003394494470000085
是在t-1时刻当信息在CRAN内向前传播时计算的表达；
Figure BDA0003394494470000086
是信息在CRAN内向后传播时计算的表达，
Figure BDA0003394494470000087
是在t+1时刻当信息在CRAN内向后传播时计算的表达。CRAN的详细表达为：
Figure BDA0003394494470000088
Figure BDA0003394494470000089
Figure BDA00033944944700000810
*为卷积运算，
Figure BDA00033944944700000811
为线线性整流激活函数，Wl为输入到隐藏卷积的过滤器，Wi为在迭代过程中演化的隐藏到隐藏的循环卷积，Wt为随时间演化的循环卷积滤波器，t为时刻，Al为一个偏差项；
进一步的，构建时空循环注意力分类器(STRAC)学习4D图像形态学和药代动力学特征表征，具体包括以下步骤：
给出动态MR序列为
Figure BDA00033944944700000812
定义时刻t的每个MRI体积Vt为
Figure BDA00033944944700000813
构造卷积循环注意力网络学习形态学和药代动力学表征，并周期性地利用循环注意力来模拟动态对比增强依赖性，可表示为：
yspatio-temporal＝fM(fM-1(…(f1(xnt))))
其中，H和W为输入图像的高度和宽度，S为每个空间体积数中的切片数，T为时间点，V1,V2,…VT表示在1,2,…T时刻体积数据，
Figure BDA00033944944700000814
表示在空间上具有S个切片数并且具有T个时序数的高度为H宽度为W的总数据；
Figure BDA00033944944700000815
表示在具体t时刻第1,2,…S的体积数据；yspatio-temporal代表卷积循环注意力的预测，xnt表示带切片的下采样图像序列，f表示卷积循环注意力网，M表示迭代次数。
S4：参照图3，利用改进的元学习策略优化所述时空循环注意力分类器，通过所述时空循环注意力分类器进行分子亚型预测。
(1)改进的元学习策略包括，对小样本数据集进行2步标准训练，所述2步标准训练包括内循环更新和外循环更新；
(2)参照图6，内循环更新过程：元学习策略学习一批批的任务：定义一个具有元参数θ神经网络fθ，随机初始化θ＝θ0，在对来自支持集Xj的数据进行少量M梯度下降后，获得θM。使用查询集Yj评估网络
Figure BDA0003394494470000091
的分类性能。j是一批任务的索引，M是内循环更新次数。支持集Xj使用梯度下降计算自适应参数：
Figure BDA0003394494470000092
Figure BDA0003394494470000093
表示在任务j上经过M次梯度下降后的基本网络参数权重，
Figure BDA0003394494470000094
表示在任务j上经过M-1次梯度下降后的基本网络参数权重，α表示内部循环学习率，
Figure BDA0003394494470000095
表示θ的随机梯度下降(SGD)过程，
Figure BDA0003394494470000096
表示在任务j上经过M-1次梯度下降后的神经网络，
Figure BDA0003394494470000097
表示支持集的损失。我们假设任务批量大小为j，并根据使用该查询集Yj的总损失的平均来评估初始化θ0的性能；
外循环更新过程：过程表示为：
Figure BDA0003394494470000098
θ0表示随机初始化参数，β表示外循环学习率，
Figure BDA0003394494470000099
表示θ的随机梯度下降(SGD)过程，
Figure BDA00033944944700000910
为查询集的损失；
(3)计算时空循环注意力分类器的损失：
Figure BDA00033944944700000911
对于每一层，设置L个学习率实例供分类器选择。学习每个层的内环学习率公式定义为：
Figure BDA00033944944700000912
其中，αn为分类器第n层的内循环学习率，Φ为随机选择函数，l1,l2,…,ln表示第1,2,…n的学习率，L为卷积循环注意力网可训练层的总数，
Figure BDA00033944944700000913
为在第J批任务的第i组支持集或查询集的损失，xi为第i组支持集或查询集数据，yi为第i支持集或查询集标签，fθ′(xi)为支持集或查询集的预测值。
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质，通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质，计算机存储介质可以是通用或专用计算机能够存取的任何可用介质；例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。
当然，可读存储介质也可以是处理器的组成部分，处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中，另外，该ASIC可以位于用户设备中，当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中，可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
实施例2
为了对本方法中采用的技术效果加以验证说明，本实施选择原型网络(Snell etal.2017)、匹配网络(Vinyals et al.2016)、压缩-激励网络(SE-Net)(Hu et al.2018)和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
为了对本方法中采用的技术效果加以验证说明，本实施例选择了传统的模型驱动元学习和本方法的改进的模型驱动元学习进行对比测试，结果如下表所示：
表1模型驱动元学习精度对比表。
Figure BDA0003394494470000101
Figure BDA0003394494470000111
参照表1，明显可以看出在相同迭代次数下相同的N-way K-shot，改进的模型驱动元学习的精度大于不改进的模型驱动元学习。
传统的技术方案：需要大量的数据样本，并且训练一个性能卓越的神经网络需要大量的时间且不适用于小样本数据集，在少量数据情况下，将产生过拟合现象，导致结果的精度、均方根误差结果非常差。
为验证本方法相对传统方法可以在少量数据样本情况下取得好的精度和减少均方根误差，本实施例中将采用传统的原型网络(Snell et al.2017)、匹配网络(Vinyals etal.2016)、压缩-激励网络(SE-Net)(Hu et al.2018)和本方法分别对精度和均方根误差进行实时测量对比。
为保证实验结果的有效性，传统的原型网络(Snell et al.2017)、匹配网络(Vinyals et al.2016)、压缩-激励网络(SE-Net)(Hu et al.2018)和本方法均在JupyterNotebook上通过Tensorflow和Keras框架实现，并且通过两个11GB Nvidia RTX 2080TiGPUs进行训练和测试；对于147个动态核磁共振体积图像，使用88个(约60％)作为训练图像和59个(约40％)作为测试图像；通过训练120个周期得到实验结果，结果如下表所示：
表2本方法与其他方法的分类性能结果对比表。
Figure BDA0003394494470000112
参照表2，可以看到，本方法对应的精度明显高于其余三种方法，均方根误差明显低于其余三种方法，获得了更好的辨识效果。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于模型驱动元学习的乳腺癌分子亚型预测方法，其特征在于：包括，
通过乳腺癌数据库获取动态增强磁共振图像和动态增强磁共振图像的标签；
将所述动态增强磁共振图像进行处理得到动态增强磁共振体积数据，将所述动态增强磁共振体积数据与所述动态增强磁共振图像的标签匹配得到有标签的动态增强磁共振体积数据；
将所述有标签的动态增强磁共振体积数据分为支持集和查询集，利用支持集和查询集构建时空循环注意力分类器；
利用改进的元学习策略优化所述时空循环注意力分类器，通过所述时空循环注意力分类器进行分子亚型预测。
2.如权利要求1所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：还包括，
所述动态增强磁共振图像包括三个空间维度和一个时间维度；
所述动态增强磁共振图像的标签包括正常型、管腔上皮型、HER-2过表达型和基底细胞样型。
3.如权利要求2所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：将所述动态增强磁共振图像进行处理包括，
根据人工标注病灶区域面积大小，在所述动态增强磁共振图像上截取病灶区域的感兴趣区域图像；
将感兴趣区域图像统一采样为像素相同的图像，并放入三维矩阵中，得到动态增强磁共振体积数据。
4.如权利要求3所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：将所述有标签的动态增强磁共振体积数据分为支持集和查询集包括：
将所述有标签的动态增强磁共振体积数据通过N-way K-shot分类策略划分支持集和查询集。
5.如权利要求1～4任一所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：所述时空循环注意力分类器包括：循环神经网络、注意力机制、批标准化层和池化层；
所述时空循环注意力分类器用循环神经网络并加入注意力机制，首先连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作并加入注意力机制用来连接下一层；接着连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作并加入注意力机制用来连接下一层；再接着连接n×n×n的卷积运算，采用线性整流激活函数，然后连接一个批标准化层用来缓解过拟合现象，然后连接m×m×m的最大池化操作；再进行压平操作；最后采用全连接层，采用归一化指数函数激活函数进行结果预测；所述卷积运算都使用a个滤波器；内循环采用梯度下降过程，学习率由模型自由选择；外循环学习率为b，采用Adam优化器。
6.如权利要求5所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：所述循环神经网络包括3个卷积层：一个是前一层进入单元的输入，另一个是过去和未来时间帧的隐藏状态，最后一个是上一次迭代的隐藏状态,
Figure FDA0003394494460000021
表示在第l层、时间帧t和迭代次数i的特征表达，
Figure FDA0003394494460000022
表示在第l-1层、时间帧t和迭代次数i的特征表达，
Figure FDA0003394494460000023
表示在第l层、时间帧t和迭代次数i-1的特征表达；
Figure FDA0003394494460000024
是当信息在CRAN内向前传播时计算的表达，
Figure FDA0003394494460000025
是在t-1时刻当信息在CRAN内向前传播时计算的表达；
Figure FDA0003394494460000026
是信息在CRAN内向后传播时计算的表达，
Figure FDA0003394494460000027
是在t+1时刻当信息在CRAN内向后传播时计算的表达。CRAN的详细表达为：
Figure FDA0003394494460000028
Figure FDA0003394494460000029
Figure FDA00033944944600000210
*为卷积运算，
Figure FDA00033944944600000211
为线线性整流激活函数，Wl为输入到隐藏卷积的过滤器，Wi为在迭代过程中演化的隐藏到隐藏的循环卷积，Wt为随时间演化的循环卷积滤波器，t为时刻，Al为一个偏差项。
7.如权利要求5所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：还包括，
时空循环注意力分类器学习图像形态学和药代动力学特征表征的步骤为：给出动态MR序列为
Figure FDA00033944944600000212
定义时刻t的每个MRI体积Vt为:
Figure FDA00033944944600000213
构造卷积循环注意力网络学习形态学和药代动力学表征，并周期性地利用循环注意力来模拟动态对比增强依赖性，可表示为：
yspatio-temporal＝fM(fM-1(…(f1(xnt))))
其中，H和W为输入图像的高度和宽度，S为每个空间体积数中的切片数，T为时间点，V1,V2,…VT表示在1,2,…T时刻体积数据，
Figure FDA0003394494460000031
表示在空间上具有S个切片数并且具有T个时序数的高度为H宽度为W的总数据；
Figure FDA0003394494460000032
表示在具体t时刻第1,2,…S的体积数据；yspatio-temporal代表卷积循环注意力的预测，xnt表示带切片的下采样图像序列，f表示卷积循环注意力网，M表示迭代次数。
8.如权利要求1所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：所述改进的元学习策略包括，
对小样本数据集进行2步标准训练，所述2步标准训练包括内循环更新和外循环更新；
计算时空循环注意力分类器的损失：
Figure FDA0003394494460000033
对于每一层，设置L个学习率实例供分类器选择。学习每个层的内环学习率公式定义为：
Figure FDA0003394494460000034
其中，αn为分类器第n层的内循环学习率，Φ为随机选择函数，l1,l2,…,ln表示第1,2,…n的学习率，L为卷积循环注意力网可训练层的总数，
Figure FDA0003394494460000035
为在第J批任务的第i组支持集或查询集的损失，xi为第i组支持集或查询集数据，yi为第i支持集或查询集标签，fθ′(xi)为支持集或查询集的预测值。
9.如权利要求8所述的基于模型驱动元学习的乳腺癌分子亚型预测方，其特征在于：所述内循环更新和所述外循环更新包括，
所述内循环更新：元学习策略学习一批任务，定义一个具有元参数θ神经网络fθ，随机初始化θ＝θ0，在对来自支持集Xj的数据进行少量M梯度下降后，获得θM；使用查询集Yj评估网络
Figure FDA0003394494460000041
的分类性能；j是一批任务的索引，M是内循环更新次数；支持集Xj使用梯度下降计算自适应参数：
Figure FDA0003394494460000042
外循环更新：
Figure FDA0003394494460000043
其中，
Figure FDA0003394494460000044
为在任务j上经过M次梯度下降后的基本网络参数权重，
Figure FDA0003394494460000045
为在任务j上经过M-1次梯度下降后的基本网络参数权重，α为内部循环学习率，
Figure FDA0003394494460000046
为θ的随机梯度下降过程，
Figure FDA0003394494460000047
为在任务j上经过M-1次梯度下降后的神经网络，
Figure FDA0003394494460000048
为支持集的损失；θ0为随机初始化参数，β为外循环学习率，
Figure FDA0003394494460000049
为θ的随机梯度下降过程，
Figure FDA00033944944600000410
为查询集的损失。
CN202111478418.XA 2021-12-06 2021-12-06 一种基于模型驱动元学习的乳腺癌分子亚型预测方法 Pending CN114187472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111478418.XA CN114187472A (zh) 2021-12-06 2021-12-06 一种基于模型驱动元学习的乳腺癌分子亚型预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111478418.XA CN114187472A (zh) 2021-12-06 2021-12-06 一种基于模型驱动元学习的乳腺癌分子亚型预测方法

Publications (1)

Publication Number Publication Date
CN114187472A true CN114187472A (zh) 2022-03-15

Family

ID=80542468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111478418.XA Pending CN114187472A (zh) 2021-12-06 2021-12-06 一种基于模型驱动元学习的乳腺癌分子亚型预测方法

Country Status (1)

Country Link
CN (1) CN114187472A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095187A (zh) * 2023-10-16 2023-11-21 四川大学 元学习视觉语言理解与定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095187A (zh) * 2023-10-16 2023-11-21 四川大学 元学习视觉语言理解与定位方法
CN117095187B (zh) * 2023-10-16 2023-12-19 四川大学 元学习视觉语言理解与定位方法

Similar Documents

Publication Publication Date Title
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
Mridha et al. A comprehensive survey on deep-learning-based breast cancer diagnosis
Hu et al. Classification of metaphase chromosomes using deep convolutional neural network
Doan et al. SONNET: A self-guided ordinal regression neural network for segmentation and classification of nuclei in large-scale multi-tissue histology images
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN111598871B (zh) 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
CN112614133A (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
Ozdemir et al. Age Estimation from Left-Hand Radiographs with Deep Learning Methods.
CN113269799A (zh) 一种基于深度学习的宫颈细胞分割方法
CN112950583A (zh) 病理图像中细胞计数模型训练方法及装置
CN114187472A (zh) 一种基于模型驱动元学习的乳腺癌分子亚型预测方法
Shamrat et al. Analysing most efficient deep learning model to detect COVID-19 from computer tomography images
Zhou et al. Deep learning-based breast region extraction of mammographic images combining pre-processing methods and semantic segmentation supported by Deeplab v3+
Jeya Sundari et al. An intelligent black widow optimization on image enhancement with deep learning based ovarian tumor diagnosis model
CN113436127A (zh) 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
CN111798452A (zh) 颈动脉手持超声图像分割方法、系统及装置
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN114557670A (zh) 生理年龄预测方法、装置、设备及介质
CN114708347A (zh) 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination