CN113808753B - 基于多损失的分解表达学习预测辅助放化疗疗效的方法 - Google Patents

基于多损失的分解表达学习预测辅助放化疗疗效的方法 Download PDF

Info

Publication number
CN113808753B
CN113808753B CN202111064734.2A CN202111064734A CN113808753B CN 113808753 B CN113808753 B CN 113808753B CN 202111064734 A CN202111064734 A CN 202111064734A CN 113808753 B CN113808753 B CN 113808753B
Authority
CN
China
Prior art keywords
loss
features
varia
inter
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111064734.2A
Other languages
English (en)
Other versions
CN113808753A (zh
Inventor
王建新
岳海林
刘锦
匡湖林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111064734.2A priority Critical patent/CN113808753B/zh
Publication of CN113808753A publication Critical patent/CN113808753A/zh
Application granted granted Critical
Publication of CN113808753B publication Critical patent/CN113808753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多损失的分解表达学习预测辅助放化疗疗效的方法，对现有的同一肿瘤区域放化疗前和放化疗后两个阶段的CT影像，提取放射组学特征。通过多损失的分解表达学习去寻找两个阶段CT影像中肿瘤区域的共享特征和特有特征：首先通过交叉重构损失将影像的特征分解为共享特征和特有特征两个部分，然后通过固有‑变化损失强化分解效果，并基于监督损失使潜在特征具有可分行，再进行总损失计算，并通过梯度更新的方式来最小化总损失，最后得到分离后的特征。对分离后的特征进行融合，并输入到不同的分类器中，从而得到预测模型，并通过预测模型来基于放化疗前患者的肿瘤区域影像进行疗效预测。本发明能够准确的对食管癌患者进行辅助放化疗后疗效。

Description

基于多损失的分解表达学习预测辅助放化疗疗效的方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于多损失的分解表达学习预测辅助放化疗疗效的方法。
背景技术
食管癌是常见的消化道肿瘤，全世界每年约有30万人死于食管癌，其发病率和死亡率各国差异很大。目前对食管癌患者来说先进行辅助放化疗再进行手术治疗是标准的治疗方法。一些研究表明在辅助放化疗后有良好反应的(即具有pCR)患者在不进行手术治疗的情况下具有更好的预后表现。然而，由于pCR只有在手术之后才能确定，所以如何在手术之前精准的预测患者的pCR就变得至关重要。近年来，随着医学图像的发展，越来越多的研究使用各种医学图像去预测pCR，但是这些研究大多只考虑单阶段的影像信息，忽略了肿瘤的变化对诊断的影响。所以，如何利用现有的多阶段的影像信息精准的预测食管癌患者在进行辅助放化疗后的反应将十分具有意义。
现阶段，对于多阶段或者多模态的融合方式有很多，比如常见的早融合和晚融合，但是这些融合方式都没有思考多阶段数据的互补信息。随着深度学习的进一步发展，分解表达学习为寻找多阶段影像之间信息的变化提供了可能。之前的一些研究已经表明分解表达学习不仅能够在自然图像取得不错的效果，还能够在医学图像上取得惊人的表现。Lee提出一种提出了一种基于分解表达的图像嵌入方法，该方法能够获得两组图片的共享信息和特定信息。实验结果表明，该方法能够生成丰富的、真实的图像。Hu等人使用分解表达学习实现了多模态MRI影像的有效融合，实验结果表明该方法能够根据多模态的影像更加精准的预测婴儿的年龄。
因此，针对多阶段数据的融合问题，如何有效地发掘多阶段数据中肿瘤信息的动态变化情况，并找到对食管癌pCR预测有价值的信息是亟需研究的。
发明内容
为了克服目前没有较为合适手段来对与手术治疗效果密切相关的pCR进行预测的技术问题，本发明提供一种能够在术前进行预测pCR的基于多损失的分解表达学习预测辅助放化疗疗效的方法。
为了实现上述技术目的，本发明的技术方案是，
一种基于多损失的分解表达学习预测辅助放化疗疗效的方法，包括以下步骤：
步骤1)对现有的同一肿瘤区域放化疗前和放化疗后两个阶段的CT影像，提取放射组学特征；
步骤2)通过多损失的分解表达学习去寻找两个阶段CT影像中肿瘤区域的共享特征和特有特征：首先通过交叉重构损失将影像的特征分解为共享特征和特有特征两个部分，然后通过固有-变化损失强化分解效果，并基于监督损失使潜在特征具有可分行，再进行总损失计算，并通过梯度更新的方式来最小化总损失，最后得到分离后的特征；
步骤3)对分离后的特征进行融合，并输入到不同的分类器中，从而得到预测模型，并通过预测模型来基于放化疗前患者的肿瘤区域影像进行疗效预测。
所述的方法，所述的步骤1)中，提取的放射组学特征包括形状学特征和纹理特征。
所述的方法，所述的步骤2)中，通过交叉重构损失将影像的特征分解为共享特征和特有特征两个部分包括以下步骤：
首先将化疗前阶段的放射组学特征X1经过编码器降维后分解为inter1、varia1；将化疗后阶段的放射组学特征X2经过编码器降维后分解为inter2、varia2；其中inter1和inter2分别代表两个阶段的共享特征，varia1和varia2分别代表两个阶段的特有特征；为了使inter1和inter2尽可能的相似且varia1和varia2尽可能的不同，通过引入重构损失和固有变化损失，以将共享特征和特有特征分离，构建损失函数为：
其中下标i＝1、2，j＝1、2且i≠j，1和2分别表示放化疗前和放化疗后两个阶段；X为输入的对应阶段CT影像的放射组学特征；E、D分别为对应阶段CT影像特征的编码器和解码器；Inher(E(X))代表对应阶段的共享特征；香aria(E(X))代表对应阶段特有特征；KL(qθ(Zi|Xi)||p(Zi))为KL损失；其中当i＝1，j＝1时，得到使用[inter1，varia1]重构后与X1的损失；当i＝2，j＝2时，得到使用[inter2，varia2]重构后与X2的损失；当i＝1，j＝2时，表示期望[inter2，varia1]能够重构X1；当i＝2，j＝1时，表示期望[inter1，varia2]能够重构X2。
所述的方法，所述的编码器包括三层的全连接层，其中输入层是81个神经元，中间层是32个神经元，输出层是10个神经元，以将放射组学特征编码到10个神经元，并分为共享特征和特有特征。
所述的方法，所述的步骤2)中，通过固有-变化损失强化分解效果为：
Lossinher-varia＝Lossinher/Lossvaria
其中Lossinher表示两个阶段共享特征之间的差异，Lossvaria表示两个阶段特有特征之间的差异，表示数学期望；通过将Lossinher作为分子，Lossvaria作为分母，来使两个阶段共享特征之间的差距变小，两个阶段特有特征之间的差距变大，从而在优化Lossinher-varia的时候就能使分子变小或者分母变大，也就是使共享特征越来越相似，特有特征越来越不同，即将共享特征与特有特征分离。
所述的方法，所述的步骤2)中，监督损失为：
其中M为类别数，即预测的疗效为好或者不好；N为CT影像的样本数。
所述的方法，所述的步骤2)中，还包括为了平衡各个损失在训练过程中的训练速度，采用梯度归一化算法进行动态平衡的步骤：
其中，α为超参数，
W为网络设计两个通道最后一层的的平均权重；wk(t)为第k个损失的系数；Lk(t)为t时刻损失的值；为第k个任务带权损失对所选权重W求的L2范式；/>为所有损失值的平均；/>为第k个加权损失相对于最后一个共享层的W的第二范式；/>为所有任务/>的均值；/>用来衡量第k个损失训练率，其中Lk(0)是在0时刻的损失，Lk(t)是在t时刻的损失；rk(t)是损失k相对的训练速率；
对函数进行优化，以使第k个任务的第二范式与所有任务训练速度的均值尽可能相似，也就是使与/>之间的距离相似：
计算以下目标函数的最小值：
以使用去更新wk，达到在训练过程中动态的调节各个损失的系数。
所述的方法，所述的步骤2)中，总损失计算为：
Lossjoint＝λLossrecon+βLossinher-varia+γLossclass
其中，λ、β、γ为不同损失的系数，分别取1.4；3；0.3。
一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述的方法。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现前述的方法。
本发明的技术效果在于，本发明提出了一种多损失的分解表达学习网络，该方法能够动态的发现不同阶段影像特征的变化，根据多阶段的互补信息实现了pCR的精准预测。为了使各个损失项在训练过程中能够充分发挥其作用，本发明没有选择固定权重的做法，而是使用一种自适用的梯度标准化算法来实现各个损失项的权重的动态调节。从而能够使本发明准确的对食管癌患者进行辅助放化疗后疗效。
附图说明
图1为本发明所述方法提供的流程图；
图2为本发明所述方法在不同中心数据的结果图。
具体实施方式
下面结合附图对本发明中技术方案进一步详细的说明。
本实施例所提供的方法，包括以下步骤：
步骤1)根据不同阶段的CT影像以及对应的肿瘤区域提取放射组学特征。
步骤2)通过多损失的分解表达学习去寻找不同阶段CT影像的共享特征和特有特征。其中，为了达到这一目的，本实施例采用了一个包含多个损失项的目标函数，包括交叉重构损失、共享-特有特征的距离损失以及监督的分类损失。在训练过程中由于不同损失项的数量级以及收敛速度不一致，本实施例使用一种自适用的梯度归一化算法在训练过程动态调节各个损失的权重，以此确保了每个损失项都能够充分发挥其作用。
步骤3)在完成共享特征和特有特征的寻找，本实施例将这些特征输入到不同的分类器去验证多阶段特征融合的有效性。
参见图1，本发明方法具体实施流程如下：
步骤1)根据CT影像以及对应的肿瘤区域提取放射组学特征。其中，每个患者都有两个阶段的影像，即包括放化疗前的影像和放化疗后的影像。如图1的Multi-view featureextraction部分所示，对每个患者每个阶段的影像，所能够提取到的放射组学特征包括以下7大类：Firstorder，gray level cooccurrence matrix(GLCM)，gray level dependencematrix(GLDM),gray level run length matrix(GLRLM)，gray level size zone matrix(GLSZM)，neighboring gray tone difference(NGTDM)以及Shape。
步骤2)如图1中Training and Testing的中间部分所示，本实施例提出一个多损失的分解表达学习网络去寻找不同阶段CT影像中肿瘤区域的共享特征和特有特征。为了保证其有效的分离，本实施例采用了交叉重构损失、共享-特有特征的距离损失以及监督的分类损失。另外，在训练过程中由于不同损失项的数量级以及收敛速度不一致，本实施例使用一种自适用的梯度归一化算法在训练过程动态调节各个损失的权重，以此确保了每个损失项都能够充分发挥其作用。下面逐一介绍每个损失项在目标函数中的作用。
A：重构损失
为了探寻不同阶段影像特征的变化情况，本实施例将每个阶段影像的特征分解为inherent和variational两个部分。并期望这两个部分的特征具有以下特点：1:inherent部分能够尽可能相似；2:variational部分能够尽量不同。这样设计的目的就是能够有效的发现肿瘤信息在不同阶段的变化情况。故本实施例首先将化疗前阶段的放射组学特征X1经过编码器降维后分解为inter1、varia1；将化疗后阶段的放射组学特征X2经过编码器降维后分解为inter2、varia2；其中inter1和inter2分别代表两个阶段的共享特征，varia1和varia2分别代表两个阶段的特有特征；为了使inter1和inter2尽可能的相似且varia1和varia2尽可能的不同，通过引入重构损失和固有变化损失，以将共享特征和特有特征分离，构建损失函数为：
其中Xi为第i阶段影像的原始特征，Ei、Di分别为第i阶段影像特征的编码器和解码器。编码器包括三层的全连接层，其中输入层是81个神经元，中间层是32个神经元，输出层是10个神经元，以将放射组学特征编码到10个神经元，并分为共享特征和特有特征。下标i＝1、2，j＝1、2且i≠j，1和2分别表示放化疗前和放化疗后两个阶段；X为输入的对应阶段CT影像的放射组学特征；E、D分别为对应阶段CT影像特征的编码器和解码器；Inher(E(X))代表对应阶段的共享特征；香aria(E(X))代表对应阶段特有特征；KL(qθ(Zi|Xi)||p(Zi))为KL损失；其中当i＝1，j＝1时，得到使用[inter1，varia1]重构后与X1的损失；当i＝2，j＝2时，得到使用[inter2，varia2]重构后与X2的损失；当i＝1，j＝2时，表示期望[inter2，varia1]能够重构X1；当i＝2，j＝1时，表示期望[inter1，varia2]能够重构X2。通过这种交叉重构的思想，来将每个阶段的特征分解为inherent和variational两个部分。
B:固有-变化损失
为了更加有效的完成原始特征的分解(inherent和variational两个部分)，本实施例提出一种固有-变化损失，该损失能够在交叉重构损失的基础上进一步保证分解的彻底性和可靠性。
Lossinher-varia＝Lossinher/Lossvaria
其中Lossinher表示两个阶段共享特征之间的差异，Lossvaria表示两个阶段特有特征之间的差异，表示数学期望；通过将Lossinher作为分子，Lossvaria作为分母，来使两个阶段共享特征之间的差距变小，两个阶段特有特征之间的差距变大，从而在优化Lossinher-varia的时候就能使分子变小或者分母变大，也就是使共享特征越来越相似，特有特征越来越不同，即将共享特征与特有特征分离。在训练过程中，通过该损失不同阶段的inherent部分会变得越来越相同，而不同阶段的variational部分会变得越来越不同。
C：监督的分类损失
最后，为了使潜在特征具有可分行(pCR or Non-pCR)，本实施例提出一种监督损失，该损失的定义如下：
其中，M为类别数，本实施例中，M为2，即代表预测的疗效为好或者不好。N为CT影像的样本数。
D：总损失
Lossjoint＝λLossrecon+βLossinher-varia+γLossclass
其中，λ、β、γ为不同损失的系数。本实施例中所采用的最终初始值设为1.4；3；0.3。
E：自适用的梯度归一化算法
由于本实施例中的目标函数是由多个损失组成，为了平衡各个损失在训练过程中的训练速度，通过梯度归一化算法在训练过程中动态的平衡各个损失。在梯度归一化算法中涉及的变量包括：
其中W为网络设计两个通道最后一层的的平均权重。wk(t)为第k个损失的系数。Lk(t)为t时刻损失的值。为第k个任务带权损失对所选权重W求的L2范式。/>为所有损失/>值的平均。/>为第k个加权损失相对于最后一个共享层的W的第二范式。/>为所有任务/>的均值。/>用来衡量第k个损失训练率，其中Lk(0)是在0时刻的损失，Lk(t)是在t时刻的损失。rk(t)是损失k相对的训练速率。这里期待的是每个损失的训练速度与各个损失的均值尽可能相似。即如下公式：
其中α为一个超参数，此处超参数的取值是根据各个损失来确定，各个损失差异越大，就设置一个小的值；若差异不大，就设置一个大一点的值，本实施例中设置的是0.16。然后对所有任务，计算下面目标函数的最小值：
从而使用去更新wi,达到在训练过程中动态的调节各个损失的系数。
步骤3)在得到来自不同阶段影像的互补特征之后，本实施例使用logisticregression(LG),random forest(RF),XGBoost(XGB)以及support vector machine(SVM)四种常用的分类器去预测pCR。
同时，本实施例还提供了一种电子设备和一种计算机可读介质。
其中电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述的方法。
具体使用中，用户能够通过作为终端设备的电子设备并基于网络来与同样作为电子设备的服务器进行交互，实现接收或发送消息等功能。终端设备一般是设有显示装置、基于人机界面来使用的各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑和台式电脑等。其中终端设备上根据需要可安装各种具体的应用软件，包括但不限于网页浏览器软件、即时通信软件、社交平台软件、购物软件等。
服务器是用于提供各种服务的网络服务端，如对收到的从终端设备传输过来的患者术前的肿瘤区域CT图像进行预测疗效的后台服务器。以实现对接收到的术前的肿瘤区域CT图像基于模型来进行预测，并将最终的预测结果返回至终端设备。
本实施例所提供的预测方法一般由服务器执行，在实际运用中，在满足必要条件下，终端设备亦可直接执行预测。
类似的，本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的预测方法。
由于pCR作为患者预后的重要指标，为了进一步验证本实施例在临床数据上的应用价值，本实施例收集了多个还未进行手术的患者的肿瘤区域CT影像，并利用本实施例得到的模型来预测未手术患者是否具有pCR，即如图1External validation部分所示来预测多中心未进行手术的患者是否具有pCR。最后，根据预测的结果以及患者的预后信息(包括总体生存时间以及生存状态)，进行预后分析。理论上，模型预测能力越强两组之间(pCR和Non-pCR)的差异就应该越大。为了量化不同模型的预测能力，本实施例通过比较两组在生存时间上的差异，这种差异性通过p-value来表示。
如图2所示，本实施例相比于其他融合方式来说，能够获得更高的AUC，结果为0.8628.平均来看，在个分类器的平均AUC也远高于其他融合方式。同时，在进行多中心未手术数据上进行生存分析的时候，本实施例的结果也获得最有意义的p-value值。

Claims (9)

1.一种基于多损失的分解表达学习预测辅助放化疗疗效的方法，其特征在于，包括以下步骤：
步骤1)对现有的同一肿瘤区域放化疗前和放化疗后两个阶段的CT影像，提取放射组学特征；
步骤2)通过多损失的分解表达学习去寻找两个阶段CT影像中肿瘤区域的共享特征和特有特征：首先通过交叉重构损失将影像的特征分解为共享特征和特有特征两个部分，然后通过固有-变化损失强化分解效果，并基于监督损失使潜在特征具有可分行，再进行总损失计算，并通过梯度更新的方式来最小化总损失，最后得到分离后的特征；
所述的步骤2)中，通过交叉重构损失将影像的特征分解为共享特征和特有特征两个部分包括以下步骤：
首先将化疗前阶段的放射组学特征X1经过编码器降维后分解为inter1、varia1；将化疗后阶段的放射组学特征X2经过编码器降维后分解为inter2、varia2；其中inter1和inter2分别代表两个阶段的共享特征，varia1和varia2分别代表两个阶段的特有特征；为了使inter1和inter2相似且varia1和varia2不同，通过引入重构损失和固有变化损失，以将共享特征和特有特征分离，构建损失函数为：
其中下标i＝1、2，j＝1、2且i≠j，1和2分别表示放化疗前和放化疗后两个阶段；X为输入的对应阶段CT影像的放射组学特征；E、D分别为对应阶段CT影像特征的编码器和解码器；Inher(E(X))代表对应阶段的共享特征；Varia(E(X))代表对应阶段特有特征；KL(qθ(Zi|Xi)||p(Zi))为KL损失；其中当i＝1，j＝1时，得到使用[inter1，varia1]重构后与X1的损失；当i＝2，j＝2时，得到使用[inter2，varia2]重构后与X2的损失；当i＝1，j＝2时，表示期望[inter2，varia1]能够重构X1；当i＝2，j＝1时，表示期望[inter1，varia2]能够重构X2；
步骤3)对分离后的特征进行融合，并输入到不同的分类器中，从而得到预测模型，并通过预测模型来基于放化疗前患者的肿瘤区域影像进行疗效预测。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1)中，提取的放射组学特征包括形状学特征和纹理特征。
3.根据权利要求1所述的方法，其特征在于，所述的编码器包括三层的全连接层，其中输入层是81个神经元，中间层是32个神经元，输出层是10个神经元，以将放射组学特征编码到10个神经元，并分为共享特征和特有特征。
4.根据权利要求1所述的方法，其特征在于，所述的步骤2)中，通过固有-变化损失强化分解效果为：
Lossinher-varia＝Lossinher/Lossvaria
其中Lossinher表示两个阶段共享特征之间的差异，Lossvaria表示两个阶段特有特征之间的差异，表示数学期望；通过将Lossinher作为分子，Lossvaria作为分母，来使两个阶段共享特征之间的差距变小，两个阶段特有特征之间的差距变大，从而在优化Lossinher-varia的时候就能使分子变小或者分母变大，也就是使共享特征越来越相似，特有特征越来越不同，即将共享特征与特有特征分离。
5.根据权利要求1所述的方法，其特征在于，所述的步骤2)中，监督损失为：
其中M为类别数，即预测的疗效为好或者不好；N为CT影像的样本数。
6.根据权利要求1所述的方法，其特征在于，所述的步骤2)中，还包括为了平衡各个损失在训练过程中的训练速度，采用梯度归一化算法进行动态平衡的步骤：
其中，α为超参数，
W为网络设计两个通道最后一层的的平均权重；wk(t)为第k个损失的系数；Lk(t)为t时刻损失的值；为所有损失/>值的平均；/>为第k个加权损失相对于最后一个共享层的W的第二范式；/>用来衡量第k个损失训练率，其中Lk(0)是在0时刻的损失，Lk(t)是在t时刻的损失；rk(t)是损失k相对的训练速率；
对函数进行优化，以使第k个任务的第二范式与所有任务训练速度的均值相似，也就是使与/>之间的距离相似：
计算以下目标函数的最小值：
以使用去更新wk，达到在训练过程中动态的调节各个损失的系数。
7.根据权利要求1所述的方法，其特征在于，所述的步骤2)中，总损失计算为：
Lossjoint＝λLossrecon+βLossinher-varia+γLossclass
其中，λ、β、γ为不同损失的系数，分别取1.4；3；0.3。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202111064734.2A 2021-09-11 2021-09-11 基于多损失的分解表达学习预测辅助放化疗疗效的方法 Active CN113808753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064734.2A CN113808753B (zh) 2021-09-11 2021-09-11 基于多损失的分解表达学习预测辅助放化疗疗效的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064734.2A CN113808753B (zh) 2021-09-11 2021-09-11 基于多损失的分解表达学习预测辅助放化疗疗效的方法

Publications (2)

Publication Number Publication Date
CN113808753A CN113808753A (zh) 2021-12-17
CN113808753B true CN113808753B (zh) 2023-09-26

Family

ID=78895089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064734.2A Active CN113808753B (zh) 2021-09-11 2021-09-11 基于多损失的分解表达学习预测辅助放化疗疗效的方法

Country Status (1)

Country Link
CN (1) CN113808753B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447137A (zh) * 2018-10-15 2019-03-08 聚时科技(上海)有限公司 一种基于分解因子的图像局部风格迁移方法
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112381178A (zh) * 2020-12-07 2021-02-19 西安交通大学 一种基于多损失特征学习的医学影像分类方法
CN112437926A (zh) * 2019-06-18 2021-03-02 神经技术Uab公司 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447137A (zh) * 2018-10-15 2019-03-08 聚时科技(上海)有限公司 一种基于分解因子的图像局部风格迁移方法
CN112437926A (zh) * 2019-06-18 2021-03-02 神经技术Uab公司 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111968195A (zh) * 2020-08-20 2020-11-20 太原科技大学 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络
CN112381178A (zh) * 2020-12-07 2021-02-19 西安交通大学 一种基于多损失特征学习的医学影像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MLDRL:Multi-loss disentangled representation learning for predicting esophageal cancer response to neoadjuvant chemordiotherapy using longitudinal CT images;Hailin Yue 等;《Medical Image Analysis》;第79卷;第1-12页 *
基于多图谱迁移学习的自闭症分类方法;王兰兰 等;《微电子学与计算机》;第39卷(第10期);第26-34页 *
基于多损失的生成式对抗目标跟踪算法;程旭;周琳;张毅锋;;东南大学学报(自然科学版)(第03期);第400-405页 *

Also Published As

Publication number Publication date
CN113808753A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
Zhang et al. Shifting machine learning for healthcare from development to deployment and from models to data
Akter et al. Prediction of cervical cancer from behavior risk using machine learning techniques
Balaha et al. Hybrid deep learning and genetic algorithms approach (HMB-DLGAHA) for the early ultrasound diagnoses of breast cancer
Liu et al. Simtriplet: Simple triplet representation learning with a single gpu
Osman et al. SOM-LWL method for identification of COVID-19 on chest X-rays
Shad et al. Predicting post-operative right ventricular failure using video-based deep learning
Pan et al. Neighborhood-correction algorithm for classification of normal and malignant cells
CN114864076A (zh) 基于图注意力网络的多模态乳腺癌分类训练方法及系统
Hamghalam et al. Modality completion via gaussian process prior variational autoencoders for multi-modal glioma segmentation
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
Wang et al. Neighbor matching for semi-supervised learning
Meng et al. Multi-task deep learning for joint tumor segmentation and outcome prediction in head and neck cancer
Wang et al. Hierarchical graph pathomic network for progression free survival prediction
Cao et al. Supervised contrastive pre-training formammographic triage screening models
Foysal et al. Detection of COVID‐19 Case from Chest CT Images Using Deformable Deep Convolutional Neural Network
Ma et al. Machine learning in TCM with natural products and molecules: current status and future perspectives
Yildirim et al. Detection and classification of glioma, meningioma, pituitary tumor, and normal in brain magnetic resonance imaging using deep learning-based hybrid model
Pennisi et al. Skin lesion area segmentation using attention squeeze u-net for embedded devices
Mohapatra et al. Segmentation and Classification of Encephalon Tumor by Applying Improved Fast and Robust FCM Algorithm with PSO‐Based ELM Technique
Li et al. Research on data analysis network of TCM tongue diagnosis based on deep learning technology
Liu et al. Collaborative transfer network for multi-classification of breast cancer histopathological images
Fayos De Arizón et al. Artificial intelligence: a new field of knowledge for nephrologists?
Carrillo-Perez et al. Synthetic whole-slide image tile generation with gene expression profile-infused deep generative models
Saboor et al. DDFC: deep learning approach for deep feature extraction and classification of brain tumors using magnetic resonance imaging in E-healthcare system
Saha et al. VER-Net: a hybrid transfer learning model for lung cancer detection using CT scan images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant