CN117422964A - 一种基于多模态数据融合的直肠癌预测方法、系统及设备 - Google Patents

一种基于多模态数据融合的直肠癌预测方法、系统及设备 Download PDF

Info

Publication number
CN117422964A
CN117422964A CN202311356523.5A CN202311356523A CN117422964A CN 117422964 A CN117422964 A CN 117422964A CN 202311356523 A CN202311356523 A CN 202311356523A CN 117422964 A CN117422964 A CN 117422964A
Authority
CN
China
Prior art keywords
data
image
rectal cancer
fusion
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311356523.5A
Other languages
English (en)
Inventor
徐溢新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of Xuzhou Medical University
Original Assignee
Affiliated Hospital of Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of Xuzhou Medical University filed Critical Affiliated Hospital of Xuzhou Medical University
Priority to CN202311356523.5A priority Critical patent/CN117422964A/zh
Publication of CN117422964A publication Critical patent/CN117422964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能医疗领域，具体涉及一种基于多模态数据融合的直肠癌预测方法、系统及设备。包括获取直肠癌临床数据；将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；所述训练好的预测模型构建过程包括：获取临床图像、文本数据集及标签；所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；所述融合特征通过分类器进行分类预测得到直肠癌预测结果。本申请分别在数据扩充、特征提取、特征融合、分类预测进行优化，使得整体模型具备优异的预测性能，能够应用于实际直肠癌预测中，具有很好临床价值。

Description

一种基于多模态数据融合的直肠癌预测方法、系统及设备
技术领域
本领域涉及智能医疗领域，具有涉及一种基于多模态数据融合的直肠癌预测方法、系统、设备、计算机可读存储介质。
背景技术
直肠癌是一种严重威胁人类健康的恶性肿瘤，早期诊断和治疗对于改善患者生存率具有重要意义。然而，传统的诊断方法，如影像学和生物标志物检测，往往缺乏足够的灵敏度和特异性，导致很多直肠癌患者在初次诊断时已经发展到了晚期。此外，由于直肠癌的发病与多种因素相关，包括基因变异、生活方式和环境因素等，因此，需要一种能够综合分析多源数据的方法来提高直肠癌的早期诊断率。传统的数据分析方法往往局限于单一数据源，难以充分挖掘不同类型数据中的相关信息。而多模态分析涉及来自各种模态的信息处理，这些模态表现出不同的形成方法和内部结构。这种方法涉及研究每种模态的不同数据集之间的相关性。
发明内容
针对上述问题，本发明提出一种基于多模态数据融合的直肠癌预测方法，利用深度学习和数据融合技术综合分析微阵列图像和临床参数，提高直肠癌的早期诊断精度和可靠性，旨在促进直肠癌患者有效、无创、准确的预后预测和个体化治疗，具体方法包括：
获取直肠癌临床数据；
将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
进一步，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据。
进一步，所述临床图像数据由直肠癌图像以及癌旁组织图像组成，所述癌旁组织图像选取癌组织边缘3cm以上的正常组织。
所述特征提取模块中采用ResNet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述ResNet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出；
进一步，基于所述残差神经单元调整组成结构得到增强残差神经单元，所述增强残差神经单元由两个部分组成，第一部分由输入层、1×1卷积层组成，数据从所述输入层流入经过1×1卷积层得到卷积后的数据，第二部分由输入层、m个串连的堆栈、输出层组成，m为大于等于1的自然数，所述堆栈依次由一个批标准化层、一个激活函数层、一个卷积层组成，输入层将数据输至所述堆栈中得到处理后的数据，所述处理后的数据与所述卷积后的数据相加拼接得到所述增强残差神经元的输出。
进一步，所述增强残差神经单元的输出xk表示公式为：
其中，xn为网络中间任意一层增强残差神经单元的输出；
进一步，基于增强残差神经元的ResNet网络在计算损失函数时是通过预设的分类函数得到的。
所述特征提取模块中采用MLP网络对临床文本数据集进行特征提取得到文本特征，所述MLP网络通过梯度下降算法优化网络模型的参数；
进一步，采用晶体生长优化算法优化网络模型的参数，所述晶体生长优化算法基于晶体的生长规则模拟真实晶体的生长过程，通过计算生长晶体的当前解的适应度值的更新晶体结构，得到最优解并赋值给网络模型的参数。
所述特征融合模块采用多头注意力特征融合模型融合所述图像特征和文本特征，所述多头注意力特征融合模型基于晶体生长优化算法更新参数，通过模拟晶体生长方式更新参数的更新方向；
进一步，所述晶体生长模型的更新参数的公式表示为：
其中，wt+1和wt分别表示下一迭代和当前迭代的权重；bt+1和bt表示下一迭代和当前迭代的偏置；Γ为衰减因子，控制每一步权重更新的速率；α是学习率，是晶体生长原理下的参数更新方向。
所述分类器采用随机森林进行分类，所述随机森林由k棵决策树组成，k为大于等于1的自然数，每棵决策树对数据进行分类，并根据投票决定最终的分类结果；
进一步，采用结果响应策略构建随机森林，所述结果响应策略使得随机森林既关注数据被分类为类别1的概率，又关注数据被分类为类别N的概率，N为大于等于1的自然数；
进一步，基于结果响应策略的随机森林分类结果f′(qx)表示为:
其中，qλ是一个控制结果响应强度的参数，qx为输入数据，qc为数据qx的可能预测类别，qt为第qt个决策树，Pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率,Qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率，argmaxqc为类别qc的取值函数。
所述方法还包括对所述图像数据预处理，所述预处理是基于病理学分析对所述图像进行数据标注，所述图像被标注为直肠癌组织和/或直肠癌旁组织得到标注后的图像；
进一步，对所述标注后的图像进行数据归一化处理和数据标准化处理得到预处理后的数据；
进一步，对所述预处理后的数据进行数据扩充得到扩充后的图像数据集；所述数据扩充是采用生成对抗网络生成图像数据；所述生成对抗网络模型的构建过程为：所述生成对抗网络包括生成器和判别器，所述生成器基于真实图像数据特征生成模仿图像数据，所述模仿图像数据与真实图像数据混合输至所述判别器判别图像的真伪，将判别结果反馈至所述生成器，所述生成器优化自身参数，重复上述过程直至判别器无法判别图像真伪；
进一步，所述图像数据通过回声状态网络进行深度特征编码提取时序信息和动态信息后输至生成对抗网络；
进一步，所述回声状态网络编码得到的联合回声状态矩阵表示为：
其中，R*为联合该批次下所有样本的回声状态矩阵，ωi为第i个样本的权重系数，F是加权求和函数，Ri为回声状态矩阵。
本申请的目的在于提供一种基于多模态数据融合的直肠癌预测系统，包括：
数据获取单元：获取直肠癌临床数据；
分类预测单元：将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
本申请的目的在于提供一种基于多模态数据融合的直肠癌预测设备，包括：存储器与处理器，所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项上述的一种基于多模态数据融合的直肠癌预测方法。
本申请的目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项上述的一种基于多模态数据融合的直肠癌预测方法。
本发明的优势：
1、结合了直肠癌及癌旁组织微阵列图像和临床参数，从多个维度考虑直肠癌的病症，实现了多模态数据的融合，丰富数据特征，提高预测模型对直肠癌的预测精度。
2、改进ResNet网络结构，提出一种新的残差神经单元，解决网络模型容易产生梯度消失的问题，同时优化残差神经单元的顺序，提高网络性能，增强网络提取直肠癌及癌旁组织微阵列图像特征。
3、采用多头注意力特征融合模型对多模态特征进行特征融合，提高特征表现能力、预测模型对特征的学习性能，同时采用引入结果响应策略的随机森林，提高模型的分类能力、泛化能力，增强了模型对噪声和异常值的容忍度，有效提高模型的健壮性。
4、引入晶体生长优化算法优化文本特征提取模型及特征融合模型，该算法优化了模型的计算性能同时提高了模型的训练效率和稳定性，特别在特征提取模型中避免了模型陷入局部最优解的问题。
5、采用基于回声状态的生成对抗网络对原始直肠癌及癌旁组织微阵列图像进行数据扩充与数据增强，避免过拟合的问题，使模型更稳定且具备更高的泛化能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种多模态数据融合的直肠癌预测方法流程示意图；
图2为本发明实施例提供的一种多模态数据融合的直肠癌预测系统示意图；
图3为本发明实施例提供的一种多模态数据融合的直肠癌预测设备示意图；
图4为本发明实施例提供的总体框架图；
图5为本发明实施例提供的传统残差神经单元结构图；
图6为本发明实施例提供的改进残差神经单元结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1本发明实施例提供的一种多模态数据融合的直肠癌预测方法示意图，具体包括：
S101：获取直肠癌临床数据；
在一个实施例中，直肠癌是指从齿状线至直肠乙状结肠交界处之间的癌，是消化道最常见的恶性肿瘤之一。直肠癌位置低，容易被直肠指诊及乙状结肠镜诊断。但因其位置深入盆腔，解剖关系复杂，手术不易彻底，术后复发率高。
在一个实施例中，直肠癌及癌旁组织的图像类型包括下列的一种或几种：
超声图像、CT图像、MRI图像、PET图像、微阵列图像、三维重建图像。
S102：将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
在一个实施例中，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据。
在一个实施例中，所述临床图像数据由直肠癌图像以及癌旁组织图像组成，所述癌旁组织图像选取癌组织边缘3cm以上的正常组织。
在一个实施例中，ResNet(ResidualNeural Network)是一种使用ResNet Unit的神经网络。ResNet主要思想是在网络中增加了直连通道，即HighwayNetwork的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。这样的话这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此ResNet又叫做残差网络。本发明提出ResNeSt，它是ResNet的改进模型，在ResNet的架构设计空间中添加了Split-Attention模块，直接提高了所得网络的性能。
在一个实施例中，多层感决向量机(Multilayer Perceptron，MLP)是一种基于神经网络的深度学习算法，它有很强的非线性建模能力和泛化能力，广泛应用于分类和回归问题。多层感知向量机是一种前馈神经网络模型，由输入层、隐藏层和输出层组成。输入层负责接收外部输入的数据特征，隐藏层通过非线性映射对特征进行提取和变换，输出层则给出分类或回归预测结果各层之间的连接方式为全连接，即每个神经元与前一层的所有神经元都相连。
在一个实施例中，所述特征提取模块中采用ResNet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述ResNet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出。
在一个实施例中，基于所述残差神经单元调整组成结构得到增强残差神经单元，所述增强残差神经单元由两个部分组成，第一部分由输入层、1×1卷积层组成，数据从所述输入层流入经过1×1卷积层得到卷积后的数据，第二部分由输入层、m个串连的堆栈、输出层组成，m为大于等于1的自然数，所述堆栈依次由一个批标准化层、一个激活函数层、一个卷积层组成，输入层将数据输至所述堆栈中得到处理后的数据，所述处理后的数据与所述卷积后的数据相加拼接得到所述增强残差神经元的输出。所述增强残差神经单元的输出xk表示公式为：
其中，xn为网络中间任意一层增强残差神经单元的输出。
在一个实施例中，基于增强残差神经元的ResNet网络在计算损失函数时是通过预设的分类函数得到的。
在一个实施例中，所述特征提取模块中采用MLP网络对临床文本数据集进行特征提取得到文本特征，所述MLP网络通过梯度下降算法优化网络模型的参数。
在一个实施例中，特征提取、分类器的方法包括下列的一种或几种：ResNet、LeNet、AlexNet、VGG、GoogLeNet、Inception、CNN、KNN、SVM、MLP、Adaboost、BP神经网络、决策树、极限学习机、随机森林、朴素贝叶斯。
在一个实施例中，特征融合包括下列的一种或几种：基于通道注意力机制的特征融合、基于通道和空间注意力机制的特征融合、基于自下而上和自上而下路径的特征融合、基于特征金字塔的特征融合、基于注意力机制特征融合、基于空洞卷积的特征金字塔融合。
在一个实施例中，多头注意力机制是在自注意力机制的基础上发展起来的，是自注意力机制的变体，旨在增强模型的表达能力和泛化能力。它通过使用多个独立的注意力头，分别计算注意力权重，并将它们的结果进行拼接或加权求和，从而获得更丰富的表示。多头注意力融合模块基于多头注意力对多模态的数据分配权重，并将结果进行拼接或加权求和得到融合后的数据。
在一个实施例中，网络参数优化算法包括下列的一种或几种：晶体生长优化算法、模拟退火余弦算法、粒子群算法、小生境算法、蚁群算法、遗传算法、鱼群算法、免疫优化算法、差分进化算法。
在一个实施例中，采用晶体生长优化算法优化网络模型的参数，所述晶体生长优化算法基于晶体的生长规则模拟真实晶体的生长过程，通过计算生长晶体的当前解的适应度值的更新晶体结构，得到最优解并赋值给网络模型的参数。
在一个实施例中，所述特征融合模块采用多头注意力特征融合模型融合所述图像特征和文本特征，所述多头注意力特征融合模型基于晶体生长优化算法更新参数，通过模拟晶体生长方式更新参数的更新方向；所述晶体生长模型的更新参数的公式表示为：
其中，wt+1和wt分别表示下一迭代和当前迭代的权重；bt+1和bt表示下一迭代和当前迭代的偏置；Γ为衰减因子，控制每一步权重更新的速率；α是学习率，是晶体生长原理下的参数更新方向。
在一个实施例中，所述分类器采用随机森林进行分类，所述随机森林由k棵决策树组成，k为大于等于1的自然数，每棵决策树对数据进行分类，并根据投票决定最终的分类结果。
在一个实施例中，采用结果响应策略构建随机森林，所述结果响应策略使得随机森林既关注数据被分类为类别1的概率，又关注数据被分类为类别N的概率，N为大于等于1的自然数；基于结果响应策略的随机森林分类结果f′(qx)表示为:
其中，qλ是一个控制结果响应强度的参数，qx为输入数据，qc为数据qx的可能预测类别，qt为第qt个决策树，Pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率,Qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率，argmaxqc为类别qc的取值函数。
在一个实施例中，所述方法还包括对所述图像数据预处理，所述预处理是基于病理学分析对所述图像进行数据标注，所述图像被标注为直肠癌组织和/或直肠癌旁组织得到标注后的图像；对所述标注后的图像进行数据归一化处理和数据标准化处理得到预处理后的数据。
在一个实施例中，对所述预处理后的数据进行数据扩充得到扩充后的图像数据集；所述数据扩充是采用生成对抗网络生成图像数据；所述生成对抗网络模型的构建过程为：所述生成对抗网络包括生成器和判别器，所述生成器基于真实图像数据特征生成模仿图像数据，所述模仿图像数据与真实图像数据混合输至所述判别器判别图像的真伪，将判别结果反馈至所述生成器，所述生成器优化自身参数，重复上述过程直至判别器无法判别图像真伪。
在一个实施例中，所述图像数据通过回声状态网络进行深度特征编码提取时序信息和动态信息后输至生成对抗网络；所述回声状态网络编码得到的联合回声状态矩阵表示为：
其中，R*为联合该批次下所有样本的回声状态矩阵，ωi为第i个样本的权重系数，F是加权求和函数，Ri为回声状态矩阵。
在一个具体实施例中，本发明选取符合入选标准的直肠癌患者入组，其临床数据通过电子医疗系统获取。纳入标准如下：病理诊断为直肠癌；有完整的临床资料、病理资料和术后随访资料。根据以下标准排除患者：
(1)新辅助治疗(化疗、放疗、放化疗、免疫治疗、分子靶向治疗等)；
(2)既往患有腹部恶性肿瘤或炎症性疾病；
(3)在手术探查期间存在无法切除的原发肿瘤病灶或远处转移(肝、腹膜等)。
基线信息，从电子医疗系统获得，包括诊断时年龄、性别、肿瘤大小、Lauren分型、浸润深度(T分期)、淋巴结转移(N分期)、远处转移(M分期)、TNM分期、Ki-67水平、P53突变状态、红细胞(RBC)计数、白细胞(WBC)计数、淋巴细胞计数、白蛋白水平、血小板计数、血红蛋白(HB)水平、ALT水平、AST水平、白蛋白水平、肌酐(Cr)水平、尿素水平、癌胚抗原(CEA)水平和碳水化合物抗原199(CA199)水平。TNM分期根据美国癌症联合委员会第八版AJCC癌症分期手册重新分类。
在一个具体实施例中，术后前2年每3个月对患者进行一次随访，接下来3年每6个月随访一次，此后每年随访一次。随访时间是从手术时间到最后一次随访的时间，并记录最后一次随访时的生存状况。总生存期定义为手术与任何原因死亡之间的时间间隔。对于临床数据，本发明首先对所有离散数据进行编码，然后根据连续数据的分布对其进行归一化。对于数据增强，主要采用随机缺失和随机增强策略。
在一个具体实施例中，所有符合条件的患者的组织微阵列(TMA)均使用来自直肠癌手术切除标本的福尔马林固定石蜡包埋组织的组织芯构建。然后，选择了每例最能代表浸润深度的切片。进一步，使用配备×20物镜的Aperio ScanScope扫描仪系统(LeicaBiosystems)扫描所有选定的载玻片，并将图像数字化为svs格式文件，这些文件由AperioNDP.view 2软件管理。鉴于TMA与其他病理图像相比分辨率较低，本发明没有采用基于块的分割，而是将整个图像缩放到2048×2048像素(1个像素等于0.504μm)并将其输入到模型中。为了解决训练样本有限而可能导致模型过度拟合的问题，本发明还结合了数据增强技术，例如随机亮度调整和旋转、翻转、镜像以及添加随机噪声。
在一个具体实施例中，根据纳入和排除标准，292例患者纳入研究，并以4:1的比例分别随机分配至训练组和测试组；234名患者组成训练组，58名患者组成测试组。训练组和测试组之间的临床病理特征没有发现显着差异。在训练队列中，56.8％(133/234)为男性，平均(SD)年龄为63.6(11.3)岁。大多数患者(78.3％，227/290)被诊断为II期或III期疾病。训练组和测试组的中位随访时间(IQR)分别为59(57-61)和59(55-63)个月。训练组的5年总生存期(OS)率为30.8％(72/234)。在测试队列中，5年OS率为34.5％(20/58)。
在一个具体实施例中，本发明的临床文本参数特征中血红蛋白水平、血小板计数、白细胞计数、红细胞计数、中性粒计数、血压、心率、呼吸率共8项指标，均为float浮点数值形式。本发明的总体架构如图4所示，直肠癌及癌旁组织的微阵列图像依次通过预处理模块、样本扩充模块、ResNet特征提取模块得到图像特征，临床数据通过MLP特征提取模块得到文本特征，图像特征与文本特征通过特征融合模块融合后输至分类器进行分类。
在一个具体实施例中，本发明对图像进行预处理的具体内容：每个微阵列图像是由多个像素组成，每个像素对应一个特定的数值，反映了该像素位置的光强度。设微阵列图像的尺寸为m×n，其中m和n分别表示图像的行数和列数，则微阵列图像I被存储为二维矩阵的格式，即：
I＝[i11,i12,...,i1n；i21,i22,...,i2n；...；im1,im2,...,imn]
其中，I表示一个微阵列图像的数据矩阵，其中包含了图像中每个像素的灰度值。每个元素ixy代表图像中第x行第y列的像素的灰度值。
进一步地，对于每个微阵列图像，通过实验室的病理学分析来对图像进行人工标注。在一个实施例中，每个图像被标注为直肠癌组织或直肠癌旁组织。
数据采集并标注完成后，对数据进行预处理，将原始数据转换为合适的格式或结构，进而更适合后续的模型训练。首先进行数据归一化，将数据的数值范围缩放到(0,1)的区间。对于图像中的每个像素值，归一化的方式可以表示为：
其中，I′i,j为归一化后的像素值，Ii,j为原始像素值，min(I)为原始图像数据矩阵中的最小像素值，max(I)为原始图像数据矩阵中的最大像素值。
进一步地，进行数据标准化，调整数据的分布，使之符合标准正态分布。标准化的方式可以表示为：
″′
其中，Ii,j为标准化后的像素值，Ii,j为归一化后的像素值，μ为归一化后图像数据的均值，σ为归一化后图像数据的标准差。
在一个具体实施例中，对预处理后的数据进行数据扩充，可以理解的是，数据的采集和标注是耗时耗力的，且训练数据量不足够多时，容易导致模型的欠拟合。本发明采用基于回声状态的生成对抗网络算法来生成更多的训练样本，以提升模型的性能和泛化能力。基于回声状态的生成对抗网络算法结合了回声状态网络的动态记忆特性和生成对抗网络的生成能力，利用回声状态网络对数据中的时序信息进行编码，生成对抗网络部分用于生成与真实数据相似的合成数据。
具体的，利用基于回声状态的生成对抗网络算法进行样本生成的步骤为：
将预处理后的数据输入到回声状态网络中，进行时序信息的编码。
1、将数据按照批次进行输入，在一个实施例中，每批次包括10个样本。对于同一类别的每一批次样本中的单个样本mi，定义回声状态矩阵Ri。对于给定的输入Ui(t)和输出Yi(t)，计算下一时刻的该批次的第i个回声状态矩阵：
Ri(t+1)＝tanh(AiRi(t)+WiUi(t)+BiYi(t))
其中，Ai，Wi，和Bi是权重矩阵，由训练数据学习得到。Ri(t+1)为下一时刻的该批次的第i个回声状态矩阵；Ri(t)为当前时刻的该批次的第i个回声状态矩阵；Ui(t)为第i个样本的输入信号在当前时刻的值；Yi(t)为第i个样本的输出信号在当前时刻的值。
2、进行时序信息编码。回声状态网络对输入的当前批次数据进行深度特征编码，提取时序和动态信息，利用回声状态矩阵Ri得到一个联合回声状态矩阵R*。定义融合函数F，则联合回声状态矩阵R*的计算方式可以表示为：
其中，R*为联合该批次下所有样本的回声状态矩阵，用于生成器的输入；ωi为第i个样本的权重系数，基于信息熵计算得到；F是加权求和函数；ωi是基于信息熵的权重系数，计算公式为：
其中，p(xi)为第i个样本的信息分布概率；
3、利用生成器生成数据。编码得到的深度特征被送入生成对抗网络的生成器，生成器以此为基础生成合成数据。生成器G接收联合回声状态矩阵R*并输出生成数据Xg的方式可以表示为：
Xg＝G(R*)
其中，G为生成器网络，用于生成新的微阵列图像数据；Xg为生成器产生的新的微阵列图像数据。
进一步地，生成器的损失函数可以表示为：
其中，D为判别器网络，用于区分生成数据和真实数据；Xr为真实的微阵列图像数据；λ为超参数，控制生成器的正则化项，以避免过拟合并保持模型的泛化能力；minG maxD为表示在生成器和判别器的训练过程中，生成器试图最小化目标函数，而判别器试图最大化目标函数，形成一种“博弈”的过程。
4、判别器判定。生成对抗网络的判别器接收生成的合成数据和真实数据，进行真假判定。判别器D的目标是正确分类真实数据Xr和生成数据Xg，可以表示为：
其中，η是超参数，控制判别器的正则化项。
5、模型优化。通过梯度下降法迭代训练模型，对判别器的判定结果对生成器和判别器进行优化，使生成的数据逐渐接近真实数据分布。
在一个具体实施例中，本发明在样本扩充完成后，将扩充后的样本与原始样本混合后，输入到ResNet网络中进行特征提取。区别于传统的ResNet网络，本发明利用改进的残差单元来组建ResNet网络结构。传统残差神经单元的结构如图5所示，残差神经单元内部含有两个卷积层和两个线性整流单元(ReLU)，能将单元的输入以及最后一个激活层的输出进行相加连接后作为整个单元的输出。由于该神经单元的结构具有跳过卷积层的特征，其能保证在网络层数较深的情况下避免梯度消失，并一定程度上避免过拟合。
且，传统残差神经单元的结构表达式为：
xn+1＝xn+F(xn,W1,W2)
其中，xn为第n层残差神经单元的输入；xn+1为第n层残差神经单元的输出；W1和W2分别为两个卷积层的权重系数矩阵；F(xn,W1,W2)为xn经过两层卷积层和两层激活层后的输出，表达式为：
F(xn,W1,W2)＝σ[W2σ(W1xn)]
其中，σ表示RELU激活函数。
为了满足相加连接的条件，xn与F(xn,W1,W2)的维度必须相同，这在一定程度上限制了残差神经网络中通道数的自由设置，降低了其提取特征的能力。
本发明在传统残差神经单元的基础上进行改进，提出新的残差神经单元，它引入了分割-变换合并和通道注意机制来增强其特征表示能力和倾向，如图6所示，改进残差神经单元(增强残差神经单元)在跳过卷积层的路径上增加具有1×1大小卷积核、通道数为m的卷积层。与原始的残差单元相比，改进的残差单元能够将xn的维度提升到m，使其和F(xn)的维度相匹配，解除了卷积核通道数必须和输入信号通道数相同的限制，该卷积层的设置还引入了更多的参数，使网络有了更强的特征表现能力。其次，在改进的残差单元中加入批标准化层，能够优化输入激活层前的数据分布。而后，将一个BN层(批标准化层)、一个ReLU层(激活函数层)和一个Conv层组合成一个堆栈(Stack)，叠加三个堆栈用于组建神经单元。最后，调整各个堆栈中神经单元的顺序，在不增加复杂度的情况下增进网络的性能。
在一个具体实施例中，改进的残差网络ResNeSt对输入特征进行切片，根据切片特征生成注意力向量，使用注意力向量对切片特征进行加权，并通过添加残差来合并加权特征以输出注意力特征，本发明考虑到组织图像的高分辨率，修改了ResNeSt下采样的数量，同时调整了ResNeSt每个阶段的卷积数量和层数。修改后的ResNeSt由六个阶段组成，其中第一阶段主要由卷积块组成，其余五个阶段由ResNeSt块组成。卷积块包括卷积层、激活函数和归一化层。在每个阶段的最后，都会执行下采样，主要包括池化、卷积、激活和归一化。我们将术前和术后3通道图像结合起来形成一个6通道矩阵，该矩阵作为ResNeSt的输入。六通道矩阵被全局池化，在六个下采样阶段后生成最终的图像特征。
在一个具体实施例中，改进残差网络的算法原理：使用k个上述的改进的残差神经单元串联在一起组成深度神经网络。设该神经网络最终的输出结果为xk，损失函数为L，网络中间任意一层改进残差神经单元的输出为xn。由于每一个残差神经层都会进行跳跃连接，因此最终层输出xk可以表示为：
进一步地，令Wk,0＝0，可以将上述公式简化为：
进一步地，根据神经网络的反向传播中使用的链式法则，损失函数关于xn的梯度可以表示为：
进一步地，进一步地，结合上述公式，可以得到的偏导计算公式：
化简后，得到：
进一步地，神经网络梯度传递公式为：
通过上述推导可以看出，传统神经网络中第n层的梯度会受到第(k-n)层到第k层所有梯度的影响，一旦其中某层的梯度趋近于0，所有神经层的梯度都会随之缩小，引起梯度消失的问题，后续神经元无法再继续更新。与之相比，改进残差单元的网络梯度不受其他层梯度的影响，避免了梯度消失的问题。
进一步地，利用训练样本对改进的ResNeSt进行训练，训练损失函数为均方根误差损失函数，所述均方根误差损失函数的计算通过预设的Softmax分类函数得到。
在一个具体实施例中，利用MLP网络对临床数据进行特征提取的部分，MLP网络的输入层的节点数与输入临床数据的维度相同，输入层的节点数为8个。MLP网络的隐藏层为单隐层结构，其节点数量为100个。MLP网络的输出层节点数为50个。区别于传统的MLP的参数优化方法，本发明中的MLP网络采用晶体生长优化算法替代传统的梯度下降法，以避免在训练过程中产生的局部最优解现象。晶体生长优化算法的设计将在特征融合部分进行介绍。
在一个具体实施例中，特征融合模块：将ResNeSt的输出和MLP的输出输入到特征融合模块进行特征融合。
本发明采用的特征融合模块为多头注意力特征融合模型，两组特征合并为特征组合，然后迭代地通过三个多头注意力块(MHAB)。MHAB过程由以下等式表示：
Output＝MultiHead(Q,K,V)＝Concat(head1,…,headH)WO
其中，Q、K、V是MHAB的三个初始向量，dk表示K的维度， 分别为第i个头中Q、K、V的权重，H表示头数，WO表示输出权重。
该模型同MLP模型共同进行训练，即，共同进行模型参数的优化。在参数优化时，借鉴晶体生长原理中的有序性和稳定性，在每次迭代过程中，都会通过晶体生长的稳定性和有序性，确保参数更新的稳定性，从而优化神经网络的表现。
具体的，模型的训练过程为：
1、初始化网络参数。根据特定规则对网络参数进行初始化。对于每个参数w和偏置b，使用Xavier Initialization初始化技术，可以表示为：
bi＝0
其中，nin是输入层的节点数量。
2、构建晶体生长模型。设定模型的晶体生长参数，以模拟真实的晶体生长过程，其中每个参数都遵循特定的生长规则。晶体生长率的定义方式可以表示为：
Γ＝k·ρ·δ
其中，k是生长常数，ρ是晶体生长密度，δ是生长驱动力。
3、多头注意力的参数融合。利用多头注意力机制融合特征A和特征B，形成融合特征。设ResNeSt输出的特征为特征A，MLP输出的特征为特征B，多头注意力的权重计算公式为：
Watt＝softmax(AWA+BWB+batt)
融合特征计算方式可以表示：
F＝concat(Watt·A,Watt·B)
其中，Watt为多头注意力机制的权重矩阵；F为所有头的输出的融合特征；w为模型的权重参数；b为模型的偏置参数。
4、参数更新。按照晶体生长原理，通过有序且稳定的方式，对网络参数进行更新。根据晶体生长原理，设晶体生长模型表示为函数C(w)，则更新权重w和偏置b的方式可以表示：
其中，wt+1和wt分别表示下一迭代和当前迭代的权重；Γ为衰减因子，控制每一步权重更新的速率；α是学习率，是晶体生长原理下的参数更新方向，表现为模拟晶体生长中的有序性和稳定性，不同于梯度下降算法中的参数更新方向。C(wt)是在时刻t的权重下，晶体生长模型的输出，其计算方式可以表示为：
其中，σ是晶体生长的敏感度，决定了晶体生长模型的斜率；μ是晶体生长的位置参数，决定了晶体生长模型的位置。
5、收敛性检验，即，检验模型是否达到预设的收敛条件。如果达到，则结束训练；如果未达到，则回到第三步继续进行参数更新。定义损失函数L，当连续多个epochs的损失变化小于预设阈值∈时，认为模型已收敛，可以表示为：
|Lt+1-Lt|<∈
其中，∈为预设阈值，当模型的损失变化小于该值时，模型停止训练。
6、模型评估与验证。对训练好的模型进行评估与验证，确保模型的性能满足需求。通过曲线下面积(AUC)、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、特异性(SP)、灵敏度(SE)阳性预测值(PPV)、阴性预测值(NPV)和F1评分评估指标，对模型的性能进行评估，评估指标的计算方式可以表示为：
/>
其中，TP是真阳性样本的数量，TN是真负样本的数量，FP是假阳性样本的数量，FN是假阴性样本的数量。
在一个具体实施例中，将融合后的特征输入到分类器中进行分类，本发明采用改进的随机森林分类算法。随机森林分类器是一种集成学习方法，由多个决策树组成，每棵决策树都对输入数据进行分类，并且最终的分类结果由所有决策树的分类结果进行投票决定。对于一棵决策树pt，它的分类结果fpt(px)可以用如下公式表示：
fpt(px)＝argmaxpc Ppt(pc|px)
其中，fpt(px)为决策树pt的分类结果，pc为数据px的可能预测类别，在一个实施例中，预测类别对应为直肠癌预测的区间。px为决策树pt的输入数据，Ppt(pc|px)表示决策树pt将输入数据px分类为类别pc的概率，argmaxpc表示对于类别pc寻找使得函数Ppt(pc|px)取得最大值的自变量的取值函数。
随机森林的分类结果由所有决策树的分类结果进行投票决定，即随机森林的分类结果为决策树分类结果中决策树数量占比最多的对应类别。
在一个具体实施例中，本发明引入结果响应策略构建随机森林，且，通过交叉验证选择最佳的决策树数量和决策树深度。具体的，对于每棵决策树qt，不仅考虑其输入数据qx分类为类别qc的概率Pqt(qc|qx)，也考虑它将输入数据qx分类为其他类别的概率。定义决策树qt将输入数据qx分类为类别qc的结果响应概率Qqt(qc|qx)，可以表示为：
Qqt(qc|qx)＝1-Pqt(qc|qx)
其中，Qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率，Pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率。
进一步地，改进的随机森林分类器的分类结果f′(qx)可以表示为：
其中，qλ是一个控制结果响应强度的参数，在训练改进的随机森林分类器时，使用梯度提升方法优化qλ，以达到最佳的分类效果。f′(qx)为改进的随机森林分类器的分类结果，argmaxqc表示对于类别qc寻找使得函数[∑qtPqt(qc|qx)-qλ∑qtQqt(qc|qx)]取得最大值的自变量的取值函数，qx为改进的随机森林的输入数据，qc为数据qx的可能预测类别，qt为第qt个决策树，Pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率,Qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率。
通过引入结果响应策略，如果一棵决策树将输入数据x错误地分类为其他类别的概率很高，那么它对最终分类结果的贡献就会减小，从而提高随机森林分类器的泛化能力和健壮性。
在一个具体实施例中，本发明对每个组件采用了逐步预训练方法。具体来说，本发明结合各自的分类器、目标图像和临床参数分类，对ResNeSt和MLP进行了单独的预训练过程。一旦获得预训练的模型参数，我们就加载它们并继续训练MHAF及其分类器，这些参数在一个epoch后被冻结。最后，我们解冻了ResNeSt和MLP，并继续进行完整模型的训练。对于模型训练，我们使用交叉熵损失作为损失函数，其描述为：
其中，C表示类别数，yc表示类别C的真实值，表示预测值。
在一个具体实施例中，本发明从组织病理学图像预测实验得到的实验结果为：本发明直肠癌预测的方法中训练数据的输入与训练方法进行组合形成不同的直肠癌预测模型，具体包括：使用癌症组织图像进行预测，AUC高达0.714，特异性率为0.755；使用癌旁组织图像进行预测，模型的AUC达到0.724，特异性率为0.754；将患者的癌组织图像和癌旁组织图像整合到模型中进行预测，其AUC为0.797，特异性率为0.788。将两种类型的组织病理学图像组合到模型中进行训练可以比仅使用一种类型的组织病理学图像。
在一个具体实施例中，从临床特征融合进行预测实验得到的实验结果为：在测试队列的测试集中达到了0.797的准确率；结合临床和图像特征的模型的AUC为0.837，比仅具有图像特征的模型高0.04；准确度为0.828，提高了0.104；精度为0.732，提高了0.171。召回率为0.735，提高了0.177，F1分数提高了0.171。
在一个实施例中，本发明的训练数据与训练方法进行组合进行预测产生更好的预测结果：
1、训练数据
1)采用直肠癌图像数据+直肠癌临床文本数据；
2)采用直肠癌及癌旁组织图像数据+直肠癌临床文本数据；
2、训练方法
1)基于回响状态的生成对抗网络+特征提取(传统ResNet、MLP)+特征融合+随机森林分类器；
2)生成对抗网络+特征提取(改进ResNet、MLP)+特征融合+随机森林分类器；
3)生成对抗网络+特征提取(传统ResNet、基于晶体生长优化的MLP)+特征融合+随机森林分类器；
4)生成对抗网络+特征提取(传统ResNet、MLP)+基于晶体生长优化的特征融合+随机森林分类器；
5)生成对抗网络+特征提取(传统ResNet、MLP)+特征融合+融合结果响应策略的随机森林分类器；
6)基于回响状态的生成对抗网络+特征提取(改进ResNet、MLP)+特征融合+随机森林分类器；
7)基于回响状态的生成对抗网络+特征提取(传统ResNet、基于晶体生长优化的MLP)+特征融合+随机森林分类器；
8)基于回响状态的生成对抗网络+特征提取(传统ResNet、MLP)+基于晶体生长优化的特征融合+随机森林分类器；
9)基于回响状态的生成对抗网络+特征提取(传统ResNet、MLP)+特征融合+融合结果响应策略的随机森林分类器；
10)基于回响状态的生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+特征融合+随机森林分类器；
11)基于回响状态的生成对抗网络+特征提取(改进ResNet、MLP)+基于晶体生长优化的特征融合+随机森林分类器；
12)基于回响状态的生成对抗网络+特征提取(改进ResNet、MLP)+特征融合+融合结果响应策略的随机森林分类器；
13)基于回响状态的生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+随机森林分类器；
14)基于回响状态的生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+随机森林分类器；
15)基于回响状态的生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+特征融合+融合结果响应策略的随机森林分类器；
16)基于回响状态的生成对抗网络+特征提取(传统ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+融合结果响应策略的随机森林分类器；
17)基于回响状态的生成对抗网络+特征提取(改进ResNet、MLP)+基于晶体生长优化的特征融合+融合结果响应策略的随机森林分类器；
18)生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+融合结果响应策略的随机森林分类器；
19)基于回响状态的生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+融合结果响应策略的随机森林分类器；
20)生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+特征融合+随机森林分类器；
21)生成对抗网络+特征提取(改进ResNet、基于晶体生长优化的MLP)+基于晶体生长优化的特征融合+随机森林分类器；
在一个具体实施例中，通过本发明提出的方法，现在可以仅依靠患者的临床参数和组织病理学图像来更准确地预测直肠癌患者的生存状态。这项研究利用患者的癌组织和癌旁组织来预测其生存，观察到癌旁组织在预测患者生存方面表现出良好的性能。这表明癌旁组织可能包含有价值的肿瘤相关信息，需要进一步探索。
图2本发明实施例提供的一种多模态数据融合的直肠癌预测系统示意图，具体包括：
数据获取单元：获取直肠癌临床数据；
分类预测单元：将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
图3本发明实施例提供的一种多模态数据融合的直肠癌预测设备示意图，具体包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行任意一项上述的一种多模态数据融合的直肠癌预测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时任意一项上述的一种多模态数据融合的直肠癌预测方法。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。
例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于多模态数据融合的直肠癌预测方法，其特征在于，所述方法具体包括：
获取直肠癌临床数据；
将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
2.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据；
优选地，所述临床图像数据由直肠癌图像以及癌旁组织图像组成，所述癌旁组织图像选取癌组织边缘3cm以上的正常组织。
3.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用ResNet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述ResNet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出；
优选地，基于所述残差神经单元调整组成结构得到增强残差神经单元，所述增强残差神经单元由两个部分组成，第一部分由输入层、1×1卷积层组成，数据从所述输入层流入经过1×1卷积层得到卷积后的数据，第二部分由输入层、m个串连的堆栈、输出层组成，m为大于等于1的自然数，所述堆栈依次由一个批标准化层、一个激活函数层、一个卷积层组成，输入层将数据输至所述堆栈中得到处理后的数据，所述处理后的数据与所述卷积后的数据相加拼接得到所述增强残差神经元的输出；
优选地，所述增强残差神经网络的输出xk表示公式为：
其中，xn为网络中间任意一层增强残差神经单元的输出，n为层数，k为增强残差神经单元个数，xi为增强残差神经单元输入，Wi,0、Wi+1,0为权重矩阵，G为激活函数；
优选地，基于增强残差神经元的ResNet网络在计算损失函数时是通过预设的分类函数得到的。
4.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用MLP网络对临床文本数据集进行特征提取得到文本特征，所述MLP网络通过梯度下降算法优化网络模型的参数；
优选地，采用晶体生长优化算法优化网络模型的参数，所述晶体生长优化算法基于晶体的生长规则模拟真实晶体的生长过程，通过计算生长晶体的当前解的适应度值的更新晶体结构，得到最优解并赋值给网络模型的参数。
5.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征融合模块采用多头注意力特征融合模型融合所述图像特征和文本特征，所述多头注意力特征融合模型基于晶体生长优化算法更新参数，通过模拟晶体生长方式更新参数的更新方向；
优选地，所述晶体生长优化算法更新参数的公式表示为：
其中，wt+1和wt分别表示下一迭代和当前迭代的权重；bt+1和bt表示下一迭代和当前迭代的偏置；Γ为衰减因子，控制每一步权重更新的速率；
α是学习率，是晶体生长原理下的参数更新方向。
6.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述分类器采用随机森林进行分类，所述随机森林由k棵决策树组成，k为大于等于1的自然数，每棵决策树对数据进行分类，并根据投票决定最终的分类结果；
优选地，采用结果响应策略构建随机森林，所述结果响应策略使得随机森林既关注数据被分类为类别1的概率，又关注数据被分类为类别N的概率，N为大于等于1的自然数；
优选地，基于结果响应策略的随机森林分类结果f′(qx)表示为:
其中，qλ是一个控制结果响应强度的参数，qx为输入数据，qc为数据qx的可能预测类别，qt为第qt个决策树，Pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率,Qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率，argmaxqc为类别qc的取值函数。
7.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述方法还包括图像数据预处理，所述预处理是基于病理学分析对所述图像进行数据标注，所述图像被标注为直肠癌组织和/或直肠癌旁组织得到标注后的图像；
优选地，对所述标注后的图像进行数据归一化处理和数据标准化处理得到预处理后的数据；
优选地，对所述预处理后的数据进行数据扩充得到扩充后的图像数据集；所述数据扩充是采用生成对抗网络生成图像数据；所述生成对抗网络模型的构建过程为：所述生成对抗网络包括生成器和判别器，所述生成器基于真实图像数据特征生成模仿图像数据，所述模仿图像数据与真实图像数据混合输至所述判别器判别图像的真伪，将判别结果反馈至所述生成器，所述生成器优化自身参数，重复上述过程直至判别器无法判别图像真伪；
优选地，所述图像数据通过回声状态网络进行深度特征编码提取时序信息和动态信息后输至生成对抗网络；
优选地，所述回声状态网络编码得到的联合回声状态矩阵表示为：
其中，R*为联合该批次下所有样本的回声状态矩阵，ωi为第i个样本的权重系数，F是加权求和函数，Ri为回声状态矩阵，n为回声状态网络个数。
8.一种基于多模态数据融合的直肠癌预测系统，其特征在于，包括：
数据获取单元：获取直肠癌临床数据；
分类预测单元：将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
所述训练好的预测模型构建过程包括：
获取临床图像、文本数据集及标签；
所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
所述图像特征、文本特征通过特征融合模块融合特征得到融合特征；
所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
9.一种基于多模态数据融合的直肠癌预测设备，其特征在于，包括：
存储器与处理器，所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-7任意一项上述的一种基于多模态数据融合的直肠癌预测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项上述的一种基于多模态数据融合的直肠癌预测方法。
CN202311356523.5A 2023-10-19 2023-10-19 一种基于多模态数据融合的直肠癌预测方法、系统及设备 Pending CN117422964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311356523.5A CN117422964A (zh) 2023-10-19 2023-10-19 一种基于多模态数据融合的直肠癌预测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311356523.5A CN117422964A (zh) 2023-10-19 2023-10-19 一种基于多模态数据融合的直肠癌预测方法、系统及设备

Publications (1)

Publication Number Publication Date
CN117422964A true CN117422964A (zh) 2024-01-19

Family

ID=89530845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311356523.5A Pending CN117422964A (zh) 2023-10-19 2023-10-19 一种基于多模态数据融合的直肠癌预测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117422964A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN118039136A (zh) * 2024-04-12 2024-05-14 中国医学科学院北京协和医院 结肠炎诊断系统、装置以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN118039136A (zh) * 2024-04-12 2024-05-14 中国医学科学院北京协和医院 结肠炎诊断系统、装置以及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. Covid-19 classification by FGCNet with deep feature fusion from graph convolutional network and convolutional neural network
Anaya-Isaza et al. An overview of deep learning in medical imaging
Biswas et al. State-of-the-art review on deep learning in medical imaging
Jasim et al. Classify bird species audio by augment convolutional neural network
CN117422964A (zh) 一种基于多模态数据融合的直肠癌预测方法、系统及设备
CN113113130A (zh) 一种肿瘤个体化诊疗方案推荐方法
JP7411126B2 (ja) 時空間的アテンションモデルに基づく多時相ｃｔ画像分類システム及び構築方法
Khan et al. Gene transformer: Transformers for the gene expression-based classification of lung cancer subtypes
Kumar et al. Sub-classification of invasive and non-invasive cancer from magnification independent histopathological images using hybrid neural networks
Sepahvand et al. Overcoming limitation of dissociation between MD and MI classifications of breast cancer histopathological images through a novel decomposed feature-based knowledge distillation method
Saeed et al. TMSS: an end-to-end transformer-based multimodal network for segmentation and survival prediction
WO2021263000A2 (en) Machine learning based medical data checker
Pradhan et al. A deep learning-based approach for detection of lung cancer using self adaptive sea lion optimization algorithm (SA-SLnO)
Abouelmagd et al. Feature selection based coral reefs optimization for breast cancer classification
Ukwuoma et al. Boosting breast cancer classification from microscopic images using attention mechanism
Pacal A novel Swin transformer approach utilizing residual multi-layer perceptron for diagnosing brain tumors in MRI images
Maurya et al. Computer-aided diagnosis of auto-immune disease using capsule neural network
CN116504406A (zh) 基于影像组合病理的肺癌术后风险模型构建方法和系统
Mothkur et al. An optimal model for classification of lung cancer using grey wolf optimizer and deep hybrid learning
Hossain et al. Early stage detection and classification of colon cancer using deep learning and explainable AI on histopathological images
Kumar et al. An Early Cancer Prediction Based On Deep Neural Learning
Swarup et al. Biologically inspired CNN network for brain tumor abnormalities detection and features extraction from MRI images
Clinton Jr et al. Acute lymphoblastic leukemia detection using depthwise separable convolutional neural networks
Rustagi et al. Hybrid salp swarm and grey wolf optimizer algorithm based ensemble approach for breast cancer diagnosis
Das et al. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination