CN117079801B - 一种结直肠癌的预后风险预测系统 - Google Patents

一种结直肠癌的预后风险预测系统 Download PDF

Info

Publication number
CN117079801B
CN117079801B CN202311036217.3A CN202311036217A CN117079801B CN 117079801 B CN117079801 B CN 117079801B CN 202311036217 A CN202311036217 A CN 202311036217A CN 117079801 B CN117079801 B CN 117079801B
Authority
CN
China
Prior art keywords
image
predicted
patient
prediction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311036217.3A
Other languages
English (en)
Other versions
CN117079801A (zh
Inventor
高峰
王烽傲
刘俊伟
胡楚凌
蔡都
吴小剑
李亦学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sixth Affiliated Hospital of Sun Yat Sen University
Original Assignee
Sixth Affiliated Hospital of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sixth Affiliated Hospital of Sun Yat Sen University filed Critical Sixth Affiliated Hospital of Sun Yat Sen University
Priority to CN202311036217.3A priority Critical patent/CN117079801B/zh
Publication of CN117079801A publication Critical patent/CN117079801A/zh
Application granted granted Critical
Publication of CN117079801B publication Critical patent/CN117079801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioethics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种结直肠癌的预后风险预测系统，所述系统包括：图像获取模块以及预测模块；所述图像获取模块，用于获取待预测病人的CT图像，并将所述CT图像输入至预测模块；所述预测模块，用于在未检测到与CT图像配对的基因组学数据时，将所述CT图像输入一预设的CRC预后预测模型，以使所述CRC预后预测模型，根据所述CT图像特征对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征，继而根据所述CT图像特征和预测基因组学特征，对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果。通过本发明可以根据单CT图像来对待预测病人的预后风险进行预测。

Description

一种结直肠癌的预后风险预测系统
技术领域
本发明涉及生物医学技术领域，尤其涉及一种结直肠癌的预后风险预测系统。
背景技术
结直肠癌(CRC)是中国第二大癌症，是威胁人类健康的重要疾病之一，是一种高度复杂的疾病，涉及一系列微观和宏观的变化，其机制和相互作用尚未完全了解。目前结直肠癌的治疗以手术为主，不同分期具有不同的术后预后效果，因此在CRC的临床分析和临床实践中，需要一种能够帮助临床医生准确预测CRC患者预后的辅助诊断工具。
CRC患者病灶的状态由多种模态的数据来记录，比如放射组学、病理组学、基因组学和临床信息，不同模态数据从各自视角来反映癌症发生和发展状态。因此可以通过多模态人工智能(Artificial Intelligence)模型，来集成不同模态的数据，通过这些模态数据来对CRC的预后风险进行预测。现有的多模态人工智能癌症预后预测模型是国际前沿的研究领域，并已取得一定进展，相关研究已构建出多种深度学习多模态模型，可以融合CT图像和基因组学的特征，对CRC的预后风险进行预测。
但是现有的多模态模型还存在很多缺点，如数据模态缺失的问题。因为在临床应用中，基因组测序的成本高且周期长，所以配对的基因组学数据会普遍缺失。然而现有的基因-CT多模态模型无法处理缺失的数据，只有同时输入完整的CT图像和基因组学数据时，才能进行正常的预后预测。因此在病人的基因组学数据缺失的情况下，病人大量CT图像就无法被多模态模型有效应用和提取信息，极大限制了多模态预后模型使用场景。
发明内容
本发明提供了一种结直肠癌的预后风险预测系统，可以根据单独的CT图像对待预测病人的预后风险进行预测。
为了解决上述技术问题，本发明实施例提供了一种结直肠癌的预后风险预测系统，包括：图像获取模块以及预测模块；
所述图像获取模块，用于获取待预测病人的CT图像，并将所述CT图像输入至预测模块；
所述预测模块，用于在未检测到与CT图像配对的基因组学数据时，将所述CT图像输入一预设的CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果；
其中，所述CRC预后预测模型包括：CT图像特征提取单元、模态交互推断单元以及融合预测单元；
所述CT图像特征提取单元，用于接收待预测病人的CT图像，提取所述CT图像的特征，并在未检测到与CT图像配对的基因组学数据时，将所提取的CT图像特征输入至模态交互推断单元；
所述模态交互推断单元，用于在接收到CT图像特征之后，获取待预测病人的基因组学特征均值，根据所述基因组学特征均值以及所述CT图像特征，对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征，并将所述CT图像特征和所述预测基因组学特征输入至融合预测单元；
所述融合预测单元，用于在未检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和预测基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果。
作为优选方案，所述图像获取模块，包括：CT图像预处理单元；
所述CT图像预处理单元，用于在将所述CT图像输入至预测模块之前，对所述CT图像进行归一化处理、图像强度标准化处理以及ROI区域调整处理。
作为优选方案，所述根据所述基因组学特征均值以及所述CT图像特征，对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征，包括：
根据所述CT图像特征，生成CT图像特征所对应的均值和方差，继而根据所述CT图像特征所对应的均值和方差确定所述CT图像特征对应的多元高斯分布；
对所述多元高斯分布进行随机采样，得到所述多元高斯分布的参数；
根据所述参数和所述基因组学特征均值，对待预测病人的基因组学特征进行推断，生成待预测病人的基因组学特征。
作为优选方案，所述待预测病人的基因组学特征，包括：
x＝<w,M>，w～N(u,σ)；
其中，<>表示加权求和，w为所述多元高斯分布的参数，u为所述多元高斯分布的均值，σ为所述多元高斯分布的方差，M为所述基因组学特征均值。
作为优选方案，还包括：数据获取模块；
所述数据获取模块，用于在检测到与CT图像配对的基因组学数据时，获取待预测病人的基因组学数据，并将所述基因组学数据输入至预测模块；
所述预测模块，还用于在接收到与CT图像配对的基因组学数据时，将所述CT图像和所述基因组学数据同时输入所述CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果；
所述CRC预后预测模型，还包括：基因组学特征提取单元：
所述CT图像特征提取单元，还用于在检测到CT图像配对的基因组学数据时，将所提取的CT图像特征输入至融合预测单元；
所述基因组学特征提取单元，用于接收待预测病人的基因组学数据，提取所述基因组学数据的特征，并将所提取的基因组学特征输入至融合预测单元；
所述融合预测单元，还用于在检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果。
作为优选方案，所述数据获取模块，包括：数据预处理单元；
所述数据预处理单元，用于在将所述基因组学数据输入至预测模块之前，对所述基因组学数据进行数据质控和过滤处理；
其中，所述处理后的基因组学数据包括：基因数据、基因突变特征数据以及体细胞拷贝数变异特征数据。
作为优选方案，所述CRC预后预测模型的构建，包括：
获取一基因通路网络和一生物反应通路网络；
根据所述基因通路网络、所述生物反应通路网络以及通路与通路之间的真实连接，对一预设神经网络模型的各层神经网络中神经元的连接进行约束，生成CRC预后预测模型。
作为优选方案，所述CRC预后预测模型，通过以下损失函数进行训练：
其中，Ei为待预测病人的生存情况,Ti为待预测病人从术后至当前预测时间之间的生存时间段，xi为待预测病人的多模态数据输入，hθ为所述CRC预后预测模型的参数。
相比于现有技术，本发明实施例具有如下有益效果：
本发明提供了一种结直肠癌的预后风险预测系统，通过图像获取模块获取待预测病人的CT图像，通过预测模块将所述CT图像输入一预设的CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果；其中，所述CRC预后预测模型包括：CT图像特征提取单元、模态交互推断单元以及融合预测单元；所述CT图像特征提取单元，用于提取待预测病人的CT图像的特征并输入至模态交互推断模块；所述模态交互推断单元，用于获取待预测病人的基因组学特征均值，根据所述基因组学特征均值以及所述CT图像特征，对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征；所述融合预测单元，用于CT图像特征和预测基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果。
通过本发明，可以有效解决现有的多模态模型无法处理缺失模态数据的问题，对于单独的CT图像，可以根据CT图像的特征推断出潜在的基因组学特征，进而根据所推断得到的预测基因组学特征以及所述CT图像特征，对待预测病人的预后风险进行预测。通过这种可只接受CT图像输入的多模态系统，扩大其应用场景，使其更加靠近临床实践，对于CRC的临床诊断和治疗都具有重要意义，可进一步推动临床无创精准医疗的发展。
附图说明
图1是本发明一实施例提供的一种结直肠癌的预后风险预测系统的结构示意图；
图2是本发明的结直肠癌的预后风险预测系统的完整结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种结直肠癌的预后风险预测系统的结构示意图，包括：图像获取模块以及预测模块；
所述图像获取模块，用于获取待预测病人的CT图像，并将所述CT图像输入至预测模块；
所述预测模块，用于在未检测到与CT图像配对的基因组学数据时，将所述CT图像输入一预设的CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果；
其中，所述CRC预后预测模型包括：CT图像特征提取单元、模态交互推断单元以及融合预测单元；
所述CT图像特征提取单元，用于接收待预测病人的CT图像，提取所述CT图像的特征，并在未检测到与CT图像配对的基因组学数据时，将所提取的CT图像特征输入至模态交互推断单元；
所述模态交互推断单元，用于在接收到CT图像特征之后，获取待预测病人的基因组学特征均值，根据所述基因组学特征均值以及所述CT图像特征，对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征，并将所述CT图像特征和所述预测基因组学特征输入至融合预测单元；
所述融合预测单元，用于在未检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和预测基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果。
优选的，所述图像获取模块，包括：CT图像预处理单元；所述CT图像预处理单元，用于在将所述CT图像输入至预测模块之前，对所述CT图像进行归一化处理、图像强度标准化处理以及ROI区域调整处理。
在本发明的结直肠癌的预后风险预测系统中，当病人CT图像所配对的基因组学数据缺失时，可通过单独的CT图像输入，根据CT图像特征推断出潜在的预测基因组学特征，继而根据CT图像特征和预测基因组学特征，来对待预测病人的CRC预后风险进行预测。
在通过单CT图像输入，对待预测病人的CRC预后风险进行预测时，首先通过图像获取模块来获取待预测病人的CT图像，将病人的CT扫描图像存储至数据库中；然后通过图像获取模块中的CT图像预处理单元，对所述CT图像进行预处理，经过图像预处理之后可以减轻CT图像采集设置和关注区域(ROI)选择变化的影响。所述预处理分为以下三个步骤：
(1)通过使用三联插值将所有的CT图像归一化为1.0×1.0×1.0mm3的同质体素间距；
(2)通过使用CT窗口级，将所有CT图像的强度标准化为0-255；
(3)将所有CT图像中的ROI区域定义为一个大小2D×2D的区域(其中D是测量肿瘤的直径长度)，图像中心点与测量中心均与基线CT扫描处的行相对应，然后将所定义的ROI区域大小调整为224*224。
优选的，所述根据所述基因组学特征均值以及所述CT图像特征，对待预测病人的基因组学特征进行推断，生成待预测病人的预测基因组学特征，包括：
根据所述CT图像特征，生成CT图像特征所对应的均值和方差，继而根据所述CT图像特征所对应的均值和方差确定所述CT图像特征对应的多元高斯分布；对所述多元高斯分布进行随机采样，得到所述多元高斯分布的参数；根据所述参数和所述基因组学特征均值，对待预测病人的基因组学特征进行推断，生成待预测病人的基因组学特征。
优选的，所述待预测病人的基因组学特征，包括：
x＝<w,M>，w～N(u,σ)；
其中，<>表示加权求和，w为所述多元高斯分布的参数，u为所述多元高斯分布的均值，σ为所述多元高斯分布的方差，M为所述基因组学特征均值。
CT图像预处理之后，将处理后的CT图像输入至预测模块，所述预测模块包括一CRC预后预测模型。所述CRC预后预测模型包括：CT图像特征提取单元、模态交互推断单元以及融合预测单元。
在CT图像特征提取单元中，接收待预测病人的CT图像，提取所述CT图像的特征，并将所提取的CT图像特征输入至模态交互推断单元。在模态交互推断单元中，可通过推断网络解决模态数据缺失的问题，推断网络根据CT图像特征推断出潜在的预测基因组学特征，并将CT图像特征和预测基因组学特征输入至融合预测单元。在融合预测单元中，将CT图像特征和预测基因组学特征进行特征融合，通过融合后的特征得到待预测病人的预后风险预测分数，根据该分数进一步得到待预测病人的预后风险预测结果。
在所述推断网络中，通过跨模态特征重建的方法，根据CT图像特征对潜在的基因组学特征进行重建，得到预测基因组学特征。区别于传统的跨模态特征重建模式，即直接利用神经网络进行跨模态之间的特征映射，从一种模态特征来直接生成另外一种模态特征的模式；本发明采取了一种更优的特征重建方法，从需要生成的基因的特征分布和基因组学特征均值出发，将CRC病人的基因组学特征均值输入所述CRC预后预测模型，模型中的推断网络根据所输入的基因组学特征均值以及CT图像特征，构建CT图像和基因组学特征之间的联系，然后由所述基因组学特征均值加上后验采样分布，即可重建得到对应的预测基因组学特征。
其中，基因的特征分布是由所述CRC预后预测模型处理完基因多组学数据后得到的嵌入空间上的分布(embedding空间)，基因组学特征均值就是这个嵌入空间上的，所有样本点(CRC病人)基因多组学嵌入特征的均值。
CRC病人的基因组学特征均值通过以下方式计算得到：
首先获取已有的所有CRC病人的基因数据，根据所述基因数据得到已有的所有CRC病人的基因组学嵌入特征(即群体上的特征)，在整个群体上用KNN聚类得到整个样本的中心点，作为CRC病人群体的基因组学特征均值(基因特征的先验(priors))。
将待预测CRC病人的基因组学特征均值M输入所述CRC预后预测模型之后，模型生成该特征的先验分布，即多元高斯分布N(u,σ)，从这个分布中采样参数W，之后利用该参数W和基因组学特征均值M，计算加权求和，即可得到重建基因组学特征x。
在这一过程中，假设权重W是一组分给特征先验M的权重，使权重W服从多元高斯分布，由均值和方差决定该分布。所述均值和方差f(x)由CRC预后预测模型生成(其中，x是输入的CT图像特征)，W从这个分布中随机采样产生。W和先验M相乘即可得到重建的潜在基因多组学特征，利用真实的特征做有监督学习，优化整个神经网络。
重建的潜在基因多组学特征为：
x＝<w,M>，w～N(u,σ)；
其中，<>表示加权求和，w为所述多元高斯分布的参数，u为所述多元高斯分布的均值，σ为所述多元高斯分布的方差，M为所述基因组学特征均值。
优选的，还包括：数据获取模块；所述数据获取模块，用于在检测到与CT图像配对的基因组学数据时，获取待预测病人的基因组学数据，并将所述基因组学数据输入至预测模块；所述预测模块，还用于在接收到与CT图像配对的基因组学数据时，将所述CT图像和所述基因组学数据同时输入所述CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果；所述CRC预后预测模型，还包括：基因组学特征提取单元：所述CT图像特征提取单元，还用于在检测到CT图像配对的基因组学数据时，将所提取的CT图像特征输入至融合预测单元；所述基因组学特征提取单元，用于接收待预测病人的基因组学数据，提取所述基因组学数据的特征，并将所提取的基因组学特征输入至融合预测单元；所述融合预测单元，还用于在检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果。
优选的，所述数据获取模块，包括：数据预处理单元；所述数据预处理单元，用于在将所述基因组学数据输入至预测模块之前，对所述基因组学数据进行数据质控和过滤处理；其中，所述处理后的基因组学数据包括：基因数据、基因突变特征数据以及体细胞拷贝数变异特征数据。
请参照图2，为本发明的结直肠癌的预后风险预测系统的完整结构示意图，所述系统还包括数据获取模块，所述CRC预后预测模型还包括：基因组学特征提取单元。当待预测病人存在与CT图像配对的基因组学数据时，与传统的基因-CT多模态模型一样，通过图像获取模块获取待预测病人的CT图像并进行预处理；通过数据获取模块获取待预测病人的基因组学数据，并通过数据获取模块中的数据预处理单元，对所述基因组学数据进行数据质控和过滤处理，预处理得到基因数据、基因突变特征数据以及体细胞拷贝数变异特征数据。然后将处理后的CT图像以及基因组学数据输入预测模块。
在预测模块的CRC预后预测模型中，CT图像特征提取单元提取CT图像的特征，并将所提取的CT图像特征输入至融合预测单元；基因组学特征提取单元提取基因组学数据的特征，并将所提取的基因组学特征输入至融合预测单元；融合预测单元将所输入的CT图像特征和基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测分数，根据所述分数进一步得到待预测病人的第二预后风险预测结果。
优选的，所述CRC预后预测模型的构建，包括：获取一基因通路网络和一生物反应通路网络；根据所述基因通路网络、所述生物反应通路网络以及通路与通路之间的真实连接，对一预设神经网络模型的各层神经网络中神经元的连接进行约束，生成CRC预后预测模型。
在所述基因组学特征提取单元中，有别与现有的ai模型，基于深度神经网络来提取基因组学的特征，但由于神经网络的“黑箱性质”，所以无法确定模型中间的计算过程，无法解释不同基因分子特征对于预后预测的影响，导致其缺乏生物学背景上的可解释性和可信性。本发明中的CRC预后预测模型具有很高的生物学可解释性。
其中，本发明提高生物学可解释性的原理为：整理已有的生物学先验知识，构建基因通路网络和生物反应通路网络，作为神经网络的reference，在搭建神经网络时，不同层神经网络中神经元的连接按照所述基因通路网络、生物反应通路网络基因、通路与通路的真实连接进行约束。
通过这样一种非全连接、整合生物学先验知识的多层神经网络来提取基因组学的特征，中间每个特征输入、神经元都是一个具体的生物学实体，完全参照生物学反应过程进行计算。因此相比于其他神经网络模型，本发明通过上述方法构建得到的CRC预后预测模型具备很高的生物学可解释性。通过这种集成生物信号通路特异性的模型设计与深度学习可解释性算法，可用于筛选并解释关键基因分子特征在CRC患者预后中的作用，还可以明确潜在的CRC相关生物标志物用于后续验证，进一步推动临床无创精准医疗的发展。
优选的，所述CRC预后预测模型，通过以下损失函数进行训练：
其中，Ei为待预测病人的生存情况,Ti为待预测病人从术后至当前预测时间之间的生存时间段，xi为待预测病人的多模态数据输入，hθ为所述CRC预后预测模型的参数。
在对本发明所述的CRC预后预测模型进行训练时，先前的研究提出了深度Cox损失函数来优化Cox偏似然，并可微地最大化一致性，本发明继续使用Cox损失的标准公式来训练模型。Cox损失函数定义为：
其中，Ei,Ti和xi分别是生存事件、生存时间和来自每个患者的多模态数据输入，hθ表示整个神经网络的参数。所述生存时间是待预测病人从术后至当前预测时间的生存时间段(连续的时间值，单位：月)，生存事件是指病人的生存情况(是否死亡，0或1)。
由上可见，本发明提供了一种结直肠癌的预后风险预测系统，该系统具有以下两个优点：
1、可以有效解决现有的多模态模型无法处理缺失模态数据的问题，对于单独的CT图像，可以根据CT图像的特征推断出潜在的基因组学特征，进而根据所推断得到的预测基因组学特征以及所述CT图像特征，对待预测病人的预后风险进行预测。通过这种可只接受CT图像输入的多模态系统，将使得基因-CT多模态预后模型使用更加灵活和可信，扩大其应用场景，使其更加靠近临床实践，对于CRC的临床诊断和治疗都具有重要意义，可进一步推动临床无创精准医疗的发展。
2、通过非全连接、整合生物学先验知识的多层神经网络来提取基因组学的特征，中间每个特征输入、神经元都是一个具体的生物学实体，完全参照生物学反应过程进行计算，具备很高的生物学可解释性，极大程度上解决了现有模型可解释性和可信性不足的问题。通过这种集成生物信号通路特异性的模型设计与深度学习可解释性算法，可用于筛选并解释关键基因分子特征在CRC患者预后中的作用，还可以明确潜在的CRC相关生物标志物用于后续验证，进一步推动临床无创精准医疗的发展。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种结直肠癌的预后风险预测系统，其特征在于，包括：图像获取模块以及预测模块；
所述图像获取模块，用于获取待预测病人的CT图像，并将所述CT图像输入至预测模块；
所述预测模块，用于在未检测到与CT图像配对的基因组学数据时，将所述CT图像输入一预设的CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果；
其中，所述CRC预后预测模型包括：CT图像特征提取单元、模态交互推断单元以及融合预测单元；
所述CT图像特征提取单元，用于接收待预测病人的CT图像，提取所述CT图像的特征，并在未检测到与CT图像配对的基因组学数据时，将所提取的CT图像特征输入至模态交互推断单元；
所述模态交互推断单元，用于在接收到CT图像特征之后，获取待预测病人的基因组学特征均值，根据所述CT图像特征，生成CT图像特征所对应的均值和方差，继而根据所述CT图像特征所对应的均值和方差确定所述CT图像特征对应的多元高斯分布；对所述多元高斯分布进行随机采样，得到所述多元高斯分布的参数；根据所述参数和所述基因组学特征均值，对待预测病人的基因组学特征进行推断，生成待预测病人的基因组学特征，并将所述CT图像特征和所述基因组学特征输入至融合预测单元；
所述融合预测单元，用于在未检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和预测基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的预后风险预测结果；
其中，所述CRC预后预测模型的构建，包括：
获取一基因通路网络和一生物反应通路网络；
根据所述基因通路网络、所述生物反应通路网络以及通路与通路之间的真实连接，对一预设神经网络模型的各层神经网络中神经元的连接进行约束，生成CRC预后预测模型。
2.如权利要求1所述的结直肠癌的预后风险预测系统，其特征在于，所述图像获取模块，包括：CT图像预处理单元；
所述CT图像预处理单元，用于在将所述CT图像输入至预测模块之前，对所述CT图像进行归一化处理、图像强度标准化处理以及ROI区域调整处理。
3.如权利要求1所述的结直肠癌的预后风险预测系统，其特征在于，所述待预测病人的基因组学特征，包括：
x＝<w,M>，w～N(u,σ)；
其中，<>表示加权求和，w为所述多元高斯分布的参数，u为所述多元高斯分布的均值，σ为所述多元高斯分布的方差，M为所述基因组学特征均值。
4.如权利要求1所述的结直肠癌的预后风险预测系统，其特征在于，还包括：数据获取模块；
所述数据获取模块，用于在检测到与CT图像配对的基因组学数据时，获取待预测病人的基因组学数据，并将所述基因组学数据输入至预测模块；
所述预测模块，还用于在接收到与CT图像配对的基因组学数据时，将所述CT图像和所述基因组学数据同时输入所述CRC预后预测模型，以使所述CRC预后预测模型对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果；
所述CRC预后预测模型，还包括：基因组学特征提取单元：
所述CT图像特征提取单元，还用于在检测到CT图像配对的基因组学数据时，将所提取的CT图像特征输入至融合预测单元；
所述基因组学特征提取单元，用于接收待预测病人的基因组学数据，提取所述基因组学数据的特征，并将所提取的基因组学特征输入至融合预测单元；
所述融合预测单元，还用于在检测到与CT图像配对的基因组学数据时，将所输入的CT图像特征和基因组学特征进行特征融合，并根据融合后的特征对待预测病人的预后风险进行预测，得到待预测病人的第二预后风险预测结果。
5.如权利要求4所述的结直肠癌的预后风险预测系统，其特征在于，所述数据获取模块，包括：数据预处理单元；
所述数据预处理单元，用于在将所述基因组学数据输入至预测模块之前，对所述基因组学数据进行数据质控和过滤处理；
其中，所述处理后的基因组学数据包括：基因数据、基因突变特征数据以及体细胞拷贝数变异特征数据。
6.如权利要求1所述的结直肠癌的预后风险预测系统，其特征在于，所述CRC预后预测模型，通过以下损失函数进行训练：
其中，Ei为待预测病人的生存情况,Ti为待预测病人从术后至当前预测时间之间的生存时间段，xi为待预测病人的多模态数据输入，hθ为所述CRC预后预测模型的参数。
CN202311036217.3A 2023-08-17 2023-08-17 一种结直肠癌的预后风险预测系统 Active CN117079801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311036217.3A CN117079801B (zh) 2023-08-17 2023-08-17 一种结直肠癌的预后风险预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311036217.3A CN117079801B (zh) 2023-08-17 2023-08-17 一种结直肠癌的预后风险预测系统

Publications (2)

Publication Number Publication Date
CN117079801A CN117079801A (zh) 2023-11-17
CN117079801B true CN117079801B (zh) 2024-04-19

Family

ID=88716492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311036217.3A Active CN117079801B (zh) 2023-08-17 2023-08-17 一种结直肠癌的预后风险预测系统

Country Status (1)

Country Link
CN (1) CN117079801B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105018584A (zh) * 2014-04-30 2015-11-04 天津安必森生物技术有限公司 用于K-ras基因突变检测的生物试剂
AU2017201785A1 (en) * 2007-10-05 2017-04-06 Pacific Edge Limited Proliferation signature and prognosis for gastrointestinal cancer
CN108897984A (zh) * 2018-05-07 2018-11-27 上海理工大学 基于ct影像组学特征与肺癌基因表达间相关性分析方法
CN113380341A (zh) * 2021-06-10 2021-09-10 北京百奥智汇科技有限公司 一种药物靶标毒性预测模型的构建方法及其应用
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN115223715A (zh) * 2022-07-15 2022-10-21 神州医疗科技股份有限公司 一种基于多模态信息融合的癌症预测方法与系统
CN116189761A (zh) * 2022-12-09 2023-05-30 浙江大学 基于多组学数据的肝癌deb-tace联合pd-1抑制剂疗效精准预测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017201785A1 (en) * 2007-10-05 2017-04-06 Pacific Edge Limited Proliferation signature and prognosis for gastrointestinal cancer
CN105018584A (zh) * 2014-04-30 2015-11-04 天津安必森生物技术有限公司 用于K-ras基因突变检测的生物试剂
CN108897984A (zh) * 2018-05-07 2018-11-27 上海理工大学 基于ct影像组学特征与肺癌基因表达间相关性分析方法
CN113380341A (zh) * 2021-06-10 2021-09-10 北京百奥智汇科技有限公司 一种药物靶标毒性预测模型的构建方法及其应用
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN115223715A (zh) * 2022-07-15 2022-10-21 神州医疗科技股份有限公司 一种基于多模态信息融合的癌症预测方法与系统
CN116189761A (zh) * 2022-12-09 2023-05-30 浙江大学 基于多组学数据的肝癌deb-tace联合pd-1抑制剂疗效精准预测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-size deep learning based preoperative computed tomography signature for prognosis prediction of colorectal cancer;Chenghang Li等;《Frontiers in genetics》;第13卷;1-5 *
Pathomic fusion:an integrated framework for fusing histopathology and genomic features for cancer diagnosis and prognosis;Richard J.Chen 等;《IEEE》;1-15 *
TransSurv:Transformer-based survival analysis model integrating histopathological images and genomic data for colorectal cancer;Zhilong Lv等;《IEEE》;3411-3420 *
联合成对学习和图像聚类的无监督肺癌亚型识别;任雪婷 等;《计算机科学》;第47卷(第10期);200-206 *

Also Published As

Publication number Publication date
CN117079801A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
Jiang et al. Medical image analysis with artificial neural networks
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
CN112365980B (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
WO2013088144A1 (en) Probability mapping for visualisation and analysis of biomedical images
Thallam et al. Early stage lung cancer prediction using various machine learning techniques
CN117079801B (zh) 一种结直肠癌的预后风险预测系统
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Wu et al. DeepMMSA: A novel multimodal deep learning method for non-small cell lung cancer survival analysis
CN113408603B (zh) 一种基于多分类器融合的冠状动脉狭窄病变程度识别方法
Li et al. A novel radiogenomics framework for genomic and image feature correlation using deep learning
Mondal et al. Automated diagnosis of pulmonary emphysema using multi-objective binary thresholding and hybrid classification
Omar et al. Lung and colon cancer detection using weighted average ensemble transfer learning
Hu et al. Automatic detection of melanins and sebums from skin images using a generative adversarial network
Seetha et al. The Smart Detection and Analysis on Skin Tumor Disease Using Bio Imaging Deep Learning Algorithm
Jiao et al. Deep neural network-aided histopathological analysis of myocardial injury
Manikandan et al. Hybrid computational intelligence for healthcare and disease diagnosis
Sasikumar et al. Deep Convolutional Generative Adversarial Networks for Automated Segmentation and Detection of Lung Adenocarcinoma Using Red Deer Optimization Algorithm
Al-Utaibi et al. Neural networks to understand the physics of oncological medical imaging
Akpan et al. XAI for medical image segmentation in medical decision support systems
Shazuli et al. Manta Ray Foraging Optimizer with Deep Learning-based Fundus Image Retrieval and Classification for Diabetic Retinopathy Grading
Potnurwar et al. Brain Tumor Segmentation on MRI Images
Abdullahi et al. Pretrained convolutional neural networks for cancer genome classification
Owais et al. Volumetric Model Genesis in Medical Domain for the Analysis of Multimodality 2-D/3-D Data Based on the Aggregation of Multilevel Features
US20240312007A1 (en) Pet image analysis and reconstruction by machine learning
Chaddad et al. Radiomics for a Comprehensive Assessment of Glioblastoma Multiforme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant