CN116469513B - 基于深度学习的大肠癌个体化治疗和预后信息预测系统 - Google Patents

基于深度学习的大肠癌个体化治疗和预后信息预测系统 Download PDF

Info

Publication number
CN116469513B
CN116469513B CN202310397661.1A CN202310397661A CN116469513B CN 116469513 B CN116469513 B CN 116469513B CN 202310397661 A CN202310397661 A CN 202310397661A CN 116469513 B CN116469513 B CN 116469513B
Authority
CN
China
Prior art keywords
image
target image
information
module
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310397661.1A
Other languages
English (en)
Other versions
CN116469513A (zh
Inventor
王书浩
田艳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Beijing Thorough Future Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Thorough Future Technology Co ltd filed Critical Beijing Thorough Future Technology Co ltd
Priority to CN202310397661.1A priority Critical patent/CN116469513B/zh
Publication of CN116469513A publication Critical patent/CN116469513A/zh
Application granted granted Critical
Publication of CN116469513B publication Critical patent/CN116469513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的大肠癌个体化治疗和预后信息预测系统,系统包含:迁移模型构建模块、图像特征提取模块和信息分析识别模块。本发明对常规病理切片上包含肿瘤浸润淋巴细胞、纤维化及粘液等多种预后相关组织类型进行精细分割和识别,将抽象的图像信息转化为可精确分析的数字化信息,探索与肠癌预后的相关性,构建复发风险预测模型,改善现有预后相关病理形态指标在诊断医师间重复性差、临床可行性低的现状,为患者后续的个体化治疗决策提供参考;利用全外显子测序技术对复发风险预测模型区分的不同亚型进行基因谱分析,探索肿瘤发生的分子事件与组织形态间以及生物学行为间的相关性;为复发风险预测模型的建立奠定了基础。

Description

基于深度学习的大肠癌个体化治疗和预后信息预测系统
技术领域
本发明涉及深度学习、人工智能及信息处理技术领域,特别涉及一种基于深度学习的大肠癌个体化治疗和预后信息预测系统。
背景技术
大肠癌是全球发病率第三的恶性肿瘤,在我国更是高居恶性肿瘤死亡率的第五位;据估计,肠癌活检及术后组织标本占各医院病理外检量的15%-20%,在病理医生缺口数量达9万人的中国,肠癌的诊断无疑占用了大量的病理诊断资源;更重要的是,由于病理人才分布的不均衡,病理诊断的准确性在地区间差异显著,极大影响患者的治疗及预后,肠癌的常规病理诊断不但占用大量病理资源,其精准性亦严重制约患者个体化治疗的选择。伴有淋巴结转移的T1期患者复发率较高,而相比局部切除,根治性切除可降低复发率,II期肠癌患者尽管普遍预后较好,仍有15%左右的患者经过辅助化疗后复发。目前基于分子标志物的研究包含DNA突变、甲基化及MicroRNA,蛋白表达和代谢等诸多方面,但往往因重复性差,或成本较高,目前没有任何一个指标能够应用于临床。相反,近年来基于组织病理形态学的研究取得显著进展。除早期发现的脉管瘤栓、肿瘤出芽(Tumor budding,TB)等预后相关病理特征,肿瘤浸润淋巴细胞(Tumor infiltration lymphocyte,TIL)以及肿瘤间质比在乳腺癌、大肠癌等多种肿瘤中被证实与预后显著相关;但由于上述指标计数费时且医师间重复性差,限制了临床应用。伴随着人工智能相关技术的不断完善和发展,利用人工智能辅助病理诊断并进行预后预测成为解决当前困境的重要契机;
基于卷积神经网络的深度学习人工智能技术可将大面积的病理数字图片分解成细小的分区,自动提取图像特征,将抽象的图像信息转化为具象的数字信息并进行分析和识别,有效解决医师间重复性差的问题,使传统病理诊断更加适应精准化医学的发展。目前,由谷歌及Verily公司研发的人工智能在乳腺癌病理诊断中肿瘤定位准确率可达资深专家水平;用传统机器学习的方法,发现数字病理图片能预测早期非小细胞肺癌的预后,使得算法更为优化的深度学习网络在肿瘤预后方面的应用更加可期。
现有技术一,申请号:CN202080057794.9,一种大肠癌诊断用标志物、辅助大肠癌的诊断的方法、收集数据以用于大肠癌诊断的方法、大肠癌的诊断试剂盒、大肠癌治疗药物、大肠癌的治疗方法、大肠癌的诊断方法;能够高精度地判别有无罹患大肠癌且高灵敏度地检测早期的大肠癌的大肠癌诊断用标志物;测定大肠癌诊断用标志物的表达量的辅助大肠癌的诊断的方法、收集数据以用于大肠癌诊断的方法、大肠癌的诊断方法、大肠癌的治疗方法;具备与大肠癌诊断用标志物特异性的引物的大肠癌的诊断试剂盒;包含大肠癌诊断用标志物的抑制剂的大肠癌治疗药物。大肠癌诊断用标志物是选自由hsa-miR-129-1-3p、hsa-miR-566及hsa-miR-598-5p构成的组中的至少一种微小RNA;虽然提供了可以高精度地判别有无罹患大肠癌、且高灵敏度地检测早期的大肠癌的大肠癌诊断用标志物,但是智能水平较低,需要过多的认为参与及判断,降低了诊断的效率和质量。
现有技术二,申请号:CN202011172347.6,基于图像识别的大肠癌自助筛查系统、方法、终端及介质,提供信息填写电子模板,供筛查对象在线填写知情同意书、危险度评估问卷、个人信息及相关症状和疾病史;根据个人信息中的居住地址信息,为筛查对象对应分配供其领取带有ID编号的便隐血检测装置的筛查服务机构,并将便隐血检测装置的ID编号与对应筛查对象的个人信息进行关联;读取并识别便隐血检测装置的检测结果图像,以得到关联于该便隐血检测装置的筛查对象的大肠癌筛查结果。虽然筛查对象可自助完成知情同意书签署、危险度评估问卷填写、筛查服务机构分配、便隐血检测装置预约领取、便隐血结果在线判读、初筛结果反馈、诊断性肠镜检查通知等,大大提升了筛查准确率和便捷性;但是缺乏对大肠癌信息的分析及判断,不能实现大肠癌复发风险的预测,导致其信息数据的处理能力较差。
现有技术三,申请号:CN201110069462.5,一种大肠癌预后预测模型的建立方法,通过免疫组化法检测SPARCL1、P53蛋白在大肠癌组织中的表达水平;半定量法将SPARCL1、P53蛋白的组织表达水平分级;SPARCL1、P53蛋白表达水平经支持向量机组合分析并验证,最后建立判别模型。虽然结合免疫组化检测、标志物组合及支持向量机分析,联合应用于建立大肠癌预测模型,以SPARCL1与P53组合作为标志物构建模型具有实验辅助预测大肠癌患者预后的作用,可在大肠癌病人术后转移复发危险度预测实验中的应用;但是其智能化水平较低,缺乏相关的预测模型,导致其对大肠癌相关的数据进行分析及处理。
目前现有技术一、现有技术二及现有技术三存在大肠癌预测复发的智能化水平较低,缺乏相关的预测模型,不能对大肠癌的数据进行分析并处理的问题,因而,本发明提供一种基于深度学习的大肠癌个体化治疗和预后信息预测系统,将常规病理切片的图像信息转化为可分析的数字化信息,构建复发风险预测模型,改善现有预后相关病理形态指标在诊断医师间重复性差及临床可行性低的现状,为患者后续的个体化治疗决策提供参考。
发明内容
为了解决上述技术问题,本发明提供了一种基于深度学习的大肠癌个体化治疗和预后信息预测系统,包含:
迁移模型构建模块,负责获取源图像集和样本目标图像集,输送至基于特征提取网络的迁移模型,通过源图像与样本目标图像对迁移模型进行训练,得到训练后的目标图像;
图像特征提取模块,负责基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,得到抽象的图像信息;
信息分析识别模块,负责将抽象的图像信息转化为具象的数字信息,输入至复发风险预测模型进行分析和识别。
可选的,源图像集为肠癌切片的图像,样本目标数据集为肿瘤浸润淋巴细胞、纤维化及粘液等多种肠癌常规切片相关组织类型的图像。
可选的,特征提取网络包含第一提取网络和第二提取网络;第一提取网络用于对源图像进行特征提取,第二提取网络用于对样本目标图像进行特征提取。
可选的,抽象的图像信息指的是医生诊断用的医学图像的影像片的各个图像的集合;具象的数字信息指的是包含医学图像的影像片的数字化表示,包含部位的名称,异常组织的名称、大小及状态。
可选的,迁移模型构建模块,包含:
张量获取子模块,负责将源图像集和样本目标图像集输入待训练的迁移模型,通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到源功能张量和源结构张量;通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到目标功能张量和目标结构张量;
损失计算子模块,负责根据源功能张量、源结构张量、目标功能张量和目标结构张量计算待训练的迁移模型的当前损失;
目标图像子模块,负责根据当前损失对待训练的迁移模型的参数进行调整,直至当前损失小于预设阈值,得到训练好的迁移模型,将样本目标图像集输入至迁移模型,得到训练后的目标图像,即为抽象的图像信息。
可选的,源功能张量和目标功能张量定义为反映患者体内的功能代谢的图像,包含早期发现、动态成像与实时观察、术后及时评估;源结构张量和源结构张量定义为反映患者器官的解剖结构。
可选的,图像特征提取模块,包含:
图像采集子模块,负责获取待提取的训练后的目标图像,并发送至特征提取子模块;
特征提取子模块,负责根据抽象的图像信息,进行分解,采用卷积神经网络中的卷积层和池化层处理后,得到待提取的训练后的目标图像中对应的第一图像特征量,并将第一图像特征量发送至特征对比单元;
特征对比子模块,负责将存储的标准目标图像,通过卷积神经网络中的卷积层和池化层处理后,得到标准目标图像中对应的第二图像特征量,并将第二图像特征量与第一图像特征量进行比对,并输出特征量达到阈值的目标图像发送至特征优化模块;
特征优化模块,负责根据特征对比子模块输送的目标图像,通过卷积神经网络中的反卷积和反池化处理后,得到优化后的目标图像。
可选的,特征提取子模块,包含:
方向特征量计算单元,负责将待提取的训练后的目标图像分解为多个子图像,根据目标图像在x轴方向上的梯度和在y轴方向上的梯度计算目标图像的方向特征量;
结构度量单元,负责根据目标图像的图像梯度与方向特征量计算目标图像的结构度量;
功能度量单元,负责根据目标图像的图像梯度计算目标图像的功能度量;
目标图像分解单元,负责根据结构度量和功能度量构建目标图像对应的目标函数,以通过目标函数分解目标图像,输入至卷积神经网络中的卷积层和池化层处理。
可选的,卷积神经网络,包括:
卷积层,负责获取抽象的图像和存储的标准目标图像,通过卷积核对第一图像特征量和第二图像特征量的每个通道的矩阵从左到右从上至下进行互相关运算,对应位置相乘再相加,最后把通道的值也对应加起来得到第一图像特征量和第二图像特征量的特征值;
池化层,负责按照特征值对卷积层中提取的第一图像特征量和第二图像特征量进行挑选,得到符合阈值的第一图像特征量。
可选的,信息分析识别模块,包含:
信息转换子模块,负责将抽象的图像信息转化为具象的数字信息,并输入至复发风险预测模型;
信息预警子模块,负责将具体的数字信息与复发风险预测模型设置的预警值比对,根据比对结果发出预警指示;
信息识别子模块,负责根据预警指示,得到肠癌复发风险的具体指标,并发送至终端。
本发明的迁移模型构建模块获取源图像集和样本目标图像集,输送至基于特征提取网络的迁移模型,通过源图像与样本目标图像对迁移模型进行训练,得到训练后的目标图像;源图像集为肠癌切片的图像,样本目标数据集为肿瘤浸润淋巴细胞、纤维化及粘液等多种肠癌常规切片相关组织类型的图像;特征提取网络包含第一提取网络和第二提取网络;第一提取网络用于对源图像进行特征提取,第二提取网络用于对样本目标图像进行特征提取;图像特征提取模块,负责基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,得到抽象的图像信息;信息分析识别模块将抽象的图像信息转化为具象的数字信息,输入至复发风险预测模型进行分析和识别;上述方案构建迁移模型,将源图像集中的图像进行迁移,得到目标图像集中的目标图像,实现了肠癌切片的图像的筛选,为复发风险预测模型提供了可靠的基础图像,节省了复发风险预测模型的负载空间,有效提升肠癌复发风险预测的精度;基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,有助于提升肠癌切片图像的处理效率,让图像的处理更加智能化,实现了目标图像的初步处理,为复发风险预测提供了预测的空间;将抽象的图像信息转化为具象的数字信息并输入至复发风险预测模型进行分析和识别,弥补了肠癌复发风险预测的空白,有效提升预测的准确性;
本实施例对常规病理切片上包含肿瘤浸润淋巴细胞、纤维化及粘液等多种预后相关组织类型进行精细分割和识别,将抽象的图像信息转化为可精确分析的数字化信息,探索与肠癌预后的相关性,构建复发风险预测模型,改善现有预后相关病理形态指标在诊断医师间重复性差、临床可行性低的现状,为患者后续的个体化治疗决策提供参考;利用全外显子测序技术对复发风险预测模型区分的不同亚型进行基因谱分析,探索肿瘤发生的分子事件与组织形态间以及生物学行为间的相关性;通过对前期多组织类型精细标注的88张肠癌切片的迁移训练,已建立初始诊断及分割模型可用于后续训练样本的辅助标注,极大提高研究效率,并为复发风险预测模型的建立奠定了基础;
本实施例的复发风险预测模型提供个体化诊疗意见:对于T1期直肠癌活检及II期肠癌术后标本进行常规病理诊断后可考虑应用的复发风险预测模型计算患者复发风险,为临床个体化治疗决策提供参考;为医疗大数据的收集奠定基础;数字化的病理图像及诊断将极大推进医疗大数据的建立,为未来肿瘤的防治研究奠定基础。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例1中基于深度学习的大肠癌个体化治疗和预后信息预测系统框图;
图2为本发明实施例2中迁移模型构建模块框图;
图3为本发明实施例3中图像特征提取模块框图;
图4为本发明实施例4中特征提取子模块框图;
图5为本发明实施例5中卷积神经网络框图;
图6为本发明实施例6中信息分析识别模块框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包含多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
实施例1:如图1所示,本发明实施例提供了一种基于深度学习的大肠癌个体化治疗和预后信息预测系统,包含:
迁移模型构建模块,负责获取源图像集和样本目标图像集,输送至基于特征提取网络的迁移模型,通过源图像与样本目标图像对迁移模型进行训练,得到训练后的目标图像;源图像集为肠癌切片的图像,样本目标数据集为肿瘤浸润淋巴细胞、纤维化及粘液等多种肠癌常规切片相关组织类型的图像;特征提取网络包含第一提取网络和第二提取网络;第一提取网络用于对源图像进行特征提取,第二提取网络用于对样本目标图像进行特征提取;
图像特征提取模块,负责基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,得到抽象的图像信息;抽象的图像信息指的是医生诊断用的医学图像的影像片的各个图像的集合;
信息分析识别模块,负责将抽象的图像信息转化为具象的数字信息,输入至复发风险预测模型进行分析和识别;具象的数字信息指的是包含医学图像的影像片的数字化表示,包含部位的名称,异常组织的名称、大小及状态等;
上述技术方案的工作原理和有益效果为:本实施例的迁移模型构建模块获取源图像集和样本目标图像集,输送至基于特征提取网络的迁移模型,通过源图像与样本目标图像对迁移模型进行训练,得到训练后的目标图像;源图像集为肠癌切片的图像,样本目标数据集为肿瘤浸润淋巴细胞、纤维化及粘液等多种肠癌常规切片相关组织类型的图像;特征提取网络包含第一提取网络和第二提取网络;第一提取网络用于对源图像进行特征提取,第二提取网络用于对样本目标图像进行特征提取;图像特征提取模块,负责基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,得到抽象的图像信息;信息分析识别模块将抽象的图像信息转化为具象的数字信息,输入至复发风险预测模型进行分析和识别;上述方案构建迁移模型,将源图像集中的图像进行迁移,得到目标图像集中的目标图像,实现了肠癌切片的图像的筛选,为复发风险预测模型提供了可靠的基础图像,节省了复发风险预测模型的负载空间,有效提升肠癌复发风险预测的精度;基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,有助于提升肠癌切片图像的处理效率,让图像的处理更加智能化,实现了目标图像的初步处理,为复发风险预测提供了预测的空间;将抽象的图像信息转化为具象的数字信息并输入至复发风险预测模型进行分析和识别,弥补了肠癌复发风险预测的空白,有效提升预测的准确性;
本实施例对常规病理切片上包含肿瘤浸润淋巴细胞、纤维化及粘液等多种预后相关组织类型进行精细分割和识别,将抽象的图像信息转化为可精确分析的数字化信息,探索与肠癌预后的相关性,构建复发风险预测模型,改善现有预后相关病理形态指标在诊断医师间重复性差、临床可行性低的现状,为患者后续的个体化治疗决策提供参考;利用全外显子测序技术对复发风险预测模型区分的不同亚型进行基因谱分析,探索肿瘤发生的分子事件与组织形态间以及生物学行为间的相关性;通过对前期多组织类型精细标注的88张肠癌切片的迁移训练,已建立初始诊断及分割模型可用于后续训练样本的辅助标注,极大提高研究效率,并为复发风险预测模型的建立奠定了基础;
本实施例的复发风险预测模型提供个体化诊疗意见:对于T1期直肠癌活检及II期肠癌术后标本进行常规病理诊断后可考虑应用的复发风险预测模型计算患者复发风险,为临床个体化治疗决策提供参考;为医疗大数据的收集奠定基础;数字化的病理图像及诊断将极大推进医疗大数据的建立,为未来肿瘤的防治研究奠定基础。
实施例2:如图2所示,在实施例1的基础上,本实施例提供的迁移模型构建模块,包含:
张量获取子模块,负责将源图像集和样本目标图像集输入待训练的迁移模型,通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到源功能张量和源结构张量;通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到目标功能张量和目标结构张量;源功能张量和目标功能张量定义为反映患者体内的功能代谢的图像,包含早期发现、动态成像与实时观察、术后及时评估;源结构张量和源结构张量定义为反映患者器官的解剖结构;
损失计算子模块,负责根据源功能张量、源结构张量、目标功能张量和目标结构张量计算待训练的迁移模型的当前损失;
目标图像子模块,负责根据当前损失对待训练的迁移模型的参数进行调整,直至当前损失小于预设阈值,得到训练好的迁移模型,将样本目标图像集输入至迁移模型,得到训练后的目标图像,即为抽象的图像信息;
上述技术方案的工作原理和有益效果为:本实施例的张量获取子模块将源图像集和样本目标图像集输入待训练的迁移模型,通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到源功能张量和源结构张量;通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到目标功能张量和目标结构张量;损失计算子模块根据源功能张量、源结构张量、目标功能张量和目标结构张量计算待训练的迁移模型的当前损失;目标图像子模块根据当前损失对待训练的迁移模型的参数进行调整,直至当前损失小于预设阈值,得到训练好的迁移模型,将样本目标图像集输入至迁移模型,得到训练后的目标图像;上述方案通过将迁移模型进行训练,保证了迁移模型处理样本目标图像集的效率,将损失降至最低,保障目标图像的完整性;由源功能张量、源结构张量、目标功能张量和目标结构张量计算待训练的迁移模型的当前损失,将源图像集和样本目标图像集的结构和功能考虑在内,能够准确的反映患者体内的功能代谢的图像及患者器官的解剖结构,有助于提升肠癌复发风险的预测的准确性。
实施例3:如图3所示,在实施例1的基础上,本实施例提供的图像特征提取模块,包含:
图像采集子模块,负责获取待提取的训练后的目标图像,并发送至特征提取子模块;
特征提取子模块,负责根据抽象的图像信息,进行分解,采用卷积神经网络中的卷积层和池化层处理后,得到待提取的训练后的目标图像中对应的第一图像特征量,并将第一图像特征量发送至特征对比单元;
特征对比子模块,负责将存储的标准目标图像,通过卷积神经网络中的卷积层和池化层处理后,得到标准目标图像中对应的第二图像特征量,并将第二图像特征量与第一图像特征量进行比对,并输出特征量达到阈值的目标图像发送至特征优化模块;
特征优化模块,负责根据特征对比子模块输送的目标图像,通过卷积神经网络中的反卷积和反池化处理后,得到优化后的目标图像;
上述技术方案的工作原理和有益效果为:本实施例的图像采集子模块获取待提取的训练后的目标图像,并发送至特征提取子模块,并对待提取的训练后的目标图像进行分解,提取特征,得到抽象的图像信息;特征提取子模块根据抽象的图像信息,采用卷积神经网络中的卷积层和池化层处理后,得到待提取的训练后的目标图像中对应的第一图像特征量,并将第一图像特征量发送至特征对比单元;特征对比子模块将存储的标准目标图像,通过卷积神经网络中的卷积层和池化层处理后,得到标准目标图像中对应的第二图像特征量,并将第二图像特征量与第一图像特征量进行比对,并输出特征量达到阈值的目标图像发送至特征优化模块;特征优化模块根据图正对比子模块输送的目标图像,通过卷积神经网络中的反卷积和反池化处理后,得到优化后的目标图像;上述方案通过提取第一图像特征量与第二图像特征量进行比对,得到达到阈值的图像特征量,实现了目标图像的优化及筛选,提升了目标图像的处理效率,采用卷积神经网络有效提升图像特征提取的效率及精度,并为肠癌复发风险提供精准的参考数据;通过对比,应用了深度学习的方法,实现了目标图像的特征优化,确保目标图像的特征的提取精度。
实施例4:如图4所示,在实施例3的基础上,本发明实施例提供的特征提取子模块,包含:
方向特征量计算单元,负责将待提取的训练后的目标图像分解为多个子图像,根据目标图像在x轴方向上的梯度和在y轴方向上的梯度计算目标图像的方向特征量;
结构度量单元,负责根据目标图像的图像梯度与方向特征量计算目标图像的结构度量;
功能度量单元,负责根据目标图像的图像梯度计算目标图像的功能度量;
目标图像分解单元,负责根据结构度量和功能度量构建目标图像对应的目标函数,以通过目标函数分解目标图像,输入至卷积神经网络中的卷积层和池化层处理;
目标函数minL的表达式为:
其中,minL表示分解目标图像的最小度量,n表示目标图像的数量,k表示计算结构度量时目标图像的排序值,E表示结构度量的总数量,m表示计算功能度量时目标图像的排序值,R表示功能度量的总数量,Cij表示由度量点i到度量点j的结构度量差值,Dij表示由度量点i到度量点j的功能度量差值,hij表示度量点的值符合预设度量值,pij表示度量点i到度量点j的功能度量差值的补偿值;
上述技术方案的工作原理和有益效果为:本实施例的方向特征量计算单元将待提取的训练后的目标图像分解为多个子图像,根据目标图像在x轴方向上的梯度和在y轴方向上的梯度计算目标图像的方向特征量;结构度量单元根据目标图像的图像梯度与方向特征量计算目标图像的结构度量;功能度量单元根据目标图像的图像梯度计算目标图像的功能度量;目标图像分解单元根据结构度量和功能度量构建目标图像对应的目标函数,以通过优化所述的目标函数分解目标图像,输入至卷积神经网络中的卷积层和池化层处理;上述方案通过根据抽象的图像信息,进行分解,得到分解后的目标图像,有助于提高具象的数字信息的转换速度,实现了目标图像的特征图的识别效率,避免应为目标图像的边界小导致的识别不清晰的问题。
实施例5:如图5所示,在实施例3的基础上,本发明实施例提供的卷积神经网络,包括:
卷积层,负责获取抽象的图像和存储的标准目标图像,通过卷积核对第一图像特征量和第二图像特征量的每个通道的矩阵从左到右从上至下进行互相关运算,对应位置相乘再相加,最后把通道的值也对应加起来得到第一图像特征量和第二图像特征量的特征值;
池化层,负责按照特征值对卷积层中提取的第一图像特征量和第二图像特征量进行挑选,得到符合阈值的第一图像特征量;
上述技术方案的工作原理和有益效果为:本实施例的卷积层获取抽象的图像和存储的标准目标图像,通过卷积核对第一图像特征量和第二图像特征量的每个通道的矩阵从左到右从上至下进行互相关运算,对应位置相乘再相加,最后把通道的值也对应加起来得到第一图像特征量和第二图像特征量的特征值;池化层按照特征值对卷积层中提取的第一图像特征量和第二图像特征量进行挑选,得到符合阈值的第一图像特征量;上述方案基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,有助于提升肠癌切片图像的处理效率,让图像的处理更加智能化,实现了目标图像的初步处理,为复发风险预测提供了预测的空间;将抽象的图像信息转化为具象的数字信息并输入至复发风险预测模型进行分析和识别,弥补了肠癌复发风险预测的空白,有效提升预测的准确性。
实施例6:如图6所示,在实施例1的基础上,本发明实施例提供的信息分析识别模块,包含:
信息转换子模块,负责将抽象的图像信息转化为具象的数字信息,并输入至复发风险预测模型;
信息预警子模块,负责将具体的数字信息与复发风险预测模型设置的预警值比对,根据比对结果发出预警指示;
信息识别子模块,负责根据预警指示,得到肠癌复发风险的具体指标,并发送至终端;
上述技术方案的工作原理和有益效果为:本实施例的信息转换子模块将抽象的图像信息转化为具象的数字信息,并输入至复发风险预测模型;信息预警子模块将具体的数字信息与复发风险预测模型设置的预警值比对,根据比对结果发出预警指示;信息识别子模块根据预警指示,得到肠癌复发风险的具体指标,并发送至终端;上述方案实现了肠癌复发风险的预警指示,通过复发风险预测模型的运行,实现了肠癌复发风险的数据识别,将预测的结果具体化及数字化,有效提高复发预测的准确性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,包含:
迁移模型构建模块,负责获取源图像集和样本目标图像集,输送至基于特征提取网络的迁移模型,通过源图像与样本目标图像对迁移模型进行训练,得到训练后的目标图像;
图像特征提取模块,负责基于卷积神经网络的深度学习人工智能将训练后的目标图像进行分解,提取目标图像的特征,得到抽象的图像信息;
信息分析识别模块,负责将抽象的图像信息转化为具象的数字信息,输入至复发风险预测模型进行分析和识别;
其中,源图像集为肠癌切片的图像,样本目标数据集为多种肠癌常规切片相关组织类型的图像;
其中,迁移模型构建模块,包含:
张量获取子模块,负责将源图像集和样本目标图像集输入待训练的迁移模型,通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到源功能张量和源结构张量;通过特征提取网络对源图像集和样本目标图像集进行特征提取,得到目标功能张量和目标结构张量;
损失计算子模块,负责根据源功能张量、源结构张量、目标功能张量和目标结构张量计算待训练的迁移模型的当前损失;
目标图像子模块,负责根据当前损失对待训练的迁移模型的参数进行调整,直至当前损失小于预设阈值,得到训练好的迁移模型,将样本目标图像集输入至迁移模型,得到训练后的目标图像;
其中,源功能张量和目标功能张量定义为反映患者体内的功能代谢的图像,包含早期发现、动态成像与实时观察以及术后及时评估;源结构张量和目标结构张量定义为反映患者器官的解剖结构。
2.如权利要求1所述的基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,特征提取网络包含第一提取网络和第二提取网络;第一提取网络用于对源图像进行特征提取,第二提取网络用于对样本目标图像进行特征提取。
3.如权利要求1所述的基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,抽象的图像信息指的是医生诊断用的医学图像的影像片的各个图像的集合;具象的数字信息指的是包含医学图像的影像片的数字化表示,包含部位的名称,异常组织的名称、大小及状态。
4.如权利要求1所述的基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,图像特征提取模块,包含:
图像采集子模块,负责获取待提取的训练后的目标图像,并发送至特征提取子模块;
特征提取子模块,负责根据训练后的目标图像,进行分解,采用卷积神经网络中的卷积层处理后,得到待提取的训练后的目标图像中对应的第一图像特征量,并将第一图像特征量发送至特征对比单元;
特征对比子模块,负责将存储的标准目标图像,通过卷积神经网络中的卷积层处理后,得到标准目标图像中对应的第二图像特征量,并卷积神经网络中的池化层将第二图像特征量与第一图像特征量进行比对,并输出符合阈值的第一图像特征量对应的目标图像发送至特征优化模块,
其中,卷积神经网络,包括:
卷积层,负责获取抽象的图像和存储的标准目标图像,通过卷积核对第一图像特征量和第二图像特征量的每个通道的矩阵从左到右从上至下进行互相关运算,对应位置相乘再相加,最后把通道的值也对应加起来得到第一图像特征量和第二图像特征量的特征值;
池化层,负责按照特征值对卷积层中提取的第一图像特征量和第二图像特征量进行挑选,得到符合阈值的第一图像特征量;
特征优化模块,负责根据特征对比子模块输送的目标图像,通过卷积神经网络中的反卷积和反池化处理后,得到优化后的目标图像。
5.如权利要求4所述的基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,特征提取子模块,包含:
方向特征量计算单元,负责将待提取的训练后的目标图像分解为多个子图像,根据目标图像在x轴方向上的梯度和在y轴方向上的梯度计算目标图像的方向特征量;
结构度量单元,负责根据目标图像的图像梯度与方向特征量计算目标图像的结构度量;
功能度量单元,负责根据目标图像的图像梯度计算目标图像的功能度量;
目标图像分解单元,负责根据结构度量和功能度量构建目标图像对应的目标函数,以通过目标函数分解目标图像,输入至卷积神经网络中的卷积层和池化层处理。
6.如权利要求1所述的基于深度学习的大肠癌个体化治疗和预后信息预测系统,其特征在于,信息分析识别模块,包含:
信息转换子模块,负责将抽象的图像信息转化为具象的数字信息,并输入至复发风险预测模型;
信息预警子模块,负责将具象的数字信息与复发风险预测模型设置的预警值比对,根据比对结果发出预警指示;
信息识别子模块,负责根据预警指示,得到肠癌复发风险的具体指标,并发送至终端。
CN202310397661.1A 2023-04-13 2023-04-13 基于深度学习的大肠癌个体化治疗和预后信息预测系统 Active CN116469513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310397661.1A CN116469513B (zh) 2023-04-13 2023-04-13 基于深度学习的大肠癌个体化治疗和预后信息预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310397661.1A CN116469513B (zh) 2023-04-13 2023-04-13 基于深度学习的大肠癌个体化治疗和预后信息预测系统

Publications (2)

Publication Number Publication Date
CN116469513A CN116469513A (zh) 2023-07-21
CN116469513B true CN116469513B (zh) 2023-11-14

Family

ID=87181802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310397661.1A Active CN116469513B (zh) 2023-04-13 2023-04-13 基于深度学习的大肠癌个体化治疗和预后信息预测系统

Country Status (1)

Country Link
CN (1) CN116469513B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862797A (zh) * 2022-05-07 2022-08-05 中国科学院自动化研究所 基于图像的患者级别分子标志物预测方法、系统和设备
CN115064270A (zh) * 2022-06-07 2022-09-16 山东大学第二医院 一种基于影像组学图像特征的肝癌复发预测方法
CN115631387A (zh) * 2022-12-16 2023-01-20 首都医科大学附属北京朝阳医院 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
WO2023049207A1 (en) * 2021-09-22 2023-03-30 The University Of Texas System Quantitative magnetic resonance imaging and tumor forecasting
CN115881312A (zh) * 2021-08-16 2023-03-31 复旦大学附属肿瘤医院 一种ii期结直肠癌预后预测方法、系统、智能终端和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115881312A (zh) * 2021-08-16 2023-03-31 复旦大学附属肿瘤医院 一种ii期结直肠癌预后预测方法、系统、智能终端和计算机可读存储介质
WO2023049207A1 (en) * 2021-09-22 2023-03-30 The University Of Texas System Quantitative magnetic resonance imaging and tumor forecasting
CN114862797A (zh) * 2022-05-07 2022-08-05 中国科学院自动化研究所 基于图像的患者级别分子标志物预测方法、系统和设备
CN115064270A (zh) * 2022-06-07 2022-09-16 山东大学第二医院 一种基于影像组学图像特征的肝癌复发预测方法
CN115631387A (zh) * 2022-12-16 2023-01-20 首都医科大学附属北京朝阳医院 基于图卷积神经网络的肺癌病理高危因素预测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dukes A、B期大肠癌术后总生存率及无瘤生存率分析;袁瑜等;中华全科医学;第9卷(第1期);第5-6、107页 *

Also Published As

Publication number Publication date
CN116469513A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US20220156930A1 (en) Cancer risk stratification based on histopathological tissue slide analysis
JP7406745B2 (ja) コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
JP5184087B2 (ja) ガンの予後のためのマーカー候補を分析および最適化するための方法およびコンピュータープログラム製品
WO2019084697A1 (en) Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
Song et al. Artificial intelligence for digital and computational pathology
CN109124660B (zh) 基于深度学习的胃肠间质瘤术后风险检测方法和系统
CN112884724B (zh) 一种用于肺癌组织病理分型的智能判断方法及系统
Wood-Trageser et al. Enhancing the value of histopathological assessment of allograft biopsy monitoring
CN111656393A (zh) 组织学图像分析
Amgad et al. A population-level digital histologic biomarker for enhanced prognosis of invasive breast cancer
US20230360208A1 (en) Training end-to-end weakly supervised networks at the specimen (supra-image) level
Rakha et al. Digital technology in diagnostic breast pathology and immunohistochemistry
Burlutskiy et al. Segmenting potentially cancerous areas in prostate biopsies using semi-automatically annotated data
CN116469513B (zh) 基于深度学习的大肠癌个体化治疗和预后信息预测系统
Ciompi et al. Editorial computational pathology
Athelogou et al. Tissue Phenomics For Diagnostic Pathology
US20240086460A1 (en) Whole slide image search
Zhang et al. A Pathology-Interpretable Deep Learning Model for Predicting Microsatellite Instability State in Colorectal Cancer: Validation across Diverse Platforms and Asian Cohorts
Qiao et al. Deep Learning Technique for Predicting Axillary Lymph Node Metastasis in Breast Cancer
US20210383894A1 (en) Spatially co-registered genomic and imaging (scorgi) data elements for fingerprinting microdomains
Li Novel Population Specific Computational Pathology-based Prognostic and Predictive Biomarkers for Breast Cancer
Ran et al. Automated diagnosis of renal sinus invasion in renal cell carcinoma with contrastive learning and proxy task
Fuster Navarro Deep Learning-Driven Diagnostic and Prognostic Solutions for Histopathological Images of Bladder Cancer
WO2024076538A1 (en) System and method for multimodal prediction of patient outcomes
CA3207584A1 (en) Systems and methods for artificial intelligence powered molecular workflow verifying slide and block quality for testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant