CN117253611B - 基于多模态知识蒸馏的癌症智能早期筛查方法及系统 - Google Patents
基于多模态知识蒸馏的癌症智能早期筛查方法及系统 Download PDFInfo
- Publication number
- CN117253611B CN117253611B CN202311237079.5A CN202311237079A CN117253611B CN 117253611 B CN117253611 B CN 117253611B CN 202311237079 A CN202311237079 A CN 202311237079A CN 117253611 B CN117253611 B CN 117253611B
- Authority
- CN
- China
- Prior art keywords
- network
- information
- teacher
- student
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 66
- 238000012216 screening Methods 0.000 title claims abstract description 62
- 201000011510 cancer Diseases 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012502 risk assessment Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004821 distillation Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 108010026552 Proteome Proteins 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 230000007882 cirrhosis Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多模态知识蒸馏的癌症智能早期筛查方法及系统，涉及癌症的无创早期筛查技术领域。包括：获取信息步骤、预处理步骤、获取输入特征步骤、获取高阶编码步骤、获取概率结果步骤、训练完成步骤、筛查步骤。本发明有利于在只需少量模态的先验知识、少量参数的网络结构的情况下取得较高的癌症早期筛查准确率，解决了乡村地区医院数据采集不全面、(GPU)硬件存储空间小的实际痛点。
Description
技术领域
本发明涉及癌症的无创早期筛查技术领域，尤其涉及一种基于多模态知识蒸馏的癌症智能早期筛查方法及系统。
背景技术
癌症早期筛查是一种依靠血液学，影像学，内镜和病理学检查等经济实惠且方便快速的手段，从肿瘤早期或癌前病变时期的无症状人群中发现可疑病人或健康缺陷者的措施，其非常有助于提高患者五年生存率，降低社会卫生成本。因此，推进癌症早期筛查已经刻不容缓。但是，乡村地区的医院缺乏经验丰富的检验科医生，制约了大规模的人工癌症早期筛查服务。凭借人工智能技术赋能癌症早期筛查是一种另辟蹊径的可行方案，其已经成为了智慧医疗领域研究的热点问题。
随着计算机科学的人工智能技术的演进，人工智能在处理异构的，非结构化的多组学生物大数据方面的优势日益凸显，使其广泛应用于癌症智能早期筛查中。具体而言，在癌症智能早期筛查中，人工智能算法系统性集成基因组，转录组，蛋白质组和代谢组等生物系统细分数据，以全方位理解器官起源，肿瘤分型和癌症状态，从而提供患癌风险等重要临床决策信息。Wang等人利用血清外泌体转录组学和蛋白质组学信息，建立了一种肝硬化与肝癌的智能早期诊断模型。Wentzensen等人开发了一种基于卷积神经网络的模型，通过整合染色玻片提供的细胞和病理数据，有效地从病人队列中筛选中宫颈癌患者。虽然上述的基于多组学生物大数据的癌症智能早期筛查算法已经颇具成效，但是它们主要聚焦于在微观-水平，即在分子-水平下分析癌症患者相较于普通人的特异性；忽略了更直观的临床病历文本，医学影像波形等其它模态的数据和癌症发生发展的关联关系，从而导致了癌症早期筛查的遗漏率和错误率较高。因此，除了考虑分子模态的生物大数据，亟需整合本文和图像等其它模态的数据，以提高癌症智能早期筛查算法的性能。
近年来，研究人员已经提出了大量基于多模态数据的癌症智能早期筛查算法。例如，Shuai-Ding等人提出的SCNET算法，基于卷积神经网络在语义-水平上融合胃肠道的医学影像特征和患者的病历病史特征，实现了消化道癌症的早期筛查。Xinrui-Song等人提出的Attention-Reg算法，基于注意力机制直肠的超声和磁共振影像，实现了前列腺癌的早期筛查。然而，上述算法依旧存在三点不足。第一，上述算法均未能全面地考虑分子，文本和图像三种模态的数据，而只能对其中部分模态的数据加以利用，导致早期筛查的假阳性率和假阴性率很高。第二，上述癌症智能早期筛查算法需要众多种类的数据才能运行，而乡村地区的医院难以采集所需的全部数据，导致算法难以冷启动。第三，上述癌症智能早期筛查算法的参数量很大，需要保证设备有足够的存储空间才能部署，而乡村地区的医院所配设备存储空间小，不满足部署条件。
因此，提出一种基于多模态知识蒸馏的癌症智能早期筛查方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于多模态知识蒸馏的癌症智能早期筛查方法及系统，有利于在只需少量模态的先验知识、少量参数的网络结构的情况下取得较高的癌症早期筛查准确率。
为了实现上述目的，本发明采用如下技术方案：
基于多模态知识蒸馏的癌症智能早期筛查方法，包括以下步骤：
S1.获取信息步骤：从医院信息系统获取患者的文本模态信息、分子模态信息、图像模态信息；
S2.预处理步骤：对获取的文本模态信息、分子模态信息、图像模态信息进行预处理，得到预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息；
S3.获取输入特征步骤：对预处理后的文本模态信息进一步处理，得到学生网络的输入特征向量；
对预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息进一步处理，得到教师网络的输入特征向量；
S4.获取高阶编码步骤：将S3中得到的学生网络的输入特征向量和师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
S5.获取概率结果步骤：将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络的概率输出结果和教师网络的概率输出结果；
S6.训练完成步骤：利用损失函数对学生网络的概率输出结果和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
S7.筛查步骤：将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果。
可选的，S2中对获取的文本模态信息、分子模态信息、图像模态信息进行预处理的具体内容为：
对于文本模态信息，通过Word Embedding将其转换成向量Ow；
对于分子模态的数字化信息，直接将其各项指标值拼接为向量Om；
对于图像模态信息，采用以CNN为基础的Image Embedder将其转换为向量形式Ov。
可选的，S3中得到学生网络的输入特征向量和教师网络的输入特征向量的具体内容为：
学生网络的输入特征向量：对Ow，通过投影得到学生网络的输入FS：FS＝fS(WSOw)，其中，WS是可学习的投影矩阵，fx是非线性变换函数；
教师网络的输入特征向量：对Om，Ow，Ov，分别进行投影变换再拼接，得到教师网络的输入FT：
FT＝fT([WT,mOm；WT,wOw；WT,vOv])，其中，WT,m,WT,w,WT,v是可学习的投影矩阵，fT是非线性变换函数，[·；·；·]表示特征拼接操作。
可选的，S4中通过基于Transformer的编码器得到学生网络和教师网络的输入特征向量的高阶编码。
可选的，S5中癌症风险评估网络由全连接层和softmax层组成，用于计算患者患有某种癌症的概率。
可选的，S6中完成学生网络模型训练的具体内容为：
分别计算学生网络和教师网络的预测结果与实际标签的交叉熵损失值LstudentCE和LteacherCE；
利用基于特征蒸馏的办法对整体网络进行知识迁移，对学生网络和教师网络编码器最后的输出特征做特征对齐，计算两者之间的Smooth-L1regression loss，结果计为Lalign；
将三个损失函数线性组合为目标损失函数：
Lloss＝αLstudentCE+βLteacherCE+γLalign
其中，α、β和γ是对应损失的权重。
基于多模态知识蒸馏的癌症智能早期筛查系统，应用上述任一项的基于多模态知识蒸馏的癌症智能早期筛查方法，包括：获取信息模块、预处理模块、获取输入特征模块、获取高阶编码模块、获取概率结果模块、训练完成模块、筛查模块；
获取信息模块，与预处理模块的输入端连接，用于获取患者的文本模态信息、分子模态信息、图像模态信息，并发送至预处理模块；
预处理模块，与获取输入特征模块的输入端连接，用于对获取的文本模态信息、分子模态信息、图像模态信息进行预处理；
获取输入特征模块，与获取高阶编码模块的输入端连接，用于获取学生网络的输入特征向量和师网络的输入特征向量；
获取高阶编码模块，与获取概率结果模块的输入端连接，用于将学生网络的输入特征向量和师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
获取概率结果模块，与训练完成模块的输入端连接，用于将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络和教师网络的概率输出结果；
训练完成模块，与筛查模块的输入端连接，用于利用损失函数对学生网络和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
筛查模块，用于将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于多模态知识蒸馏的癌症智能早期筛查方法及系统，具有以下有益效果：
(1)采用了基于Transformer的特征提取方法和基于随机掩码的特征融合方法，以捕捉并整合分子、文本、图像模态数据中潜藏的语义化特征，从而显著降低癌症早期筛查的假阳性率和假阴性率。
(2)采用了基于教师网络-学生网络架构的知识蒸馏方法，实际应用中只需要文本模态的数据即可完成癌症早期筛查。
(3)实际部署中可以只部署参数量较小的学生网络，即可完成癌症早期筛查。
(4)总的来说，本发明提供的基于多模态知识蒸馏的癌症智能早期筛查方法解决了乡村地区医院数据采集不全面、(GPU)硬件存储空间小的实际痛点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于多模态知识蒸馏的癌症智能早期筛查方法流程图；
图2为本发明提供的基于多模态知识蒸馏的癌症智能早期筛查系统结构框图；
图3为本发明实施例提供的概率结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明公开了基于多模态知识蒸馏的癌症智能早期筛查方法，包括以下步骤：
S1.获取信息步骤：从医院信息系统获取患者的文本模态信息、分子模态信息、图像模态信息；
S2.预处理步骤：对获取的文本模态信息、分子模态信息、图像模态信息进行预处理，得到预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息；
S3.获取输入特征步骤：对预处理后的文本模态信息进一步处理，得到学生网络的输入特征向量；
对预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息进一步处理，得到教师网络的输入特征向量；
S4.获取高阶编码步骤：将S3中得到的学生网络的输入特征向量和师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
S5.获取概率结果步骤：将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络的概率输出结果和教师网络的概率输出结果；
S6.训练完成步骤：利用损失函数对学生网络的概率输出结果和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
S7.筛查步骤：将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果。
进一步的，S2中对获取的文本模态信息、分子模态信息、图像模态信息进行预处理的具体内容为：
对于文本模态信息，通过Word Embedding将其转换成向量Ow；
对于分子模态的数字化信息，直接将其各项指标值拼接为向量Om；
对于图像模态信息，采用以CNN为基础的Image Embedder将其转换为向量形式Ov。
进一步的，S3中得到学生网络的输入特征向量和教师网络的输入特征向量的具体内容为：
学生网络的输入特征向量：对Ow，通过投影得到学生网络的输入FS：FS＝fS(WSOw)，其中，WS是可学习的投影矩阵，fS是非线性变换函数；
教师网络的输入特征向量：对Om，Ow，Ov，分别进行投影变换再拼接，得到教师网络的输入FT：
FT＝fT([WT,mOm；WT,wOw；WT,vOv])，其中，WT,m,WT,w,WT,v是可学习的投影矩阵，fT是非线性变换函数，[·；·；·]表示特征拼接操作。
进一步的，S4中通过基于Transformer的编码器得到学生网络和教师网络的输入特征向量的高阶编码。
具体的，采用Transformer生成不同模态特征的高阶表示，学生网络和教师网络均包括L+1个基于Transformer的编码层。前L个编码层利用自注意力机制获得输入特征的高阶编码。自注意力机制算子SA(·)的计算过程如下：
Q＝WqX,K＝[WkX；Mk],V＝[WvX；Mv]
其中，X是输入特征矩阵，是输出特征矩阵，Wq、Wk、Wv为可学习的权重矩阵，Mk、Mv是持久记忆向量。
为了建立学生网络和教师网络之间的桥梁，对学生网络和教师网络的同一编码器层级之间引入一个跨模态融合模块。此模块以逐元素相加的方式将学生网络和教师网络的同一编码器层的输出特征相加，得到交互式特征
其中，和/>是分别来自学生网络和教师网络的第l层编码器的输出特征，⊕表示逐元素相加操作，/>表示掩码指示器，p表示某一特征值变为0的概率，/>表示以p的概率随机地将教师网络的输出特征部分元素置0。
将交互式特征作为教师网络中下一层编码器的输入，而学生网络以/>作为下一层输入。第L+1层编码层采用交叉注意力机制，集成前L层编码层的特征：
其中，代表第l层编码层的输出，CA(·,·)表示交叉注意力操作，/>Kl、Vl是特征/>的线性变换，αl为可学习权重。
进一步的，S5中癌症风险评估网络由全连接层和softmax层组成，用于计算患者患有某种癌症的概率。
进一步的，S6中完成学生网络模型训练的具体内容为：
分别计算学生网络和教师网络的预测结果与实际标签的交叉熵损失值LstudentCE和LteacherCE；
利用基于特征蒸馏的办法对整体网络进行知识迁移，对学生网络和教师网络编码器最后的输出特征做特征对齐，计算两者之间的Smooth-L1regression loss，结果计为Lalign；
将三个损失函数线性组合为目标损失函数：
Lloss＝αLstudentCE+βLteacherCE+γLalign
其中，α、β和γ是对应损失的权重。
在一具体实施例中，从医院信息系统获得患者的信息，对获取的文本模态信息、分子模态信息、图像模态信息进行处理，以结构相似的教师网络-学生网络架构为基础搭建。参见图3所示，由基于Transformer的编码器组成，编码器利用级联的多层网络结构对输入数据进行特征提取，生成特征表示。输入学生网络的数据为文本(病历)模态信息，每一层编码器的输出做下一层编码器的输入；而输入教师网络的数据为分子(组学)模态信息、文本(病历)模态信息和图像(影像)模态信息，且每一层编码器的输出和学生网络对应编码器的输出经由特征融合得到下一层编码器的输入。接下来，分别将学生和教师网络编码器的结果输入各自对应的癌症风险评估网络中，以计算患者患有某种癌症的概率。最后，训练教师-学生网络，同时在教师网络和学生网络最后一层编码器进行特征对齐，利用知识蒸馏保证学生网络训练时感知到教师网络中捕捉到的丰富特征。以此为基础，将某一待筛查患者文本模态信息输入学生网络模型，即可精准实现癌症早筛，得出筛查结果。
与图1所述的方法相对应，本发明实施例还提供了基于多模态知识蒸馏的癌症智能早期筛查系统，用于对图1中方法的具体实现，其结构示意图如图2所示，具体包括：
获取信息模块、预处理模块、获取输入特征模块、获取高阶编码模块、获取概率结果模块、训练完成模块、筛查模块；
获取信息模块，与预处理模块的输入端连接，用于获取患者的文本模态信息、分子模态信息、图像模态信息，并发送至预处理模块；
预处理模块，与获取输入特征模块的输入端连接，用于对获取的文本模态信息、分子模态信息、图像模态信息进行预处理；
获取输入特征模块，与获取高阶编码模块的输入端连接，用于获取学生网络的输入特征向量和师网络的输入特征向量；
获取高阶编码模块，与获取概率结果模块的输入端连接，用于将学生网络的输入特征向量和师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
获取概率结果模块，与训练完成模块的输入端连接，用于将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络和教师网络的概率输出结果；
训练完成模块，与筛查模块的输入端连接，用于利用损失函数对学生网络和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
筛查模块，用于将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.基于多模态知识蒸馏的癌症智能早期筛查方法，其特征在于，包括以下步骤：
S1.获取信息步骤：从医院信息系统获取患者的文本模态信息、分子模态信息、图像模态信息；
S2.预处理步骤：对获取的文本模态信息、分子模态信息、图像模态信息进行预处理，得到预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息；
S3.获取输入特征步骤：对预处理后的文本模态信息进一步处理，得到学生网络的输入特征向量；
对预处理后的文本模态信息、预处理后的分子模态信息、预处理后的图像模态信息进一步处理，得到教师网络的输入特征向量；
S4.获取高阶编码步骤：将S3中得到的学生网络的输入特征向量和教师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
S5.获取概率结果步骤：将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络的概率输出结果和教师网络的概率输出结果；
S6.训练完成步骤：利用损失函数对学生网络的概率输出结果和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
S7.筛查步骤：将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果；
S2中对获取的文本模态信息、分子模态信息、图像模态信息进行预处理的具体内容为：
对于文本模态信息，通过Word Embedding将其转换成向量ow；
对于分子模态的数字化信息，直接将其各项指标值拼接为向量om；
对于图像模态信息，采用以CNN为基础的Image Embedder将其转换为向量形式ov；
S3中得到学生网络的输入特征向量和教师网络的输入特征向量的具体内容为：
学生网络的输入特征向量：对Ow，通过投影得到学生网络的输入FS：FS＝fS(WSOw)，其中，WS是可学习的投影矩阵，fS是非线性变换函数；
教师网络的输入特征向量：对Om，Ow，Ov，分别进行投影变换再拼接，得到教师网络的输入FT：
FT＝fT([WT,mOm；WT,wOw；WT,vOv])，其中，WT,m,WT,w,WT,v是可学习的投影矩阵，fT是非线性变换函数，[·；·；·]表示特征拼接操作；
S4中通过基于Transformer的编码器得到学生网络和教师网络的输入特征向量的高阶编码；
具体的，采用Transformer生成不同模态特征的高阶表示，学生网络和教师网络均包括L+1个基于Transformer的编码层；前L个编码层利用自注意力机制获得输入特征的高阶编码；自注意力机制算子SA(·)的计算过程如下：
Q＝WqX,K＝[WkX；Mk],V＝[WvX；Mv]
其中，X是输入特征矩阵，是输出特征矩阵，Wq、Wk、Wv为可学习的权重矩阵，Mk、Mv是持久记忆向量；
为了建立学生网络和教师网络之间的桥梁，对学生网络和教师网络的同一编码器层级之间引入一个跨模态融合模块；跨模态融合模块以逐元素相加的方式将学生网络和教师网络的同一编码器层的输出特征相加，得到交互式特征
其中，和/>是分别来自学生网络和教师网络的第l层编码器的输出特征，/>表示逐元素相加操作，/>表示掩码指示器，p表示某一特征值变为0的概率，/>表示以p的概率随机地将教师网络的输出特征部分元素置0；
将交互式特征作为教师网络中下一层编码器的输入，而学生网络以/>作为下一层输入；第L+1层编码层采用交叉注意力机制，集成前L层编码层的特征：
其中，代表第l层编码层的输出，CA(·,·)表示交叉注意力操作，/>Kl、Vl是特征/>的线性变换，αl为可学习权重。
2.根据权利要求1所述的基于多模态知识蒸馏的癌症智能早期筛查方法，其特征在于，
S5中癌症风险评估网络由全连接层和softmax层组成，用于计算患者患有某种癌症的概率。
3.根据权利要求1所述的基于多模态知识蒸馏的癌症智能早期筛查方法，其特征在于，
S6中完成学生网络模型训练的具体内容为：
分别计算学生网络和教师网络的预测结果与实际标签的交叉熵损失值LstudentCE和LteacherCE；
利用基于特征蒸馏的办法对整体网络进行知识迁移，对学生网络和教师网络编码器最后的输出特征做特征对齐，计算两者之间的Smooth-L1 regression loss，结果计为Lalign；
将三个损失函数线性组合为目标损失函数：
Lloss＝αLstudentCE+βLteacherCE+γLalign
其中，α、β和γ是对应损失的权重。
4.基于多模态知识蒸馏的癌症智能早期筛查系统，其特征在于，包括：获取信息模块、预处理模块、获取输入特征模块、获取高阶编码模块、获取概率结果模块、训练完成模块、筛查模块；
获取信息模块，与预处理模块的输入端连接，用于获取患者的文本模态信息、分子模态信息、图像模态信息，并发送至预处理模块；
预处理模块，与获取输入特征模块的输入端连接，用于对获取的文本模态信息、分子模态信息、图像模态信息进行预处理；
获取输入特征模块，与获取高阶编码模块的输入端连接，用于获取学生网络的输入特征向量和教师网络的输入特征向量；
获取高阶编码模块，与获取概率结果模块的输入端连接，用于将学生网络的输入特征向量和教师网络的输入特征向量分别输入学生网络和教师网络中，得到学生网络和教师网络的输入特征向量的高阶编码；
获取概率结果模块，与训练完成模块的输入端连接，用于将得到的学生网络和教师网络的输入特征向量的高阶编码分别输入对应的癌症风险评估网络中，计算患有某种癌症的概率，得到学生网络和教师网络的概率输出结果；
训练完成模块，与筛查模块的输入端连接，用于利用损失函数对学生网络和教师网络的概率输出结果进行误差分析，更改模型各个权重值，完成学生网络模型训练；
筛查模块，用于将某一待筛查患者文本模态信息输入学生网络模型，输出筛查结果；
用于对获取的文本模态信息、分子模态信息、图像模态信息进行预处理的具体内容为：
对于文本模态信息，通过Word Embedding将其转换成向量Ow；
对于分子模态的数字化信息，直接将其各项指标值拼接为向量Om；
对于图像模态信息，采用以CNN为基础的Image Embedder将其转换为向量形式Ov；
用于获取学生网络的输入特征向量和教师网络的输入特征向量的具体内容为：
学生网络的输入特征向量：对Ow，通过投影得到学生网络的输入FS：FS＝fS(WSOw)，其中，WS是可学习的投影矩阵，fS是非线性变换函数；
教师网络的输入特征向量：对Om，Ow，Ov，分别进行投影变换再拼接，得到教师网络的输入FT：
FT＝fT([WT,mOm；WT,wOw；WT,vOv])，其中，WT,m,WT,w,WT,v是可学习的投影矩阵，fT是非线性变换函数，[·；·；·]表示特征拼接操作；
通过基于Transformer的编码器得到学生网络和教师网络的输入特征向量的高阶编码；
具体的，采用Transformer生成不同模态特征的高阶表示，学生网络和教师网络均包括L+1个基于Transformer的编码层；前L个编码层利用自注意力机制获得输入特征的高阶编码；自注意力机制算子SA(·)的计算过程如下：
Q＝WqX,K＝[WkX；Mk],V＝[WvX；Mv]
其中，X是输入特征矩阵，是输出特征矩阵，Wq、Wk、Wv为可学习的权重矩阵，Mk、Mv是持久记忆向量；
为了建立学生网络和教师网络之间的桥梁，对学生网络和教师网络的同一编码器层级之间引入一个跨模态融合模块；跨模态融合模块以逐元素相加的方式将学生网络和教师网络的同一编码器层的输出特征相加，得到交互式特征
其中，和/>是分别来自学生网络和教师网络的第l层编码器的输出特征，/>表示逐元素相加操作，/>表示掩码指示器，p表示某一特征值变为0的概率，/>表示以p的概率随机地将教师网络的输出特征部分元素置0；
将交互式特征作为教师网络中下一层编码器的输入，而学生网络以/>作为下一层输入；第L+1层编码层采用交叉注意力机制，集成前L层编码层的特征：
其中，代表第l层编码层的输出，CA(·,·)表示交叉注意力操作，/>Kl、Vl是特征/>的线性变换，αl为可学习权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237079.5A CN117253611B (zh) | 2023-09-25 | 2023-09-25 | 基于多模态知识蒸馏的癌症智能早期筛查方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311237079.5A CN117253611B (zh) | 2023-09-25 | 2023-09-25 | 基于多模态知识蒸馏的癌症智能早期筛查方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117253611A CN117253611A (zh) | 2023-12-19 |
| CN117253611B true CN117253611B (zh) | 2024-04-30 |
Family
ID=89128905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311237079.5A Active CN117253611B (zh) | 2023-09-25 | 2023-09-25 | 基于多模态知识蒸馏的癌症智能早期筛查方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253611B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111152A (zh) * | 2021-04-20 | 2021-07-13 | 北京爱抑暖舟科技有限责任公司 | 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法 |
| CN113487614A (zh) * | 2021-09-08 | 2021-10-08 | 四川大学 | 胎儿超声标准切面图像识别网络模型的训练方法和装置 |
| CN115115862A (zh) * | 2022-05-20 | 2022-09-27 | 中国科学院计算技术研究所 | 基于异构图神经网络的高阶关系知识蒸馏方法及系统 |
| CN115147376A (zh) * | 2022-07-06 | 2022-10-04 | 南京邮电大学 | 一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法 |
| CN115471716A (zh) * | 2022-08-31 | 2022-12-13 | 昆明理工大学 | 一种基于知识蒸馏的胸部放射影像疾病分类模型轻量化方法 |
| WO2023048437A1 (ko) * | 2021-09-25 | 2023-03-30 | 주식회사 메디컬에이아이 | 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치 |
| CN116030025A (zh) * | 2023-01-18 | 2023-04-28 | 厦门大学 | 一种基于模态感知蒸馏网络的肝细胞癌预测方法 |
| CN116091412A (zh) * | 2022-12-08 | 2023-05-09 | 东北大学 | 一种从pet/ct图像中分割肿瘤的方法 |
| CN116363423A (zh) * | 2023-03-24 | 2023-06-30 | 南京大学 | 面向小样本学习的知识蒸馏方法、装置及存储介质 |
| CN116596910A (zh) * | 2023-05-29 | 2023-08-15 | 武汉大学 | 一种基于知识蒸馏和对抗攻击的多模态医学图像转换方法和系统 |
| CN116778140A (zh) * | 2023-06-29 | 2023-09-19 | 中国人民解放军国防科技大学 | 基于双重知识蒸馏的视觉定位方法、装置、设备和存储器 |
-
2023
- 2023-09-25 CN CN202311237079.5A patent/CN117253611B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111152A (zh) * | 2021-04-20 | 2021-07-13 | 北京爱抑暖舟科技有限责任公司 | 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法 |
| CN113487614A (zh) * | 2021-09-08 | 2021-10-08 | 四川大学 | 胎儿超声标准切面图像识别网络模型的训练方法和装置 |
| WO2023048437A1 (ko) * | 2021-09-25 | 2023-03-30 | 주식회사 메디컬에이아이 | 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치 |
| CN115115862A (zh) * | 2022-05-20 | 2022-09-27 | 中国科学院计算技术研究所 | 基于异构图神经网络的高阶关系知识蒸馏方法及系统 |
| CN115147376A (zh) * | 2022-07-06 | 2022-10-04 | 南京邮电大学 | 一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法 |
| CN115471716A (zh) * | 2022-08-31 | 2022-12-13 | 昆明理工大学 | 一种基于知识蒸馏的胸部放射影像疾病分类模型轻量化方法 |
| CN116091412A (zh) * | 2022-12-08 | 2023-05-09 | 东北大学 | 一种从pet/ct图像中分割肿瘤的方法 |
| CN116030025A (zh) * | 2023-01-18 | 2023-04-28 | 厦门大学 | 一种基于模态感知蒸馏网络的肝细胞癌预测方法 |
| CN116363423A (zh) * | 2023-03-24 | 2023-06-30 | 南京大学 | 面向小样本学习的知识蒸馏方法、装置及存储介质 |
| CN116596910A (zh) * | 2023-05-29 | 2023-08-15 | 武汉大学 | 一种基于知识蒸馏和对抗攻击的多模态医学图像转换方法和系统 |
| CN116778140A (zh) * | 2023-06-29 | 2023-09-19 | 中国人民解放军国防科技大学 | 基于双重知识蒸馏的视觉定位方法、装置、设备和存储器 |
Non-Patent Citations (2)
| Title |
|---|
| Leiqi wang ; Huijuan lu.Classification of Histopathologic Images of Breast Cancer by multi-teacher Small-sample knowledge distillation.2021 2nd International Conference on Artificial Intelligence and Computer Engineering.2022,全文. * |
| 基于多模态融合的自动驾驶感知及计算;张燕咏;张莎;张昱;吉建民;段逸凡;黄奕桐;彭杰;张宇翔;;计算机研究与发展;20200901(第09期);5-23 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117253611A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| WO2023202508A1 (zh) | 一种基于认知图谱的全科患者个性化诊疗方案推荐系统 | |
| CN109344833B (zh) | 医学图像分割方法、分割系统及计算机可读存储介质 | |
| CN113241135A (zh) | 一种基于多模态融合的疾病风险预测方法和系统 | |
| CN106682435A (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Ghosh et al. | Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images | |
| Zhu et al. | Faster-RCNN based intelligent detection and localization of dental caries | |
| CN113284572B (zh) | 多模态异构的医学数据处理方法及相关装置 | |
| CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN115830017B (zh) | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 | |
| CN114841320A (zh) | 一种基于喉镜医学影像的器官自动分割方法 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN115471716A (zh) | 一种基于知识蒸馏的胸部放射影像疾病分类模型轻量化方法 | |
| Zheng et al. | A dual‐attention V‐network for pulmonary lobe segmentation in CT scans | |
| Wei et al. | The delineation of largely deformed brain midline using regression‐based line detection network | |
| CN117253611B (zh) | 基于多模态知识蒸馏的癌症智能早期筛查方法及系统 | |
| CN116344070B (zh) | 一种病理特征与临床信息融合方法及系统 | |
| CN116958693A (zh) | 图像分析方法、装置、设备、存储介质和程序产品 | |
| CN117079291A (zh) | 图像轨迹确定方法、装置、计算机设备和存储介质 | |
| CN111755131A (zh) | 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统 | |
| Wang et al. | Weakly supervised lesion detection and diagnosis for breast cancers with partially annotated ultrasound images | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| CN116188396A (zh) | 一种图像分割方法、装置、设备及介质 | |
| WO2022227193A1 (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |