CN116797572A - 基于多模态数据的类风湿关节炎活动度分级装置 - Google Patents
基于多模态数据的类风湿关节炎活动度分级装置 Download PDFInfo
- Publication number
- CN116797572A CN116797572A CN202310755346.1A CN202310755346A CN116797572A CN 116797572 A CN116797572 A CN 116797572A CN 202310755346 A CN202310755346 A CN 202310755346A CN 116797572 A CN116797572 A CN 116797572A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- module
- feature
- disease activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010039073 rheumatoid arthritis Diseases 0.000 title claims abstract description 25
- 230000000694 effects Effects 0.000 title claims abstract description 17
- 230000009266 disease activity Effects 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012512 characterization method Methods 0.000 claims abstract description 20
- 230000003902 lesion Effects 0.000 claims abstract description 20
- 201000010099 disease Diseases 0.000 claims abstract description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 12
- 210000001503 joint Anatomy 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000006820 Arthralgia Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 208000037893 chronic inflammatory disorder Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000002517 zygapophyseal joint Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于多模态数据的类风湿关节炎活动度分级装置，主要包括：影像预处理模块，用于将病例的多张关节影像转换为影像特征；提取模块，用于使用TransformerD提取全部关节影像特征；优化影像表征模块，用于获得对应影像的病变分类预测和影像整体的疾病分级预测，并与对应病变标签计算第一交叉熵损失；其他模态特征提取模块，用于使用MLP提取其他模态特征并增强；特征融合模块，用于使用TransformerP对上述各模态特征进行交互和融合，获得多模态数据的疾病分级预测，并与真实分级标签计算第二交叉熵损失；损失函数优化模块，用于训练疾病活动度分级预测网络；疾病分级预测模块，用于给定病例的关节影像和其他模态数据，分级预测网络输出该病例疾病活动度。
Description
技术领域
本申请涉及多模态医学分析技术领域，尤其涉及一种基于多模态数据的类风湿关节炎活动度分级装置。
背景技术
类风湿关节炎(rheumatoid arthritis,RA)是一种常见的慢性炎症疾病，以侵蚀性关节炎为主要特征。类风湿关节炎起病缓慢而隐匿，通常从手足小关节疾病，逐渐表现为对称性多个关节受累，最终产生典型的关节炎症性病变，如关节疼痛、晨僵、肿胀等，并伴随疲劳和生活质量下降。因此，类风湿关节炎的早期识别和干预至关重要。现有的临床诊断方法需要医生对患者进行专业评估以及患者自我评估，一方面占用较多的专业医生资源，耗时耗力，另一方面非专业的患者自评可能会对诊断结果造成偏差。然而，随着深度学习技术的发展，利用深度学习技术高效准确地预测RA疾病活动度分级能够降低专业医生的评估诊断代价，并有助于医生抓住治疗窗口期，为患者选择合适的药物治疗方案，从而提高治疗达标率，这在临床实践中具有重要意义。
总体来说，现有的RA疾病活动度分级预测方法可以分为基于临床数据的方法和基于影像数据的方法。前者旨在利用临床数据回归拟合出疾病活动度。如Lee等人[1]提出了一种使用骨显像呈现损伤的关节数目(BS-positive)、红细胞沉降率(ESR)和患者整体评估(PGA)等变量拟合线性回归模型，以预测类风湿关节炎疾病活动指数评分。而后者旨在利用深度神经网络挖掘影像数据表征，进而预测疾病活动分级。如中国发明专利CN114140393A，公开日为2022年3月4日，公开了一种基于深度学习的类风湿性关节炎X光片评分方法，采用ResNet-Dwise50网络模型对类风湿性关节炎患者X光片图像进行特征抽取，进而预测相应的疾病活动度分级。
基于临床数据的方法通过典型的机器学习技术回归拟合出疾病活动度。其缺点在于：一方面，传统机器学习模型需要人工设计特征提取，模型结构简单、表征能力较差，难以精确拟合疾病活动度；另一方面，部分临床数据由医生逐一检查患者各关节获得，工作量大、效率低、成本高，造成较大的人力物力消耗，甚至可能延误病情诊治。
基于影像数据的疾病分级方法的缺点在于：一方面，只使用了单一模态的医学影像数据，信息单一，难以获得准确全面的表征，预测准确率较低；另一方面，使用单独的关节影像预测疾病活动度，未充分挖掘不同关节影像之间的联系，导致预测效果较差。
发明内容
本申请实施例的目的是提供一种基于多模态数据的类风湿关节炎活动度分级装置，以解决相关技术中存在的模型表征能力差、模态信息单一和未充分挖掘不同关节影像之间的联系的技术问题。
根据本申请实施例的第一方面，提供一种基于多模态数据的类风湿关节炎活动度分级装置，包括：
影像预处理模块，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；
提取模块，用于使用Transformer D提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；
优化影像表征模块，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络FFN中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；
其他模态特征提取模块，用于使用MLP提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；
特征融合模块，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合TransformerP中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络FFN中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；
损失函数优化模块，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；
疾病分级预测模块，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。
可选的，所述影像预处理模块，包括：
统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；
归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；
线性化表征单元，用于将每个编码矩阵展平为一维向量s1,s2,...,sn，经过线性映射层映射为u1，u2，...，un；
影像特征输出单元，用于为所述u1，u2，...，un添加分类向量和位置编码/>得到影像特征h0，如公式(1)所示；
可选的，所述提取模块，包括：
自注意力单元，用于使用Transformer D提取影像特征，其中Transformer D由L个堆叠的自注意力层组成，其中：
Transformer D以h0为输入，利用Transformer D中的L个自注意力层对影像特征h0进行增强。第L个自注意力层的输出hL即为Transformer D的输出，如公式(5)所示：
可选的，优化影像表征模块，包括：
影像病变分类预测单元，用于使用第一前馈神经网络层(FFN)获得对应影像的病变分类预测和影像整体的疾病活动度分级预测/>
影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失/>如公式(6)所示：
其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，/>表示关节影像整体属于分级v的概率，c2表示疾病分级总数。
可选的，其他模态特征提取模块，包括：
其他模态特征提取单元，用于使用MLP提取全部关节的基础信息和实验室检查数据特征，得到特征uM和uS；
交叉注意力单元，用于对uM和uS计算交叉注意力，根据相似度分别对两者特征进行加权，得到加权特征fM和fS，交叉注意力机制将uS变换为键向量K和值向量V，uM变换为查询向量Q进行交叉注意力计算。he表示经过交叉注意力层的其他模态特征，具体如公式(8)所示：
he＝[fM，fS]#(8)。
可选的，特征融合模块，包括：
特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征fM和fS输入至Transformer P中进行特征交互和融合，得到融合特征fP，其中，Transformer P的结构与提取模块中的Transformer D结构相同；
分级损失计算单元，用于将特征融合模块的融合特征fP输入至第二前馈网络FFN中，选择GELU(·)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失/>
其中c表示疾病活动度分级总数，pu表示该输入病例属于分级u的概率。
根据本申请实施例的第二方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
根据本申请实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采用深度学习技术，分别对基础信息、实验室检查数据和关节影像三个模态的数据进行表征学习，并对三个模态数据的特征进行交互与融合，运用三个模态的数据共同评估类风湿关节炎活动度，避免了单一模态数据难以获得准确表征的缺点。此外，本发明使用Transformer网络提取多个关节影像特征，医生无需进行额外的检查，极大地节约了人力物力和医疗资源，提高技术实施效率。最后，本发明使用性别、年龄、BMI、病史、关节影像等高置信度数据，有效解决患者自评和医生对疾病活动性或总体健康状况的评估等容易造成误差的数据，提高模型精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于多模态数据的类风湿关节炎活动度分级装置的框图。
图2是根据一示例性实施例示出的基于多模态数据的类风湿关节炎活动度分级装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于多模态数据的类风湿关节炎活动度分级装置的框图，如图1所示，该装置包括：
影像预处理模块1，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；
提取模块2，用于使用Transformer D提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；
优化影像表征模块3，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络FFN中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；
其他模态特征提取模块4，用于使用MLP提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；
特征融合模块5，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合Transformer P中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络FFN中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；
损失函数优化模块6，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；
疾病分级预测模块7，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。
由上述实施例可知，本申请采用深度学习技术，分别对基础信息、实验室检查数据和关节影像三个模态的数据进行表征学习，并对三个模态数据的特征进行交互与融合，运用三个模态的数据共同评估类风湿关节炎活动度，避免了单一模态数据难以获得准确表征的缺点。此外，本发明使用Transformer网络提取多个关节影像特征，医生无需进行额外的检查，极大地节约了人力物力和医疗资源，提高技术实施效率。最后，本发明使用性别、年龄、BMI、病史、关节影像等高置信度数据，有效解决患者自评和医生对疾病活动性或总体健康状况的评估等容易造成误差的数据，提高模型精度。
所述影像预处理模块1包括：
统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；
归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；
线性化表征单元，用于将每个编码矩阵展平为一维向量s1，s2，...，sn，经过线性映射层映射为u1，u2，...，un，以获得符合影像特征提取模块输入规格的表征，如公式(1)所示：
ui＝WDsi+bD (1)
其中，WD表示，bD表示偏置，i表示向量索引。
影像特征输出单元，用于为所述u1，u2，...，un添加分类向量和位置编码/>得到影像特征h0，如公式(2)所示：
所述提取模块2包括：
自注意力单元，用于使用Transformer D提取影像特征，其中Transformer D由L个堆叠的自注意力层组成，以捕获关节影像中不同部分之间的相关性，并挖掘不同关节影像之间的联系。Transformer D以影像预处理模块1得到的影像特征表示h0作为输入，以第L层的预测输出hL为最终输出。其中，自注意力层由层归一化函数(LN)、自注意力函数(MSA)和多层感知机(MLP)构成。具体为：
第1个自注意力层以h0为输入，第l个自注意力层(l＝2，3，...，L)以第l-1个自注意力层的输出hl-1作为输入，输出增强后的影像特征hl。对于第l个自注意力层，将其输入hl-1，由变换矩阵转化为对应的查询向量Ql、键向量Kl以及值向量Vl，如公式(3)所示：
则自注意力函数可以用公式(4)表示：
其中，dK为键向量Kl的维度，为Kl的转置。
自注意力层的具体结构可由公式(5)表示如下：
zl＝LN(MSA(Ql，Kl，Vl)+hl-1)，
hl＝LN(MLP(zl)+zl)#(5)
其中zl表示第l层中注意力机制的输出，hl表示经过第l个自注意力层的影像特征。LN(·)为层归一化函数，用于解决由于网络深度过深造成的网络数值偏大从而影响梯度下降速度的问题，如公式(6)所示：
其中γ，β为超参数，mean表示该层的均值，std表示该层的标准差。
MLP表示多层感知机，其由多个全连接层和激活函数构成，如公式(7)所示：
MLP(x)＝g(W2(W1x+b1)+b2)#(7)
其中，W1、W2表示权重，b1、b2表示偏置，g(·)表示激活函数。g(·)可以选择sigmoid、RELU、tanh等函数作为激活函数。
第L个自注意力层的输出hL即为Transformer D的输出，如公式(8)所示：
所述优化影像表征模块3包括：
影像病变分类预测单元，用于使用第一前馈神经网络层(FFN)获得对应影像的病变分类预测和影像整体的疾病活动度分级预测/>具体而言：
前馈神经网络层(FFN)的模型结构可以通过公式(9)表示：
其中，为权重变换矩阵，/>为偏置系数，GELU(·)为高斯误差线性激活函数，如公式(10)所示：
影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失/>如公式(11)所示：
其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，/>表示关节影像整体属于分级v的概率，c2表示疾病分级总数。
所述其他模态特征提取模块4包括：
其他模态特征提取单元，用于使用MLP提取全部关节的基础信息和实验室检查数据特征，得到特征uM和uS；
交叉注意力单元，用于对uM和uS计算交叉注意力，以建模基础信息和实验室检查数据的跨模态关联。根据相似度分别对两者特征进行加权，得到加权特征fM和fS，交叉注意力机制将uS变换为键向量K和值向量V，uM变换为查询向量Q进行交叉注意力计算。
交叉注意力层可以用公式(12)表示：
ze＝LN(MHA(Q，K，V)+uM)，
he＝LN(MLP(ze)+ze)#(13)
其中MHA(Q，K，V)表示交叉注意力函数，dK表示键向量K的维度，ze表示交叉注意力机制的输出。
he表示经过交叉注意力层的其他模态特征，具体如公式(13)所示：
he＝[fM，fS]#(13)。
所述特征融合模块5包括：
特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征fM和fS输入至Transformer P中进行特征交互和融合，以获得准确全面的多模态表征，得到融合特征fP，其中，Transformer P的结构与提取模块中的Transformer D结构相同；
分级损失计算单元，用于将特征融合模块的融合特征fP输入至第二前馈网络FFN中，选择GELU(·)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失/>
其中c表示疾病活动度分级总数，pu表示该输入病例属于分级u的概率。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (8)
1.一种基于多模态数据的类风湿关节炎活动度分级装置，其特征在于，包括：
影像预处理模块，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；
提取模块，用于使用Transformer D提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；
优化影像表征模块，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络FFN中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；
其他模态特征提取模块，用于使用MLP提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；
特征融合模块，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合Transformer P中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络FFN中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；
损失函数优化模块，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；
疾病分级预测模块，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。
2.根据权利要求1所述的装置，其特征在于，所述影像预处理模块，包括：
统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；
归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；
线性化表征单元，用于将每个编码矩阵展平为一维向量s1,s2,...,sn，经过线性映射层映射为u1,u2,...,un；
影像特征输出单元，用于为所述u1,u2,...,un添加分类向量和位置编码/>得到影像特征h0，如公式(1)所示；
3.根据权利要求1所述的装置，其特征在于，所述提取模块，包括：
自注意力单元，用于使用Transformer D提取影像特征，其中Transformer D由L个堆叠的自注意力层组成，其中：
Transformer D以h0为输入，利用Transformer D中的L个自注意力层对影像特征h0进行增强。第L个自注意力层的输出hL即为Transformer D的输出，如公式(5)所示：
4.根据权利要所述的装置，其特征在于，优化影像表征模块，包括：
影像病变分类预测单元，用于使用第一前馈神经网络层(FFN)获得对应影像的病变分类预测和影像整体的疾病活动度分级预测/>
影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失/>如公式(6)所示：
其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，/>表示关节影像整体属于分级v的概率，c2表示疾病分级总数。
5.根据权利要求1所述的装置，其特征在于，其他模态特征提取模块，包括：
其他模态特征提取单元，用于使用MLP提取全部关节的基础信息和实验室检查数据特征，得到特征uM和uS；
交叉注意力单元，用于对uM和uS计算交叉注意力，根据相似度分别对两者特征进行加权，得到加权特征fM和fS，交叉注意力机制将uS变换为键向量K和值向量V，uM变换为查询向量Q进行交叉注意力计算。he表示经过交叉注意力层的其他模态特征，具体如公式(8)所示：
he＝[fM,fS]#(8)。
6.根据权利要求1所述的装置，其特征在于，特征融合模块，包括：
特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征fM和fS输入至TransformerP中进行特征交互和融合，得到融合特征fP，其中，TransformerP的结构与提取模块中的Transformer D结构相同；
分级损失计算单元，用于将特征融合模块的融合特征fP输入至第二前馈网络FFN中，选择GELU(·)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失/>
其中c表示疾病活动度分级总数，pu表示该输入病例属于分级u的概率。
7.一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
8.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310755346.1A CN116797572A (zh) | 2023-06-26 | 2023-06-26 | 基于多模态数据的类风湿关节炎活动度分级装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310755346.1A CN116797572A (zh) | 2023-06-26 | 2023-06-26 | 基于多模态数据的类风湿关节炎活动度分级装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797572A true CN116797572A (zh) | 2023-09-22 |
Family
ID=88049200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310755346.1A Pending CN116797572A (zh) | 2023-06-26 | 2023-06-26 | 基于多模态数据的类风湿关节炎活动度分级装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797572A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
| CN117934981A (zh) * | 2024-03-25 | 2024-04-26 | 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) | 基于多模态信息的神经内科病症识别方法及系统 |
| CN117934981B (zh) * | 2024-03-25 | 2024-05-31 | 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) | 基于多模态信息的神经内科病症识别方法及系统 |
-
2023
- 2023-06-26 CN CN202310755346.1A patent/CN116797572A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522877A (zh) * | 2024-01-08 | 2024-02-06 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
| CN117522877B (zh) * | 2024-01-08 | 2024-04-05 | 吉林大学 | 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法 |
| CN117934981A (zh) * | 2024-03-25 | 2024-04-26 | 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) | 基于多模态信息的神经内科病症识别方法及系统 |
| CN117934981B (zh) * | 2024-03-25 | 2024-05-31 | 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) | 基于多模态信息的神经内科病症识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101884609B1 (ko) | 모듈화된 강화학습을 통한 질병 진단 시스템 | |
| CN100481096C (zh) | 心脏成像的自动区域心肌评定的方法 | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| CN112712879B (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
| CN110400298B (zh) | 心脏临床指标的检测方法、装置、设备及介质 | |
| CN113421652A (zh) | 对医疗数据进行分析的方法、训练模型的方法及分析仪 | |
| JP2007527743A (ja) | 心臓関連の病気及び状態のための自動診断及び意思決定支援用システム及び方法 | |
| CN112489740A (zh) | 病历检测方法及相关模型的训练方法和相关设备、装置 | |
| CN116797572A (zh) | 基于多模态数据的类风湿关节炎活动度分级装置 | |
| CN107292103A (zh) | 一种预测图像生成方法及装置 | |
| CN115293128A (zh) | 基于多模态对比学习放射学报告生成模型训练方法及系统 | |
| CN111340794B (zh) | 冠状动脉狭窄的量化方法及装置 | |
| CN115719334A (zh) | 基于人工智能的医学影像评价方法、装置、设备及介质 | |
| CN115147376A (zh) | 一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法 | |
| CN116864139A (zh) | 疾病风险评估方法、装置、计算机设备及可读存储介质 | |
| CN115579141A (zh) | 一种可解释疾病风险预测模型构建方法以及疾病风险预测装置 | |
| CN115719328A (zh) | 用于量化医学图像评估的不确定性的方法、系统和装置 | |
| WO2019132686A1 (ru) | Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта | |
| Albahli et al. | AI-driven deep and handcrafted features selection approach for Covid-19 and chest related diseases identification | |
| CN113889229A (zh) | 基于人机结合的医学影像诊断标准的构建方法 | |
| Duvieusart et al. | Multimodal cardiomegaly classification with image-derived digital biomarkers | |
| CN117393098A (zh) | 基于视觉先验和跨模态对齐网络的医疗影像报告生成方法 | |
| CN117038096A (zh) | 一种基于低资源医疗数据与知识挖掘的慢性疾病预测方法 | |
| WO2023110477A1 (en) | A computer implemented method and a system | |
| CN114429822A (zh) | 病历质检方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |