CN117934981A - 基于多模态信息的神经内科病症识别方法及系统 - Google Patents
基于多模态信息的神经内科病症识别方法及系统 Download PDFInfo
- Publication number
- CN117934981A CN117934981A CN202410338488.2A CN202410338488A CN117934981A CN 117934981 A CN117934981 A CN 117934981A CN 202410338488 A CN202410338488 A CN 202410338488A CN 117934981 A CN117934981 A CN 117934981A
- Authority
- CN
- China
- Prior art keywords
- fusion
- vector
- feature
- determining
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 208000024891 symptom Diseases 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 141
- 230000004927 fusion Effects 0.000 claims abstract description 137
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 104
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 230000009466 transformation Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 210000004556 brain Anatomy 0.000 claims abstract description 19
- 210000001124 body fluid Anatomy 0.000 claims abstract description 14
- 239000010839 body fluid Substances 0.000 claims abstract description 14
- 239000003550 marker Substances 0.000 claims abstract description 13
- 208000012902 Nervous system disease Diseases 0.000 claims abstract description 11
- 201000010099 disease Diseases 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 40
- 230000001105 regulatory effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000926 neurological effect Effects 0.000 claims description 3
- 208000035475 disorder Diseases 0.000 description 21
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 208000025966 Neurological disease Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000003926 Myelitis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 208000025698 brain inflammatory disease Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种基于多模态信息的神经内科病症识别方法及系统，涉及病症识别技术领域，包括采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化融合损失函数，确定融合特征图；对融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于线性变换得到的特征向量，通过计算特征向量的相似度得分，确定特征权重分配，得到每个分路的注意力结果，基于注意力结果，确定关键特征；将关键特征输入预先训练的病症分类模型，确定关键特征对应的病症类别，完成神经内科病症识别。
Description
技术领域
本发明涉及病症识别技术领域，尤其涉及一种基于多模态信息的神经内科病症识别方法及系统。
背景技术
目前神经内科是关于神经方面的二级学科，不属于内科概念，主要收治脑血管疾病、脑部炎症性疾病、脊髓炎、癫痫、痴呆等。随着人工智能、机器学习技术的发展，病症识别在神经内科领域具有广阔的应用前景，脑部医学影像以及体液标志物不但能够反映大脑组织的各种神经活动及功能状态，而且影像及体液数据具有客观性强的特点。
CN201780085804.8，公开了一种用于确定脑组织是否指示诸如神经变性病症等病症的方法和系统。该方法和系统通常利用数据处理技术来评估从磁共振成像(MRI)数据获得的测量参数与从脑组织的计算建模获得的模拟参数之间的一致性水平。
综上所述，现有技术中，神经内科诊断准确率受个体影响较大，检测不准确，同时，对医学影像的识别也不准确，影响对神经内科病症的识别，本发明的应用能够解决现有技术的问题。
发明内容
本发明实施例提供一种基于多模态信息的神经内科病症识别方法及系统，能够解决现有技术中的问题。
本发明实施例的第一方面，
提供基于多模态信息的神经内科病症识别方法，包括：
采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
在一种可选的实施例中，
采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
基于所述多模态数据，设置第一融合调节因子，确定单个模态内部的内部相似度，设置第二融合调节因子，确定模态之间的外部相似度；
基于所述内部相似度和所述外部相似度，构建相似度矩阵，经过拉普拉斯变换，确定结构矩阵，基于所述结构矩阵，确定正则化项，构建融合损失函数，建立特征融合模型；
迭代更新所述第一融合调节因子和所述第二融合调节因子，使所述融合损失函数最小，完成所述特征融合模型训练。
在一种可选的实施例中，
还包括：
构建所述相似度矩阵，其公式如下：
;
其中，S表示相似度矩阵，γ表示第一融合调节因子，χ表示第二融合调节因子，M表示模态总数量，S(1,1)、S(2,2)、S(M,M)表示内部相似度，S(1,2)、S(2,1)、S(1,M)、S(2,M)、S(M,1)、S(M,2)表示两个模态之间的外部相似度；
所述相似度矩阵，经过拉普拉斯变换，确定结构矩阵L，基于所述结构矩阵，确定正则化项，其公式如下：
;
其中，ψ(w,γ,χ)表示正则化项,基于权重向量w、第一融合调节因子γ和第二融合调节因子χ确定，X(1)表示模态1对应的数据集，X(2)表示模态2对应的数据集，X(M)表示模态M对应的数据集，w(1)表示模态1的权重向量，w(2)表示模态2的权重向量，w(M)表示模态M的权重向量，L表示结构矩阵；
所述融合损失函数，其公式如下：
;
其中，H(w)表示融合损失函数结果，m表示模态序号，Y表示标签，X(m)表示模态m对应的数据集，w(m)表示模态m的权重向量，λ m 表示模态m的L1正则化系数。
在一种可选的实施例中，
对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
基于预设的分路数量，将所述融合特征图切分成对应数量的分路；
基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量，其中，所述特征向量包括查询向量、键向量和值向量；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，通过连接每个所述分路，输出注意力结果；
基于所述注意力结果，确定特征重要性，获得关键特征。
在一种可选的实施例中，
基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量还包括：
所述特征向量，其公式如下：
;
其中，Q i 表示第i分路的查询向量，F表示输入的融合特征图，W i Q 表示第i分路的查询向量对应的权重矩阵，K i 表示第i分路的键向量，W i K 表示第i分路的键向量对应的权重矩阵，V i 表示第i分路的值向量，W i V 表示第i分路的值向量对应的权重矩阵；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，其公式如下：
;
其中，Attention()表示注意力计算结果，K i T 表示第i分路的键向量的转置，d ik 表示第i分路的键向量对应的维度，表示缩放因子。
在一种可选的实施例中，
所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类包括：
收集神经内科的病症数据，划分病症类别；
基于所述病症类别，分配关键特征，基于所述关键特征的对应数据，确定所述病症类别的数据中心点；
通过计算所述病症类别内所述关键特征的特征间距离，以及特征间方差，确定所述病症类别之间的类别距离；
识别所述类别距离的最大值对应的两个所述病症类别，确定基准类别，基于所述特征间距离的最近原则，对其他所述病症类别进行类别分配；
递归更新类别中心，并对病症类别进行重新分配，直到所述神经内科病症分类不变，确定病症分类。
本发明实施例的第二方面，
提供基于多模态信息的神经内科病症识别系统，包括：
第一单元，用于采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
第二单元，用于对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
第三单元，用于将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明实施例中，结合脑部医学影像和体液标志物信息，可以提供更全面、多层次的健康状态评估，有助于早期发现潜在疾病迹象；通过建立特征融合模型，可以实现对个体的个性化医学分析，为医疗决策提供更精准的信息；分路并行处理允许模型同时关注融合特征图的不同方面，从而更全面地提取多模态数据中的信息，增强模型对数据的表示能力；通过确定每个分路的权重矩阵，模型可以自适应地学习每个分路对任务的贡献，使得权重矩阵更好地适应任务特性；通过递归更新类别中心，模型可以自适应地根据当前样本分布情况调整类别中心，适应病症类别的变化；通过计算类内关系和类间关系，模型能够减小同一类别内样本的差异，同时增大不同类别之间的差异，提高分类模型的性能；通过循环迭代，实现动态调整类别中心，使得模型能够更好地捕捉数据的特征变化，提高对病症分类任务的适应性。
附图说明
图1为本发明实施例基于多模态信息的神经内科病症识别方法的流程示意图；
图2为本发明实施例基于多模态信息的神经内科病症识别系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例基于多模态信息的神经内科病症识别方法的流程示意图，如图1所示，所述方法包括：
S101.采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
所述脑部医学影像信息具体是指通过使用不同的成像技术获取的有关被试者脑部结构和功能的数据，包括但不限于：结构性磁共振成像（MRI）、功能性磁共振成像（fMRI）、正电子发射断层扫描（PET）等；其中，MRI提供高分辨率的脑部结构图像，用于观察大脑的灰质、白质、和脑脊液等；fMRI用于测量脑活动，揭示在不同任务或静息状态下脑区的功能连接；PET通过注射放射性标记的物质，提供关于脑代谢和血流的信息。
所述体液标志物信息具体是指通过分析被试者的生理液体，如血液、尿液、脑脊液等中的特定分子、蛋白质或其他生物标志物，获取有关其健康状况和疾病风险的数据，其中，血液标志物如血糖、胆固醇、炎症标志物等；脑脊液标志物如神经递质、蛋白质等；尿液标志物如代谢产物、激素等；
在本实施例中，结合脑部医学影像和体液标志物信息，可以提供更全面、多层次的健康状态评估，有助于早期发现潜在疾病迹象；通过建立特征融合模型，可以实现对个体的个性化医学分析，为医疗决策提供更精准的信息。
在一种可选的实施例中，采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
基于所述多模态数据，设置第一融合调节因子，确定单个模态内部的内部相似度，设置第二融合调节因子，确定模态之间的外部相似度；
基于所述内部相似度和所述外部相似度，构建相似度矩阵，经过拉普拉斯变换，确定结构矩阵，基于所述结构矩阵，确定正则化项，构建融合损失函数，建立特征融合模型；
迭代更新所述第一融合调节因子和所述第二融合调节因子，使所述融合损失函数最小，完成所述特征融合模型训练。
所述第一融合调节因子具体是指用于调节单个模态内部的内部相似度，反映在同一模态下，不同样本之间的相似程度，有助于保持模态内部的一致性，较大的第一融合调节因子将强化模态内部的相似性；
所述第二融合调节因子具体是指用于调节模态之间的外部相似度，衡量不同模态之间的相互关系，有助于促使模态之间进行有效的信息融合，较大的第二融合调节因子将强调跨模态之间的相似性；
使用第一融合调节因子调整同一模态内部样本之间的相似度，通过计算样本之间的相似性度量，如余弦相似度或欧氏距离等，再乘以第一融合调节因子，使用第二融合调节因子调整不同模态之间样本的相似度，同样地，采用适当的相似性度量，并乘以第二融合调节因子；基于计算得到的内部相似度和外部相似度，构建相似度矩阵，其元素表示样本之间的相似度；
经过拉普拉斯变换，将相似度矩阵转换为结构矩阵；基于结构矩阵，确定正则化项，平衡模型的复杂度，防止过拟合，并提高模型的泛化能力；
将内部相似度、外部相似度和正则化项结合，构建融合损失函数；基于融合损失函数，建立特征融合模型，通过反向传播算法，迭代更新第一融合调节因子和第二融合调节因子，使融合损失函数最小化；
在本实施例中，通过迭代更新融合调节因子，模型能够自适应地学习个体内部特征和不同模态之间的关联性，实现更加个性化的特征学习；第一融合调节因子有助于维持同一模态内部样本之间的一致性，确保模态内部的信息有序且相似，提高了模型的稳定性，第二融合调节因子促进了不同模态之间的关联性，有助于有效地整合不同模态的信息，提高了对模态间关系的建模能力；通过拉普拉斯变换，保留了样本之间的局部结构信息，有助于维持数据的空间结构，提高了模型对样本之间复杂关系的捕捉能力；通过巧妙设计融合损失函数，综合考虑内部相似度、外部相似度和正则化项，使得模型在训练过程中能够更好地平衡各种信息，提高整体模型性能。
在一种可选的实施例中，还包括：
构建所述相似度矩阵，其公式如下：
;
其中，S表示相似度矩阵，γ表示第一融合调节因子，χ表示第二融合调节因子，M表示模态总数量，S(1,1)、S(2,2)、S(M,M)表示内部相似度，S(1,2)、S(2,1)、S(1,M)、S(2,M)、S(M,1)、S(M,2)表示两个模态之间的外部相似度；
所述相似度矩阵，经过拉普拉斯变换，确定结构矩阵L，基于所述结构矩阵，确定正则化项，其公式如下：
;
其中，ψ(w,γ,χ)表示正则化项,基于权重向量w、第一融合调节因子γ和第二融合调节因子χ确定，X(1)表示模态1对应的数据集，X(2)表示模态2对应的数据集，X(M)表示模态M对应的数据集，w(1)表示模态1的权重向量，w(2)表示模态2的权重向量，w(M)表示模态M的权重向量，L表示结构矩阵；
所述融合损失函数，其公式如下：
;
其中，H(w)表示融合损失函数结果，m表示模态序号，Y表示标签，X(m)表示模态m对应的数据集，w(m)表示模态m的权重向量，λ m 表示模态m的L1正则化系数。
相似度矩阵是一个M×M的矩阵，该矩阵通过使用第一融合调节因子和第二融合调节因子来调节模态内部和模态间的相似度，矩阵中的每个元素表示模态与模态之间的相似度，其中处于坐上到右下对角线元素表示模态内部样本的相似度，而其他元素表示不同模态之间的外部相似度；
通过拉普拉斯变换，相似度矩阵被转化为结构矩阵L，结构矩阵保留了相似度矩阵中样本之间的局部结构信息，有助于维持数据的空间结构，提高模型对样本之间复杂关系的捕捉能力；
正则化项是基于权重向量、第一融合调节因子和第二融合调节因子 确定的，通过对权重向量的正则化，平衡模型的复杂度，防止过拟合；
融合损失函数包含三部分：数据拟合项、L1正则化项和正则化项，其中，数据拟合项衡量模型在数据上的拟合程度，L1正则化项用于稀疏化权重向量，而正则化项通过结构矩阵保持数据的结构信息；整个损失函数的最小化过程在模型训练中用于优化权重向量和调节因子，以达到更好的融合效果；
根据所述公式，通过第一融合调节因子和第二融合调节因子，相似度矩阵在构建过程中对模态内外相似度进行调节，使模型能够更加灵活地适应不同模态数据之间的关系；通过拉普拉斯变换，结构矩阵有助于保留相似度矩阵中样本之间的局部结构信息，提高模型对样本之间复杂关系的捕捉能力；融合损失函数中的正则化项在权重向量上施加了正则化，通过平衡模型的复杂度，使得模型更具泛化性，能够适应不同模态的数据融合任务。
S102.对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
所述分路具体是指对融合特征图进行多分支处理的策略，每个分路负责关注融合特征图中的不同方面或子特征，通过分路的处理，模型能够更有效地捕捉多个方面的信息，从而提高对复杂数据的表征能力，最后将所有分路的输出连接起来，再次通过一个线性变换得到最终的注意力输出；
通过权重分配得到注意力结果的方法，可以根据输入特征的不同自适应地调整注意力权重，使模型能够更好地聚焦于关键信息，从而提高多模态数据处理的性能；
在本实施例中，分路并行处理允许模型同时关注融合特征图的不同方面，从而更全面地提取多模态数据中的信息，增强模型对数据的表示能力；通过确定每个分路的权重矩阵，模型可以自适应地学习每个分路对任务的贡献，使得权重矩阵更好地适应任务特性；通过计算特征向量的相似度得分，模型能够判断不同分路之间的相关性，有助于确定各个分路的注意力权重；通过整合每个分路的注意力结果，模型能够确定对任务最为关键的特征，提高了模型在任务上的性能和解释性。
在一种可选的实施例中，对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
基于预设的分路数量，将所述融合特征图切分成对应数量的分路；
基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量，其中，所述特征向量包括查询向量、键向量和值向量；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，通过连接每个所述分路，输出注意力结果；
基于所述注意力结果，确定特征重要性，获得关键特征。
所述特征向量具体是查询向量、键向量、值向量的总和，其中，查询向量表示待查询的特征，是模型关注的目标特征；键向量表示用于比较相似度的特征，与查询向量进行相似度计算，值向量包含与查询向量和键向量相关的信息，用于计算最终的特征权重。
所述缩放因子具体是指用于缩放相似度计算的结果，有助于控制相似度得分的数值范围；
根据预设数量的分路数量，如8个分路，将融合特征图切分为8分路，得到8个子图；
对每个分路，确定查询向量权重矩阵、键向量权重矩阵和值向量权重矩阵；利用权重矩阵，计算每个分路中的特征向量，包括查询向量、键向量和值向量；基于查询向量和键向量，结合缩放因子，计算相似度得分；对相似度得分进行归一化处理，以确保在不同分路之间具有相对一致的权重分布；根据归一化后的相似度得分，确定特征权重分配；
将每个分路的值向量与特征权重相乘，得到每个分路的注意力结果；连接每个分路的注意力结果，形成最终的注意力融合结果；基于最终的注意力结果，确定特征的重要性，以获得关键特征。
在本实施例中，通过查询向量、键向量和值向量的引入，使得模型能够同时关注不同方面的特征；缩放因子的引入有助于稳定相似度得分，防止因相似度值过大导致的数值稳定性问题，提高模型的训练稳定性；通过计算相似度得分和权重分配，实现对每个分路特征的精细控制，使模型更加注重关键特征的提取；模型能够根据任务需求自适应地关注不同分路的特征，提高模型在复杂任务上的表现；通过整合每个分路的结果，模型能够在全局上抽象和提取关键特征，为任务提供更有信息量的表示。
在一种可选的实施例中，基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量还包括：
所述特征向量，其公式如下：
;
其中，Q i 表示第i分路的查询向量，F表示输入的融合特征图，W i Q 表示第i分路的查询向量对应的权重矩阵，K i 表示第i分路的键向量，W i K 表示第i分路的键向量对应的权重矩阵，V i 表示第i分路的值向量，W i V 表示第i分路的值向量对应的权重矩阵；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，其公式如下：
;
其中，Attention()表示注意力计算结果，K i T 表示第i分路的键向量的转置，d ik 表示第i分路的键向量对应的维度，表示缩放因子。
针对每一个分路i，通过融合特征图分别与分路的查询权重矩阵、键权重矩阵和值权重矩阵相乘，分别对应得到查询向量、键向量和值向量，通过引入权重矩阵，实现了对每个分路的特征进行线性变换，以增强对不同方面信息的表达能力；
通过将查询向量与键向量的转置相乘，除以缩放因子来计算相似度得分，缩放因子的引入有助于控制相似度得分的量级，避免梯度消失或爆炸的问题；对相似度得分应用softmax函数进行归一化处理，获得每个键向量对应的权重分配系数；
通过将归一化的注意力得分与值向量相乘，得到每个分路的最终注意力结果；
根据所述公式，引入缩放因子有助于稳定相似度得分的计算，避免梯度消失或爆炸的问题，提高模型的训练稳定性和收敛速度；通过softmax函数对相似度得分进行归一化处理，确定每个特征在全局上的重要性，使模型能够更好地关注对任务贡献较大的特征；最终的注意力结果将每个分路的特征按权重加权合并，有助于抽象和提取关键特征，为模型的任务提供更有信息量的表示。
S103.将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类；
所述类别中心点具体是指每个病症类别在特征空间中的中心位置，通过计算类别中心点，模型能够理解每个病症类别的整体特征表征；
所述类内关系具体是指衡量同一病症类别内部样本之间的相关程度，通过考察类内关系，模型可以捕捉同一类别内样本的共性特征，从而提高类别的内聚性；
所述类间关系具体是指衡量不同病症类别之间样本的相异性，即差异的距离，通过分析类间关系，模型能够辨别不同病症类别之间的差异，以便更好地进行分类；
所述基准类别具体是指在病症分类模型中，模型训练初始阶段所设定的类别，其类别中心点用于启动类别中心的递归更新，基准类别的选择影响了整个训练过程中类别中心的演变；
在本实施例中，通过递归更新类别中心，模型可以自适应地根据当前样本分布情况调整类别中心，适应病症类别的变化；通过计算类内关系和类间关系，模型能够减小同一类别内样本的差异，同时增大不同类别之间的差异，提高分类模型的性能；通过循环迭代，实现动态调整类别中心，使得模型能够更好地捕捉数据的特征变化，提高对病症分类任务的适应性。
在一种可选的实施例中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类包括：
收集神经内科的病症数据，划分病症类别；
基于所述病症类别，分配关键特征，基于所述关键特征的对应数据，确定所述病症类别的数据中心点；
通过计算所述病症类别内所述关键特征的特征间距离，以及特征间方差，确定所述病症类别之间的类别距离；
识别所述类别距离的最大值对应的两个所述病症类别，确定基准类别，基于所述特征间距离的最近原则，对其他所述病症类别进行类别分配；
递归更新类别中心，并对病症类别进行重新分配，直到所述神经内科病症分类不变，确定病症分类。
收集神经内科的病症数据，根据数据的特征，使用专业知识或现有的分类标准对病症进行划分，形成不同的病症类别；针对每个病症类别，分析关键特征的重要性，将这些关键特征分配给对应的类别中，计算每个病症类别的数据中心点，通常可取关键特征的均值作为数据中心点；
对于每一病症类别，通过计算关键特征之间的特征间距离和特征间方差，确定同一病症类别中，关键特征相关性、相似性，确定病症类别之间的类别距离，选择类别距离的最大值，识别最大值对应的两个病症类别，将其确定为基准类别，基于特征间距离的最近原则，对其他病症类别进行分配，即将每个病症类别分配到与其关键特征距离最近的基准类别中，然后开始迭代细分类别；
对于每个类别，通过递归更新类别中心点位置，计算每个病症类别的新的数据中心点，确定新的基准类别，重新根据特征间距离的最近原则将每个病症类别分配到最近的新的基准类别中，重复迭代，检查病症分类是否还会发生变化，如果病症类别的分配不再变化，表示神经内科病症分类已经稳定，模型训练完成；最终的病症分类即为最后一轮稳定时各个病症类别所属的基准类别，确保模型在给定数据下找到了合适的病症分类方式。
在本实施例中，递归更新基准类别和重新分配，使得病症分类模型具有自适应性，可以适应数据分布的变化；通过计算特征间距离和方差，模型可以综合考虑关键特征的多样性，更全面地描述病症类别内部的特征分布；采用最近原则进行类别分配，使每个病症类别更倾向于与最相似的基准类别关联，提高类别分配的准确性；递归更新和重新分配的迭代过程可以确保模型在收敛时获得稳定的病症分类结果，提高了模型的鲁棒性。
图2为本发明实施例基于多模态信息的神经内科病症识别系统的结构示意图，如图2所示，所述系统包括：
第一单元，用于采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
第二单元，用于对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
第三单元，用于将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.基于多模态信息的神经内科病症识别方法，其特征在于，包括：
采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
2.根据权利要求1所述的方法，其特征在于，采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
基于所述多模态数据，设置第一融合调节因子，确定单个模态内部的内部相似度，设置第二融合调节因子，确定模态之间的外部相似度；
基于所述内部相似度和所述外部相似度，构建相似度矩阵，经过拉普拉斯变换，确定结构矩阵，基于所述结构矩阵，确定正则化项，构建融合损失函数，建立特征融合模型；
迭代更新所述第一融合调节因子和所述第二融合调节因子，使所述融合损失函数最小，完成所述特征融合模型训练。
3.根据权利要求2所述的方法，其特征在于，还包括：
构建所述相似度矩阵，其公式如下：
;
其中，S表示相似度矩阵，γ表示第一融合调节因子，χ表示第二融合调节因子，M表示模态总数量，S(1,1)、S(2,2)、S(M,M)表示内部相似度，S(1,2)、S(2,1)、S(1,M)、S(2,M)、S(M,1)、S(M,2)表示两个模态之间的外部相似度；
所述相似度矩阵，经过拉普拉斯变换，确定结构矩阵L，基于所述结构矩阵，确定正则化项，其公式如下：
;
其中，ψ(w,γ,χ)表示正则化项,基于权重向量w、第一融合调节因子γ和第二融合调节因子χ确定，X(1)表示模态1对应的数据集，X(2)表示模态2对应的数据集，X(M)表示模态M对应的数据集，w(1)表示模态1的权重向量，w(2)表示模态2的权重向量，w(M)表示模态M的权重向量，L表示结构矩阵；
所述融合损失函数，其公式如下：
;
其中，H(w)表示融合损失函数结果，m表示模态序号，Y表示标签，X(m)表示模态m对应的数据集，w(m)表示模态m的权重向量，λ m 表示模态m的L1正则化系数。
4.根据权利要求1所述的方法，其特征在于，对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
基于预设的分路数量，将所述融合特征图切分成对应数量的分路；
基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量，其中，所述特征向量包括查询向量、键向量和值向量；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，通过连接每个所述分路，输出注意力结果；
基于所述注意力结果，确定特征重要性，获得关键特征。
5.根据权利要求4所述的方法，其特征在于，基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量还包括：
所述特征向量，其公式如下：
;
其中，Q i 表示第i分路的查询向量，F表示输入的融合特征图，W i Q 表示第i分路的查询向量对应的权重矩阵，K i 表示第i分路的键向量，W i K 表示第i分路的键向量对应的权重矩阵，V i 表示第i分路的值向量，W i V 表示第i分路的值向量对应的权重矩阵；
基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，其公式如下：
;
其中，Attention()表示注意力计算结果，K i T 表示第i分路的键向量的转置，d ik 表示第i分路的键向量对应的维度，表示缩放因子。
6.根据权利要求1所述的方法，其特征在于，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类包括：
收集神经内科的病症数据，划分病症类别；
基于所述病症类别，分配关键特征，基于所述关键特征的对应数据，确定所述病症类别的数据中心点；
通过计算所述病症类别内所述关键特征的特征间距离，以及特征间方差，确定所述病症类别之间的类别距离；
识别所述类别距离的最大值对应的两个所述病症类别，确定基准类别，基于所述特征间距离的最近原则，对其他所述病症类别进行类别分配；
递归更新类别中心，并对病症类别进行重新分配，直到所述神经内科病症分类不变，确定病症分类。
7.基于多模态信息的神经内科病症识别系统，用于实现前述权利要求1-6中任一项所述的基于多模态信息的神经内科病症识别方法，其特征在于，包括：
第一单元，用于采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
第二单元，用于对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征；
第三单元，用于将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338488.2A CN117934981B (zh) | 2024-03-25 | 2024-03-25 | 基于多模态信息的神经内科病症识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338488.2A CN117934981B (zh) | 2024-03-25 | 2024-03-25 | 基于多模态信息的神经内科病症识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934981A true CN117934981A (zh) | 2024-04-26 |
| CN117934981B CN117934981B (zh) | 2024-05-31 |
Family
ID=90768633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410338488.2A Active CN117934981B (zh) | 2024-03-25 | 2024-03-25 | 基于多模态信息的神经内科病症识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934981B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112863664A (zh) * | 2020-12-30 | 2021-05-28 | 无锡太湖学院 | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 |
| CN115019405A (zh) * | 2022-05-27 | 2022-09-06 | 中国科学院计算技术研究所 | 一种基于多模态融合的肿瘤分类方法及系统 |
| CN115205989A (zh) * | 2022-08-02 | 2022-10-18 | 中国科学技术大学 | 一种用于自然手势识别的多模态混合融合方法及其应用 |
| US20230104158A1 (en) * | 2021-10-05 | 2023-04-06 | Neumora Therapeutics, Inc. | Machine learning systems for training encoder and decoder neural networks |
| CN116797572A (zh) * | 2023-06-26 | 2023-09-22 | 浙江大学 | 基于多模态数据的类风湿关节炎活动度分级装置 |
| CN116883768A (zh) * | 2023-07-26 | 2023-10-13 | 郑州大学 | 基于多模态特征融合的肺结节智能分级方法及系统 |
-
2024
- 2024-03-25 CN CN202410338488.2A patent/CN117934981B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112863664A (zh) * | 2020-12-30 | 2021-05-28 | 无锡太湖学院 | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 |
| US20230104158A1 (en) * | 2021-10-05 | 2023-04-06 | Neumora Therapeutics, Inc. | Machine learning systems for training encoder and decoder neural networks |
| CN115019405A (zh) * | 2022-05-27 | 2022-09-06 | 中国科学院计算技术研究所 | 一种基于多模态融合的肿瘤分类方法及系统 |
| CN115205989A (zh) * | 2022-08-02 | 2022-10-18 | 中国科学技术大学 | 一种用于自然手势识别的多模态混合融合方法及其应用 |
| CN116797572A (zh) * | 2023-06-26 | 2023-09-22 | 浙江大学 | 基于多模态数据的类风湿关节炎活动度分级装置 |
| CN116883768A (zh) * | 2023-07-26 | 2023-10-13 | 郑州大学 | 基于多模态特征融合的肺结节智能分级方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李刚;王超;韩德鹏;刘强伟;李莹;: "基于深度主成分相关自编码器的多模态影像遗传数据研究", 计算机科学, no. 04, 16 December 2019 (2019-12-16) * |
| 王鑫;高原;王彬;孙婕;相洁;: "多模态网络融合在轻度认知障碍分类中的应用", 计算机应用, no. 12, 5 August 2019 (2019-08-05) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934981B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nawaz et al. | A deep feature-based real-time system for Alzheimer disease stage detection | |
| Giovannucci et al. | CaImAn an open source tool for scalable calcium imaging data analysis | |
| Akkus et al. | Deep learning for brain MRI segmentation: state of the art and future directions | |
| CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| Shen et al. | MRI fuzzy segmentation of brain tissue using neighborhood attraction with neural-network optimization | |
| WO2018204311A1 (en) | Deep learning architecture for cognitive examination subscore trajectory prediction in alzheimer's disease | |
| George et al. | Computer assisted recognition of breast cancer in biopsy images via fusion of nucleus-guided deep convolutional features | |
| Zhu et al. | Multi-modal AD classification via self-paced latent correlation analysis | |
| Liu et al. | A classification model for the prostate cancer based on deep learning | |
| Gong et al. | Phenotype discovery from population brain imaging | |
| Hong et al. | Classification of cerebral microbleeds based on fully-optimized convolutional neural network | |
| Gayathri et al. | Exploring the potential of vgg-16 architecture for accurate brain tumor detection using deep learning | |
| Amiri et al. | 3D cerebral MR image segmentation using multiple-classifier system | |
| Contardo et al. | Sequential cost-sensitive feature acquisition | |
| CN115409879A (zh) | 图像配准的数据处理方法及装置、存储介质、电子设备 | |
| Zhou et al. | Adaptive weighted locality-constrained sparse coding for glaucoma diagnosis | |
| Arunachalam et al. | An effective tumor detection in MR brain images based on deep CNN approach: i-YOLOV5 | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| Li et al. | Application of Clustering‐Based Analysis in MRI Brain Tissue Segmentation | |
| CN117036894B (zh) | 基于深度学习的多模态数据分类方法、装置及计算机设备 | |
| Dhinagar et al. | Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer’s Disease Detection | |
| CN113936172A (zh) | 一种基于集成学习融合多模式特征的疾病分类方法及设备 | |
| Yang et al. | CReg-KD: Model refinement via confidence regularized knowledge distillation for brain imaging | |
| Zhu et al. | A tensor statistical model for quantifying dynamic functional connectivity | |
| Liu et al. | PPA: principal parcellation analysis for brain connectomes and multiple traits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |