CN113555091A - 基于帕金森sMRI影像的病情分类系统、方法、装置 - Google Patents

基于帕金森sMRI影像的病情分类系统、方法、装置 Download PDF

Info

Publication number
CN113555091A
CN113555091A CN202111108856.7A CN202111108856A CN113555091A CN 113555091 A CN113555091 A CN 113555091A CN 202111108856 A CN202111108856 A CN 202111108856A CN 113555091 A CN113555091 A CN 113555091A
Authority
CN
China
Prior art keywords
feature
graph
characteristic
parkinson
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111108856.7A
Other languages
English (en)
Other versions
CN113555091B (zh
Inventor
杨闳竣
王恬
樊晨晨
侯增广
程龙
彭亮
王晨
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111108856.7A priority Critical patent/CN113555091B/zh
Publication of CN113555091A publication Critical patent/CN113555091A/zh
Application granted granted Critical
Publication of CN113555091B publication Critical patent/CN113555091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于医学图像分类技术领域，具体涉及一种基于帕金森sMRI影像的病情分类系统、方法、装置，旨在解决现有的病情分类单一的使用CNN或GCN模型，导致分类精度、鲁棒性差以及GCN大多利用手动选取特征构建图数据而造成的局限性问题。本发明系统包括：数据获取模块、特征提取模块、图表征构建模块、图表征更新模块、特征恢复模块、特征分类模块。本发明提升了病情分类的精度、鲁棒性。

Description

基于帕金森sMRI影像的病情分类系统、方法、装置
技术领域
本发明属于医学图像分类技术领域，具体涉及一种基于帕金森sMRI影像的病情分类系统、方法、装置。
背景技术
帕金森（Parkinson disease, PD）是一种常见于中老年人的神经退行性疾病。帕金森病的主要症状包含静止性震颤、运动减少、肌强直和姿势步态异常为特征，并伴有智能减退、行为情感异常、言语错乱等其它合并症。现有治疗手段仅能改善症状，无法阻止病情进展。通常，临床症状的出现发生在患者大脑中多巴胺神经元丢失达到一定程度后。
随着医学影像技术的发展，目前已可借助医学影像（例如sMRI）进行早期帕金森病情分类。而且随着深度学习技术的逐渐成熟，在计算机视觉领域取得优异表现的CNN模型被逐渐应用至基于sMRI的帕金森病情分类中，提供数据驱动的客观分析。
尽管CNN模型能捕捉sMRI的局部特征，但其在基于sMRI的帕金森病情分类上的应用仍存在一定缺陷。帕金森的进展过程会同时对大脑多个脑区造成影响。除了CNN擅长提取的局部脑区特征外，对不同脑区之间的联系的捕捉也起到至关重要的作用，有助于更精准的帕金森病情分类，而CNN难以捕捉此类在空间上相隔较远的区域间的联系。
帕金森对大脑不同区域及区域间联系的影响可借助图结构进行表征。通过将大脑组织成图数据，以大脑不同区域作为节点，用节点间的边描述不同区域间的联系。图结构的引入有助于对帕金森病导致的大脑异常进行更全面的捕捉。而目前的基于GCN的方法大多基于手动选取的特征（例如不同脑区的厚度、体积等信息）来构建图数据，具有一定局限性。因此，本发明通过将GCN与CNN结合，弥补当前CNN在帕金森病情分类应用上的缺陷。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的病情分类单一的使用CNN或GCN模型，导致分类精度、鲁棒性差以及GCN大多利用手动选取特征构建图数据而造成的局限性问题，本发明提出了一种基于帕金森sMRI影像的病情分类系统，该系统包括：数据获取模块、特征提取模块、图表征构建模块、图表征更新模块、特征恢复模块、特征分类模块；
所述数据获取模块，配置为基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述特征提取模块，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
所述图表征构建模块，配置为对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
所述图表征更新模块，配置为将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
所述特征恢复模块，配置为将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
所述特征分类模块，配置为基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
在一些优选的实施方式中，“对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵”，其方法为：
Figure 453991DEST_PATH_IMAGE001
其中，
Figure 773108DEST_PATH_IMAGE002
表示节点特征矩阵，
Figure 520485DEST_PATH_IMAGE003
表示卷积层，
Figure 934148DEST_PATH_IMAGE004
表示尺度变换，
Figure 568523DEST_PATH_IMAGE005
表示第一 特征。
在一些优选的实施方式中，“基于所述第一特征，通过预设的邻接矩阵构建方法构建邻接矩阵”，其方法为：
通过最大池化层对所述第一特征降采样，得到降维后的特征
Figure 776651DEST_PATH_IMAGE006
；
通过两个卷积层分别对
Figure 745744DEST_PATH_IMAGE006
进行卷积，并进行矩阵相乘、激活函数处理，得到中间 变量
Figure 431940DEST_PATH_IMAGE007
；
对
Figure 170089DEST_PATH_IMAGE007
进行边归一化、转换无向图处理，得到邻接矩阵
Figure 565429DEST_PATH_IMAGE008
。
在一些优选的实施方式中，所述
Figure 756239DEST_PATH_IMAGE007
，其获取方法为：
Figure 511705DEST_PATH_IMAGE009
Figure 838782DEST_PATH_IMAGE010
其中，
Figure 654291DEST_PATH_IMAGE005
表示第一特征，
Figure 332397DEST_PATH_IMAGE011
表示最大池化层，
Figure 642287DEST_PATH_IMAGE006
表示池化降采样后的特征，
Figure 89448DEST_PATH_IMAGE012
表示激活函数，
Figure 544701DEST_PATH_IMAGE013
表示卷积层，
Figure 975682DEST_PATH_IMAGE014
表示卷积层，
Figure 807372DEST_PATH_IMAGE015
表示转置。
在一些优选的实施方式中，所述特征提取器、所述GCN模型与所述分类器，其训练方法为：
A10，获取帕金森sMRI训练样本影像及其对应的分类结果真值标签；
A20，通过所述数据获取模块-所述特征分类模块的方法获取所述帕金森sMRI训练样本影像对应的分类预测结果；并基于所述分类预测结果与对应的分类结果真值标签，计算损失值；
步骤A30，固定所述特征提取器、所述GCN模型的参数，基于所述损失值对所述分类器的参数进行更新；
步骤A40，循环步骤A10-步骤A30，直至得到训练好的分类器；
步骤A50，执行步骤A10-步骤A20，固定训练好的分类器的参数，基于所述损失值，对所述特征提取器、所述GCN模型的参数进行更新；
步骤A60，循环执行步骤A50，直至得到训练好的特征提取器、GCN模型；
步骤A70，执行步骤A10-步骤A20，基于所述损失值对训练好的特征提取器、GCN模型、分类器的参数进行更新；
步骤A80，循环执行步骤A70，直至得到训练好的特征提取器、GCN模型、分类器。
在一些优选的实施方式中，所述GCN模型基于三个图卷积层构建，每个图卷积层后有一个非线性函数Relu。
本发明的第二方面，提出了一种基于帕金森sMRI影像的病情分类方法，该方法包括以下步骤：
步骤S100，基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
步骤S200，通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
步骤S300，对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
步骤S400，将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
步骤S500，将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
步骤S600，基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
本发明的第三方面，提出了一种基于帕金森sMRI影像的病情分类装置，该装置包括：sMRI影像采集设备、中央处理设备；
所述sMRI影像采集设备，用于采集帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述中央处理设备，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
本发明的有益效果：
本发明提升了病情分类的精度、鲁棒性。
本发明采用CNN与GCN相结合的方式进行帕金森病情分类。即利用CNN进行局部特征提取，基于所提取特征自适应构建图表征，并借助GCN对图数据特征进行聚合及更新。同时考虑了帕金森病程对大脑局部区域及不同区域间联系的影响。借助CNN和GCN模型进行基于sMRI的病情分类，挖掘出帕金森对局部脑区及不同脑区间的潜在关联影响，有效弥补了目前单纯采用CNN病情分类时，对远距离区域间联系感知能力弱的缺陷，导致分类精度、鲁棒性较差的问题。
本发明提出了一种基于特征图的自适应图表征构建方式，通过建立CNN模型，将sMRI影像转化为特征图。通过自适应图表征构建方法，将特征图自适应转换为图数据，解决了目前GCN大多利用手动选取特征构建图数据而造成的局限性问题。通过提取节点特征，构建邻接矩阵，进而获取不同区域间的联系，提升了特征表征的鲁棒性，为后续高精度的病情分类提供了有效的保障。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1 是本发明一种实施例的基于帕金森sMRI影像的病情分类系统的框架示意图；
图2为本发明一种实施例的特征提取器、GCN模型、分类器的训练以及使用流程示意图；
图3是本发明一种实施例的基于帕金森sMRI影像的病情分类方法的简易流程示意图；
图4为本发明一种实施例的图表征构建的框架示意图；
图5 是本发明一种实施例的图表征更新的框架示意图；
图6是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于帕金森sMRI影像的病情分类系统，如图1所示，该系统包括：数据获取模块100、特征提取模块200、图表征构建模块300、图表征更新模块400、特征恢复模块500、特征分类模块600；
所述数据获取模块100，配置为基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述特征提取模块200，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
所述图表征构建模块300，配置为对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
所述图表征更新模块400，配置为将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
所述特征恢复模块500，配置为将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
所述特征分类模块600，配置为基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
为了更清晰地对本发明基于帕金森sMRI影像的病情分类系统进行说明，下面对本发明方法一种实施例中各模块进行展开详述。
在下述的实施例中，先对通过基于帕金森sMRI影像的病情分类系统获取分类结果的过程进行描述，再对特征提取器、GCN模型与分类器的训练过程进行描述。
1、基于帕金森sMRI影像的病情分类系统
本发明研究了一种基于帕金森sMRI影像的病情分类系统，创新地将CNN与GCN结合，同时考虑局部脑区特征及不同脑区间的联系进行病情分类。基于CNN提取的特征图，自适应地构建大脑图表征，并借助GCN进行特征更新，弥补了单一使用CNN模型时忽略了不同脑区潜在联系的不足，如图3所示。该分类系统包括数据获取模块100、特征提取模块200、图表征构建模块300、图表征更新模块400、特征恢复模块500、特征分类模块600，各模块的具体功能如下：
所述数据获取模块100，配置为基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
在本实施例中，获取帕金森sMRI（structural Magnetic Resonance Imaging，即结构性磁共振成像，一种医学影像技术，具有无创、无辐射、空间分辨率高的特点）影像，得到待分类的sMRI影像数据。
所述特征提取模块200，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
在本实施例中，采用3D CNN网络构建特征提取器，对输入的原始sMRI（三维数据， 本发明优选为
Figure 374619DEST_PATH_IMAGE016
）进行特征提取。通过堆叠卷积、池化、非线性激活等操作 对所提取特征逐步抽象，得到特征图。本发明中3D CNN网络优选为3D版本的resnet18的浅 层网络，得到大小为
Figure 34662DEST_PATH_IMAGE017
的特征图
Figure 687361DEST_PATH_IMAGE018
。
所述特征提取器包括卷积层（conv）最大池化层（max_pool）、两个残差卷积层（residual conv），所述残差卷积层用于提取特征；其网络结构如表1所示：
表1
Figure 322741DEST_PATH_IMAGE019
所述图表征构建模块300，配置为对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
在本实施例中，在对sMRI进行特征提取时，同时考虑局部特征和不同区域特征间的联系，进而更好地捕获帕金森引起的大脑异常。采用图数据形式描述大脑网络，基于上述模块中借助CNN得到的特征图，自适应地构建大脑的图表征，得到相应节点特征，及描述节点间联系的邻接矩阵。具体如下：
基于CNN提供的特征图
Figure 744495DEST_PATH_IMAGE020
进行自适应图表征（即图）的构建。将
Figure 807129DEST_PATH_IMAGE005
转 换为由
Figure 681544DEST_PATH_IMAGE021
个节点
Figure 871348DEST_PATH_IMAGE022
及对应的边
Figure 413188DEST_PATH_IMAGE023
组成的图表征
Figure 646723DEST_PATH_IMAGE024
。如图4所示， 图表征的构建可分为节点特征
Figure 8435DEST_PATH_IMAGE002
的提取和邻接矩阵
Figure 251197DEST_PATH_IMAGE008
的构建两部分。
节点特征矩阵
Figure 381964DEST_PATH_IMAGE002
的获得依赖于卷积核大小为
Figure 537133DEST_PATH_IMAGE025
，步长为2的卷积层（用 emb表示），经过emb处理后，进行尺度变换（用R表示），最终得到
Figure 651720DEST_PATH_IMAGE026
，如公式（1） 所示：
Figure 167015DEST_PATH_IMAGE001
（1）
其中，
Figure 417867DEST_PATH_IMAGE002
表示节点特征矩阵，
Figure 258784DEST_PATH_IMAGE003
表示卷积层，
Figure 595088DEST_PATH_IMAGE004
表示尺度变换，
Figure 664806DEST_PATH_IMAGE005
表示第一 特征。
邻接矩阵
Figure 35745DEST_PATH_IMAGE008
的构建过程为：对于给定的特征图
Figure 781984DEST_PATH_IMAGE005
，首先通过最大池化层(
Figure 340004DEST_PATH_IMAGE027
)进行降采样，得到降维后的特征
Figure 462681DEST_PATH_IMAGE028
。随后，如公式(3)所示，通 过两个卷积层
Figure 688126DEST_PATH_IMAGE029
获得新的特征向量，并进行矩阵相乘，经过激活函数Tanh后得到中 间变量
Figure 355999DEST_PATH_IMAGE007
。
Figure 932473DEST_PATH_IMAGE007
经过后续处理（边归一化、转换无向图）得到最终的邻接矩阵
Figure 593262DEST_PATH_IMAGE008
。其中，
Figure 407634DEST_PATH_IMAGE007
的获取方法为：
Figure 761255DEST_PATH_IMAGE009
（2）
Figure 559447DEST_PATH_IMAGE010
（3）
其中，
Figure 774659DEST_PATH_IMAGE005
表示第一特征，
Figure 443537DEST_PATH_IMAGE011
表示最大池化层，
Figure 968060DEST_PATH_IMAGE006
表示池化降采样后的特征，
Figure 253547DEST_PATH_IMAGE012
表示激活函数，
Figure 256139DEST_PATH_IMAGE013
表示卷积层，
Figure 310682DEST_PATH_IMAGE014
表示卷积层，
Figure 756838DEST_PATH_IMAGE015
表示转置。
所述图表征更新模块400，配置为将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
在本实施例中，获得大脑的图表征后，将节点特征及邻接矩阵传入GCN模型。在更新图表征时，考虑不同节点间的联系，进行节点特征矩阵的聚合及更新，使具有较强联系的节点相互影响，如图5所示。具体为：
GCN模型接收上述获得的邻接矩阵和节点特征矩阵
Figure 998464DEST_PATH_IMAGE002
，通过三个图卷积层
Figure 804746DEST_PATH_IMAGE030
及非线性函数
Figure 979375DEST_PATH_IMAGE031
对节点特征进行聚合及更新，得到更新后的图
Figure 580121DEST_PATH_IMAGE033
。
所述特征恢复模块500，配置为将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
在本实施例中，完成图表征更新后，将所得的节点特征矩阵进行特征恢复，将其变 换至CNN可处理的特征图维度，以备后续特征提取及分类。即将更新后的图
Figure 574621DEST_PATH_IMAGE033
重建为与CNN 生成的特征图
Figure 935327DEST_PATH_IMAGE005
大小相同的数据维度，
Figure 698883DEST_PATH_IMAGE034
。
所述特征分类模块600，配置为基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
在本实施例中，基于所得特征图，借助CNN模型进行特征提取。通过分类器获得基于所得的高层特征的分类结果。具体为：
获得
Figure 470530DEST_PATH_IMAGE036
后，采用通过所述3D CNN网络构建的分类器进行特征提取，并通过全连接 层获得最终分类结果。
所述分类器包括两个残差卷积层（residual conv）、平均池化层（avg_pool）、全连接层（fc）。分类器的具体网络结构如表2所示：
表2
Figure 952327DEST_PATH_IMAGE037
需要说明的是，上述实施例提供的基于帕金森sMRI影像的病情分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
2、特征提取器、GCN模型与分类器的训练过程，如图2所示
在本发明中，为了提升模型的精度，提高分类的准确性，在训练过程中，采用分治思想，对模型进行分步训练，具体训练过程如下：
A10，获取帕金森sMRI训练样本影像及其对应的分类结果真值标签；
在本实施例中，首先获取帕金森sMRI训练样本影像以及对应的分类结果真值标签。
A20，通过所述数据获取模块-所述特征分类模块的方法获取所述帕金森sMRI训练样本影像对应的分类预测结果；并基于所述分类预测结果与对应的分类结果真值标签，计算损失值；
在本实施例中，基于获取的获取帕金森sMRI训练样本影像，提取帕金森sMRI数据，通过特征提取器、GCN模型和分类器的处理（即所述数据获取模块-所述特征分类模块的方法），得到所述帕金森sMRI训练样本影像对应的分类预测结果。
基于所述分类预测结果与对应的分类结果真值标签，计算损失。
步骤A30，固定所述特征提取器、所述GCN模型的参数，基于所述损失值对所述分类器的参数进行更新；
步骤A40，循环步骤A10-步骤A30，直至得到训练好的分类器；
步骤A50，步骤A50，执行步骤A10-步骤A20，固定训练好的分类器的参数，基于所述损失值，对所述特征提取器、所述GCN模型的参数进行更新；
步骤A60，循环执行步骤A50，直至得到训练好的特征提取器、GCN模型；
步骤A70，执行步骤A10-步骤A20，基于所述损失值对训练好的特征提取器、GCN模型、分类器的模型参数进行更新；
步骤A80，循环执行步骤A70，直至得到训练好的特征提取器、GCN模型、分类器。
本发明第二实施例的一种基于帕金森sMRI影像的病情分类方法，如图4所示，包括以下步骤：
步骤S100，基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
步骤S200，通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
步骤S300，对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
步骤S400，将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
步骤S500，将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
步骤S600，基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的方法的具体的工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
本发明第三实施例的基于帕金森sMRI影像的病情分类装置，包括sMRI影像采集设备、中央处理设备；
所述sMRI影像采集设备，用于采集帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述中央处理设备包括GPU，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果。
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
本发明第四实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于帕金森sMRI影像的病情分类方法。
本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于帕金森sMRI影像的病情分类方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的基于帕金森sMRI影像的病情分类装置、电子设备以及计算机可读存储介质的具体工作过程及有关说明，可以参考前述系统实例中的对应过程，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统包括中央处理单元（CPU，Central Processing Unit）601，其可以根据存储在只读存储器（ROM，Read Only Memory）602中的程序或者从存储部分608加载到随机访问存储器（RAM，Random Access Memory）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM603通过总线604彼此相连。输入/输出（I/O，Input/Output）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分609。通讯部分609经由诸如因特网的网络执行通讯处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被CPU601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于帕金森sMRI影像的病情分类系统，其特征在于，该系统包括：数据获取模块、特征提取模块、图表征构建模块、图表征更新模块、特征恢复模块、特征分类模块；
所述数据获取模块，配置为基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述特征提取模块，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
所述图表征构建模块，配置为对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
所述图表征更新模块，配置为将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
所述特征恢复模块，配置为将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
所述特征分类模块，配置为基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
2.根据权利要求1所述的基于帕金森sMRI影像的病情分类系统，其特征在于，“对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵”，其方法为：
Figure 908779DEST_PATH_IMAGE001
其中，
Figure 560341DEST_PATH_IMAGE002
表示节点特征矩阵，
Figure 808919DEST_PATH_IMAGE003
表示卷积层，
Figure 187817DEST_PATH_IMAGE004
表示尺度变换，
Figure 736610DEST_PATH_IMAGE005
表示第一特征。
3.根据权利要求1所述的基于帕金森sMRI影像的病情分类系统，其特征在于，“基于所述第一特征，通过预设的邻接矩阵构建方法构建邻接矩阵”，其方法为：
通过最大池化层对所述第一特征降采样，得到降维后的特征
Figure 27914DEST_PATH_IMAGE006
；
通过两个卷积层分别对
Figure 29368DEST_PATH_IMAGE006
进行卷积，并进行矩阵相乘、激活函数处理，得到中间变量
Figure 962689DEST_PATH_IMAGE007
；
对
Figure 100409DEST_PATH_IMAGE007
进行边归一化、转换无向图处理，得到邻接矩阵
Figure 578926DEST_PATH_IMAGE008
。
4.根据权利要求3所述的基于帕金森sMRI影像的病情分类系统，其特征在于，所述中间 变量
Figure 802097DEST_PATH_IMAGE007
，其获取方法为：
Figure 273530DEST_PATH_IMAGE009
Figure 531336DEST_PATH_IMAGE010
其中，
Figure 430022DEST_PATH_IMAGE005
表示第一特征，
Figure 406068DEST_PATH_IMAGE011
表示最大池化层，
Figure 399301DEST_PATH_IMAGE006
表示池化降采样后的特征，
Figure 777192DEST_PATH_IMAGE012
表示激活函数，
Figure 846779DEST_PATH_IMAGE013
表示卷积层，
Figure 44543DEST_PATH_IMAGE014
表示卷积层，
Figure 857778DEST_PATH_IMAGE015
表示转置。
5.根据权利要求1所述的基于帕金森sMRI影像的病情分类系统，其特征在于，所述特征提取器、所述GCN模型与所述分类器，其训练方法为：
A10，获取帕金森sMRI训练样本影像及其对应的分类结果真值标签；
A20，通过所述数据获取模块-所述特征分类模块的方法获取所述帕金森sMRI训练样本影像对应的分类预测结果；并基于所述分类预测结果与对应的分类结果真值标签，计算损失值；
步骤A30，固定所述特征提取器、所述GCN模型的参数，基于所述损失值对所述分类器的参数进行更新；
步骤A40，循环步骤A10-步骤A30，直至得到训练好的分类器；
步骤A50，执行步骤A10-步骤A20，固定训练好的分类器的参数，基于所述损失值，对所述特征提取器、所述GCN模型的参数进行更新；
步骤A60，循环执行步骤A50，直至得到训练好的特征提取器、GCN模型；
步骤A70，执行步骤A10-步骤A20，基于所述损失值对训练好的特征提取器、GCN模型、分类器的模型参数进行更新；
步骤A80，循环执行步骤A70，直至得到训练好的特征提取器、GCN模型、分类器。
6.根据权利要求1所述的基于帕金森sMRI影像的病情分类系统，其特征在于，所述GCN模型基于三个图卷积层构建，每个图卷积层后有一个非线性函数Relu。
7.一种基于帕金森sMRI影像的病情分类方法，其特征在于，该方法包括：
步骤S100，基于获取的帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
步骤S200，通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；
步骤S300，对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；
步骤S400，将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；
步骤S500，将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；
步骤S600，基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个残差卷积层、平均池化层、全连接层。
8.一种基于帕金森sMRI影像的病情分类装置，其特征在于，该装置包括：sMRI影像采集设备、中央处理设备；
所述sMRI影像采集设备，用于采集帕金森sMRI影像，得到待分类的sMRI影像数据，作为输入数据；
所述中央处理设备，配置为通过预训练的特征提取器提取所述输入数据的特征，作为第一特征；对所述第一特征进行卷积、尺度变换处理，得到节点特征矩阵；基于所述第一特征，通过预设的邻接矩阵构建方法得到邻接矩阵；结合所述节点特征矩阵、所述邻接矩阵，构建图；将构建好的图输入GCN模型，并对图中的节点特征矩阵进行聚合更新，得到更新后的图；将更新后的图的节点特征矩阵重建为与所述第一特征大小相同的数据维度，作为第二特征；基于所述第二特征，通过预训练的分类器，得到所述帕金森sMRI影像的分类结果；
所述特征提取器由3D CNN网络构建，包括卷积层、最大池化层、两个残差卷积层；所述分类器由3D CNN网络构建，包括两个3D残差卷积层、平均池化层、全连接层。
CN202111108856.7A 2021-09-22 2021-09-22 基于帕金森sMRI影像的病情分类系统、方法、装置 Active CN113555091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111108856.7A CN113555091B (zh) 2021-09-22 2021-09-22 基于帕金森sMRI影像的病情分类系统、方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111108856.7A CN113555091B (zh) 2021-09-22 2021-09-22 基于帕金森sMRI影像的病情分类系统、方法、装置

Publications (2)

Publication Number Publication Date
CN113555091A true CN113555091A (zh) 2021-10-26
CN113555091B CN113555091B (zh) 2022-02-08

Family

ID=78106490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111108856.7A Active CN113555091B (zh) 2021-09-22 2021-09-22 基于帕金森sMRI影像的病情分类系统、方法、装置

Country Status (1)

Country Link
CN (1) CN113555091B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN112733953A (zh) * 2021-01-19 2021-04-30 福州大学 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN113313164A (zh) * 2021-05-27 2021-08-27 复旦大学附属肿瘤医院 一种基于超像素分割与图卷积的数字病理图像分类方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN112733953A (zh) * 2021-01-19 2021-04-30 福州大学 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN113313164A (zh) * 2021-05-27 2021-08-27 复旦大学附属肿瘤医院 一种基于超像素分割与图卷积的数字病理图像分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪琳琳等: "结合卷积神经网络与图卷积网络的乳腺癌病理图像分类研究", 《北京生物医学工程》 *

Also Published As

Publication number Publication date
CN113555091B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
Costa et al. Towards adversarial retinal image synthesis
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
US10726555B2 (en) Joint registration and segmentation of images using deep learning
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN112446380A (zh) 图像处理方法和装置
CN112446834A (zh) 图像增强方法和装置
WO2022242392A1 (zh) 血管图像分类处理方法、装置、设备及存储介质
CN113688862B (zh) 一种基于半监督联邦学习的脑影像分类方法及终端设备
Cheng et al. I-secret: Importance-guided fundus image enhancement via semi-supervised contrastive constraining
CN114187624B (zh) 图像生成方法、装置、电子设备及存储介质
Goyal et al. A weighted least squares optimisation strategy for medical image super resolution via multiscale convolutional neural networks for healthcare applications
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
CN113449851A (zh) 数据处理方法及设备
An et al. EIEN: endoscopic image enhancement network based on retinex theory
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
Ngo et al. Automating a dehazing system by self-calibrating on haze conditions
CN111507950B (zh) 图像分割的方法和装置、电子设备及计算机可读存储介质
CN113555091B (zh) 基于帕金森sMRI影像的病情分类系统、方法、装置
Zhou et al. High-resolution hierarchical adversarial learning for OCT speckle noise reduction
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
Khalid et al. FGR-Net: interpretable fundus image gradeability classification based on deep reconstruction learning
CN115691770A (zh) 基于条件分数的跨模态医学影像补全方法、装置及设备
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
Raj et al. SpFusionNet: deep learning-driven brain image fusion with spatial frequency analysis
CN113409324A (zh) 一种融合微分几何信息的脑分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant