CN115937129B - 基于多模态磁共振影像的左右半脑关系的处理方法及装置 - Google Patents
基于多模态磁共振影像的左右半脑关系的处理方法及装置 Download PDFInfo
- Publication number
- CN115937129B CN115937129B CN202211531797.9A CN202211531797A CN115937129B CN 115937129 B CN115937129 B CN 115937129B CN 202211531797 A CN202211531797 A CN 202211531797A CN 115937129 B CN115937129 B CN 115937129B
- Authority
- CN
- China
- Prior art keywords
- brain
- magnetic resonance
- image data
- encoder
- resonance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 573
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 title claims description 52
- 238000003672 processing method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 28
- 238000012512 characterization method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000007427 paired t-test Methods 0.000 description 9
- 210000004885 white matter Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 210000004884 grey matter Anatomy 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000000611 regression analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000007473 univariate analysis Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000005154 hemibrain Anatomy 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012307 MRI technique Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请提供一种基于多模态磁共振影像的左右半脑关系的处理方法及装置，方法包括：对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；将左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型，以使该对比学习模型输出左脑磁共振图像数据对应的左脑特异性特征、右脑磁共振图像数据对应的右脑特异性特征、以及左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征。本申请能够有效分离及识别脑图像中左、右脑的共性特征和各个半球的特异性特征，有效提高脑图像中特征识别的全面性、准确性及应用有效性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及基于多模态磁共振影像的左右半脑关系的处理方法及装置。
背景技术
多模态磁共振影像技术(结构、扩散和功能磁共振成像)的发展为全面解读活体人脑偏侧化提供重要手段。已有研究利用磁共振成像探讨人脑左右半球的关系。然而多数研究都是基于单变量模型进行单变量配对t检验。然而需要指出的是，基于单变量配对t检验的分析方法缺乏对半脑内部系统水平信息的参考，因此，在脑图像处理过程中，需要在多模态磁共振脑影像中提取偏侧的特征(即：左、右脑特异性特征)时，还进一步提取非偏侧(左、右脑之间的共性特征)的特征。
然而，在当前针对多模态磁共振脑图像处理中，尚无一种能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征的智能处理方式。
发明内容
鉴于此，本申请实施例提供了基于多模态磁共振影像的左右半脑关系的处理方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的一个方面提供了一种基于多模态磁共振影像的左右半脑关系的处理方法，包括：
对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；
将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系。
在本申请的一些实施例中，所述对比学习模型的特征提取编码器包括第一编码器、第二编码器、第三编码器和一个解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据。
在本申请的一些实施例中，所述将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型学习并输出左右半脑特异性特征和左右半脑共性特征，包括：
将所述左脑磁共振图像数据和右脑磁共振图像数据输入所述对比学习模型的第一编码器，并将所述左脑磁共振图像数据和右脑磁共振图像数据分别输入所述第二编码器和第三编码器，以使所述第一编码器分别与第二编码器和第三编码器经过特征对比后，所述第一编码器输出所述左右半脑共性特征，所述第二编码器和第三编码器分别输出所述左脑特异性特征和所述右脑特异性特征。
在本申请的一些实施例中，所述对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据，包括：
将对被试个体的多模态磁共振脑影像数据依次进行配准到预设的标准对称模板、阈值化处理以及左右脑划分处理，以得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据。
在本申请的一些实施例中，还包括：
分别获取所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据；
以及，获取所述被试个体的脑非影像数据，并获取该脑非影像数据的被试间相似度数据；
对所述被试个体的脑非影像数据的被试间相似度数据、所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据进行表征相似性比较，以得到对应的表征相似性比较结果数据。
在本申请的一些实施例中，所述分别获取所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据，包括：
基于表征相似性分析方法RSA分别获取所述左右半脑共性特征的表征不相似性矩阵RDMc、左脑特异性特征和右脑特异性特征各自对应的表征不相似性矩阵RDMs；
相对应的，所述获取该脑非影像数据的被试间相似度数据，包括：
基于所述表征相似性分析方法RSA获取该脑非影像数据的表征不相似性矩阵RDMo。
本申请的另一个方面提供了一种基于多模态磁共振影像的左右半脑关系的处理装置，包括：
预处理模块，用于对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；
特征提取模块，用于将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系。
在本申请的一些实施例中，基于多模态磁共振影像的左右半脑关系的处理装置中提及的所述对比学习模型的特征提取编码器包括第一编码器、第二编码器、第三编码器和一个解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据。
本申请的另一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于多模态磁共振影像的左右半脑关系的处理方法。
本申请的另一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于多模态磁共振影像的左右半脑关系的处理方法。
本申请提供的基于多模态磁共振影像的左右半脑关系的处理方法，对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型，以使该对比学习模型输出所述左脑磁共振图像数据对应的左脑特异性特征、所述右脑磁共振图像数据对应的右脑特异性特征、以及所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征，能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征，能够有效提高脑图像中特征识别的全面性及准确性，并能够有效提高及应用有效性脑图像处理结果的应用可靠性及有效性，在可从系统层面分离左、右半脑共性的特征和各个半球特异的特征；能够有效解决现有左右半脑关系分析算法采用单变量分析方法(例如配对t检验、配对回归分析等)中忽略半脑内整体信息的缺点，进而能够有效提高左右半脑关系分析算法的可靠性及准确性。
本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。附图中的部件不是成比例绘制的，而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分，附图中对应部分可能被放大，即，相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本申请一实施例中的基于多模态磁共振影像的左右半脑关系的处理方法的总流程示意图。
图2为本申请一实施例中的对比学习模型的结构示意图。
图3为本申请一实施例中的基于多模态磁共振影像的左右半脑关系的处理方法的一种具体流程示意图。
图4为本申请一实施例中的对比学习模型的应用举例示意图。
图5为本申请另一实施例中的基于多模态磁共振影像的左右半脑关系的处理装置的结构示意图。
图6为本申请应用实例中提供的基于对比学习模型的基于多模态磁共振影像的左右半脑关系的处理方法的流程举例示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本申请做进一步详细说明。在此，本申请的示意性实施方式及其说明用于解释本申请，但并不作为对本申请的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本申请，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
在本申请的一个或多个实施例中，左脑的表述与左半脑含义相同；类似的，右脑与右半脑的表述含义也相同。
人脑由左右半球组成。左右半脑的关系一直是神经科学和医学领域的重要研究课题之一。多模态磁共振影像技术(结构、扩散和功能磁共振成像)的发展为全面解读活体人脑偏侧化提供重要手段。已有研究利用磁共振成像探讨人脑左右半球的关系。然而多数研究都是基于单变量模型。例如，基于磁共振成像技术的单变量配对t检验的统计研究表明，正常人类大脑的一些结构表型(如脑灰质体积、皮层厚度、脑白质完整性及脑功能活动等)在群体水平上呈现显著的“方向性偏侧化”(即一侧半脑的值显著大于另一侧半脑的值)，这些脑表型的偏侧化被认为是语言、情绪等认知功能偏侧化的结构基础。此外研究表明，许多精神和神经系统疾病(例如：阅读障碍、精神分裂症等)患者的大脑呈现异常的偏侧化模式，这种异常为我们理解脑疾病的病理机制提供新的视角，也表明大脑偏侧化指标具备作为疾病的神经影像标记物的潜能。然而需要指出的是，基于单变量配对t检验的分析方法缺乏对半脑内部系统水平信息的参考。
基于此，为了提高人脑左右半球关系分析的全面性及可靠性，在脑图像处理过程中，需要在多模态磁共振脑影像中提取偏侧的特征(即：左、右脑特异性特征)时，还进一步提取非偏侧(左、右脑之间的共性特征)的特征。
然而，由于现有技术并未涉及能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征的智能处理方式，因此，经过大量的研究及验证，本申请设计了一种基于多模态磁共振影像的左右半脑关系的处理方法，利用对比学习模型，从系统水平提取左、右半脑共性特征和特异性特征。
具体通过下述实施例进行详细说明。
基于此，本申请实施例提供一种基于多模态磁共振影像的左右半脑关系的处理方法，参见图1，所述基于多模态磁共振影像的左右半脑关系的处理方法具体包含有如下内容：
步骤100：对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据。
可以理解的是，被试个体可以为动物个体等，被试个体的多模态磁共振脑影像数据为预先获取的数据。对被试个体的多模态磁共振脑影像数据进行预处理以得到对应的左脑磁共振图像数据和右脑磁共振图像数据的方式具体可以采用如fmriprep软件等现有软件实现，也可以基于预设的预处理逻辑进行处理，例如进行图像分割(分割成灰质、白质和脑脊液)、配准到标准对称模板、阈值化处理(得到个体的灰质体素掩模、白质体素掩模，去除非灰质非白质区域)、将标准空间下的多模态磁共振脑影像数据分成左右两个半脑、将左右半脑返回个体空间等等。
在一种具体举例中，所述多模态磁共振脑影像数据可以采用3D结构磁共振影像数据。所述左脑磁共振图像数据可以为左脑3D结构图像，也可以是3D弥散磁共振指标数据；所述右脑磁共振图像数据可以为右脑3D结构图像，也可以是3D弥散磁共振指标数据。
步骤200：将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系。
也就是说，步骤200将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型，以使该对比学习模型输出所述左脑磁共振图像数据对应的左脑特异性特征、所述右脑磁共振图像数据对应的右脑特异性特征、以及所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征，右脑特异性特征和左脑特异性特征组成左右半脑特异性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成被试个体的左右半脑关系结果数据。
在步骤200中，对比学习模型为预先训练得到的用于在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征的模型，该对比学习模型的输入包括：左脑磁共振图像数据和右脑磁共振图像数据；所述对比学习模型的输出包括：所述左脑磁共振图像数据对应的左脑特异性特征、所述右脑磁共振图像数据对应的右脑特异性特征、以及所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征。
从上述描述可知，本申请实施例提供的基于多模态磁共振影像的左右半脑关系的处理方法，能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征，能够有效提高脑图像中特征识别的全面性及准确性，并能够有效提高及应用有效性脑图像处理结果的应用可靠性及有效性，在可从系统层面分离左、右半脑共性的特征和各个半球特异的特征；能够有效解决现有左右半脑关系分析算法采用单变量分析方法(例如配对t检验、配对回归分析等)中忽略半脑内整体信息的缺点，进而能够有效提高左右半脑关系分析算法的可靠性及准确性。
为了进一步提高对比学习模型在左右脑分析的应用可靠性，在本申请实施例提供的一种基于多模态磁共振影像的左右半脑关系的处理方法中，参见图2，所述基于多模态磁共振影像的左右半脑关系的处理方法中的所述对比学习模型的特征提取编码器包括第一编码器、第二编码器、第三编码器和解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；所述解码器可以包含有左脑解码器和右脑解码器。
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据。
其中，如图2所示，对比学习模型的特征提取编码器也可以选用：三分对比变分自编码器，可简写为：Triple-CVAE。
为了进一步提高输出左右半脑共性特征、左脑特异性特征和右脑特异性特征的可靠性及有效性，在本申请实施例提供的一种基于多模态磁共振影像的左右半脑关系的处理方法中，参见图3，所述基于多模态磁共振影像的左右半脑关系的处理方法中的步骤200具体包含有如下内容：
步骤210：将所述左脑磁共振图像数据和右脑磁共振图像数据输入所述对比学习模型的第一编码器，并将所述左脑磁共振图像数据和右脑磁共振图像数据分别输入所述第二编码器和第三编码器，以使所述第一编码器分别与第二编码器和第三编码器经过特征对比后，所述第一编码器输出所述左右半脑共性特征，所述第二编码器和第三编码器分别输出所述左脑特异性特征和所述右脑特异性特征。
具体来说，对比学习模型的应用举例如图4所示，包括三个特征提取的概率编码器(第一概率编码器、第二概率编码器和第三概率编码器)和一个生成器。第一概率编码器qΦ(L,R)提取左右半脑共性特征Fz，也可以称之为左右脑共有的特征，第二概率编码器qΦ(R)提取右脑特异性特征FRs，第三概率编码器qΦ(L)提取左脑特异性特征FLs，FRs和FLs也可以共同称之为左右脑特有的特征。将左、右半脑的3D磁共振影像数据ImgL和ImgR作为三个特征提取编码器的输入。生成器接收来自三个特征提取编码器的输出特征，生成新数据和
其中，第一编码器、第二编码器和第三编器由两个3D卷积层、Flatten层、激活函数为ReLU的全连接层组成；解码器由两个激活函数为ReLU的全连接层、三个3D反卷积层组成。
通过对比重建损失减少重构前后误差，提升模型的重构能力，重构损失为输入的左、右半脑磁共振图像数据与生成的左右半脑磁共振图像数据的MSE，Lc＝MSEt＝MSEL+MSER。
其中，Lc代表重构损失；
其中，M为输入磁共振影像数据的ImgL或ImgR的体素总数，N为生成的磁共振影像数据的或/>的体素总数。
将第一编码器、第二编码器和第三编器分别表示为 分别是FZ、/>后验分布的近似估计，xi表示数据集中的样本，i＝1,...,n，实际训练中会区分左脑磁共振影像数据集和右脑磁共振影像数据集。
对和FZ生成的新数据/>有：
对和FZ生成的新数据/>有：
通过训练三个编码器网络以及两个分别以/>和FZ的拼接和以/>和FZ的拼接为输入并重建原始样本的解码器网络/>使得式(A)和(B)的目标函数之和最大化。
通过提高共性特征FZ、右半球特异性特征左半球特异性特征/>这三个潜特征两两之间的相互独立性，能更好的帮助模型提取出期望的特征。在目标函数中引入总相关TC：
其中Fone、代表其中任意两个不同的特征，/> 分别代表两个特征的概率编码器，
是Fone和Fano的联合分布概率,如果Fone与Fano相互独立，那么式(C)的值为0；否则，式(C)为负值。但是，直接计算上述公式比较困难，我们选择使用三个鉴别器去区分三对潜特征的/>和/>鉴别器与前面描述的编码器和解码器同时训练。
为了提高对被试个体的多模态磁共振脑影像数据进行预处理的有效性，在本申请实施例提供的一种基于多模态磁共振影像的左右半脑关系的处理方法中，参见图3，所述基于多模态磁共振影像的左右半脑关系的处理方法中的步骤100还具体包含有如下内容：
步骤110：将对被试个体的多模态磁共振脑影像数据依次进行配准到预设的标准对称模板、阈值化处理以及左右脑划分处理，以得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据。
具体来说，被试来源于HCPS1200数据库的3D结构磁共振数据，图像具体参数如下：其中，具体预处理过程如下：其中对3D结构磁共振数据进行①将3D结构图像配准到对称的模板上,获得个体到对称模板的变形场TR；②通过阈值算法(组织概率值<0.9)去除非灰质和非白质的体素；③计算变形场的逆变换，得到TR-1；④利用变形场TR-1将标准空间的左右两个半脑的3D结构图像分别返回个体空间，得到L-T1，R-T1；⑤将L-T1，R-T1图像进行重采样到64x64x64大小。
为了进一步提高脑图像处理结果的应用可靠性，在本申请提供的一种基于多模态磁共振影像的左右半脑关系的处理方法的实施例中，参见图3，所述基于多模态磁共振影像的左右半脑关系的处理方法中的步骤200之后还具体包含有如下内容：
步骤300：分别获取所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据；
步骤400：获取所述被试个体的脑非影像数据，并获取该脑非影像数据的被试间相似度数据；
步骤500：对所述被试个体的脑非影像数据的被试间相似度数据、所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据进行表征相似性比较，以得到对应的表征相似性比较结果数据。
具体来说，首先，利用对比学习模型得到的左右半脑共性特征和左右半脑特异性特征计算共性特征的被试间相似度矩阵、左半球特异性特征的被试间相似度矩阵和右半球特异性特征的被试间相似度矩阵。其次，基于行为数据计算被试间相似度矩阵。最后，比较影像数据和脑非影像数据的被试间相似度矩阵之间的关系。
为了进一步提高被试间相似度数据的获取可靠性及有效性，在本申请提供的一种基于多模态磁共振影像的左右半脑关系的处理方法的实施例中，所述基于多模态磁共振影像的左右半脑关系的处理方法中的步骤300还具体包含有如下内容：
步骤310：基于表征相似性分析方法RSA分别获取所述左右半脑共性特征的表征不相似性矩阵RDMc、左脑特异性特征和右脑特异性特征各自对应的表征不相似性矩阵RDMs。
相对应的，所述步骤400中的所述获取该脑非影像数据的被试间相似度数据还具体包含有如下内容：
步骤410：基于所述表征相似性分析方法RSA获取该脑非影像数据的表征不相似性矩阵RDMo。
可以理解的是，表征相似性分析RSA(Representational Similarity Analysis)作为MVPA方法的一种，通过计算不同条件下大脑中不同表征之间的相似度，已成为对比多模态神经数据的强有力工具。除了分析不同类别刺激在神经信号中的表征差异之外，还可构建行为与神经数据的相关性。比如，RSA可以用来比较社会情境相关的行为学测量(如比率，反应时，错误率或者潜在的语义分析指标等等)和同样刺激的神经激活反应。此外，RSA适用于研究人员比较来自不同空间尺度的数据(比如单神经元记录vs区域的激活)，甚至不同物种(猴vs人)之间的数据。在视觉研究中，可以参数化地操纵刺激维度，比如色调，亮度以及线条的朝向等等并测量视觉皮层的表征敏感度。比如面孔可以在一些维度上有所不同，如吸引度、年龄、性别和诚信度等等，比如动作可以在运动学、效应器、传递性和意图上有所不同，比如社会概念可以在情感和心理语言学的维度上有所不同以及友谊可以在他们的社会距离与网络拓扑上有所不同。
其中，RSA的基础是构建表征不相似性矩阵RDM(representationaldissimilarity matrix)。构建RDM时，所有刺激都要两两相互进行比较来得到一个对角对称的矩阵。可以用不相似性(比如1-皮尔逊相关系数)来计算，因为不相似指标也同样适用于一些其他的计算(比如多维尺度变换、潜在语义分析等等)，并且用不相似性更容易在概念上对结果进行理解。
具体来说，使用表征相似性分析RSA来探究对比变分自编码器提取的左右半脑特异性特征和共性特征分别与语言能力的相关性。具体步骤包括，首先分别计算基于半脑特异性特征的表征不相似性矩阵RDMs(representational dissimilarity matrices basedon specific features，也可以称之为：表征差异性矩阵)、基于左右半脑共性特征的表征不相似性矩阵RDMc(representational dissimilarity matrices based on commonfeatures)和基于语言的表征不相似性矩阵RDMo(representational dissimilaritymatrices based on non-neuroimaging features)。其次，进行RDM之间的比较。
关于构建RDMs和RDMc。构建基于解剖的RDM，输入左/右半球的解剖图像至训练好的对比学习模型中，得到左右半脑共性特征和左右半脑特异性特征，计算任意被试对之间的相似度，分别得到共性特征的RDMc和左右半球特异性特征的RDMs；构建基于被试其他属性的RDMo，这些属性可以是连续变量，也可以是分类变量。针对连续变量，可以采用皮尔森相关系数等方法量化被试间相似度；针对性别等分类变量，被试之间相同，相似度即为1，反之，为0。
构建RDM之后，使用肯德尔等级相关对基于解剖的左右半脑特异性特征的RDMs和基于被试其他属性的RDM进行比较。为了使RSA更具有鲁棒性，对每个ASD被试进行10次采样，然后使用单样本t检验确定基于解剖的左右半脑特异性特征的RDMs与基于被试其他属性的RDM之间的相关性是否大于零。
从软件层面来说，本申请还提供一种用于执行所述基于多模态磁共振影像的左右半脑关系的处理方法中全部或部分内的基于多模态磁共振影像的左右半脑关系的处理装置，参见图5，所述基于多模态磁共振影像的左右半脑关系的处理装置具体包含有如下内容：
预处理模块10，用于对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；
特征提取模块20，用于将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系。
也就是说，特征提取模块将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型，以使该对比学习模型输出所述左脑磁共振图像数据对应的左脑特异性特征、所述右脑磁共振图像数据对应的右脑特异性特征、以及所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征。
为了进一步提高对比学习模型在左右脑分析的应用可靠性，在本申请实施例提供的一种基于多模态磁共振影像的左右半脑关系的处理装置中，所述基于多模态磁共振影像的左右半脑关系的处理方法中的所述对比学习模型包括第一编码器、第二编码器、第三编码器和解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据。
本申请提供的基于多模态磁共振影像的左右半脑关系的处理装置的实施例具体可以用于执行上述实施例中的基于多模态磁共振影像的左右半脑关系的处理方法的实施例的处理流程，其功能在此不再赘述，可以参照上述基于多模态磁共振影像的左右半脑关系的处理方法实施例的详细描述。
所述基于多模态磁共振影像的左右半脑关系的处理装置进行脑图像处理的部分可以在服务器中执行，而在另一种实际应用情形中，也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于脑图像处理的具体处理。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
从上述描述可知，本申请实施例提供的基于多模态磁共振影像的左右半脑关系的处理装置，能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征，能够有效提高脑图像中特征识别的全面性及准确性，并能够有效提高及应用有效性脑图像处理结果的应用可靠性及有效性，在可从系统层面分离左、右半脑共性的特征和各个半球特异的特征；能够有效解决现有左右半脑关系分析算法采用单变量分析方法(例如配对t检验、配对回归分析等)中忽略半脑内整体信息的缺点，进而能够有效提高左右半脑关系分析算法的可靠性及准确性。
为了进一步说明本方案，本申请还提供一种用于实现基于多模态磁共振影像的左右半脑关系的处理方法的具体应用实例，还进一步涉及基于神经科学领域的左右半脑解剖结构关系分析，具体涉及一种基于对比学习的左右半脑解剖结构关系的分析方法，主要包括以下步骤：利用3D T1影像数据，提取左右半脑解剖结构信息；利用对比学习模型,提取左右半脑共性特征和左右半脑特异性特征；利用表征相似性分析探索左右半脑特征的非影像学意义。
为了有效地解决现有左右半脑关系分析算法中存在只考虑局部体素信息，忽略半脑内部系统水平信息的问题，本申请应用实例提出一种基于对比学习模型的左右半脑关系的分析算法。本申请应用实例利用对比学习模型，从系统水平提取左、右半脑共性特征和特异性特征；利用自编码器得到的左右半脑共性特征和左右半脑特异性特征；计算共性特征的被试间相似度矩阵、左半球特异性特征的被试间相似度矩阵和右半球特异性特征的被试间相似度矩阵；基于行为数据计算被试间相似度矩阵；将基于多模态磁共振影像数据的被试间相似度矩阵与基于行为数据的被试间相似度矩阵进行相关分析。
本申请应用实例采用的技术方案包括以下步骤：
步骤1、3D T1磁共振影像预处理：获取单个被试的3D T1磁共振影像数据；对3D T1磁共振数据进行预处理，包括剥颅骨、图像分割(分割成灰质、白质和脑脊液)、配准到标准对称模板、阈值化处理(得到个体的灰质体素掩模、白质体素掩模，去除非灰质非白质区域)、将标准空间下的3DT1图像分成左右两个半脑、将左右半脑返回个体空间，得到左半脑3D磁共振数据(左半脑的3D组织图像)和右半脑3D磁共振数据(右半脑的3D组织图像)。
步骤2、构建对比学习模型，对比学习模型包括两个编码器，将左、右半脑的3DT1图像作为两个编码器的输入，编码器部分作为特征提取模块用于得到个体左右半脑共性的结构隐编码(或隐变量)和左右半球特异性的结构隐编码。
步骤3、基于影像数据和脑非影像数据的表征相似性分析。首先，利用对比学习模型得到的左右半脑共性特征和左右半脑特异性特征计算共性特征的被试间相似度矩阵、左半球特异性特征的被试间相似度矩阵和右半球特异性特征的被试间相似度矩阵。其次，基于行为数据计算被试间相似度矩阵。最后，比较影像数据和脑非影像数据的被试间相似度矩阵之间的关系。
与现有技术相比，本申请应用实例的有益效果是：
本申请应用实例提出一种基于多模态磁共振影像的左右半脑关系的处理方法，较之前的方法，在可从系统层面分离左、右半脑共性的特征和各个半球特异的特征。
本申请应用实例针对现有左右半脑关系分析算法采用单变量分析方法(例如配对t检验、配对回归分析等)中忽略半脑内整体信息的缺点，提出基于对比学习模型的基于多模态磁共振影像的左右半脑关系的处理方法，从系统水平提取左、右半脑的共性特征，即非偏侧的特征，同时提取左、右半脑特异性特征，即偏侧的特征。
在本申请的一种具体举例中，参见图6，本申请应用实例提供中的一种基于对比学习模型的基于多模态磁共振影像的左右半脑关系的处理方法，包括如下步骤：
S1：多模态磁共振影像预处理
被试来源于HCPS1200数据库的3D结构磁共振数据，图像具体参数如下：其中，具体预处理过程如下：其中对3D结构磁共振数据进行①将3D结构图像配准到对称的模板上,获得个体到对称模板的变形场TR；②通过阈值算法(组织概率值<0.9)去除非灰质和非白质的体素；③计算变形场的逆变换，得到TR-1；④利用变形场TR-1将标准空间的左右两个半脑的3D结构图像分别返回个体空间，得到L-T1，R-T1；⑤将L-T1，R-T1图像进行重采样到64x64x64大小。
S2：基于对比学习模型的左右半脑特异性和共性特征提取
对比学习模型的应用举例如图4所示，包括两个编码器和一个解码器。首先将左半脑的3D组织图像作为共性编码的输入(第一编码器)，将右半脑的3D组织图像作为特异性编码器(第二编码器)的输入。通过第一编码器和第二编码器的强烈对比，使第一编码器学习到两个输入共性的特征，第二编码器学习两个半球不同的信息。
S3：表征相似性分析
使用表征相似性分析RSA来探究对比变分自编码器提取的左右半脑特异性特征和共性特征分别与语言能力的相关性。具体步骤包括，首先分别计算基于半脑特异性特征的表征不相似性矩阵RDMs、基于左右半脑共性特征的表征不相似性矩阵RDMc和基于语言的表征不相似性矩阵RDMo。其次，进行RDM之间的比较。
关于构建RDMs和RDMc。构建基于解剖的RDM，输入左/右半球的解剖图像至训练好的对比学习模型中，得到左右半脑共性特征和左右半脑特异性特征，计算任意被试对之间的相似度，分别得到共性特征的RDMc和左右半球特异性特征的RDMs；构建基于被试其他属性的RDMo，这些属性可以是连续变量，也可以是分类变量。针对连续变量，可以采用皮尔森相关系数等方法量化被试间相似度；针对性别等分类变量，被试之间相同，相似度即为1，反之，为0。
构建RDM之后，使用Kendall等级相关对基于解剖的左右半脑特异性特征的RDMs和基于被试其他属性的RDM进行比较。为了使RSA更具有鲁棒性，对每个ASD被试进行10次采样，然后使用单样本t检验确定基于解剖的左右半脑特异性特征的RDMs与基于被试其他属性的RDM之间的相关性是否大于零。
综上所述，本申请应用实例，能够在提取左、右半脑特异性特征的基础上，同时提取左、右脑之间的共性特征，能够有效提高脑图像中特征识别的全面性及准确性，并能够有效提高及应用有效性脑图像处理结果的应用可靠性及有效性，在可从系统层面分离左、右半脑共性的特征和各个半球特异的特征；能够有效解决现有左右半脑关系分析算法采用单变量分析方法(例如配对t检验、配对回归分析等)中忽略半脑内整体信息的缺点，进而能够有效提高左右半脑关系分析算法的可靠性及准确性。
本申请实施例还提供了一种电子设备(也即电子设备)，该电子设备可以包括处理器、存储器、接收器及发送器，处理器用于执行上述实施例提及的基于多模态磁共振影像的左右半脑关系的处理方法，其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。所述电子设备可自所述无线多媒体传感器网络中的传感器接收实时运动数据，并自所述视频采集装置接收原始视频序列。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的基于多模态磁共振影像的左右半脑关系的处理方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多模态磁共振影像的左右半脑关系的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行实施例中的基于多模态磁共振影像的左右半脑关系的处理方法。
在本申请的一些实施例中，用户设备可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器、存储器、接收器和发送器可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。
作为一种实现方式，本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于多模态磁共振影像的左右半脑关系的处理方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于多模态磁共振影像的左右半脑关系的处理方法，其特征在于，包括：
对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；
将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系；
所述对比学习模型的特征提取编码器包括第一编码器、第二编码器、第三编码器和一个解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据；
所述将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型学习并输出左右半脑特异性特征和左右半脑共性特征，包括：
将所述左脑磁共振图像数据和右脑磁共振图像数据输入所述对比学习模型的第一编码器，并将所述左脑磁共振图像数据和右脑磁共振图像数据分别输入所述第二编码器和第三编码器，以使所述第一编码器分别与第二编码器和第三编码器经过特征对比后，所述第一编码器输出所述左右半脑共性特征，所述第二编码器和第三编码器分别输出所述左脑特异性特征和所述右脑特异性特征。
2.根据权利要求1所述的基于多模态磁共振影像的左右半脑关系的处理方法，其特征在于，所述对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据，包括：
将对被试个体的多模态磁共振脑影像数据依次进行配准到预设的标准对称模板、阈值化处理以及左右脑划分处理，以得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据。
3.根据权利要求1或2所述的基于多模态磁共振影像的左右半脑关系的处理方法，其特征在于，还包括：
分别获取所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据；
以及，获取所述被试个体的脑非影像数据，并获取该脑非影像数据的被试间相似度数据；
对所述被试个体的脑非影像数据的被试间相似度数据、所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据进行表征相似性比较，以得到对应的表征相似性比较结果数据。
4.根据权利要求3所述的基于多模态磁共振影像的左右半脑关系的处理方法，其特征在于，所述分别获取所述左右半脑共性特征、左脑特异性特征和右脑特异性特征的被试间相似度数据，包括：
基于表征相似性分析方法RSA分别获取所述左右半脑共性特征的表征不相似性矩阵RDMc、左脑特异性特征和右脑特异性特征各自对应的表征不相似性矩阵RDMs；
相对应的，所述获取该脑非影像数据的被试间相似度数据，包括：
基于所述表征相似性分析方法RSA获取该脑非影像数据的表征不相似性矩阵RDMo。
5.一种基于多模态磁共振影像的左右半脑关系的处理装置，其特征在于，包括：
预处理模块，用于对被试个体的多模态磁共振脑影像数据进行预处理，分别得到该多模态磁共振脑影像数据对应的左脑磁共振图像数据和右脑磁共振图像数据；
特征提取模块，用于将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型输出左右半脑特异性特征和左右半脑共性特征，所述左右半脑特异性特征和左右半脑共性特征共同组成左右半脑关系；
所述对比学习模型的特征提取编码器包括第一编码器、第二编码器、第三编码器和一个解码器；所述第一编码器、第二编码器和第三编码器分别连接至所述解码器；
其中，所述第一编码器用于识别所述左脑磁共振图像数据和右脑磁共振图像数据之间的左右半脑共性特征；
所述第二编码器和第三编码器分别用于识别所述左脑磁共振图像数据对应的左脑特异性特征和所述右脑磁共振图像数据对应的右脑特异性特征，其中，所述左脑特异性特征和右脑特异性特征组成所述左右半脑特异性特征；
所述解码器用于分别生成对应的伪左脑磁共振图像数据和伪右脑磁共振图像数据，其中，所述伪左脑磁共振图像数据是基于所述左右半脑共性特征和左脑特异性特征构建的模拟磁共振影像数据，所述伪右脑磁共振图像数据是基于所述左右半脑共性特征和右脑特异性特征构建的模拟磁共振影像数据；
所述将所述左脑磁共振图像数据和右脑磁共振图像数据输入预设的对比学习模型中的特征提取编码器，以使该对比学习模型学习并输出左右半脑特异性特征和左右半脑共性特征，包括：
将所述左脑磁共振图像数据和右脑磁共振图像数据输入所述对比学习模型的第一编码器，并将所述左脑磁共振图像数据和右脑磁共振图像数据分别输入所述第二编码器和第三编码器，以使所述第一编码器分别与第二编码器和第三编码器经过特征对比后，所述第一编码器输出所述左右半脑共性特征，所述第二编码器和第三编码器分别输出所述左脑特异性特征和所述右脑特异性特征。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于多模态磁共振影像的左右半脑关系的处理方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于多模态磁共振影像的左右半脑关系的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211531797.9A CN115937129B (zh) | 2022-12-01 | 2022-12-01 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211531797.9A CN115937129B (zh) | 2022-12-01 | 2022-12-01 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937129A CN115937129A (zh) | 2023-04-07 |
| CN115937129B true CN115937129B (zh) | 2024-04-02 |
Family
ID=86700275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211531797.9A Active CN115937129B (zh) | 2022-12-01 | 2022-12-01 | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937129B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408322B (zh) * | 2023-12-15 | 2024-04-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106667490A (zh) * | 2017-01-09 | 2017-05-17 | 北京师范大学 | 一种基于磁共振脑影像的被试对象间个体差异的数据间关系分析方法 |
| WO2018005820A1 (en) * | 2016-06-29 | 2018-01-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder |
| CN110598793A (zh) * | 2019-09-12 | 2019-12-20 | 常州大学 | 一种大脑功能网络特征分类方法 |
| CN110599442A (zh) * | 2019-07-01 | 2019-12-20 | 兰州大学 | 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统 |
| CN111513717A (zh) * | 2020-04-03 | 2020-08-11 | 常州大学 | 一种大脑功能状态提取方法 |
| CN112614126A (zh) * | 2020-12-31 | 2021-04-06 | 中国科学院自动化研究所 | 基于机器学习的磁共振图像脑区划分方法、系统和装置 |
| CN113269711A (zh) * | 2021-04-06 | 2021-08-17 | 东北大学 | 脑图像的处理方法及装置、电子设备和存储介质 |
| CN113496496A (zh) * | 2021-07-07 | 2021-10-12 | 中南大学 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
| CN114533084A (zh) * | 2022-02-09 | 2022-05-27 | 北京师范大学 | 脑电特征提取方法、装置、电子设备和存储介质 |
-
2022
- 2022-12-01 CN CN202211531797.9A patent/CN115937129B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018005820A1 (en) * | 2016-06-29 | 2018-01-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utlizing brain structural characteristics for predicting a diagnosis of a neurobehavioral disorder |
| CN106667490A (zh) * | 2017-01-09 | 2017-05-17 | 北京师范大学 | 一种基于磁共振脑影像的被试对象间个体差异的数据间关系分析方法 |
| CN110599442A (zh) * | 2019-07-01 | 2019-12-20 | 兰州大学 | 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统 |
| CN110598793A (zh) * | 2019-09-12 | 2019-12-20 | 常州大学 | 一种大脑功能网络特征分类方法 |
| CN111513717A (zh) * | 2020-04-03 | 2020-08-11 | 常州大学 | 一种大脑功能状态提取方法 |
| CN112614126A (zh) * | 2020-12-31 | 2021-04-06 | 中国科学院自动化研究所 | 基于机器学习的磁共振图像脑区划分方法、系统和装置 |
| CN113269711A (zh) * | 2021-04-06 | 2021-08-17 | 东北大学 | 脑图像的处理方法及装置、电子设备和存储介质 |
| CN113496496A (zh) * | 2021-07-07 | 2021-10-12 | 中南大学 | 基于多种损失和多尺度特征的mri影像海马体区域分割方法 |
| CN114533084A (zh) * | 2022-02-09 | 2022-05-27 | 北京师范大学 | 脑电特征提取方法、装置、电子设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Interhemispheric Relationship of Genetic Influence on Human Brain Connectivity;Suyu Zhong 等;《Cerebral Cortex》;第31卷(第1期);全文 * |
| Learning brain effective connectivity networks via controllable variational autoencoder;Aixiao Zou 等;《2021 IEEE International Conference on Bioinformatics and Biomedicine》;全文 * |
| 基于sMRI的阿尔茨海默症分类影响因素研究;黎建忠 等;《生物医学工程研究》(2);全文 * |
| 神经精神疾病自动分类与预测研究进展;陈小怡 等;《中国生物医学工程学报》;第40卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937129A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zeng et al. | A new switching-delayed-PSO-based optimized SVM algorithm for diagnosis of Alzheimer’s disease | |
| Jha et al. | Diagnosis of Alzheimer’s Disease Using Dual‐Tree Complex Wavelet Transform, PCA, and Feed‐Forward Neural Network | |
| Kawahara et al. | BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment | |
| He et al. | Image segmentation algorithm of lung cancer based on neural network model | |
| Yue et al. | Hierarchical feature extraction for early Alzheimer’s disease diagnosis | |
| CN109344889B (zh) | 脑疾病分类装置、用户终端和计算机可读存储介质 | |
| Abbas et al. | Transformed domain convolutional neural network for Alzheimer's disease diagnosis using structural MRI | |
| CN110363760B (zh) | 用于识别医学图像的计算机系统 | |
| Al-Adhaileh | Diagnosis and classification of Alzheimer's disease by using a convolution neural network algorithm | |
| CN106971410A (zh) | 一种基于深度学习的白质纤维束重建方法 | |
| CN112966792B (zh) | 血管图像分类处理方法、装置、设备及存储介质 | |
| WO2021212715A1 (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN115937129B (zh) | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 | |
| CN113255734A (zh) | 一种基于自监督学习和迁移学习的抑郁症分类方法 | |
| WO2023108418A1 (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
| Liu et al. | Diagnosis of Alzheimer’s disease using view-aligned hypergraph learning with incomplete multi-modality data | |
| Soundrapandiyan et al. | AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images | |
| Prakash et al. | Meningioma brain tumor detection and classification using hybrid CNN method and RIDGELET transform | |
| Luo et al. | Class activation attention transfer neural networks for MCI conversion prediction | |
| Kolahkaj et al. | A connectome-based deep learning approach for early mci and mci detection using structural brain networks | |
| CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
| Zhu et al. | A tensor statistical model for quantifying dynamic functional connectivity | |
| Deng et al. | Learning‐based 3T brain MRI segmentation with guidance from 7T MRI labeling | |
| Vasant Bidwe et al. | Attention-Focused Eye Gaze Analysis to Predict Autistic Traits Using Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |