CN110598722A - 多模态神经影像数据自动信息融合系统 - Google Patents

多模态神经影像数据自动信息融合系统 Download PDF

Info

Publication number
CN110598722A
CN110598722A CN201810603964.3A CN201810603964A CN110598722A CN 110598722 A CN110598722 A CN 110598722A CN 201810603964 A CN201810603964 A CN 201810603964A CN 110598722 A CN110598722 A CN 110598722A
Authority
CN
China
Prior art keywords
data
management module
information
data management
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810603964.3A
Other languages
English (en)
Other versions
CN110598722B (zh
Inventor
窦维蓓
葛云祥
王跃恒
潘钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810603964.3A priority Critical patent/CN110598722B/zh
Publication of CN110598722A publication Critical patent/CN110598722A/zh
Application granted granted Critical
Publication of CN110598722B publication Critical patent/CN110598722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Abstract

本发明公开了一种多模态神经影像数据自动信息融合系统,包括:原始数据管理模块,用于存储和管理针对被试采集的神经影像数据以及研究记录;数据转换模块,用于对所述原始数据进行脱敏处理和格式转化;多模态数据管理模块,用于存储和管理数据转换模块转换后的数据;数据预处理和特征提取模块,用于对多模态数据库中存储的数据进行预处理及特征提取;图谱和模板数据管理模块,用于存储和管理图谱与模板;多模态特征数据管理模块,用于存储和管理特征数据;分组或跟踪对比评估模块,用于对被试进行分组或跟踪对比评估。本发明可应用在多模态脑MRI信号的数据分析和信息融合中,可实现对脑肿瘤、脊髓脊柱损伤和脑卒中患者数据进行自动分析。

Description

多模态神经影像数据自动信息融合系统
技术领域
本发明涉及神经科学和医疗健康领域,具体涉及一种多模态神经影像数据自动信息融合系统和方法。
背景技术
多模态数据信息融合(Information fusion of Multimodal data) 是联合或集合从不同传感器采集的数据携带的信息的处理过程。
神经影像信号是对中枢神经系统(脑和脊髓)的信息进行采集获得的信号,包括CT、MRI、EEG、MEG等信号。由于这些信号的采集原理不同、采集的信息不同、信号的表现形式不同,而被称为多模态神经影像信号。多模态神经影像数据已经广泛应用于医学、神经科学、心理学等学科的科学研究和临床应用,但是,如何管理这些数据、如何挖掘这些数据中的信息、如何表达特征信息、如何联合多模态信息来优化决策系统等是目前学术界和应用领域共同面临的问题。
目前医学影像数据管理和通信系统PACS(Picture Archiving andCommunication Systems),如图1所示,已经成为国际规范,被广泛应用于医疗保健系统。PACS与临床信息系统(Clinical Information System, CIS)、放射学信息系统(RadiologyInformation System,RIS)、医院信息系统(Hospital Information System,HIS)、实验室信息系统 (Laboratory Information System,LIS)等联合构成了医院信息管理系统。PACS有4个主要功能模块:硬拷贝和替换(Hard copy replacement)、远程访问、电子图像集成平台、Radiology Workflow Management。PACS 结构层次包括4个物理层和3个应用层。其架构数据主要包括:存储架构、文件格式(DICOM)、数据结构等。
目前,智能化医学影像平台的发展方向,主要体现在图像预处理功能、按照疾病或解剖部位定制的工作模块、带有诊断书签功能等,能自动记录医生的每次病变测量、病变标记,方便跨科室医生间的交流和上级医生复核报告。可见,现行的医学影像管理系统主要面向临床应用需求,以被试信息录入、影像获取、原始数据存储、图像调阅、以便于图像阅读为目标的后处理显示和标记、报告编辑等功能为主体。
神经影像信号是携带中枢神经组织结构和神经活动功能信息的信号,既包括静态的形态学信息,又隐含动态的神经活动信息。它不是单纯的图片数据,目前常用的以图像清晰为目标的数据处理和显示技术并不完全适用于多模态神经影像数据处理。
随着神经科学、神经影像学和神经康复等学科的发展,以及各种神经影像数据采集设备的普及,大量的神经影像信号有待处理和分析。这些信号中携带的生理信息、病理信息、功能信息等,有待更深入的信息挖掘和信息融合技术进行特征提取、表达、联合和分析,进而应用于神经科学和精准医疗。
发明内容
(一)技术问题
为了克服现有技术存在的问题,本发明提出一种多模态神经影像数据自动信息融合系统和方法。
(二)技术方案
根据本发明提出的一种多模态神经影像数据自动信息融合系统包括:原始数据管理模块,用于存储针对被试采集的神经影像数据,并存储与所述被试相关联的研究信息,所述神经影像数据与所述研究信息相对应,所述神经影像数据为多模态核磁共振MRI数据;数据转换模块,用于对所述原始数据管理模块中的数据进行脱敏处理,隐去所述被试的部分敏感信息,并将所述多模态MRI数据转为统一格式,把不同格式的研究信息数据转为统一格式,并将格式转化后的MRI数据和临床信息导入被试及扫描信息关系数据库和多模态数据库中;多模态数据管理模块,用于存储和管理数据转换模块转换后的数据,为每一个扫描数据分配唯一的扫描ID,用于反查扫描对应的被试研究信息等;数据预处理和特征提取模块,用于对多模态数据管理模块中存储的数据进行预处理,预处理后的数据作为原始特征,对预处理后的数据进行特征提取,包括对特征数据的信息融合后提取的特征,进一步得到数据的全局特征和局部特征;图谱和模板数据管理模块,用于存储图谱与模板,图谱指示了脑不同部分对应的结构或功能,模板定义了脑的标准空间,数据预处理和特征提取模块可以基于所述图谱与模板进行数据预处理和特征提取;分组或跟踪对比评估模块,用于提取上述原始特征和全局特征,及原始数据管理模块和多模态数据管理模块的被试分组或跟踪信息,对不同分组被试的特征数据进行对比分析,以及结合研究信息对被试的特征数据进行跟踪评价,生成显著特征;多模态特征数据管理模块,用于存储所述原始特征、全局特征、局部特征和显著特征。
根据本发明的另一方面,还提供一种多模态神经影像数据自动信息融合方法,该方法包括步骤:利用原始数据管理模块存储针对被试采集的神经影像数据,并存储与所述被试相关联的研究信息,所述神经影像数据与所述研究信息相对应,所述神经影像数据为多模态核磁共振MRI数据;利用数据转换模块对所述原始数据管理模块中的数据进行脱敏处理,隐去所述被试的部分敏感信息,并将所述多模态MRI数据转为统一格式,把不同格式的临床信息数据转为统一格式,并将格式转化后的MRI数据和研究信息导入多模态数据库和数据库中;利用多模态数据管理模块存储和管理数据转换模块转换后的数据;利用数据预处理和特征提取模块对多模态数据管理模块中存储的数据进行预处理,预处理后的数据作为原始特征,对预处理后的数据进行特征提取,包括多模态特征信息融合,进一步得到数据的全局特征和局部特征;利用图谱和模板数据管理模块存储图谱与模板,图谱指示了脑不同部分对应的结构或功能,模板定义了脑的标准空间,数据预处理和特征提取模块可以基于所述图谱与模板进行数据预处理和特征提取;利用多模态特征数据管理模块存储所述原始特征、全局特征和局部特征,所有特征都对应扫描ID,用以建立特征与特征所属被试之间的对应关系;利用原始数据管理模块和多模态数据管理模块的被试分组或跟踪信息,对不同分组被试的特征数据进行对比分析,以及结合研究信息对被试的特征数据进行跟踪评价,生成显著特征。
根据本发明的再一方面,还提供一种计算机可读介质,该介质存储有计算机程序,所述计算机程序可被执行以实现本发明的方法。
(三)技术效果
利用本发明的系统,可实现以下效果:使采集的神经影像数据以及提取出来的特征数据与研究信息保持对应关系;本发明通过设计自动处理流程,方便自动数据更新、特征信息挖掘和融合等;无需人工选择,保证数据处理的客观、高效和可重复,为科学研究或健康医学数据分析提供一套合理的框架和方法;对研究信息、扫描信息、关键中间结果、对各模态数据提取的特征和特征表达结果等进行统一管理。可以对上述数据实现远程访问,远程访问的方式既包括网络浏览器,也包括桌面或移动的App程序。本发明具有强扩展性,可以方便地增加数据,增加处理结果,在不同平台上编写应用。本发明的系统底层是可扩展的,可以使用不同的数据库服务和存储服务等。本发明还具有强易用性,使得整个系统结构清晰,便于维护和管理;各服务访问接口设计合理,便于使用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中PACS系统工作流程示意图;
图2为本发明多模态神经影像数据自动信息融合系统的结构框图;
图3为根据本发明的系统对MRI数据和被试基本信息进行导入的示意图;
图4为本发明系统中数据管理模块的结构框图;
图5为本发明系统中数据库的实体关系示意图;
图6a为根据本发明的系统对T1/T2信号进行预处理与特征提取流程图;
图6b为根据本发明的系统对DTI信号进行预处理与特征提取流程图;
图6c为根据本发明的系统对BOLD信号的预处理及特征提取流程图;
图7a为在本发明的系统中计算任务组织示意图;
图7b示出了利用本发明的系统进行计算任务分配的示意图;
图7c示出了利用本发明的系统进行数据处理的示例流程;
图8为根据本发明的系统数据融合框架主接口示意图;
图9为本发明系统中的脑图谱工具主要接口和对应功能示意图;
图10为根据本发明的系统生成个体空间的脑图谱的示意图;
图11为根据本发明的系统的用户界面配置框架结构图;
图12和图13为根据本发明的系统分配计算任务界面图;
图14为根据本发明的系统分配进行数据导入的界面图;
图15为根据本发明的系统进行数据查询的界面示意图,其中(a)为登录界面,(b)查询病人界面,(c)为基本信息和扫描信息界面,(d)为临床评分和分组信息界面;
图16为用户通过网络浏览器访问本发明的数据库的界面示意图,其中(a)为登录界面,(b)主页界面,(c)病人查询界面,(d)为病人详细信息界面;
图17a为根据本发明的系统使用的BNV特征表达工具类示意图;
图17b为本发明特征表达的BrainCircos绘制工具类示意图;
图17c为脑结构网络连接和MD、FA属性的Circos图示;
图18示出了利用本发明的系统处理数据的应用实例示意图;
图19示出了利用本发明的系统进行神经重塑特征分析流程示意图;
图20为利用本发明的系统基于SVM的对比分析过程示意图;
图21为利用本发明的系统基于健康人特征隶属度的对比评价过程示意图;
图22示出了本发明系统分析脑胶质瘤动态特征的实例;
图23示出了本发明系统分析胶质瘤组织影响功能连接和结构连接的实例;
图24a示出了使用本发明进行脑肿瘤区功能网络特征提取方法;
图24b示出了上述方法中的节点定义方法。
具体实施方式
为使本发明的目的、技术方案和优点更加清晰易懂,下面结合附图对本发明具体实施方式进行说明。在此,本发明的示意性实例仅仅用于解释本发明功能与效果,但不作为对本发明的限定。
本发明为科学研究和临床分析,特别是脑科学和辅助神经外科、神经康复的预后和疗效评估等,提供一套合理的自动数据管理、信息挖掘、跟踪对比和评估框架和方法。包括数据信息编码、自动生理信息挖掘流程、特征数据管理、特征表达和评估等五方面。首先,为基于脑模版和脑图谱的磁共振多模态信息融合提供一套处理流程,这套流程作为多模态研究的模板,对多模态数据进行预处理、配准和特征提取的计算流程。既包含脑图谱在数据处理、融合和结果展示过程中的应用方法,也包含临床信息和各个模态数据计算得到的特征在数据融合中的使用方法。其次,为科学研究和健康医学应用提供一套便于使用的工具集,以提高研究的时间效率和交流效率。这套工具集构成了实际的系统,为计算融合流程提供运行的平台,包括了数据管理、计算框架和用户接口框架三个部分。为了在保护被试隐私的前提下,建立科学研究和临床应用的生态环境,共享从神经影像信号中挖掘出的特征数据,即需要隐去被试的部分信息,为不同权限的使用者,提供通过数据库映射文件反查特征数据对应的被试信息的功能。
图2为本发明提出的多模态神经影像数据自动信息融合系统的结构框图。参照图2,该系统包括原始数据管理模块、数据转换模块、多模态数据管理模块、图谱和模板管理模块、预处理模块,特征提取模块、多模态特征数据管理模块以及分组或跟踪对比评估模块。
原始数据管理模块用于存储针对被试采集的临床数据的备份数据,该数据主要是神经影像数据,例如从医院影像科磁共振扫描仪中导出的结构像(T1加权像)和功能像(BOLD-fMRI)等。本发明研究的数据主要是从不同型号的设备针对被试采集的核磁共振MRI数据,即多模态MRI数据,所述被试通常是数据采集的被试,被试可以是人,例如健康人、对照组患者和研究组患者,也可以是动物。原始数据管理模块还存储有与被试相关的研究记录,例如临床治疗方案及评估结果。
数据转换模块用于对原始数据管理模块中存储的原始数据进行数据转换,去除部分敏感信息,并将转换后的数据输出到多模态数据管理模块中存储。多模态特征数据管理模块存储着原始特征、全局特征、局部特征与显著特征。显著特征是指在对比分析和跟踪评价过程中经过研究信息检验选择的具有显著性标志的特征数据,如:同研究信息显著相关的特征数据、分组或跟踪对比具有显著差异的特征数据、同病理分析结果具有一致性的特征数据等。显著特征通常会用特征表达工具展示,并送回多模态特征管理模块存储。
本发明对数据与特征的访问权限进行了一定限制。原始数据管理模块中存储的数据主要来自医院或研究机构的数据管理系统,这些数据包含着被试的大量敏感信息,只限制于与研究项目或临床治疗相关人员访问,主要为研究项目负责人或病人主治医生等。在多模态数据管理模块中,还含有病人姓名、出生日期、病历号等敏感信息,限制为经过允许的合作研究人员访问。对于多模态特征数据管理模块,所有敏感信息已经脱除,可以适当分享给相关研究机构进行对比分析。这些特征数据文件以一个扫描ID (ScanID)引导,可以在路径和文件名中加入扫描时间、数据模态、图谱名称和特征名称等信息。
图2中的显示的“共享访问”是指被授权的医生和合作研究人员可以访问多模态特征数据管理模块获得相应层级的被试特征数据文件。被授权者还可以使用自己的方法,提取更多特征,并存储回本发明的多模态特征数据管理模块中。被授权的主治医师可以依据被试信息文件,提取需要的特征数据。同样,被授权的合作研究人员可以依据特征数据文件对应的扫描ID,反查被试信息,包括病例号、姓名、性别、年龄,以及临床治疗和评估信息。如表1所示,经授权,可以通过ScanID获得被试信息。表1a 提供了被试姓名,表1b则只提供被试编号。
表1a
表1b
图3示出了以DICOM数据为例利用本发明的数据转化模块进行数据转化和导入的过程。
在原始数据管理模块中存储的MRI数据主要是DICOM数据,包含了机器型号、采集序列、采集时间、被采集对象的隐私信息,例如被试姓名、性别、出生日期、病历号等。这种格式的数据不但有数据本身的信息,还包含被试的信息,十分冗余。这种数据文件离散分布,不是按照一个模态一个数据文件的形式存储,而是每一个模态都按2D文件存储,数据分散在多个文件中。DICOM数据的这两个特点给数据管理和科学研究造成了不便,需要进行格式转化以方便数据管理与使用。
NIFTI(Neuroimaging Informatics Technology Initiative)是由 DFWG(DataFor-mat Working Group)制定的另一种常用的文件格式。NIFTI 格式隐去了DICOM中大部分冗余信息,通过转换一种模态信号通常对应一个文件。与DICOM不同,NIFTI主要是为了在不同的功能磁共振数据分析工具之间交流数据而制定的。
本发明的数据转换模块将DICOM文件转换为完整的3D或4D NIFTI文件,将一系列DICOM文件中对应一个模态的所有数据转换为一个文件。在格式转换的同时自动提取DICOM文件携带的冗余信息,将数据和冗余信息进行分离。携带被试隐私信息的DICOM数据不方便在各个医院或研究机构之间进行交换。而经过转换后的数据,不但排除了被试隐私信息,而且数据更加集中,方便交换与使用。
数据转换模块进一步包括转换器(converter)和导入器(importer)。转换器用于将不同厂商MRI扫描仪产生的MRI数据转为统一的格式,从中提取扫描与被试信息并转为统一的格式。导入器用于将格式转化后的 MRI数据和冗余信息导入多模态数据库和被试及扫描信息关系数据库中。由于MRI数据体积大,且一旦导入几乎不用变动,所以不适合放入被试及扫描信息关系数据库内部。被试及扫描信息关系数据库和多模态数据库分离,方便管理,既提高了数据库性能和实际数据的访问性能,还提高了灵活性。在更新被试及扫描信息关系数据库时,导入器与被试及扫描信息关系数据库确保了每一个数据的可追查性,通过给每一个被试的每一次扫描分配唯一的扫描ID,保证可以追查到数据对应的被试基本信息。
本发明也可以将DICOM数据转换为数据信息头文件(header文件)与纯数据文件(raw data文件)配对的形式,存储于多模态数据库中。
图4示出了本发明进行数据管理和数据访问的一种实现方式,包括数据库、静态数据服务器、服务应用接口服务器、网络应用服务器和客户端。
参照图4,数据库对应本发明中的被试及扫描信息关系数据库,以及原始数据管理模块中的研究记录。其中存储了一些与研究、被试和扫描相关的信息。同时还有从扫描ID到被试的映射关系。分组或跟踪对比评估模块在执行任务时需要从数据库中提取分组或个体跟踪信息,这些信息分布在研究记录和被试及扫描信息关系数据库中,由图4中的数据库进行相互之间的关联。分组或个体的跟踪信息是根据研究需要,对被试进行群组分析或个案分析时,从原始数据管理模块中获得的每个被试的跟踪研究记录,需要进行群组分析时还要从研究记录中获取分组名单。
静态数据服务器用于提供对MRI数据、特征数据、结果数据等数据的访问服务。静态数据服务器使用存储API提供的服务,对外提供统一的多模态数据存储接口。图4中存储API下设置了三个存储区域,其中MRI数据对应于本发明中的多模态数据库部分,存储了经过数据转换模块的磁共振数据;特征数据与结果数据对应于本发明的多模态特征数据管理模块,其中存放了经过预处理和特征提取模块得到的特征数据,与分组或跟踪对比评估模块给出的显著特征。存储API本身是静态数据服务器与下设的三个存储区域进行数据交换的通用接口。图4中的静态数据服务器通过存储 API访问指定的MRI数据或特征数据。
在对数据进行访问时使用的静态数据服务器,可以依托已有的云存储服务,如清华云盘、亚马逊AWS、微软OneDrive或阿里云,从而提高访问性能。这些云存储服务作为不同的存储API,由静态数据服务器封装。
服务应用接口服务器用于对整个系统提供一个访问接口,例如 RESTful访问接口,可以实现数据管理、计算结果查询等。服务应用接口服务器封装了访问数据库的功能,负责整合静态数据服务器与数据库的信息,并将这些信息提供给客户端程序或网络应用服务器。
网络应用服务器用于提供网络浏览器应用,可以使用网络浏览器访问该系统,实现查询和管理。网络应用服务器直接使用服务应用接口服务器提供的服务,生成对应的网页供用户浏览。客户端是运行在用户设备上的一个程序,实现对系统的查询和管理。客户端利用服务应用接口服务器提供的服务,实现对应的查询和管理功能。有较高权限的数据处理端还可以直接访问数据服务器。图12-15展示了客户端实现的截图。图16展示了基于网络应用服务器生成的网页实现的截图。
图5为本发明数据库实体关系图的一个具体示例。参照图5,利用实体关系模型(Entity Relationship Model)建立了图中所示的几个表 (Table)。表中显示了图4所示的数据库中对病人基本信息(people框,姓名、性别、出生日期)和扫描信息(mriscans框)之间的关联方法。数据库中还包含了病人临床评分(strokescores与sciscores框),这些评分与病人的一次扫描相关联(自然也与病人相关联)。为了群组研究方便,数据库中还存储了病人的分组信息,即病人与群组之间的联系。其中 groups框表示了分组名称和对该组病人的简要介绍,association_group_person框则表示了病人与组的关联,即指明了某个病人被分在某个组。
预处理模块用于对多模态数据管理模块中存储的数据进行预处理,预处理后的数据被当做原始特征。预处理是使用多模态数据前必须经过的步骤,主要目的是为了去除信号中的非理想因素及噪声,以及进行信息融合需要的空间配准,动态分析中的时序处理等。
特征提取模块用于对预处理后的数据进行特征提取,提取的特征包括全局特征和局部特征。全局特征指利用全部数据提取的特征,如基于图谱构建的全脑网络、各个脑区之间的图论属性、全脑灰质体积、全脑ADC和 FA值、脑组织病变(或受损)体积;局部特征是只与部分数据相关的特征,在计算局部特征时没有用到所有的数据,只在局部进行特征提取,例如磁共振信号中脑区内部的体素级网络、脑区内的图论属性、病变(或受损) 区域的脑网络特征、肿瘤边缘以及肿瘤内外的MRI信号对比特征等。特征提取也包括对多模态特征数据的信息融合,通过融合决策后提取的特征也是一种局部特征。
对不同模态数据需要使用不同的预处理与特征提取方法。对于T1及 T2信号,预处理及特征提取流程如图6a所示。
参照图6a,对T1/T2信号进行去颅骨操作,并配准到标准空间,然后进行分割,获得大脑灰质、白质和脑卒中后受损区域的组织结构和体积。去颅骨基于SPM12的Segment选项,先根据SPM的TPM模板分割成灰质、白质、脑脊液、颅骨、其他软组织。然后把灰质、白质和脑脊液三种成分组合起来,就得到了去颅骨的T1数据。配准步骤使用SPM的Normalize 选项,注意BoundingBox和VoxelSize的选取,配准后得到的T1/T2的维度和分辨率和使用的多层级图谱完全一致。分割使用本项目组研发的基于 Markov Random Field(MRF)的算法,具体参见[Dou et al.2007]W.Dou, Y.Ren,Q.Wu,S.Ruan,Y.Chen,D.Bloyet,and J.-M.Constans,"Fuzzy kappa for the agreement measure of fuzzy classifications,"Neurocomputing,vol.70,No.4-6,2007,pp.726-734.[Geng et al.2008]
Liang Geng,Weibei Dou,“Fuzzy MRF models with multifractal analysisfor MRI brain tissue classification”Proceedings of BIOSIGNALS,Internationalconference on Bio-inspired Systems and Signal Processing,Jan.28-30,2008,V.1,No.2,pp.33~39.[Ruan et al.2002]Su Ruan,Daniel Bloyet,Marinette Revenu,WeibeiDOU, Qingming Liao,“Cerebral Magnetic Resonance Image Segmentation usingFuzzy Markov Random Fields”,Proc.of IEEE International Symposium onBiomedical Imaging,July 7-10 2002,pp.237-240.得到灰质、白质、脑脊液。采用本项目组研发的模糊信息融合架构,具体参见 [Dou et al.2007]W.Dou,S.Ruan,Y.Chen,D.Bloyet,and J.-M. Constans,"A framework of fuzzy information fusion for thesegmentation of brain tumor tissues on MR images,"Image and Vision Computing,vol.25,2007,pp.164–171.[Dou et al.2005]Weibei DOU,Yuan REN,Yanping CHEN,SuRUAN,Daniel BLOYET,and Jean-Marc CONSTANS,“Histogram-based Generation Methodof Membership Function for Extracting Features of Brain Tissues on MRIImages”, LNAI 3613,pp.189-194,2005.Springer-Verlag Berlin Heidelberg 2005. 联合T2和T1信号特征,标注脑卒中造成的脑组织受损区域。
DTI信号的预处理及特征提取流程如图6b所示。参照图6b,对DTI 信号的预处理使用DTIPrep工具,可以进行信息检查、eddy电流矫正和头动矫正等。预处理和配准完成后,利用基于Slicer平台的UKFT工具,使用基于卡尔曼滤波的双张量模型进行纤维束追踪。随后利用两种方法定义网络结点,分别为基于脑区解剖模板方法和纤维束聚类方法。参照本项目组研发的基于DTI信号的脑网络映射架构,具体参见[Liao et al.2016] Ruizhi Liao,Weibei Dou,Mingyu Zhang,Hongyan Chen,Shaowu Li.“A Framework for MappingScalable Human Brain Anatomical Networks via Diffusion MRI”.In proceedings ofIEEE International Conference on Biomedical and Health Informatics(BHI 2016),pp.49-52,24-27, February 2016,Las Vegas,NV,USA。
如果两个结点所属的分区之间有纤维束连接,这两个结点之间就存在边连接,并依照网络结点的定义方法确定边的权重。脑网络建立完毕后可以进行图论分析,包括图的全局有效性、平均度和平均介数中心性。同时还可以直接使用多层级图谱计算ADC、MD、FA等DTI信号特征。从DTI信号获得的特征主要为白质纤维结构和白质纤维连接,以及脑结构网络的属性。
BOLD信号的预处理及特征提取流程如图6c所示。参照图6c,BOLD 信号预处理后,可以直接计算每两个体素之间的Pearson相关系数,由此得到体素级全脑网络。也可以结合大脑解剖结构,进行脑区分割。随后对各脑区内的体素进行体素级相关操作,计算它们之间的Pearson相关系数,得到体素级局部网络。在各个脑区之间进行相关,得到区域级全脑网络。从BOLD信号获得的特征主要为大脑功能连接和脑功能网络属性。
BOLD信号的预处理使用了DPARSFA工具,首先移除前10个时间点,随后进行SliceTiming Correction和头动矫正。然后把数据重采样成 3x3x3的分辨率。使用FWHM 6mmGauss核平滑后,进行Detrend,然后进行0.01-0.08Hz的滤波,最后进行NuisanceCovariates的去除。属性计算使用了基于MATLAB的BCT和BGL工具包。
图7a示出了分配计算任务的一种方式,预处理模块和特征提取模块在工作时可以但不限于按照此种方式执行。如图7a所示,Job代表一个小的处理步骤,用来完成一步处理;多个线性执行的Job构成一个Batch, 代表一个处理流程;同一个Batch并行运行在不同被试的MRI数据文件夹下,或者每个被试对应每个脑图谱的文件夹下,构成一个Parallel,代表一批病人数据的并行处理;多个Parallel线性执行构成一个完整的Project。
Batch、Parallel和Project本身都是PythonJob的一种,所以可以像普通的Job一样被执行。使用递归的方法,即可构造一个提供并行加速和“一键执行”功能的任务树,如图7c所示。只需要执行这棵树的根任务即可完成对所有病人的所有图谱并行执行树形的处理任务组合。本系统会根据当前的工作目录和内置工具目录自动搜索实际要执行的命令。
如图7b所示,Parallel的配置可以使用图谱并行,这样可以脑图谱工具提供的接口,实现与具体图谱无关的并行加速。只需编写和组合处理一个人的一个脑图谱的计算步骤,便可实现对所有人所有图谱的并行加速计算。每个计算步骤的输出都存储到日志文件中。并行计算时有计算进度指示。
图8为根据本发明的系统数据融合框架主接口示意图。特征融合时,被融合的特征需要在同一个空间中。融合接口类定义了融合时的一些基本信息,如Atlas对象,代表了当前使用的图谱。除此之外该框架还定义了4 个获得融合所需特征数据及研究信息的加载器(Loaders),分别用于加载网络特征、属性特征、分组、临床评分。右上角的特征加载器为特征加载器的基类,提供了特征加载器通用的属性与方法。
网络特征加载器和属性特征加载器可以批量加载多个MRI扫描的特征数据,并将特征数据调整成一维向量,再按行排列为二维矩阵。临床评分加载器可直接获得临床量表中的评分名、对应的MRI扫描,也可以直接获取某个MRI扫描对应的所有评分等。同样可以批量加载多个MRI扫描对应的评分并按行排列为二维矩阵。分组加载器可获得当前组内所有的 MRI扫描,并生成对应的病人名单。还可以根据人名得到此人所有的MRI 扫描,这为跟踪治疗研究提供了很大方便。
图谱指示了脑不同部分对应的结构和功能,包括但不限于脑Brodmann 图谱,AAL图谱,Brainnetome图谱和HCP图谱。模板定义了人脑的标准空间,方便进行不同个体之间的比较。本发明中使用的模板主要为ICBM152。这些图谱与模板是科研界根据解剖结构及功能确立的参考,在本发明中得到应用。图9展示了本发明中图谱与模板管理模块的一种实现方法,这是一个类的接口示意图。这个类存储了一系列与图谱有关的特征,如名称、介绍、脑区个数、脑区序号、标签、绘图顺序、文件路径等。同时这个类还包括了许多实用的方法,如获取图谱文件,标签、序号与绘图顺序之间的互相转换,调整数据顺序,创建子图谱等。
脑图谱一般都在标准空间(Normalized Space),在有的应用中,为了避免原始数据的空间变换,并且要利用脑图谱来计算脑区属性时,需要得到与原始数据在同一个空间的脑图谱。本发明提出了如图10所示的由某个个体空间的结构像生成个体空间脑图谱的步骤。
这里的个体空间结构像可以是例如DWI的b0像等结构像。详细的步骤如下:a,配准到标准空间,标准空间由MNI结构像定义,也就是在MNI 标准空间的脑图像。在配准完成时会生成变换矩阵,这个变换矩阵可以把个体空间的像变换到标准空间中;b,对变换矩阵求逆,得到逆变换矩阵,可以把标准空间的像变换到个体空间中;c,把逆变换矩阵应用到在标准空间的脑图谱上,生成在此个体空间中的脑图谱。此个体空间脑图谱还将存入多模态特征数据管理模块的原始特征中。
图11示出了本发明的一种GUI配置框架。可生成计算配置工具对应的窗口(如图12和图13)。该GUI实现将用户界面的输入域与文本格式的配置文件连接在一起。在一个整体的配置参数流程中,先加载文件中的所有参数,构造一个工具配置对象;通过输入域-工具配置互换接口构建输入域对象,再构建出输入域控件。修改输入域控件中的数值会直接改变输入域对象中存储的值,进而通过互换接口把改变同步到工具配置对象中,最后即可把最新的工具参数存储回配置文件中。加载和存储等操作都在主窗口的定制控件中完成。这样,可以为每种工具编写互换接口来实现自动的控件构建和参数序列化。本系统提供了一个默认互换接口,接收一个文本配置,可以自动实现工具配置对象和输入域对象的相互转换。还提供了一个主窗口类,实现了自动加入滚动条、加入工具栏命令等功能。
图12示出了用本发明客户端采用图11所示GUI配置框架产生Parallel 的配置GUI,可以直接配置其运行参数。BatchJob的配置GUI如图13,可以直接配置其运行参数。图14展示了转换器的GUI。
图15示出了本发明客户端部分的一种访问数据库的桌面客户端实现示例。首先(a)输入用户名和密码登录App,然后可以使用(b)Filter来查询病人名单,以及(c)基本信息、MRI扫描信息,(d)临床评分信息、分组信息。
图16示出了用户通过图4中所示的网络浏览器通过本发明的网络应用服务器访问数据库的界面。其中图(a)为用户登录界面,需要输入用户名和密码,可根据权限访问相应的数据库;图(b)用户登录后进入的主页;图(c)为可通过输入病人姓名查询病人信息;图(d)为显示病人详细信息。
特征结果不能只用数字展示,需要形象的图片来展示分析的结果,特别是显著特征。这就需要对各个模态计算得到的特征和数据融合结果进行表达,通常会将这些特征表达呈现在分析评估报告中。图17a展示了本发明系统使用的BNV特征表达工具接口。BrainNetViewer(BNV)是常用的绘制脑相关图的工具。本实施例中设计了相应的接口,可以结合脑图谱,依据输入数据,自动生成BNV需要的数据文件。相关的几个类的设计如图17a所示。BNVNode和BNVEdge分别控制node(节点)文件和edge (边)文件的生成,而BNVPlot用来配置和绘制BNV图。
图17b展示了本发明中实现的BrainCircos特征表达绘制工具结构图。 Circos绘图软件原本用于基因图谱可视化,也可以绘制脑连接的圆形表示图。使用Circos绘图软件可以同时展示脑图谱各个脑区的属性和脑区之间的连接情况。绘制时,该软件需要若干配置文件。本发明实现的 BrainCircos工具可以根据需要自动生成这些配置文件,该工具的组成部分如图17b。配置文件生成完毕后,结合计算框架中的ExecutableJob自动调用Circos绘图软件进行绘制。如图17c是利用本工具绘制的结构网络连接和MD、FA属性图。由外圈向内圈的热图,分别是平均连接强度, MD属性和FA属性,里面的连接线代表了两两脑区之间的连接强度。
图18示出了利用本发明的系统处理数据的应用实例。参照图18,使用的多模态数据是磁共振成像MRI信号。本发明的多模态数据管理模块用于管理多种磁共振数据和对应的特征数据以及临床评分信息。本应用实例用于脊髓损伤与脑卒中病人,故而临床评分部分只包括了脊髓损伤评分与脑卒中评分。该应用实例中,对数据进行预处理、配准和特征计算,对应于本发明的预处理和特征提取部分,系统计算框架中的计算任务组织为这些计算提供底层功能。人脑图谱和数据融合框架在此流程中得到了应用。这部分的结果对应于本发明的全局特征和局部特征,存储于多模态特征数据库中。本应用实例的数据融合(Datafusion)部分实现了本发明的分组或跟踪对比评估模块,最终生成出结果供研究人员或医生查看。用户接口用于数据管理、计算任务组织的可视化操作,以及特征的可视化。
图19是神经重塑特征分析流程示意图,对应于本发明中的分组或跟踪对比评估模块。该特征分析流程结合了原始数据管理模块的治疗方案与评估结果,与经过本发明处理得到的全局特征和局部特征,实现了本发明中对比分析,获得验证后的显著特征,进行跟踪评价的功能。
临床病人/对照被试采集的原始多模态数据信息包括脑组织结构信息 Struct(即T1加权)、血氧水平依赖信息BOLD(即BOLD-fMRI)、水分子扩散信息DTI(即DWI)等,构成数据信息集合DataInfo={Struct, BOLD,DTI...}。这些数据由备份于原始数据管理模块中的DICOM格式转换后,存储于多模态数据管理模块中。被试的临床信息包括控制信息和验证信息,即治疗(康复训练)方案Treat和临床评估(Test)。这部分信息属于病人的治疗方案与评估结果,存储于原始数据管理模块中。
多维尺度变化包括:时间尺度变化duration(Durt)、空间粒度 granularity变化Granu(比如:体素voxel、簇cluster等)、脑区尺度变化Area即多层级图谱(比如:大脑、中脑、小脑、脑干;灰质和白质;Brodmann Areas;Brainnetome Atlas;HCP图谱等),构成多维尺度空间Scale={Durt,Granu,Area}。本实现中的多维尺度空间即本发明中的全局特征和局部特征。通过分析不同尺度空间的数据信息 DataInfo(Scale),对比“验证信息”Test进行特征选择和融合决策,获得神经重塑特征,并通过“控制信息”Treat和验证信息,对神经重塑特征进行评价。这部分是本发明中结合治疗方案与评估结果,和全局特征、局部特征进行特征筛选、对比分析和跟踪诊断的实施例。
如果是为了研究病人治疗或康复过程的变化,从多模态特征数据管理模块中提取健康人被试、对照组被试和研究组被试的多次扫描数据特征,进行对比分析。还可以对对照组与研究组被试的多次扫描数据特征联合分析,做出跟踪评价。在进行特征分析步骤时,还需要结合临床治疗方案与评估结果信息。
分组或跟踪对比评估模块可有多种实现方式。图20展示了基于分类的对比分析方法。使用分类方法进行分组对比时,首先需要确立使用何种类型特征,其次进行特征选择,再确定使用的分类器。训练分类器时还需要估算分类误差,作为评估分类器效果的参数。
在图20的示例中,使用的特征来自本发明的特征提取模块,为被试的脑网络连接。首先对两个群组的每一个脑连接进行双样本t检验,设定显著度为p<0.05(未矫正),找到显著差异连接。这两个群组可以是健康人群组与病人群组,其中病人群组中的特征(脑网络)均从初次扫描数据中提取。下面,选择显著差异连接作为分类特征,训练线性支持向量机(SVM) 分类器。在分类器训练过程之中,采用留一法估算分类误差。本示例中的“显著差异连接”即为本发明中显著特征的一个实例,由分组或跟踪对比评估模块生成,并送回存储于多模态特征数据管理模块中。
还可以使用此分类器进行治疗效果评估,此时有两种方法。如图20 所示,该分类器可以接受第三个群组(C)的特征作为输入。该群组个体需要与两个训练群组之一具有相似性。例如同样为病人群组,只不过是病人多次扫描提取的特征。首先群组C经过上述训练步骤确定的特征选择,挑选出显著差异连接作为分类特征,使用支持向量机分类器进行分类。分类结果与群组C的实际标签进行比对,以计算出分类准确率。
另一种方法针对群组C中每一个个体进行操作。此时群组C中的个体需要包含多次扫描特征,以估计多次特征的变化趋势。用同样的方法提取分类特征,并使用支持向量机进行分类。这之后,计算每一次扫描的特征与线性SVM分类面之间的距离,该距离对应本发明中跟踪评估的参考基准,多次扫描便对应了多个距离度量。距离度量的变化趋势即反映了该群组个体状态的变化情况,可用于评估康复治疗效果。
图21是基于健康人特征模板的对比分析方法,涉及多个健康人数据。首先利用多个健康人数据集,根据数据集中健康人每个连接的相关系数分布,绘制出全脑每个连接分布直方图,构建健康人特征模板;还可以对每个健康人绘制其全脑连接分布。直方图绘制时可以采用不同数据库的交集或并集,但需要做面积归一化和最大值归一化。健康人特征模板反映了健康人共有的特征,其数值反映了某一连接不同相关系数取值属于健康人的可能性(隶属度),对应本发明中跟踪评估的参考基准。对于每一个病人每一次采集数据的连接特征,根据上述建立的健康人特征模板,计算每一个局部连接和一个人全脑连接属于健康人类别的隶属度。由此可以判断病人与健康人的相似性,并利用这种相似性来评估康复治疗效果。在病人多次脑连接特征之间观察健康人隶属度的变化,可以反映病人与健康人的相似性变化。由此评估跟踪康复治疗效果。
本发明应用在多模态脑MRI信号的数据分析和信息融合中,分别对脑肿瘤、脊髓脊柱损伤和脑卒中患者数据进行自动分析。用核磁波谱MRS数据分析神经胶质瘤的高低级别、用T1/T2数据定量脑肿瘤体积。用T1/T2、静息态BOLD-fMRI和DTI数据对脑肿瘤的不同组织成分进行定量标注、分析脑肿瘤对脑神经功能连接和结构连接的影响。对脊髓病人的灰质结构和功能网络联合研究,研究了脊髓病人的感觉运动区的灰质结构、功能连接与健康人的关系和区别,并且结合了临床评分,为找到可以用于病情评价的特征提供了实例,对于临床应用有较大的价值。用静息态BOLD-fMRI和 DTI数据对结构网络构建空间进行了比较研究,结合了基于BOLD的功能网络和脊髓病人、脑卒中病人、健康人的数据,研究了基于个体空间的结构网络和基于标准空间的结构网络之间的联系和区别,为结构网络和功能网络,以及数据融合在临床的进一步应用提供了可行的方法。
图22示出了本发明系统分析脑胶质瘤动态特征的实例。被试(健康人和神经胶质瘤患者)的静息态BOLD-fMRI序列数据经过本发明的数据转换模块存入多模态数据管理模块,在预处理模块中通过被试及扫描信息关系数据库,从多模态数据管理模块中读取所需处理的被试数据,进行序列信号预处理后,再对序列信号进行选定时间窗长度和步长的滑动时间窗的时序数据处理,生成以滑动时间窗序号为单位的一组时间片信号(或时间动态子序列数据),即将一个序列数据拆分成由时间动态子序列构成的一组动态BOLD数据。结果存入本发明的多模态特征数据管理模块的原始特征集中,同时送入本发明的特征提取模块中对每一个子序列进行特征分析,如图论、聚类、关联规则、解剖学特征分析等,并将分析结果存入多模态特征数据管理模块。通过本发明的被试分组和跟踪信息,从多模态特征数据管理模块中读取被试动态BOLD数据特征,在本发明的分组或跟踪对比评估模块中,进行肿瘤区域分类预测,通过病理学和统计学检验获得肿瘤区域的显著特征,送回多模态特征数据管理模块和进行病理学对比解释。
图23示出了基于多模态MRI数据特征的胶质瘤组织定量分析,以及胶质瘤组织特征对功能连接和结构连接的影响实施例。同时采集的胶质瘤患者的多模态MRI数据,包括3DT1、T2、扩散加权DWI张量(DTI) 数据、静息态BOLD-fMRI数据,通过本发明的数据转换模块转换后,导入多模态数据管理模块。同时采集的核磁波谱原始数据CSI(化学位移成像采集的多体素核磁波谱数据)不是DICOM格式,需要从采集设备后台导出,存入多模态数据管理模块。
预处理模块除了在各模态数据空间预处理获得各模态数据空间原始特征外,也将各模态数据配准到3D T1空间,脑区模板或图谱分别变换到 3D T1空间和DWI的b0空间,分别得到T1空间和b0空间的原始特征和脑图谱。对静息态BOLD-fMRI数据进行滑动时间窗的时序数据处理。CSI 数据用核磁波谱分析工具完成化合物定量分析后,将各化合物波谱幅度和浓度特征(如Cho/Cr、NAA/Cr以及Cho/NAA)及其对应的定位空间特征存入多模态特征管理模块。
特征提取模块分别在各模态数据空间和配准后的T1空间和b0空间进行特征提取,结果存入多模态特征管理模块,其中包括BOLD时序数据处理后生成的动态网络特征。用本发明的数据融合框架读取T1空间的各模态数据特征,用信息融合方法,如模糊信息融合,提取灰质、白质、肿瘤区域可能性、肿瘤坏死区、实质区和水肿区等特征,并送回多模态特征管理模块;读取脑图谱空间的脑结构网络特征、静态功能网络特征、动态功能网络特征、肿瘤特征等,分析脑肿瘤对脑网络的影响和肿瘤周边网络特征,并将结果送回多模态特征管理模块。在本发明的分组或跟踪对比评估模块中,按分组信息读取多模态特征管理模块中存储的健康人和脑肿瘤病人的静态和动态脑网络特征,对比健康人和脑肿瘤病人在全脑和肿瘤区域的网络特征的差异,并将显著差异特征送回;按跟踪信息读取多模态特征管理模块中多次采集的多模态数据提取的特征,进行跟踪对比,包括肿瘤区域各类病变组织的体积变化、脑网络特征变化等定量分析结果,并送回多模态特征管理模块中存储。同时对应研究记录,给出研究方案评估结果。在分析肿瘤局部脑网络特征时,有时不需要或无法使用图谱构建脑网络,比如脑肿瘤占位造成脑结构变形,脑图谱已经无法解释结构分区。图24a 示出了本发明系统的脑肿瘤局部脑网络特征提取实例。本系统读取预处理后的BOLD数据,包括滑动时间窗选取的一组动态子序列。对每个序列计算体素间时间相关性特征,每个体素对应两个特征空间:结构特征空间S 和相关性特征空间C,两个空间具有一一映射的对应关系f(S)=C。采用空间相邻功能相关S3C(Space Structure-Signal Correlation)方法确定脑功能网络节点,利用结构特征空间信息确保节点定义的连通性原则,利用功能相关性特征空间信息保证一致性与独立性原则定义节点。如图24b所示,节点定义方法分为三步:首先,在结构空间S中寻找与种子体素seed相邻的体素v;然后,根据映射关系得到在相关性空间C中的相关性信息;最后,根据相关性强度决策方法确定节点划分。再由节点间BOLD信号的时间相关性构建脑网络。
应用中,如图24a所示,利用本发明的数据融合框架,读取特征数据管理模块由T1/T2的模糊信息融合产生的脑肿瘤可能性特征、S3C脑网络特征,找到对应脑肿瘤空间位置的脑网络节点,计算肿瘤内、肿瘤边缘和肿瘤外三类节点特征和局部网络特征。这种方法还可以用来计算肿瘤组织局部Hub节点,并用于图23的分析中。在图23中,根据一组动态子序列的肿瘤组织局部Hub节点,对比分析肿瘤组织对功能网络的影响。
根据本发明的另一方面,还提供了一种多模态神经影像数据自动信息融合方法,该方法是通过上述描述的系统实现的,具体包括步骤:通过原始数据管理模块存储针对被试采集的神经影像数据,并存储与所述被试相关联的研究信息,所述神经影像数据与所述研究信息相对应,所述神经影像数据为多模态核磁共振MRI数据;对所述原始数据管理模块中的数据进行脱敏处理,隐去所述被试的部分敏感信息,并将所述多模态MRI数据转为统一格式,把不同格式的研究信息数据转为统一格式,并将格式转化后的MRI数据和研究信息导入多模态数据管理模块;通过多模态数据管理模块存储和管理数据转换模块转换后的数据,以扫描ID为数据管理标签;对多模态数据管理模块中存储的数据进行预处理,预处理后的数据作为原始特征;对预处理后的数据进行特征提取,进一步得到数据的全局特征和局部特征;通过图谱和模板数据管理模块存储图谱与模板,图谱指示了脑不同部分对应的结构或功能,模板定义了脑的标准空间,数据预处理和特征提取模块基于所述图谱与模板进行数据预处理和特征提取;通过多模态特征数据管理模块存储所述原始特征、全局特征和局部特征,所有特征都对应扫描ID,用以建立特征与特征所属被试之间的对应关系;提供远程访问功能,并控制访问权限。
该方法进一步包括步骤:根据多模态特征数据管理模块提供的特征数据,以及来自原始数据管理模块和多模态数据管理模块的被试分组或跟踪信息,对不同分组被试进行对比分析,以及结合研究信息对被试的情况进行跟踪评价,并将在对比分析和跟踪评价过程中生成的显著特征送回多模态特征数据管理模块进行存储与管理。在数据预处理和特征提取步骤,进一步包括计算任务分配:将预处理与特征提取分割为几个小的计算任务,对于不需要使用图谱的计算任务,可以直接分配到并行计算单元执行;对于需要使用多个图谱的计算任务,该方法先交叉被试与不同的图谱,对每一种被试与图谱组合生成对应的计算任务,再将它们分配到并行计算单元执行。
该方法各步骤的具体实现方式在上面结合系统的描述中都有涉及,在此将不再赘述。
根据本发明的再一方面,还提供了一种计算机可读介质,该介质存储有计算机程序,所述计算机程序可被执行以实现本发明的方法。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模态神经影像数据自动信息融合系统,该系统包括:
原始数据管理模块,用于存储针对被试采集的神经影像数据,并存储与所述被试相关联的研究信息,所述神经影像数据与所述研究信息相对应,所述神经影像数据为多模态核磁共振MRI数据;
数据转换模块,用于对所述原始数据管理模块中的数据进行脱敏处理,隐去所述被试的部分敏感信息,并将所述多模态MRI数据转为统一格式,把不同格式的研究信息数据转为统一格式,并将格式转化后的MRI数据和研究信息导入多模态数据管理模块;
多模态数据管理模块,用于存储和管理数据转换模块转换后的数据;
数据预处理模块,用于对多模态数据管理模块中存储的数据进行预处理,预处理后的数据作为原始特征,存储于多模态特征数据管理模块中;
特征提取模块,用于对预处理后的数据进行特征提取,进一步得到数据的全局特征和局部特征,并存储于多模态特征数据管理模块中;
图谱和模板数据管理模块,用于存储图谱与模板,图谱指示了人脑不同部分对应的结构或功能,模板定义了人脑的标准空间,数据预处理和特征提取模块基于所述图谱与模板进行数据预处理和特征提取;
多模态特征数据管理模块,用于存储所述原始特征、全局特征、局部特征和显著特征。
2.根据权利要求1所述的系统,其特征在于,所述多模态数据管理模块进一步包括多模态数据库,用于存储数据转换模块转换后的数据;被试及扫描信息关系数据库,用于存储管理被试的部分研究信息、分组或个体的跟踪信息、及扫描ID之间的对应关系,为每一个扫描数据分配唯一的扫描ID,用于反查扫描对应的被试研究信息。
3.根据权利要求1所述的系统,其特征在于,该系统进一步包括:
静态数据服务器,用于提供对所述系统中数据的访问,对外提供统一的多模态数据存储接口;
服务应用接口服务器,用于对所述系统提供数据管理和计算结果查询的接口;
网络应用服务器,用于提供网络浏览器应用,实现对所述系统中数据、被试信息、扫描信息和特征的查询和管理;
客户端,是运行在用户设备上的本地应用程序,实现对所述系统的查询和管理。
4.根据权利要求1所述的系统,其特征在于,该系统进一步包括:分组或跟踪对比评估模块,用于接受多模态特征数据管理模块提供的特征数据,以及来自原始数据管理模块和多模态数据管理模块的被试分组或个体跟踪信息,对不同分组或个体被试进行对比分析,以及结合研究信息对被试的情况进行跟踪评价,并将对比过程中生成的显著特征送回多模态特征数据管理模块进行存储与管理。
5.根据权利要求1-4任一项所述的系统,其特征在于,所述原始数据管理模块、多模态数据管理模块、多模态特征数据管理模块分别具有不同的访问权限,并且不同的用户在访问同一个模块时的访问权限也不同。
6.根据权利要求1-5任一项所述的系统,其特征在于,所述数据转换模块为每一个DICOM格式的多模态MRI数据设置一个唯一的扫描ID,并将DICOM格式的多模态MRI数据转换为以数据模态为标志的数据文件,每个模态数据对应一个文件或一个文件对。
7.一种多模态神经影像数据自动信息融合方法,该方法包括步骤:
通过原始数据管理模块存储针对被试采集的神经影像数据,并存储与所述被试相关联的研究信息,所述神经影像数据与所述研究信息相对应,所述神经影像数据为多模态核磁共振MRI数据;
对所述原始数据管理模块中的数据进行脱敏处理,隐去所述被试的部分敏感信息,并将所述多模态MRI数据转为统一格式,把不同格式的研究信息数据转为统一格式,并将格式转化后的MRI数据和研究信息导入多模态数据管理模块;
通过多模态数据管理模块存储和管理数据转换模块转换后的数据,以扫描ID为数据管理标签;
对多模态数据管理模块中存储的数据进行预处理,预处理后的数据作为原始特征;
对预处理后的数据进行特征提取,进一步得到数据的全局特征和局部特征;
通过图谱和模板数据管理模块存储图谱与模板,图谱指示了脑不同部分对应的结构或功能,模板定义了脑的标准空间,数据预处理和特征提取模块基于所述图谱与模板进行数据预处理和特征提取;
通过多模态特征数据管理模块存储所述原始特征、全局特征和局部特征,所有特征都对应扫描ID,用以建立特征与特征所属被试之间的对应关系;
提供远程访问功能,并控制访问权限。
8.根据权利要求7所述的方法,其特征在于,该方法进一步包括步骤:根据多模态特征数据管理模块提供的特征数据,以及来自原始数据管理模块和多模态数据管理模块的被试分组或跟踪信息,对不同分组被试进行对比分析,以及结合研究信息对被试的情况进行跟踪评价,并将在对比分析和跟踪评价过程中生成的显著特征送回多模态特征数据管理模块进行存储与管理。
9.根据权利要求8所述的方法,其特征在于,在数据预处理和特征提取步骤,进一步包括计算任务分配:将预处理与特征提取分割为几个小的计算任务,对于不需要使用图谱的计算任务,可以直接分配到并行计算单元执行;对于需要使用多个图谱的计算任务,该方法先交叉被试与不同的图谱,对每一种被试与图谱组合生成对应的计算任务,再将它们分配到并行计算单元执行。
10.一种计算机可读介质,其特征在于,该介质存储有计算机程序,所述计算机程序可被执行以实现如权利要求7-9任一项所述的方法。
CN201810603964.3A 2018-06-12 2018-06-12 多模态神经影像数据自动信息融合系统 Active CN110598722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810603964.3A CN110598722B (zh) 2018-06-12 2018-06-12 多模态神经影像数据自动信息融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810603964.3A CN110598722B (zh) 2018-06-12 2018-06-12 多模态神经影像数据自动信息融合系统

Publications (2)

Publication Number Publication Date
CN110598722A true CN110598722A (zh) 2019-12-20
CN110598722B CN110598722B (zh) 2022-04-15

Family

ID=68849086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810603964.3A Active CN110598722B (zh) 2018-06-12 2018-06-12 多模态神经影像数据自动信息融合系统

Country Status (1)

Country Link
CN (1) CN110598722B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539478A (zh) * 2020-04-26 2020-08-14 成都见田科技有限公司 升降机故障智能诊断方法、系统及诊断设备
CN111783124A (zh) * 2020-07-07 2020-10-16 矩阵元技术(深圳)有限公司 基于隐私保护的数据处理方法、装置和服务器
CN112348054A (zh) * 2020-10-12 2021-02-09 北京国电通网络技术有限公司 多类型传感器的数据处理方法、装置、介质和系统
CN112515653A (zh) * 2020-10-09 2021-03-19 天津大学 一种基于核磁共振图像的脑网络构建方法
CN113940754A (zh) * 2020-07-15 2022-01-18 台北医学大学 医疗影像处理系统及方法
CN115831368A (zh) * 2022-12-28 2023-03-21 东南大学附属中大医院 基于脑成像卒中患者数据的康复分析管理系统
CN117116432A (zh) * 2023-10-23 2023-11-24 博奥生物集团有限公司 一种疾病特征的处理方法、装置和设备
CN117347416A (zh) * 2023-10-12 2024-01-05 无锡鸣石峻致医疗科技有限公司 一种物质成分的非侵入式检测方法、装置及存储介质
CN117438054A (zh) * 2023-12-15 2024-01-23 之江实验室 一种脑影像数据的bids格式自动转换方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103800011A (zh) * 2014-02-18 2014-05-21 常州大学 一种基于功能磁共振成像的脑区效应连接分析系统
US20150067422A1 (en) * 2013-08-27 2015-03-05 The United States Of America As Represented By The Secretary Of The Navy Fusion of multiple modalities for determining a unique microelectronic device signature
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN107137096A (zh) * 2017-06-22 2017-09-08 中国科学院心理研究所 一种多模态生理和行为数据融合采集系统
CN107137107A (zh) * 2017-05-09 2017-09-08 上海联影医疗科技有限公司 多模态医学图像获取方法及多模态医学图像成像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150067422A1 (en) * 2013-08-27 2015-03-05 The United States Of America As Represented By The Secretary Of The Navy Fusion of multiple modalities for determining a unique microelectronic device signature
CN103800011A (zh) * 2014-02-18 2014-05-21 常州大学 一种基于功能磁共振成像的脑区效应连接分析系统
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN107137107A (zh) * 2017-05-09 2017-09-08 上海联影医疗科技有限公司 多模态医学图像获取方法及多模态医学图像成像系统
CN107137096A (zh) * 2017-06-22 2017-09-08 中国科学院心理研究所 一种多模态生理和行为数据融合采集系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539478A (zh) * 2020-04-26 2020-08-14 成都见田科技有限公司 升降机故障智能诊断方法、系统及诊断设备
CN111783124A (zh) * 2020-07-07 2020-10-16 矩阵元技术(深圳)有限公司 基于隐私保护的数据处理方法、装置和服务器
CN113940754B (zh) * 2020-07-15 2024-03-22 台北医学大学 医疗影像处理系统及方法
CN113940754A (zh) * 2020-07-15 2022-01-18 台北医学大学 医疗影像处理系统及方法
CN112515653A (zh) * 2020-10-09 2021-03-19 天津大学 一种基于核磁共振图像的脑网络构建方法
CN112515653B (zh) * 2020-10-09 2024-03-26 天津大学 一种基于核磁共振图像的脑网络构建方法
CN112348054A (zh) * 2020-10-12 2021-02-09 北京国电通网络技术有限公司 多类型传感器的数据处理方法、装置、介质和系统
CN115831368A (zh) * 2022-12-28 2023-03-21 东南大学附属中大医院 基于脑成像卒中患者数据的康复分析管理系统
CN117347416A (zh) * 2023-10-12 2024-01-05 无锡鸣石峻致医疗科技有限公司 一种物质成分的非侵入式检测方法、装置及存储介质
CN117116432A (zh) * 2023-10-23 2023-11-24 博奥生物集团有限公司 一种疾病特征的处理方法、装置和设备
CN117116432B (zh) * 2023-10-23 2023-12-15 博奥生物集团有限公司 一种疾病特征的处理装置和设备
CN117438054A (zh) * 2023-12-15 2024-01-23 之江实验室 一种脑影像数据的bids格式自动转换方法和装置
CN117438054B (zh) * 2023-12-15 2024-03-26 之江实验室 一种脑影像数据的bids格式自动转换方法和装置

Also Published As

Publication number Publication date
CN110598722B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110598722B (zh) 多模态神经影像数据自动信息融合系统
Mazziotta et al. A four-dimensional probabilistic atlas of the human brain
US20190051420A1 (en) Evolving contextual clinical data engine for medical data processing
Prior et al. Open access image repositories: high-quality data to enable machine learning research
Magnotta et al. Structural MR image processing using the BRAINS2 toolbox
JP5663599B2 (ja) 診療支援システム及び診療支援方法
EP2283444B1 (en) Medical workflow systems and methods with process workflow recordation
JP2018060529A (ja) コンテキストベースの患者類似性の方法及び装置
US11037659B2 (en) Data-enriched electronic healthcare guidelines for analytics, visualization or clinical decision support
Mazzanti et al. Imaging, health record, and artificial intelligence: hype or hope?
JP2014512897A (ja) 医療データの知的リンキング方法及びシステム
US10950019B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
US20060072797A1 (en) Method and system for structuring dynamic data
CN101903888A (zh) 用于基于跨模态病例的计算机辅助诊断的方法和系统
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
Tripathi et al. Fairness and ethics in artificial intelligence-based medical imaging
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
Jatmiko et al. A review of big data analytics in the biomedical field
Borovska et al. Internet of medical imaging Things and analytics in support of precision medicine for early diagnostics of thyroid cancer
Pan et al. Collaborative image synthesis and disease diagnosis for classification of neurodegenerative disorders with incomplete multi-modal neuroimages
CN112863625A (zh) 患者后续分析
Kawa et al. Radiological atlas for patient specific model generation
Megalooikonomou et al. Medical data fusion for telemedicine
JP2008217426A (ja) 症例登録システム
CN110622255B (zh) 用于通过综合下游需求来确定阅读环境的设备、系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant