CN112052882B - 磁共振脑结构影像的分类模型构建、分类与可视化方法 - Google Patents

磁共振脑结构影像的分类模型构建、分类与可视化方法 Download PDF

Info

Publication number
CN112052882B
CN112052882B CN202010817665.7A CN202010817665A CN112052882B CN 112052882 B CN112052882 B CN 112052882B CN 202010817665 A CN202010817665 A CN 202010817665A CN 112052882 B CN112052882 B CN 112052882B
Authority
CN
China
Prior art keywords
image
magnetic resonance
brain structure
image quality
resonance brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010817665.7A
Other languages
English (en)
Other versions
CN112052882A (zh
Inventor
梁华东
黄瑞旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202010817665.7A priority Critical patent/CN112052882B/zh
Publication of CN112052882A publication Critical patent/CN112052882A/zh
Application granted granted Critical
Publication of CN112052882B publication Critical patent/CN112052882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Abstract

本申请提供了磁共振脑结构影像的分类模型构建、分类与可视化方法,其中,所述磁共振脑结构影像分类模型构建方法包括:获取多个有标注的磁共振脑结构影像;提取各磁共振脑结构影像的病理水平监测指标和多类别的影像质量监测指标,从而确定各影像融合特征指标;基于各磁共振脑结构影像的标注与其影像融合特征指标,构建磁共振脑结构影像分类模型。利用该模型对磁共振脑结构影像进行分类,并对已分类影像基于影像相似度从有标注的磁共振脑结构影像中选择最相似参考影像,且产生突出病灶的混合影像,从而进行可视化对比查看。本申请帮助临床大夫提升了基于磁共振脑结构影像的脑疾病发现的准确率、时效性和可解释性。

Description

磁共振脑结构影像的分类模型构建、分类与可视化方法
技术领域
本申请属于智慧医疗等技术领域,尤其涉及一种基于融合特征的磁共振脑结构影像分类与可视化方法。
背景技术
在多磁共振站点中心监测中国儿童青少年的脑智发育情况的认知科学研究中,围绕儿童青少年大脑髓鞘化发育疾病和大脑结构分析的探究主要依赖测量具有高度空间分辨率、高对比度的脑结构影像。其中,从空间分辨率、无侵入性和应用性角度等方面考虑,目前脑疾病诊断应用临床研究中最广泛的是T1加权影像和T2加权影像。其采用快速容积扫描技术,有较高的空间分辨率和时间分辨率,信噪比高、伪影小、对脑内结构(如白质、灰质和脑脊液)的对比度良好,能三维显示人脑内部精细解剖结构,有利于显示小病灶及其细节,对神经系统疾病的诊断具有重要价值,同时也是获取正常人脑的三维可视化图像的重要技术。因此,如何利用大样本影像的标准质量监控中获得的高质量影像数据、并建立基于影像特征的智能化疾病诊断模型、并开发可视化的人机交互模式,对于提升我国儿童青少年脑智发育监测和疾病诊断水平具有重要的经济和社会意义。
在智慧医疗框架下,儿童青少年脑疾病诊断和可视化评估方法主要有二种途径:一是依托第三方可视化软件对磁共振脑结构影像进行呈现,然后基于脑外科医生的专家经验和专业知识进行诊断,进而评估该受试者的脑发育程度以及可能出现的脑疾病类型;二是智能化疾病诊断,即在实验室级别对临床影像数据进行特征工程工作,并结合统计学习模型进行脑疾病的自动化诊断和分类。
在多磁共振站点的研究中,通常的方式是针对儿童青少年的脑发育水平及疾病监测,神经影像科专家依托第三方可视化软件进行磁共振脑结构影像的检查、基于人工经验进行评定,但面临着主观性、时效性等问题。实际上,现有方法中主要依据提取疾病相关病灶的影像学特征,一方面通过度量指标的分布特性,依赖专家比对健康对照组设定阈值对影像进行划分,从而面临着划分标准不统一、主观性强、应用性差等实际问题。目前,已有方法也结合了机器学习、基于已度量的影像特征,构建了以疾病诊断为目标的映射模型,但这些已有方法并没有考虑到磁共振影像质量、也没有考虑以及其自身间相互作用关系对疾病度量指标的可区分性的影响,从而影响了自动疾病诊断模型的算法准确性。因此,面对利用多中心儿童青少年的脑发育水平及疾病监测的大样本脑结构影像,如何在影像疾病监测中对脑结构影像自动高效、准确诊断和分类且分类的结果可解释的这一重大需求,已有方法表现出了一定的局限性。
发明内容
有鉴于此,本申请首先设计标准统一的磁共振脑结构影像的成像参数并在各磁共振站点进行脑结构影像数据的采集,提取反映磁共振脑结构影像的质量层级特征及病理水平层级特征;在特征工程工作中,本申请首先利用探索性因子分析方法进行影像质量的分层次综合得分,然后基于该综合得分的分布相似性度量磁共振脑结构影像质量对病理水平的影响关系的高阶特征,提升了最终用于脑发育水平及脑疾病筛查的磁共振脑结构影像分类模型的鲁棒性和准确性;本申请采用了有监督学习中的分类学习方法、进行基于专家经验知识训练所述分类模型。为提升疾病诊断中参考病例的适用性,本申请通过定义一种新的融合多维度的影像相似性度量方法进行参考影像的选取;同时,采用影像混合模式进行病灶的突出显示,给予临床神经影像专家更便捷和针对性的帮助,从而帮助提升儿童和青少年脑发育水平及疾病监测的自动反馈的时效性、可解释性和准确性。
本申请第一方面提供一种基于融合特征的磁共振脑结构影像分类模型的构建方法,其包括以下步骤:
获取多个有标注的磁共振脑结构影像;
提取各所述磁共振脑结构影像的病理水平监测指标和多类别的影像质量监测指标,从而确定各影像融合特征指标;
基于各所述磁共振脑结构影像的标注与所述影像融合特征指标,利用机器学习的方法构建磁共振脑结构影像分类模型。
由上,所述多个有标注的磁共振脑结构影像可以来自于多台磁共振设备,也可以来自于一台磁共振设备的历史数据,基于多个所述磁共振脑结构影像可以构建稳定的独立的所述影像融合特征指标,同时,所述磁共振脑结构影像分类模型基于所述磁共振脑结构影像的标注和所述影像融合特征指标,挖掘了临床专家的诊断结果与所述磁共振脑结构影像的内部特征的关系,降低了人为主观的影响,提高了用于脑疾病发现的磁共振脑结构影像分类模型磁共振脑结构影像分类模型的准确性。
由上,所述多类别的影像质量监测指标基于各磁共振站点的磁共振脑结构影像使用业界标准工具提取,所述类别遵从业界标准,包括:图像噪声类、信息分布类、信号强度类、体素重叠类,这些通用性类别和指标项全面准确表述了影像质量,可以在构建所述影像融合特征指标时用于发现影像质量对病理水平的影响,提高所述影像融合特征指标的准确性,提升所构建的磁共振脑结构影像分类模型的准确性。
可选的,所述磁共振脑结构影像至少包括下列模态之一:T1加权影像和T2加权影像,所述标注分为有病和无病。
由上,T1加权影像和T2加权影像采用快速容积扫描技术,有较高的空间分辨率和时间分辨率,信噪比高、伪影小、对脑内结构(如白质、灰质和脑脊液)的对比度良好,能三维显示人脑内部精细解剖结构,有利于显示小病灶及其细节,对神经系统疾病的诊断具有重要价值,同时也是获取正常人脑的三维可视化图像的重要技术;同时,T1加权影像主要侧重解剖结构,T2加权影像突出组织主要看病理结构或病理变化,基于T1加权影像和T2加权影像提取的影像质量和病理水平特征更全面,相对于只使用T1加权影像或T2加权影像都提升所述磁共振脑结构影像分类模型的准确性。
由上,所述标注分为有病和无病,是临床专家的临床诊断结果,集合了临床专家的专业知识和经验,用其构建的所述磁共振脑结构影像分类模型学习了临床专家的专业知识和经验,提高了该分类模型准确性。
可选的,所述病理水平监测指标至少包括下列之一:病理形态学指标、病理白质髓鞘化指标;
所述病理形态学指标至少包括下列基于所述磁共振脑结构影像提取的指标之一:皮层厚度、表面积、灰质体积和密度、白质体积和密度、脑室容积;
所述病理形态学指标还包括基于所述磁共振脑结构影像提取的每个体素的白质密度数据对每个体素的位置序号回归后确定的所有体素的白质密度回归的误差和;
所述病理白质髓鞘化指标至少包括下列指标之一:脑区信号掩模内各体素的脑区信号比值的均值、标准差、设定的分位差;
所述脑区信号掩模为基于T1加权影像提取,所述脑区信号掩模内各体素的所述脑区信号比值等于基于T1加权影像提取所述脑区信号掩模内相应体素的脑区第一信号值除以基于T2加权影像提取所述脑区信号掩模内相应体素的脑区第二信号值的商;所述设定的分位差是将所述各体素的所述脑区信号比值从小到大排序后分成若干等份且取其中两个等份的上位点所对应的所述脑区信号比值的差值。
由上,所述病理水平监测指标从形态学和白质髓鞘化两个方面度量所述磁共振脑结构潜在病理水平特征,形态学从形态上如大脑皮层、大脑灰质、大脑白质等形态方面描述,白质髓鞘化从青少年发育过程中髓鞘发展进展程度描述,综合使用形态学和白质髓鞘化指标提高了所述病理水平监测指标的全面性,相对于只使用形态学指标或白质髓鞘化指标,使包含其的所述影像融合特征指标全面表征脑疾病的病理水平问题;另外,所述病理形态学指标还包含了优选的所有体素的白质密度回归的误差和,使用所述误差和作为病理水平的特征数据,消除了年龄、性别和左右利手等非疾病因素对所述病理水平监测指标的影响,使所述影像融合特征指标更加准确表征脑疾病的病理水平问题。
优选的,所述影像融合特征指标包括:所述病理水平监测指标和影像质量对病理水平影响指标。
由上,磁共振设备不可避免会带来的所述磁共振脑结构影像质量问题,影响病理水平监测指标,所述影像融合特征指标融合所述病理水平监测指标和影像质量对病理水平影响指标,相对于只使用所述病理水平监测指标来说,把磁共振设备本身硬件问题带来的病理水平的影响降低甚至消除,提高基于所述影像融合特征指标的磁共振脑结构影像分类模型的准确性
优选的,所述影像质量对病理水平影响指标对应的矩阵等于影像质量对病理水平影响系数矩阵与影像质量综合得分对应的矩阵的乘积;所述影像质量综合得分对应的矩阵由各类别的影像质量综合得分组成,所述各类别的影像质量综合得分等于相应类别的影像质量综合得分系数矩阵与相应类别的所述影像质量监测指标对应的矩阵的乘积。
由上,基于度量影像质量的所述影像质量监测指标确定所述影像质量综合得分,再基于所述影像质量综合得分确定所述影像质量对病理水平影响指标,从而评估了磁共振设备带来的影像质量问题对所述影像融合特征指标的影响,并把这个影响融合所述影像融合特征指标,使在构建的磁共振脑结构影像分类模型的过程中充分考虑该影响,提高了所述磁共振脑结构影像分类模型的准确性。
可选的,各类别的所述影像质量综合得分系数矩阵的建立步骤,包括:
获取多个所述磁共振脑结构影像的各类别的所述影像质量监测指标;
基于各类别的所述影像质量监测指标,利用探索性因子分析法确定各类别的所述影像质量监测指标的至少1个公因子、因子贡献率第一矩阵和因子得分矩阵;
对各类别所述因子贡献率第一矩阵分别基于其各元素的和归一化得到相应类别的因子贡献率第二矩阵,其与相应类别所述因子得分矩阵乘积构成相应类别的影像质量综合得分系数矩阵。
由上,使用探索性因子分析法提取各类别的所述影像质量监测指标的至少1个独立的稳定的可解释的公因子,从而计算各类别的所述影像质量综合得分,保证了所述影像质量综合得分准确、稳定性和可解释性,可用来准确评估所述影像质量综合得分对所述病理水平监测指标的影响。同时,在构建所述磁共振脑结构影像分类模型时构建的各类别所述影像质量综合得分系数矩阵可以复用,在计算待分类的磁共振脑结构影像的所述影像质量综合得分时可以直接使用。
优选的,所述影像质量对病理水平影响系数矩阵的各元素值为基于一类别的影像质量综合得分的分布与一病理水平监测指标数值的关系确定,其各元素值确定方法包括:
获取各所述磁共振脑结构影像的第i个病理水平监测指标,基于高斯分布计算第i个病理水平监测指标的均值;
基于第i个病理水平监测指标的均值把各所述磁共振脑结构影像分成两个子集g1和g2,子集g1为第i个病理水平监测指标值从0到均值的所述磁共振脑结构影像的集合,子集g2为第i个病理水平监测指标值从均值到最大值的所述磁共振脑结构影像的集合;
基于高斯分布计算子集g1的类别j的影像质量综合得分的分布和子集g2中的影像的类别j的影像质量综合得分的分布的JS散度,作为类别j的影像质量综合得分对第i个病理水平监测指标的影响系数,即所述影像质量对病理水平影响系数矩阵的第i行第j列元素的值;
基于所述影像质量对病理水平影响系数矩阵的第i行第j列元素的值的计算方法确定所述影像质量对病理水平影响系数矩阵其他各个元素的值。
由上,优选子集g1与子集g2的JS散度评价了在不同的所述病理水平监测指标值下影像质量综合得分分布的一致性,解决了KL散度的不对称性,更加准确揭示影像质量对病理水平的影响,进一步提高了所述影像融合特征指标的准确性,降低影像质量对所述磁共振脑结构影像分类模型的影响,提高所述磁共振脑结构影像分类模型的准确性。同时,在构建所述磁共振脑结构影像分类模型时构建的所述影像质量对病理水平影响系数矩阵可以复用,在计算待分类的所述磁共振脑结构影像的所述影像质量对病理水平影响指标时可以直接调用。
综上,本申请基于探索性因子分析法抽取的公因子精确计算了影像质量综合得分,同时从病理形态学和白质髓鞘化全面度量影像病理水平,通过优选的JS散度方法准确评价影像质量对病理水平的影响,提高了所述影像融合特征指标的准确性,利用机械学习的方法挖掘临床专家对影像的专业标注与所述影像融合特征指标内在联系,建立了准确的磁共振脑结构影像分类模型,可用来提高脑疾病临床诊断的时效性和准确性。
本申请第二方面提供了一种基于融合特征的磁共振脑结构影像分类模型构建装置,包括:
磁共振脑结构影像获取模块、用于获取各站点的有标注的磁共振脑结构影像,包括下列模态:T1加权影像和T2加权影像。
病理水平监测指标提取模块、用于基于所述磁共振脑结构影像提取病理水平监测指标。
影像质量监测指标提取模块、用于基于所述磁共振脑结构影像提取影像质量监测指标。
影像质量得分系数矩阵构建模块、用于基于各类别的所述影像质量监测指标利用探索性因子分析法构建相应类别的影像质量综合评估体系,从而计算应类别的影像质量综合得分系数矩阵。
影像质量综合得分计算模块、用于基于各类别的所述影像质量综合得分系数矩阵与相应类别的所述影像质量监测指标的乘积确定相应类别的所述影像质量综合得分。
影像质量对病理水平影响系数矩阵构建模块、用于基于所述病理水平监测指标和所述影像质量综合得分利用JS散度构建所述影像质量对病理水平影响系数矩阵。
影像质量对病理水平影响指标计算模块、用于基于所述影像质量对病理水平影响系数矩阵与所述影像质量综合得分的乘积确定所述影像质量对病理水平影响指标。
影像融合特征指标计算模块、用于基于所述病理水平监测指标和影像质量对病理水平影响指标确定所述影像融合特征指标。
影像分类模型构建模块、用于基于所述影像融合特征指标和影像的标注利用机械学习的方法构建磁共振脑结构影像分类模型。
本申请第三方面提供一种基于融合特征的磁共振脑结构影像分类方法,包括步骤:
基于多个所述有标注的磁共振脑结构影像,使用一种基于融合特征的磁共振脑结构影像分类模型构建方法,构建磁共振脑结构影像分类模型;
获取待分类的磁共振脑结构影像,计算所述影像融合特征指标;所述计算所述影像融合特征指标的方法参照本申请第一方面的所述方法;
基于所述影像融合特征指标,利用所述磁共振脑结构影像分类模型对所述待分类的磁共振脑结构影像分类。
由上,基于所述磁共振脑结构影像分类模型的磁共振脑结构影像分类方法,客观地对磁共振脑结构影像分类,降低了人为主观的影响,为脑疾病临床诊断提供了准确的参考,因此提高了脑疾病临床诊断的准确性,另外,降低了对紧张的临床专家资源的需求,提高了脑疾病临床诊断的时效性。
本申请第四方面提供了一种基于融合特征的磁共振脑结构影像分类装置,包括:
待分类影像获取模块、用于获取所述待分类的磁共振脑结构影像。
待分类影像指标计算模块、用于计算所述待分类的磁共振脑结构影像的所述病理水平监控指标、所述各类别的影像质量监控指标、所述影像质量综合得分指标,进而计算所述影像融合特征指标。
影像分类模块、用于基于所述磁影像融合特征指标利用所述磁共振脑结构影像分类模型对所述待分类的磁共振脑结构影像进行分类。
本申请第五方面提供一种基于融合特征的磁共振脑结构影像可视化方法,包括步骤:
获取按照所述一种基于融合特征的磁共振脑结构影像分类方法已分类的磁共振脑结构影像,并获取所述已分类的磁共振脑结构影像在分类过程中所计算的所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分;
获取所述一种基于融合特征的磁共振脑结构影像分类方法中使用的多个有标注的磁共振脑结构影像,组成参考影像集合,并获取在构建一种基于融合特征的磁共振脑结构影像分类模型过程中所计算的所述参考影像集合中各影像的所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分;
基于所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分,计算所述已分类的磁共振脑结构影像与所述参考影像集合中各影像的影像相似度;
从所述参考影像集合中选择与所述已分类的磁共振脑结构影像的影像相似度分数最高的影像为所述已分类的磁共振脑结构影像的最相似参考影像;
基于所述最相似参考影像和所述已分类的磁共振脑结构影像确定混合影像,其中,所述混合影像各体素的影像信号强度基于所述最相似参考影像相应体素的影像信号强度和所述已分类的磁共振脑结构影像相应体素的影像信号强度按设定权重比例加权求和确定;
对比显示所述已分类的所述磁共振脑结构影像、所述最相似参考影像和所述混合影像。
由上,所述影像相似度融合了病理水平和影像质量的相似程度,基于所述影像相似度从有标注的所述磁共振脑结构影像中确定具有临床最佳参考案例意义的最相似参考影像,通过最相似参考影像与已分类的所述磁共振脑结构影像的信号强度加权计算混合影像的信号强度,可突出病灶的显示,结合已分类影像、最相似参考影像和混合影像的可视化查看和对比,帮助临床大夫在自动化诊断的基础上提高了诊断的可解释性。
优选的,所述影像相似度为2个磁共振脑结构影像的相似程度,其等于所述2个磁共振脑结构影像的病理水平相似度和影像质量相似度的均值;
其中,所述2个磁共振脑结构影像的病理水平相似度等于所述2个磁共振脑结构影像的所述病理水平监测指标的线性相关系数,所述2个磁共振脑结构影像的影像质量相似度等于所述2个磁共振脑结构影像的由所述影像质量监测指标和所述影像质量综合得分组成的影像质量指标的线性相关系数。
由上,所述影像相似度融合了所述病理水平监测指标、各类别的影像质量监测指标和影像质量综合得分,全面反映了影像间的相似度,保证了在影像可视化方面准确选择所述最相似参考影像,进一步提高了脑疾病诊断的可解释性。
综上,本申请的一种基于融合特征的磁共振脑结构影像可视化方法融合了所述病理水平监测指标、各类别的影像质量监测指标和影像质量综合得分,准确计算了所述影像相似度,为分类结果提供最相似参考影像;通过最相似参考影像与已分类的所述磁共振脑结构影像的信号强度加权计算混合影像的信号强度,可突出病灶的显示;结合已分类影像、最相似参考影像和混合影像的可视化查看和对比,帮助临床大夫在自动化诊断的基础上提高了诊断的可解释性。
本申请第六方面提供了一种基于影像质量和病理特征的脑疾病可视化装置,包括:
已分类影像和指标获取模块、用于获取已分类的磁共振脑结构影像,及其在分类过程中所计算的所述病理水平监测指标、各类别的所述影像质量监测指标和所述影像质量综合得分。
参考影像和指标获取模块、用于获取所述参考影像集合中各影像、以及在构建所述磁共振脑结构影像分类模型中所计算的各影像的所述病理水平监测指标、各类别的所述影像质量监测指标和所述影像质量综合得分。
影像相似度计算模块、用于计算所述参考影像集合中所有影像与所述已分类的磁共振脑结构影像的影像相似度,并基于所述影像相似度从所述参考影像集合中确定最相似参考影像。
混合影像信号强度计算模块、用于基于设定比例计算所述已分类的磁共振脑结构影像与所述最相似参考影像的混合影像的信号强度。
多影像对比显示模块、用于对比显示所述已分类的磁共振脑结构影像、所述最相似参考影像和所述混合影像,为临床大夫诊断提供参考。
本申请第七个方面提供了一种计算设备,包括:总线;通信接口,其与所述总线连接;至少一个处理器,其与所述总线连接;以及至少一个存储器,其与所述总线连接并存储有程序指令,所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述技术方案中任一所述的方法。
本申请第八个方面提供了一种计算机可读存储介质,其上存储有程序指令,所述程序指令当被计算机执行时使得所述计算机执行上述技术方案中任一所述的方法。
附图说明
图1A为一种基于融合特征的磁共振脑结构影像分类与可视化方法的流程图;
图1B为磁共振脑结构影像去隐私效果图;
图2为磁共振脑结构影像的影像融合特征指标计算流程图;
图3为磁共振脑结构影像的病理水平监测指标提取流程图;
图4A为磁共振脑结构影像的影像质量综合得分系数矩阵构建流程图;
图4B为磁共振脑结构影像的影像质量综合评估三层架构示意图;
图4C为磁共振脑结构影像的影像质量监测指标的公因子提取流程图;
图5为磁共振脑结构影像的影像质量对病理水平影响系数矩阵构建流程图;
图6A为一种基于融合特征的磁共振脑结构影像可视化方法的流程图;
图6B为一种基于融合特征的磁共振脑结构影像可视化方法的效果图;
图7A为一种基于融合特征的磁共振脑结构影像分类模型构建装置结构示意图;
图7B为一种基于融合特征的磁共振脑结构影像分类装置结构示意图;
图7C为一种基于融合特征的磁共振脑结构影像可视化装置结构示意图;
图8为计算设备结构性示意图。
具体实施方式
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等,仅用于区别类似的对象,不代表针对对象的特定排序,可以理解地,在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中,所涉及的表示步骤的标号,如S110、S120……等,并不表示一定会按此步骤执行,在允许的情况下可以互换前后步骤的顺序,或同时执行。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请具体实施方式进行进一步详细说明之前,对本申请实施例中涉及的名词和术语,以及其在本申请中相应的用途\作用\功能等进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1、本申请的磁共振脑结构影像:T1加权影像(T1w,T1 Weighted)和T2加权影像(T2w,T2 Weighted),T1加权影像突出组织T1弛豫(纵向弛豫)的差别,主要侧重解剖结构,使用比较短的重复时间(TR)和比较短的回波时间(TE);T2加权影像突出组织T2弛豫(横向弛豫)的差别,主要看病理结构或病理变化,用比较长的重复时间(TR)和比较长的回波时间(TE);所述弛豫是在射频脉冲的激发下,人体组织内氢质子吸收能量处于激发状态,射频脉冲终止后,处于激发状态的氢质子恢复其原始状态,这个过程称为弛豫。
表一T1加权影像和T2加权影像设置参数对比
其中,TR(repetition time)是指脉冲序列执行所需的时间;TE(echo_time)在梯度回波中指小角度脉冲中点到梯度回波中心的时间间隔;矩阵(Matrix)是指磁共振图像层面内行和列的数目,即是频率编码和相位编码上的像素数目。层厚(slice thickness)在层面选择梯度场强和射频脉冲的带宽决定的被激发层面的厚度;FOV(field of view)指的是磁共振设备扫描视野大小;此外,加权图像(weighted image):为了评判被检测组织的特性,通过调节重复时间TR和回波时间TE,可以得到突出某种组织特征参数的图像,此图像称为加权像。
2、SPM:神经影像的软件SPM(Statistical Parametric Mapping)是由UCL(University College London)的Wellcome Trust Centre中心的成员及其合作者开发的,用来分析脑的影像数据序列,所述序列可以是来自于fMRI(Functional MagneticResonance Imaging,功能磁共振成像),PET(Positron Emission Tomography,正电子发射断层扫描),SPECT,EEG(electroencephalo-graph,脑电图)和MEG(magnetoencephalogram,脑磁图)。
3、pydeface/mri_deface/MRIQC/fsl:这些都是开源的磁共振影像处理工具,pydeface和mri_deface用于去除磁共振脑结构影像中面部部分,保护用户隐私;MRIQC用于抽取磁共振脑结构和功能影像的质量监测指标;fsl是综合多功能的脑影像的处理工具。
4、探索性因子分析法(Exploratory Factor Analysis,EFA):因子分析法的一种,是一项用来找出多元观测变量的本质结构、并进行处理降维的技术能够将具有错综复杂关系的变量综合为少数几个核心公因子。
5、因子得分矩阵与因子贡献率:因子得分矩阵是在探索性因子分析法中变量在公因子上的得分系数组成的矩阵,因子贡献率是在探索性因子分析法中用来衡量某个公因子对变量的贡献大小。
6、SPSS(Statistical Product and Service Solutions):统计产品与服务解决方案软件,为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称。
7、KL散度和JS散度:KL散度用来分析一个随机分布与另一个随机分布之间的匹配程度,假设Pg1是一连续的随机概率密度分布,Pg2是一连续的随机概率密度分布,分析Pg1与Pg2匹配程度即KL散度如下式,可以发现Pg1与Pg2的KL散度和Pg2与Pg2的KL散度是不同的,这就是KL散度的不对称性。
为了解决KL散度的不对称性,又引入了JS散度,用来分析一个随机分布和另一个随机分布之间的匹配程度,继续用随机分布Pg1与Pg2为例说明,其JS散度计算公式如下:
可以发现Pg1与Pg2的JS散度和Pg2与Pg2的JS散度是相同的,JS散度了解决KL散度的不对称性,更加准确表达了两个分布间的匹配程度。
8、支持向量机(Support Vector Machine,SVM):是一类按监督学习(supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalized linearclassifier),其决策边界是对学习样本求解的最大边距超平面(maximum-marginhyperplane),SVM可以通过核方法(kernel method)进行非线性分类,常用核函数有径向基函数核(RBF kernel)、多项式核(polynomial kernel)等。
9、准确率、精确率、召回率、F1值:为机器学习的分类问题的主要评估指标。下表TP、FP、FN和TN是机器学习分类的几种结果,TP和TN是识别正确的结果,FN和FP则识别错误。
True和False表示分类正确与错误,Positive和Negative表示样本类别。
准确率(accuracy):被分对的样本除以总样本数。
精确率(precision,简称P):Positive样本识别正确的个数(TP)除以识别为Positive样本的个数(TP+FP)即|也叫查准率。
召回率(recall,简称R):Positive样本识别正确的个数(TP)除以本来是Positive样本的个数(TP+FN),也叫查全率。
F1值:因为P和R在某些情况下是矛盾的,需要综合考虑P和R,希望P和R同时越大越好即,引入了F1,公式如下:
本申请中SVM以准确率和为F1值为目标。
10、线性相关系数:是研究变量之间线性相关程度的量,常用的是皮尔逊相关系数,X=(xi|i=1,2,…,n)和Y=(yi|i=1,2,…,n)分别是两个n维向量,下式是X与Y间的皮尔逊相关系数:
其中,如果X和Y是两个单维变量的话,(xi|i=1,2,…,n)和(yi|i=1,2,…,n)也可以分别是它们的n个离散值。
下面将结合附图,对本申请中的技术方案进行描述。
【一种基于融合特征的磁共振脑结构影像分类与可视化方法的实施例】
参见图1A所示的流程图,本实施例的一种基于融合特征的磁共振脑结构影像分类与可视化方法包括以下详细步骤:
步骤110、获取多个有标注的磁共振脑结构影像。
所述多个有标注的磁共振脑结构影像可以来自于多台磁共振设备,也可以来自于一台磁共振设备的历史数据。本实施例所述磁共振脑结构影像包括下列模态:T1加权影像和T2加权影像。T1加权影像突出组织T1弛豫(纵向弛豫)的差别,主要侧重解剖结构,使用比较短的重复时间(TR)和比较短的回波时间(TE);T2加权影像T2加权影像突出组织T2弛豫(横向弛豫)的差别,主要看病理结构或病理变化,用比较长的重复时间(TR)和比较长的回波时间(TE)。T1加权影像和T2加权影像采集建议使用如下表的标准化参数。
T1加权影像和T2加权影像采用快速容积扫描技术,有较高的空间分辨率和时间分辨率,信噪比高、伪影小、对脑内结构(如白质、灰质和脑脊液)的对比度良好,能三维显示人脑内部精细解剖结构,有利于显示小病灶及其细节,对神经系统疾病的诊断具有重要价值,同时也是获取正常人脑的三维可视化图像的重要技术。
所述标注为针对每一个儿童青少年的磁共振脑结构影像,依据神经影像科室的临床专家会诊诊断,给予其是否患有脑发育疾病的诊断标签,分别为有病、无病,包含了临床专家的知识和经验。
步骤120、基于磁共振脑结构影像,提取各所述磁共振脑结构影像的病理水平监测指标FS和影像质量监测指标IQS,从而计算影像融合特征指标X。
影像融合特征指标X不仅度量了所述磁共振脑结构影像的病理水平,同时也度量了磁共振本身硬件带来的影像质量问题对病理水平的影响,为磁共振脑结构影像分类提供了更加准确的特征数据。
所述影像融合特征指标X计算方法参照【影像融合特征指标计算方法】。
步骤130、基于磁共振脑结构影像的标注与所述影像融合特征指标X,利用机器学习的方法构建磁共振脑结构影像分类模型。
其中,机械学习的方法可以是支持向量机法(SVM)、logistic回归、朴素贝叶斯分类等方法。
本步骤的详细流程包括:
①如果一磁共振脑结构影像存在有多个临床专家标注情况,则进行绝对多数投票法,确定磁共振脑结构影像具最终的标注,即有病影像与无病影像。
②所述磁共振脑结构影像的标注与所述影像融合特征指标构成建模样本集,所述建模样本集的输入数据为所述影像融合特征指标X={X1,...,XN},学习目标为所述磁共振脑结构影像的标注对应变量Y={y1,...,yN},其中N为样本个数,Y∈{-1,1},-1代表无病,1代表有病,也可以反过来定义,-1代表有病,1代表无病,本实施例使用前者。本实施例分别按照7:2:1的比列将建模样本集划分为训练集、验证集和测试集。
③选取准确率和F1值作为分类性能衡量指标,基于所述训练集利用机械学习的方法建模磁共振脑结构影像分类模型,基于所述验证集优化模型,基于所述测试集测试模型,从而获得高准确性、高鲁棒性的自动化的磁共振脑结构影像分类模型。
本实施例的所述机器学习方法采用SVM方法,SVM原理上在输入数据的特征空间即影像融合特征指标的空间确定一个超平面,超平面定义为:
WTX+b=0 (1)并使任意样本的点到超平面距离大于等于1,其中W和b分别为超平面的法向量和截距。
本实施例的输入数据非线性可分,采用映射函数对输入数据X处理,上式变化为:
所述超平面在特征空间即影像融合特征指标的空间也转变为超曲面。由于映射函数具有复杂的形式,难以计算其内积,因此可使用核方法(kernel method),即定义映射函数的内积为核函数(kernel function),本实施例采用径向基核函数(Radial BasisFunction,RBF),所述映射函数/>基于径向基核函数的泰勒展开式而确定。
W、b和为磁共振脑结构影像分类模型所要确定的参数,当时,X对应的样本为有病样本;当/>时,X对应的样本为没病样本。
基于机械学习的磁共振脑结构影像分类模型挖掘了专家诊断经验与影像融合特征关系,使模型更加准确。
步骤140、基于所述磁共振脑结构影像分类模型对待分类的磁共振脑结构影像分类,包括:
获取待分类的磁共振脑结构影像;
计算所述待分类的磁共振脑结构影像的影像融合特征指标X,包括:病理水平监测指标FS和所述影像质量监测指标IQS,然后计算影像融合特征指标X,详细方法参照【影像融合特征指标计算方法】,但不包括其中的步骤230和步骤250,直接调用本实施例的步骤120使用【影像融合特征指标计算方法】的计算结果;
调用步骤130中建立所述磁共振脑结构影像分类模型基于影像融合特征指标X对所述待分类的磁共振脑结构影像进行分类,在本实施中使用基于SVM建立的所述磁共振脑结构影像分类模型,当时,X对应的影像分到有病影像类别中;当时,X对应的影像分到没病影像类别中。
步骤150、对已分类的磁共振脑结构影像,从所述多个有标注的磁共振脑结构影像中查找其最相似参考影像,并计算产生他们的混合影像,进而对所述已分类的磁共振脑结构影像、最相似参考影像和所述混合影像进行可视化对比查看。
具体流程参照【一种基于融合特征的磁共振脑结构影像可视化方法】。
在多个磁共振站点共享影像数据且影像数据权限未开放时,为了保护用户隐私,对所获取的磁共振脑结构影像存储时进行去隐私,去除其面部部分影像。可以采取影像分析领域专用的面部遮挡工具pydeface或mri_deface。图1B左边是原始脑结构影像(以T1w为例),中间和右边分别是mri_deface和pydeface去隐私后的效果图。
综上,本实例实现了基于所述影像融合特征构建磁共振脑结构影像分类模型、基于所述磁共振脑结构影像分类模型对磁共振脑结构影像分类、并对已分类影像进行可视化对比查看,综合起来实现了一种基于融合特征的磁共振脑结构影像分类与可视化。
【影像融合特征指标计算方法】
下面结合图2说明磁共振脑结构影像融合特征指标X的计算方法,其包括下列步骤:
步骤210、基于所述磁共振脑结构影像提取病理水平监测指标FS。
所述病理水平监测指标FS包括病理形态学指标和病理白质髓鞘化指标,所属病理形态学指标基于业界SPM工具提取指标计算和组合产生,所述病理白质髓鞘化指标基于业界fsl工具提取的指标计算产生,其提取方法请参照【病理水平监测指标提取方法】。
步骤220、基于所述磁共振脑结构影像提取所述影像质量监测指标IQS。
本申请选取MRIQC工具提取脑结构影像的所述影像质量监测指标IQS,所述影像质量监测指标IQS为多类别的,本实施例包括以下4类:
类别A:图像噪声类影像质量监测指标IQA,描述图像中噪声的影响以及对噪声模型的拟合性;
类别B:信息分布类影像质量监测指标IQB,描述基于指定的掩模利用信息熵度量信息的空间分布特性;
类别C:信号强度类影像质量监测指标IQC,度量强度不均匀性(INU)和快速运动引起的信号泄露;
类别D:体素重叠类影像质量监测指标IQD,度量图像模糊度和相对于MNI空间投影中体素的体素重叠率。
IQA、IQB、IQC和IQD均为高纬度的向量,其组成影像质量监测指标IQS,IQS的维数等于IQA、IQB、IQC和IQD的维数之和。
具体方法请参照【影像质量监测指标提取方法】。
步骤230、基于多个所述磁共振脑结构影像的各类别的所述影像质量监测指标IQS利用探索性因子分析法构建相应类别的所述影像质量综合得分系数矩阵。
每种类别的影像质量综合得分系数矩阵的构建方法相同,下面以类别A为例说明。各磁共振脑结构影像的A类的影像质量监测指标IQA组成类别A影像质量监测指标样本集合,基于类别A影像质量监测指标样本集合,利用探索性因子分析法抽取类别A影像质量监测指标的多个公因子、因子得分矩阵和因子贡献率第一矩阵,从而构建类别A影像质量的综合评价体系,计算类别A影像质量综合得分系数矩阵IQAM。同理可以构建类别B影像质量综合得分系数矩阵IQBM、类别C影像质量综合得分系数矩阵IQCM和类别D影像质量综合得分系数矩阵IQDM。
构建完成以后的各类别的所述影像质量综合得分系数矩阵可以复用,不必每次分类过程中都去构建,只有当所述影像质量监测指标IQS的类别或者具体指标发生变化以后才需要重新构建。
所述影像质量综合得分系数矩阵构建方法请参照【影像质量综合得分系数矩阵构建方法】。
步骤240、基于各类别的所述影像质量综合得分系数矩阵与相应类别的影像质量监测指标的乘积确定相应类别的所述影像质量综合得分。
所述影像质量综合得分图像噪声类指标综合得分为iq1、信息分布类指标综合得分为iq2、信号强度类指标综合得分为iq3、体素重叠类指标综合得分为iq4
以A类的影像质量综合得分为例,其计算公式如下:
iq1=IQAM*IQA (3)
其中IQA为k维列向量,IQAM为k个元素的行矩阵。
对于其他类别的综合质量得分iq2、iq3和iq4也可以同样计算。
步骤250、基于所述病理水平监测指标和影像质量监测指标构建影像质量对病理水平影响系数矩阵QSM。
所述磁共振脑结构影像质量会影响所述影像病理水平监测指标FS,本实施例基于JS散度准确评估所述影像病理水平监测指标FS在不同值下所述影像质量监测指标IQS分布的一致性问题,从而构建影像质量对病理水平影响系数矩阵QSM,准确评估影像质量对病理水平的影响。
构建完成以后的影像质量对病理水平影响系数矩阵QSM可以复用,不必每次分类过程中都去构建,只有当影像质量监测指标IQS或者影像病理水平监测指标FS发生变化以后才需要重新构建。
影像质量对病理水平影响系数矩阵QSM构建方法参照【影像质量对病理水平影响系数矩阵构建方法】
步骤260、基于影像质量对病理水平影响系数矩阵QSM与影像质量综合得分IQ的乘积确定影像质量对病理水平影响指标QS。
计算公式如下:
QS=QSM*IQ (4)
其中,QSM为n*4的矩阵,n为病理水平监测指标FS的维数,FS中每一个元素对应一个QS元素。
影像质量对病理水平影响指标QS准确评估了影像质量对病理水平的影响,可以作为所述磁共振脑结构影像的重点特征之一。
步骤270、所述病理监测指标FS与所述影像质量对病理水平影响指标QS组成影像融合特征指标X。
所述影像融合特征指标X包括所述病理水平监测指标FS和影像质量对病理水平影响指标QS。
所述影像融合特征指标为2n维列向量,所述病理水平监测指标为n维列向量,所述影像质量对病理水平影响指标/>为n维列向量,其中n为病理水平监测指标个数,所以影像融合特征指标X前一半元素来自病理水平监测指标FS,后一半元素来自病理水平关联指标QS。
综上,本方法综合了磁共振脑结构影像的病理水平与影像质量,构建影像融合特征指标,可用于磁共振脑结构影像分类模型构建和对所述磁共振脑结构影像进行分类。
【病理水平监测指标提取方法】
下面结合图3说明磁共振脑结构影像提取病理水平监测指标FS的方法,其包括下列步骤:
步骤310、基于所述磁共振脑结构影像计算所述病理形态学FS指标,其包括下列子步骤:
步骤3110、基于所述磁共振脑结构影像提取皮层厚度、表面积、灰质体积和密度、白质体积和密度,脑室容积指标。本实施例采用SPM工具提取上述指标。
步骤3120、基于所述磁共振脑结构影像脑结构像提取每个体素的白质密度数据,其组成体素白质密度矩阵VD。本实施例采用SPM工具提取所述每个体素的白质密度数据。
步骤3130、从所述每个体素的白质密度对所述每个体素的位置序号进行回归,计算所述体素白质密度矩阵VD的回归误差和。
所述体素白质密度矩阵每个体素的位置序号组成对应体素位置矩阵I,/>v为体素位置个数。从所述体素白质密度矩阵VD对所述体素位置矩阵I回归,回归矩阵为RG,回归后所述体素白质密度矩阵为/>和所述体素白质密度矩阵的回归误差和RE的计算公式如下:
所述体素白质密度VD的回归误差和RE去除了年龄、性别和左右利手的影响,可以作为病理形态学指标之一。
步骤3140、取所述皮层厚度、表面积、灰质体积和密度、白质体积和密度,脑室容积指标中至少一项指标与所述体素白质密度矩阵VD的回归误差和RE组成所述病理形态学指标。
本实施例的所述病理形态学指标取所述皮层厚度、表面积、灰质体积和密度、白质体积和密度,脑室容积指标的全部指标与所述体素白质密度矩阵VD的回归误差和RE。
步骤320、基于所述磁共振脑结构影像计算所述病理白质髓鞘化指标。本实施例采用影像分析工具fsl提取所述病理白质髓鞘化指标,其包括下列子步骤:
步骤3210、基于T1加权影像提取脑区信号掩模。所有计算都该脑区信号掩模内进行。
步骤3220、基于T1加权影像提取所述脑区信号掩模内各体素信号值,组成脑区第一信号值数组L_t1。
步骤3230、基于T2加权影像提取所述脑区信号掩模内各体素信号值,组成脑区第二信号值数组L_t2。
步骤3240、所述脑区第一信号值数组L_t1各元素值除以所述脑区第二信号值数组L_t2对应元素值,确定脑区信号比值数组L。
步骤3250、计算所述脑区信号比值数组L的均值、标准差、设定的分位差,选择其中至少一项作为所述病理白质髓鞘化指标;其中,所述设定的分位差是将脑区信号比值数组L各元素值从小到大排序后分成若干等份且取其中两个等份的上位点所对应的所述脑区信号比值的差值。
本实施例取所述脑区信号比值数组L的均值、标准差、设定的分位差作为所述病理白质髓鞘化指标,所述设定的分位差取4等分的第一第三分位差。所述第一第三分位差确定方法如下:
把所述脑区信号比值数组L从小到大排序,并分成4等分;
所述第一第三分位差则等于第25%的位置序号对应的脑区信号比值与第75%的位置序号对应的脑区信号比值的差值。
步骤330、所述病理形态学指标和病理白质髓鞘化指标组成所述病理水平监测指标FS。
综上,本方法实现基于磁共振脑结构影像计算病理水平监测指标,包括所述病理形态学指标和病理白质髓鞘化指标,其中所述病理形态学指标中白质密度回归误差和去除了年龄、性别和左右利手的影响。
【影像质量监测指标提取方法】
为了能够定量化刻画各磁共振站点的磁共振脑结构影像质量,本实施例依据文献调研和开源工具调研,选取MRIQC工具作为脑结构影像质量的自动化pipeline程序提取所述影像质量监测指标,所述影像质量监测指标为磁共振脑结构影像分析的通用指标,详细指标项、解释和维度可参见下表所示:
/>
/>
/>
其中csf代表脑脊液,wm代表大脑白质,gm代表大脑灰质。
从上表的Category项可知,所述影像质量监测指标包括上述A、B、C和D这4类。
【影像质量综合得分系数矩阵构建方法】
下面结合图4A说明影像质量综合得分系数矩阵构建方法,其包括下列步骤:
步骤4110、获取各所述磁共振脑结构影像的各类别的所述影像质量监测指标。
所述影像质量综合得分系数矩阵需要基于大量所述磁共振脑结构影像的各类别的所述影像质量监测指标来构建,可以是来自多个磁共振站点,也可以来自一个站点的不同历史时期的所述影像质量监测指标,从而保证构建的所述影像质量综合得分系数矩阵更加稳定和准确。
步骤4120、基于各类别的所述影像质量监测指标,利用探索性因子分析法确定各类别的所述影像质量监测指标的公因子、因子贡献矩阵和因子得分矩阵。
对于类别A、B、C和D的所述影像质量监测指标,分别用探索性因子分析法抽取类别A、B、C和D的所述影像质量监测指标的各自公因子,进而计算各类别的因子贡献率第一矩阵和因子得分矩阵,各类别的计算过程相同。
本实施例以类别A为例说明,类别A的所述影像质量监测指标IQA,其中,k为IQA指标个数;
基于各所述磁共振脑结构影像的IQA,抽取IQA的多个公因子,组成公因子向量IQAF,其中,m为公因子个数;
进而计算因子贡献率第一矩阵IQAG和因子得分矩阵IQAS,IQAG=(iqagi|i=1,2,...,m),,
其中,因子贡献率第一矩阵IQAG的维数为公因子个数m,因子得分矩阵IQAS为m*k维数。
根据探索性因子分析法,类别A的所述影像质量监测指标IQA、其公因子向量IQAF和其因子得分矩阵IQAS,满足下列关系表达式
IQAF≈IQAS*IQA (7)
其中的“约等于”是因为排除了不可IQA中在探索性因子分析方法中不可观察部分的影响。
详细过程请参考【基于影像质量监测指标提取公因子的方法】
步骤4130、基于各类别的所述影像质量监测指标的公因子、因子贡献率第一矩阵与因子得分矩阵构建相应类别的影像质量综合评估体系。
继续以类别A影像质量监测指标为例说明,类别A影像质量监测指标IQA、类别A公因子IQAF及类别A影像质量综合得分iq1组成类别A影像质量三层评价体系,在图4B中分别对应自下而上的三层。
由公式(7)知道,从类别A影像质量监测指标IQA到类别A公因子IQAF的权重就是类别A的因子得分矩阵IQAS。
从类别A公因子IQAF到类别A影像质量综合得分iq1的权重为类别A因子贡献率第二矩阵IQAGN,其中,基于类别A因子贡献率第一矩阵IQAG归一化后得到的类别A因子贡献率第二矩阵IQAGN,IQAGN=(iqagni|i=1,2,...,m),
iq1=IQAGN*IQAF (9)
步骤4140、基于各类别的所述影像质量监测指标的因子得分矩阵和其因子贡献率第二矩阵的乘积确定为相应类别的所述影像质量综合得分系数矩阵。
继续以类别A影像质量监测指标为例说明,类别A的影像质量综合得分系数矩阵IQAM等于类别A的因子贡献率第二矩阵IQAGN与类别A的公因子IQAF:
IQAM=IQAGN*IQAS (10)
综上,实施例基于探索性因子分析法构建了各类别的影像质量综合得分的三层评价体系,基于各类别的所述三层评价体系可计算准确计算各类别的影像质量综合得分系数矩阵。
【基于影像质量监测指标提取公因子的方法】
本申请使用探索性因子分析法(EFA)基于各类别的所述影像质量监测指标提取其公因子。一个可能的实现方法就是利用SPSS软件完成提取,下面参照图4C详细介绍实现步骤:
步骤4310、获取各磁共振脑结构影像的一类别的影像质量监测指标,组成一类别影像质量监测指标特征集合。
步骤4320、设定所述一类别影像质量监测指标为待分析变量,所述一类别影像质量监测指标特征集合为样本集合,选用探索性因子分析方法分析。
步骤4330、利用SPSS软件对所述一类别影像质量监测指标的数据进行KMO(Kaiser-Meyer-Olkin)检验和Bartlett检验,判断该数据是否适合做探索性因子分析;如果判断结果适合,则进入步骤4040;反之,则退出分析。
KMO检验变量间的样品间相关性,取值在0~1之间,KMO越大相关性越好,探索性因子分析法一般要求KMO值大于0.5。
Bartlett检验样本阵是否单位阵,单位阵代表样本间独立,无法分析,Bartlett球形度sig.值越大,样本间越独立。Bartlett球形度sig.值要求小于0.05,才能做探索性因子分析。
步骤4340、利用SPSS软件对原始的所述影像质量测评指标进行主成分分析(PCA,Principal Component Analysis),获取第一公因子组和第一因子载荷矩阵。通常所述第一公因子组公因子相互间独立性差,为提高公因子间的独立性需要对所述第一公因子组进行因子旋转(Factor Rotation),先进行正交旋转,得到第二公因子组和第二因子载荷矩阵。
步骤4350、因为所述第二公因子中公因子较多,部分公因子贡献率较小,利用SPSS软件对所述第二公因子组中公因子,基于K1规则选择贡献率较大的公因子。K1规则:基于所述第二因子载荷矩阵计算第二公因子的特征值,选择特征值大于1的公因子进行贡献率从大到小排序,利用碎石图分析方法判断累积贡献率不在显著下降前的公因子为所选择的公因子。再对所述第二公因子组中被选择公因子进行因子旋转方法中的斜交旋转,获得第三公因子组和第三因子载荷矩阵,所述第三公因子组更加稳定、独立和可解释。所述第三公因子组就是所述一类别影像质量监测指标的公因子。
SPSS内部基于所述第三因子载荷矩阵,可计算所述综合质量因子的因子得分矩阵和因子贡献率矩阵。
步骤4060、SPSS软件输出所述一类别影像质量监测指标的公因子、因子得分矩阵和因子贡献率第一矩阵。
上述各步骤为探索性因子分析的标准步骤,步骤4340和步骤4350不是必选步骤,在具体分析可以根据公因子的稳定性和可解释性实际情况而选择。
KMO检验、Bartlett检验、主成份分析、因子正交旋转、K1规则选择、因子斜交旋转等都是SPSS内部自动实现,为探索性因子分析的标准步骤,对其运算过程和原理不在赘述。因子载荷矩阵、因子得分矩阵和因子贡献率也在SPSS内部自动实现,同样不在赘述。
本实施例在使用探索性因子分析过程中,先使用主成份分析法选出了公因子,经过因子正交旋转、K1规则选择、因子斜交旋转一步步提高了因子的独立性、稳定性和可解释性,为各类别的影像质量综合得分的三层评价体系提供了稳定的公因子。
【影像质量对病理水平影响系数矩阵构建方法】
下面结合图5介绍影像质量对病理水平影响指标计算的实施例。为了便于介绍,本实施例以病理水平监测指标项fs1和类别A影像质量综合得分iq1为例介绍如何计算所述影像质量对病理水平影响指标。
步骤510、获取各磁共振脑结构影像的一病理水平监测指标,基于高斯分布计算所述一病理水平监测指标的均值。
以病理水平监测指标项fs1为例,获取各磁共振脑结构影像的病理水平监测指标项fs1,基于高斯分布计算其均值
步骤520、基于所述一病理水平监测指标的均值把所获取的各磁共振脑结构影像组成的影像集合分成两个子集。
基于病理水平监测指标项fs1均值把所述影像集合分成2个影像子集g1和g2,子集g1为病理水平监测指标项fs1从0到均值/>所对应的影像组成的集合,子集g2为病理水平监测指标项fs1从均值/>到最大值所对应的影像组成的集合。
步骤530、获取所述2个影像子集中一类别的影像质量综合得分,基于高斯分布计算所述2个影像子集间的JS散列,作为一类别的所述影像质量综合得分与所述一病理水平监测指标的影像质量对病理水平影响系数。
以类别A影像质量综合得分iq1为例,基于高斯分布分别计算子集g1和g2中iq1的概率密度和/>利用JS散度计算g1与g2的相似性,JS散度计算公式如下:
其中KL散度计算示例如下:
JS散度消除KL散度的不对称性,反应了类别A影像质量综合得分的分布一致性与病理水平监测指标项fs1的关系,可以准确表达病理水平监测指标项fs1受类别A影像质量综合得分的影响程度,作为类别A影像质量综合得分iq1与病理水平监测指标项fs1关联系数qs11
步骤540、基于上述相同方法计算各类别的所述影像质量综合得分与各所述病理水平监测指标的影像质量对病理水平影响系数,组成影像质量对病理水平影响系数矩阵QSM。
在步骤510至步骤530中已经介绍qs11的计算方法,基于同样的方法可以计算QSM的所有元素
所述影像质量对病理水平影响系数矩阵QSM为n*4维矩阵,其中qsij表示类别j所述影像质量综合得分对第i个所述病理水平监测指标的影响系数。
继续以病理水平监测指标项fs1为例说明所述影像质量对病理水平影响系数矩阵QSM的作用,所述影像质量综合得分对病理水平监测指标fs1影响可以用qs1表述,qs1则满足下式:
qs1=qs11*iq1+qs11*iq1+qs12*iq2+qs13*iq3+qs14*iq4 (12)
从上式可知,基于所述影像质量对病理水平影响系数矩阵QSM和所述影像质量综合得分IQ计算所述影像质量对病理水平影响指标。
综上,本方法计算了所述影像质量对病理水平影响指标,反映了所述病理水平监测指标受所述影响质量综合得分的影响程度,保证了所述影像融合特征指标的准确性。
【一种基于融合特征的磁共振脑结构影像可视化方法】
下面结合图6A介绍一种基于融合特征的磁共振脑结构影像可视化方法的实施例。
步骤610、获取已分类的磁共振脑结构影像和其在分类过程中所计算的所述病理水平监测指标FS及所述影像质量监测指标IQS与所述影像质量综合得分IQ。
其中,为便于后续计算描述方便,已分类的磁共振脑结构影像的所述病理水平监测指标为X0,所述影像质量监测指标IQS0,所述影像质量综合得分为IQ0,所述影像质量监测指标IQS0与所述影像质量综合得分IQ0组成影像质量指标IQT0,IQT0为p+4维列向量,p是所述各类别的所述影像质量监测指标IQS的总个数。
步骤620、获取所述有标注的磁共振脑结构影像组成的参考影像集合和各影像在所述磁共振脑结构影像分类模型构建过程中所计算的所述病理水平监测指标FS及所述影像质量监测指标IQS与所述影像质量综合得分IQ。
其中,为便于后续计算描述方便,所述参考影像集合中一影像所述病理水平监测指标为X1,其所述影像质量监测指标为IQS1,其所述影像质量综合得分为IQ1,其所述影像质量监测指标与所述影像质量综合得分组成影像质量指标IQT1,IQT1为p+4维列向量。
步骤630、基于所述病理水平监测指标为X、所述影像质量监测指标为IQS和所述影像质量综合得分IQ计算所述参考影像集合中的各影像与所述已分类的磁共振脑结构影像的影像相似度,并选择其中所述影像相似度最大的影像为所述已分类的磁共振脑结构影像的最相似参考影像。
基于线性相关系数计算两个影像间的所述影像相似度,所述线性相关系数是研究两个变量之间线性相关程度的量,有多种定义方式,本实施例的所述线性相关系数是皮尔逊相关系数。所述影像相似度等于两个影像的所述病理水平监测指标的线性相关系数与两个影像的所述影像质量指标的线性相关系数的均值。
所述已分类的磁共振脑结构影像的病理水平监测指标X0=(x0i|i=1,2,…,n),其所述影像质量指标IQT0=(iqt0i|i=1,2,…,p+4),所述参考影像集合中一影像的病理水平监测指标X1=(x1i|i=1,2,…,n),其所述影像质量指标IQT1=(iqt1i|i=1,2,…,p+4),所述已分类的磁共振脑结构影像与所述参考影像集合中一影像相似度为s1,其计算公式如下:
基于公式(13)可计算所述参考影像集合中所有影像与所述已分类的磁共振脑结构影像的影像相似度,并选择所述其中影像相似度最大为所述已分类的磁共振脑结构影像的最相似参考影像。
步骤640、基于所述最相似参考影像和所述已分类的磁共振脑结构影像的影像信号强度按设定权重加权计算混合影像的影像信号强度。
设定所述最相似参考影像的影像信号强度加权比例为R,R介于0与100%之间,所述混合影像的影像信号强度计算公式为
Ici=R*Iri+(1-R)*Isi (14)
其中Iri为最相似参考影像体素i的影像信号强度,Isi为所述已分类的磁共振脑结构影像体素i的影像信号强度矩阵,ICi为所述混合影像体素i的影像信号强度。
所述影像信号强度加权比例的选择是为了突出相应病灶的显示,辅助临床大夫判断。
步骤650、对比显示所述已分类的磁共振脑结构影像、所述最相似参考影像和所述混合影像的影像,进行可视化对比查看。
可同时显示磁共振脑结构影像不同截面的图像,包括包含横截面、矢状面、冠状面等,如图6B所示,左边为所述已分类的影像,中间为所述最相似参考影像,右边为他们的所述混合影像。
综上,本方法从病理水平和影像质量两个角度利用线性相关系数确定了两个影像相似度,全面准确地为已分类的磁共振脑结构影像选择最相似参考影像,并基于设定加权比例确定他们的混合影像的信号强度,以突出显示相关病灶,最终实现了已分类的磁共振脑结构影像、最相似参考影像和他们的混合影像可视化对比查看,为临床大夫提供诊断参考,为基于所述磁共振脑结构影像分类模型的诊断结果的可解释性。
综合本实施例的各个方法,本申请首先在各磁共振站点制定标准化的脑结构影像扫描参数进行数据采集;分别提取了病理水平监测指标包括形态学指标和白质髓鞘化指标;同时也从图像噪声类、信息分布类、信号强度类、体素重叠类四个维度进行磁共振脑结构影像的影像质量的度量;进一步,利用探索性因子分析法进行磁共振脑结构影像质量综合得分的评估,并利用JS散度度量数据分布相似性进行影像质量对病理水平监测指标影响关系评价;然后综合病理水平监测指标及影像质量对病理水平监测指标影响指标构建了脑疾病影像融合特征指标,并利用机器学习方法构建可用于脑疾病发现的磁共振脑结构影像分类模型;基于所构建的磁共振脑结构影像分类模型对磁共振脑结构影像进行分类,此外,本申请还基于磁共振脑结构影像的影像相似度进行脑结构影像临床专家参考影像的选取,并通过混合影像模式进行疾病病灶的对比显示,为临床诊断提供参考,最终实现一种基于融合特征的磁共振脑结构影像分类与可视化对比查看,提升儿童青少年脑发育水平监测及脑疾病监测的准确性、时效性、可解释性。
【一种基于融合特征的磁共振脑结构影像分类模型构建装置】
本申请还提供了一种基于融合特征的磁共振脑结构影像分类模型构建装置,下面结合图7A详细介绍:
磁共振脑结构影像获取模块7110、用于获取各站点的有标注的磁共振脑结构影像,所述磁共振脑结构影像包括下列模态:T1加权影像和T2加权影像。
病理水平监测指标提取模块7120、用于基于所述磁共振脑结构影像提取病理水平监测指标,具体计算方法请参考【病理水平监测指标提取方法】。
影像质量监测指标提取模块7130、用于基于所述磁共振脑结构影像提取影像质量监测指标,具体计算方法请参考【影像质量监测指标提取方法】。
影像质量综合得分系数矩阵构建模块7140、用于基于各类别的所述影像质量监测指标利用探索性因子分析法构建相应类别的影像质量综合评估体系,从而计算应类别的影像质量综合得分系数矩阵,具体构建方法请参考【影像质量综合得分系数矩阵构建方法】。
影像质量综合得分计算模块7150、用于基于各类别的所述影像质量综合得分系数矩阵与各类别的所述影像质量监测指标的乘积确定所述影像质量综合得分。
影像质量对病理水平影响系数矩阵构建模块7160、用于基于所述病理水平监测指标和所述影像质量综合得分利用JS散度构建所述影像质量对病理水平影响系数矩阵,具体构建方法请参考【影像质量对病理水平影响系数矩阵构建方法】。
影像质量对病理水平影响指标计算模块7170、用于基于所述影像质量对病理水平影响系数矩阵与所述影像质量综合得分的乘积确定所述影像质量对病理水平影响指标。
影像融合特征指标确定模块7180、用于基于所述病理水平监测指标和影像质量对病理水平影响指标确定所述影像融合特征指标。
影像分类模型构建模块7190、用于基于所述影像融合特征指标和影像标注利用机械学习的方法构建磁共振脑结构影像分类模型,具体构建方法请参考【一种基于融合特征的磁共振脑结构影像分类与可视化方法实施例】的步骤130。
【一种基于融合特征的磁共振脑结构影像分类装置】
本申请还提供了一种基于融合特征的磁共振脑结构影像分类装置,下面结合图7B详细介绍:
待分类影像获取模块7210、用于获取待分类的磁共振脑结构影像;
待分类影像指标计算模块7220、用于基于所述待分类的磁共振脑结构影像的病理水平监测指标、影像质量监测指标和影像质量综合得分指标,进而计算所述影像融合特征指标,可以认为其是【一种基于融合特征的磁共振脑结构影像分类模型构建装置】中的病理水平监测指标提取模块7120、影像质量监测指标提取模块7130、影像质量综合得分计算模块7150、影像质量对病理水平影响指标计算模块7170和影像融合特征指标确定模块7180的组合,复用【一种基于融合特征的磁共振脑结构影像分类模型构建装置】中影像质量综合得分系数矩阵构建模块7140输出的所述影像质量综合得分系数矩阵和影像质量对病理水平影响系数矩阵构建模块7160的输出所述影像质量对病理水平影响系数矩阵,但不调用这两个模块。
影像分类模块7230、用于基于所述磁共振脑结构影像分类模型利用所述影像融合特征指标诊对所述待分类的磁共振脑结构影像分类。具体方法请参考【一种基于融合特征的磁共振脑结构影像分类与可视化方法的实施例】的步骤140。
【一种基于融合特征的磁共振脑结构影像可视化装置】
本申请还提供了一种基于融合特征的磁共振脑结构影像可视化装置,下面结合图7C详细介绍:
已分类影像和指标获取模块7310、用于获取使用【一种基于融合特征的磁共振脑结构影像分类装置】的已分类的磁共振脑结构影像和所述已分类的磁共振脑结构影像在其分类过程中所述计算的所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分指标。
参考影像和指标获取模块7320、用于获取【一种基于融合特征的磁共振脑结构影像分类模型构建装置】在构建所述磁共振脑结构影像分类模型时使用的所述多个有标注的磁共振脑结构影像组成的参考影像集合中各影像,及所述各影像在构建磁共振脑结构影像分类模型中所计算的病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分。
最相似参考影像选择模块7330、用于计算所述参考影像集合中各影像与所述已分类的磁共振脑结构影像的影像相似度,其中所述影像相似度最大的影像为所述已分类的磁共振脑结构影像的最相似参考影像,具体方法请参考【一种基于融合特征的磁共振脑结构影像可视化的实施例】中步骤620和步骤630。
混合影像信号强度计算模块7340、用于基于设定比例计算所述已分类的磁共振脑结构影像与所述最相似参考影像的混合影像的信号强度。具体方法请参考【一种基于融合特征的磁共振脑结构影像可视化的实施例】中步骤640。
多影像对比显示模块7350、用于对比显示所述已分类的磁共振脑结构影像、所述最相似参考影像和他们的所述混合影像,突出显示相关病灶部分,为临床大夫诊断提供参考。
【计算设备】
本申请还提供的一种计算设备,下面结合图8详细介绍。
该计算设备800包括:处理器810、存储器820、通信接口830、总线840。
应理解,该图所示的计算设备800中的通信接口830可以用于与其他设备之间进行通信。
其中,该处理器810可以与存储器820连接。该存储器820可以用于存储该程序代码和数据。因此,该存储器820可以是处理器810内部的存储单元,也可以是与处理器810独立的外部存储单元,还可以是包括处理器810内部的存储单元和与处理器810独立的外部存储单元的部件。
可选的,计算设备800还可以包括总线840。其中,存储器820、通信接口830可以通过总线840与处理器810连接。总线840可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(EFStended Industry StandardArchitecture,EISA)总线等。所述总线840可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
应理解,在本申请实施例中,该处理器810可以采用中央处理单元(centralprocessing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器810采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
该存储器820可以包括只读存储器和随机存取存储器,并向处理器810提供指令和数据。处理器810的一部分还可以包括非易失性随机存取存储器。例如,处理器810还可以存储设备类型的信息。
在计算设备800运行时,所述处理器810执行所述存储器820中的计算机执行指令执行上述方法的操作步骤。
应理解,根据本申请实施例的计算设备800可以对应于执行根据本申请各实施例的方法中的相应主体,并且计算设备800中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行一种多样化问题生成方法,该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于,电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括、但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,均属于本申请保护范畴。

Claims (6)

1.一种基于融合特征的磁共振脑结构影像的分类模型构建方法,其特征在于,包括步骤:
获取多个有标注的磁共振脑结构影像;
提取各所述磁共振脑结构影像的病理水平监测指标和多类别的影像质量监测指标,从而确定各影像融合特征指标,所述影像融合特征指标包括所述病理水平监测指标和影像质量对病理水平影响指标,所述影像质量对病理水平影响指标对应的矩阵等于影像质量对病理水平影响系数矩阵与影像质量综合得分对应的矩阵的乘积,其中,所述影像质量综合得分对应的矩阵由各类别的影像质量综合得分组成,所述各类别的影像质量综合得分等于相应类别的影像质量综合得分系数矩阵与相应类别的所述影像质量监测指标对应的矩阵的乘积;所述影像质量综合得分系数矩阵的构建步骤,包括:基于各类别的所述影像质量监测指标,利用探索性因子分析法确定各类别的所述影像质量监测指标的至少1个公因子、因子贡献率第一矩阵和因子得分矩阵;对各类别所述因子贡献率第一矩阵分别基于其各元素的和归一化得到相应类别的因子贡献率第二矩阵,其与相应类别所述因子得分矩阵乘积构成相应类别的影像质量综合得分系数矩阵;
基于各所述磁共振脑结构影像的标注与所述影像融合特征指标,利用机器学习的方法构建磁共振脑结构影像的分类模型;其中,所述影像质量对病理水平影响系数矩阵的各元素值基于各类别的影像质量综合得分的分布与病理水平监测指标数值的关系确定,其确定步骤包括:获取各所述磁共振脑结构影像的第i个病理水平监测指标,基于高斯分布计算第i个病理水平监测指标的均值;基于第i个病理水平监测指标的均值把各所述磁共振脑结构影像分成两个子集g1和g2,子集g1为第i个病理水平监测指标值从0到均值的所述磁共振脑结构影像的集合,子集g2为第i个病理水平监测指标值从均值到最大值的所述磁共振脑结构影像的集合;基于高斯分布计算子集g1的类别j的影像质量综合得分的分布和子集g2中的影像的类别j的影像质量综合得分的分布的JS散度,作为类别j的影像质量综合得分对第i个病理水平监测指标的影响系数,即所述影像质量对病理水平影响系数矩阵的第i行第j列元素的值;基于所述影像质量对病理水平影响系数矩阵的第i行第j列元素的值的计算方法确定所述影像质量对病理水平影响系数矩阵其他各个元素的值。
2.根据权利要求1所述的方法,其特征在于,所述有标注的磁共振脑结构影像包括下列模态:T1加权影像和T2加权影像,所述标注分为有病和无病。
3.根据权利要求2所述的方法,其特征在于,所述病理水平监测指标至少包括下列之一:病理形态学指标、病理白质髓鞘化指标;
所述病理形态学指标至少包括下列基于所述磁共振脑结构影像提取的下列指标之一:皮层厚度、表面积、灰质体积和密度、白质体积和密度、脑室容积;
所述病理形态学指标还包括基于所述磁共振脑结构影像提取的每个体素的白质密度数据对每个体素的位置序号回归后确定的所有体素的白质密度回归的误差和;
所述病理白质髓鞘化指标至少包括下列指标之一:脑区信号掩模内各体素的脑区信号比值的均值、标准差、设定的分位差;
其中,所述脑区信号掩模为基于T1加权影像提取,所述脑区信号掩模内各体素的所述脑区信号比值等于基于T1加权影像提取所述脑区信号掩模内相应体素的脑区第一信号值除以基于T 2加权影像提取所述脑区信号掩模内相应体素的脑区第二信号值的商;所述设定的分位差是将所述各体素的所述脑区信号比值从小到大排序后分成若干等份且取其中两个等份的上位点所对应的所述脑区信号比值的差值。
4.一种基于融合特征的磁共振脑结构影像分类方法,其特征在于,包括步骤:
基于多个所述有标注的磁共振脑结构影像,使用权利要求1-3任一所述的方法构建一种基于融合特征的磁共振脑结构影像的分类模型;
获取待分类的磁共振脑结构影像,计算待分类的磁共振脑结构影像的影像融合特征指标;
基于所述影像融合特征指标,利用脑疾病诊断模型对待分类的磁共振脑结构影像进行分类。
5.一种基于融合特征的磁共振脑结构影像可视化方法,其特征在于,包括步骤:
获取按照权利要求4所述方法已分类的磁共振脑结构影像,并获取所述已分类的磁共振脑结构影像在按照权利要求4所述方法分类过程中所计算的所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分;
获取按照权利要求4所述方法中使用的多个所述有标注的磁共振脑结构影像,组成参考影像集合,并获取按照权利要求4所述方法构建一种基于融合特征的磁共振脑结构影像的分类模型过程中所计算的所述参考影像集合中各影像的所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分;
基于所述病理水平监测指标、所述影像质量监测指标和所述影像质量综合得分,计算所述已分类的磁共振脑结构影像与所述参考影像集合中各影像的影像相似度;
从所述参考影像集合中选择与所述已分类的磁共振脑结构影像的影像相似度分数最高的影像为所述已分类的磁共振脑结构影像的最相似参考影像;
基于所述最相似参考影像和所述已分类的磁共振脑结构影像确定混合影像,其中,所述混合影像各体素的影像信号强度基于所述最相似参考影像相应体素的影像信号强度和所述已分类的磁共振脑结构影像相应体素的影像信号强度按设定权重比例加权求和确定;
对比显示所述已分类的所述磁共振脑结构影像、所述最相似参考影像和所述混合影像。
6.根据权利要求5所述的方法,其特征在于,所述影像相似度为2个磁共振脑结构影像的相似程度,其等于所述2个磁共振脑结构影像的病理水平相似度和影像质量相似度的均值;
其中,所述2个磁共振脑结构影像的病理水平相似度等于所述2个磁共振脑结构影像的所述病理水平监测指标的线性相关系数,所述2个磁共振脑结构影像的影像质量相似度等于所述2个磁共振脑结构影像的由所述影像质量监测指标和所述影像质量综合得分组成的影像质量指标的线性相关系数。
CN202010817665.7A 2020-08-14 2020-08-14 磁共振脑结构影像的分类模型构建、分类与可视化方法 Active CN112052882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010817665.7A CN112052882B (zh) 2020-08-14 2020-08-14 磁共振脑结构影像的分类模型构建、分类与可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010817665.7A CN112052882B (zh) 2020-08-14 2020-08-14 磁共振脑结构影像的分类模型构建、分类与可视化方法

Publications (2)

Publication Number Publication Date
CN112052882A CN112052882A (zh) 2020-12-08
CN112052882B true CN112052882B (zh) 2023-08-22

Family

ID=73599029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010817665.7A Active CN112052882B (zh) 2020-08-14 2020-08-14 磁共振脑结构影像的分类模型构建、分类与可视化方法

Country Status (1)

Country Link
CN (1) CN112052882B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344926B (zh) * 2021-08-05 2021-11-02 武汉楚精灵医疗科技有限公司 胆胰超声图像识别方法、装置、服务器及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066525A2 (en) * 2006-11-30 2008-06-05 Dancu Michael B System and method for producing dynamic conditions including in vivo hemodynamic conditions in a three dimensional tubular structure
CN104299239A (zh) * 2014-10-23 2015-01-21 南方医科大学 一种基于阿尔法散度的动态pet图像因子处理方法
CN105550651A (zh) * 2015-12-14 2016-05-04 中国科学院深圳先进技术研究院 一种数字病理切片全景图像自动分析方法及系统
CN106657991A (zh) * 2017-01-25 2017-05-10 泰山医学院 一种磁共振质量控制方法、服务器及系统
CN109770903A (zh) * 2018-12-29 2019-05-21 中国科学院自动化研究所 功能磁共振影像的分类预测方法、系统、装置
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN113469274A (zh) * 2021-07-20 2021-10-01 科大讯飞股份有限公司 一种阅读能力的测评方法、装置以及设备
CN114818885A (zh) * 2022-04-11 2022-07-29 肇庆医学高等专科学校 基于高阶超网络的静息态功能磁共振影像数据分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116073A (zh) * 2005-12-05 2008-01-30 索尼株式会社 信息处理设备、信息处理方法及程序
US10157462B2 (en) * 2016-06-27 2018-12-18 University Of Central Florida Research Foundation, Inc. System and method for image-based quantification of white and brown adipose tissue at the whole-body, organ and body-region levels
CN110573106B (zh) * 2017-01-12 2023-02-21 马佐尔机器人有限公司 使用人工智能的基于图像的病理预测

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066525A2 (en) * 2006-11-30 2008-06-05 Dancu Michael B System and method for producing dynamic conditions including in vivo hemodynamic conditions in a three dimensional tubular structure
CN104299239A (zh) * 2014-10-23 2015-01-21 南方医科大学 一种基于阿尔法散度的动态pet图像因子处理方法
CN105550651A (zh) * 2015-12-14 2016-05-04 中国科学院深圳先进技术研究院 一种数字病理切片全景图像自动分析方法及系统
CN106657991A (zh) * 2017-01-25 2017-05-10 泰山医学院 一种磁共振质量控制方法、服务器及系统
CN109770903A (zh) * 2018-12-29 2019-05-21 中国科学院自动化研究所 功能磁共振影像的分类预测方法、系统、装置
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN113469274A (zh) * 2021-07-20 2021-10-01 科大讯飞股份有限公司 一种阅读能力的测评方法、装置以及设备
CN114818885A (zh) * 2022-04-11 2022-07-29 肇庆医学高等专科学校 基于高阶超网络的静息态功能磁共振影像数据分类方法

Also Published As

Publication number Publication date
CN112052882A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
Mazziotta et al. A four-dimensional probabilistic atlas of the human brain
Gao et al. A review of the application of deep learning in the detection of Alzheimer's disease
Rueda et al. Extracting salient brain patterns for imaging-based classification of neurodegenerative diseases
WO2022256063A1 (en) Predictive prognosis based on multimodal analysis
Dimitriadis et al. Improving the reliability of network metrics in structural brain networks by integrating different network weighting strategies into a single graph
Chai et al. Exploring functional connectivities of the human brain using multivariate information analysis
Sadri et al. MRQy—An open‐source tool for quality control of MR imaging data
Huang et al. Medical media analytics via ranking and big learning: A multi-modality image-based disease severity prediction study
Antila et al. The PredictAD project: development of novel biomarkers and analysis software for early diagnosis of the Alzheimer's disease
Alvarez‐Jimenez et al. Autism spectrum disorder characterization in children by capturing local‐regional brain changes in MRI
Collazos-Huertas et al. Instance-based representation using multiple kernel learning for predicting conversion to Alzheimer disease
Wang et al. Applications of generative adversarial networks in neuroimaging and clinical neuroscience
Vakli et al. Predicting body mass index from structural MRI brain images using a deep convolutional neural network
Chavva et al. Deep learning applications for acute stroke management
Chen et al. Recent advances of deep learning in psychiatric disorders
Cruciani et al. Interpretable deep learning as a means for decrypting disease signature in multiple sclerosis
Arnold et al. Simulated diagnostic performance of low-field MRI: Harnessing open-access datasets to evaluate novel devices
Di Biase et al. Connectomes for 40,000 UK Biobank participants: A multi-modal, multi-scale brain network resource
Jeong et al. Neonatal encephalopathy prediction of poor outcome with diffusion-weighted imaging connectome and fixel-based analysis
CN112052882B (zh) 磁共振脑结构影像的分类模型构建、分类与可视化方法
Yang et al. Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial
de Ridder et al. A review and outlook on visual analytics for uncertainties in functional magnetic resonance imaging
Xi et al. Brain Functional Networks with Dynamic Hypergraph Manifold Regularization for Classification of End-Stage Renal Disease Associated with Mild Cognitive Impairment.
Chen et al. Diagnostic accuracy study of automated stratification of Alzheimer’s disease and mild cognitive impairment via deep learning based on MRI
Xi et al. Hypergraph representation of multimodal brain networks for patients with end-stage renal disease associated with mild cognitive impairment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant