CN112599216B - 脑肿瘤mri多模态标准化报告输出系统及方法 - Google Patents

脑肿瘤mri多模态标准化报告输出系统及方法 Download PDF

Info

Publication number
CN112599216B
CN112599216B CN202011638851.0A CN202011638851A CN112599216B CN 112599216 B CN112599216 B CN 112599216B CN 202011638851 A CN202011638851 A CN 202011638851A CN 112599216 B CN112599216 B CN 112599216B
Authority
CN
China
Prior art keywords
input
model
lesion
output
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011638851.0A
Other languages
English (en)
Other versions
CN112599216A (zh
Inventor
苏筱芮
月强
许照敏
张思敏
万欣月
李爽
杨喜彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202011638851.0A priority Critical patent/CN112599216B/zh
Publication of CN112599216A publication Critical patent/CN112599216A/zh
Application granted granted Critical
Publication of CN112599216B publication Critical patent/CN112599216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请涉及一种脑肿瘤MRI多模态标准化报告输出系统及方法,该系统在报告的形式上提供人机互动的解剖定位,病灶信号的准确描述,保障报告信息规范、统一,避免遗漏肿瘤累及范围信息;采用鼠标点击专利图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出;并可在报告中可视化病灶及解剖结构,使图文并存,更准确、形象地提供影像判读信息,准确地传达真实的影像信息。

Description

脑肿瘤MRI多模态标准化报告输出系统及方法
技术领域
本申请涉及MRI影像获取及判读领域,尤其是涉及一种脑肿瘤术前MRI多模态标准化报告输出系统及方法。
背景技术
胶质瘤是脑内常见肿瘤,确诊的金标准是组织病理学检查,基因诊断给予辅助。2016年世界卫生组织(world health organization,WHO)根据胶质瘤的组织病理学特点将胶质瘤分为Ⅰ~Ⅳ级。其中Ⅰ、Ⅱ级归类为低级别胶质瘤(Low grade glioma,LGG),临床常见的病理类型包括毛细胞型星形细胞瘤(WHO Ⅰ级)、弥漫性星形细胞瘤(WHOⅡ级)、少突胶质细胞瘤(WHO Ⅱ级)、少突星形细胞瘤(WHOⅡ级)等,Ⅲ、Ⅳ级则归类为高级别胶质瘤(Highgrade glioma,HGG),包括间变性星形细胞瘤、间变性少突胶质细胞瘤、间变性少突星形细胞瘤(WHO Ⅲ级)、胶质母细胞瘤(WHO Ⅳ级)等。LGG的细胞核呈非典型性,一般不出现核分裂像,细胞密度低,排列较规则,肿瘤细胞主要沿着血管周围间隙和白质纤维束生长,侵袭性低,基本不破坏血脑屏障,肿瘤周围水肿较轻,MIB-1增殖指数小于5%。HGG的细胞密度高,核异型增生显著,核分裂活跃,呈明显浸润性生长,肿瘤周围水肿明显,WHO Ⅲ级胶质瘤的MIB-1增殖指数为5%~10%,WHO Ⅳ级胶质瘤MIB-1增殖指数大于10%,并伴有“肾小球丛”状血管增生和(或)肿瘤中心大片状的坏死30-35。
目前脑内肿瘤的术前检查,主要依赖核磁共振成像(Magnetic resonanceimaging,MRI)检查。MRI具有较高的软组织分辨率,其多序列、多模态检查可为胶质瘤的定位、定性乃至定量诊断提供大量有益的信息。近年来,随着多种磁共振新技术的兴起和在临床的逐渐普及,大大提高了MRI的临床应用价值。MR灌注(MR Perfusion,MRP),包括动态磁敏感增强(Dynamic Susceptibility Contrast,DSC)灌注、动态对比剂增强(DynamicContrast Enhancement)灌注、动脉自旋标记(Arterail Spin Labelling,ASL)等,可以了解肿瘤血流动力学和血管通透性信息。磁共振波谱(Magnetic Resonance Spectroscopy,MRS)和化学交换饱和传递(Chemical Exchange Saturation Transfer,CEST)可以提供肿瘤代谢信息;近年来随着MRS绝对定量方法(相对于计算代谢物比值的相对定量方法而言)的应用,使得无创性测定肿瘤内各种代谢物浓度成为可能。MR弥散相关技术,包括常规弥散加权成像(Diffusion Weighted Imaging,DWI)、弥散张量成像(Diffusion TensorImaging,DTI)、弥散峰度成像(Diffusion Kurtosis Imaging,DKI)等,可以提供肿瘤内部水分子弥散、脑白质纤维束走行等信息。功能性磁共振成像(functional MagneticResonance Imaging,fMRI)能够提供肿瘤对脑功能区侵犯的信息。磁敏感加权成像(Susceptibility Weighted Imaging,SWI)能提供肿瘤内出血、钙化、静脉引流的信息。所有这些MRI检查方法为胶质瘤提供了全方位、多维度的依据。
在医学检查中,放射科医师要为大量的患者解读图像信息。在一些情况下,在一次MRI成像中,每个人获得包含几百或几千张医学图像的大量数据,以及图像解读报告的创建需要从庞大的医学图像数据中选择可能的关键图像,并录入所观察到的大量医学信息并输出。临床应用中主要根据临床病史、影像特点及经验进行判断,主观性大,结果欠准确,且放射科医师对胶质瘤影像判读的理解程度不同,评估的准确性有差异,并且很难准确传达给临床医生。对报告的书写缺乏规范、标准的方式,报告内容和术语亦存在差异。信息通过文字传达时,容易产生错译或误解。给临床带来许多困惑。
本专利结合计算机技术和影像成像规范化解读,提供一种脑内肿瘤的影像学半自动生成标准化系统。其特征是:1)该系统在报告的形式上提供人机互动的解剖定位,病灶信号的准确描述,保障报告信息规范、统一,避免遗漏肿瘤累及范围信息;2)采用鼠标点击专利图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出;3)并可在报告中可视化病灶及解剖结构,使图文并存,更准确、形象地提供影像判读信息,准确地传达真实的影像信息。
发明内容
本发明设计了可视化病灶模拟图及病灶图,便于解剖及病灶的对照。将放射科医师观察到的征象,以一种简单、标准、易于掌握的操作流程呈现。对病灶的描述准确、规范。
具体如下:
此专利报告标准化,特点在于,包括临床信息知识库模块、神经网络辅助模块、解剖模式图模块、影像特征标准化描述模块、报告生成模块。
一、设计了可视化颅内断层解剖图(图1-4),解剖图包括右侧额叶、左侧额叶、中脑、右侧顶叶、左侧顶叶、小脑蚓部、右侧颞叶、左侧颞叶、脑桥、右侧枕叶、左侧枕叶、右侧小脑、左侧小脑、右基底节、左基底节、右侧外囊、左侧外囊、右侧丘脑和左侧丘脑等,操作简单,易于掌握,输出规范,即使刚刚进入临床的初学者也比较容易掌握。
1.临床信息知识库单元:提供选择知识题库和手动输入单元,选择知识库单元提供临床常见录入选项,手动输入单元作为补充内容。首先在知识题库中选择常见录入内容进行勾选,如无法满足需求,则可选择手动输入单元,进行补充。
1)结构化报告使用范围:脑内肿瘤和肿瘤样病变(未行手术治疗)。
2)临床表现:1)手动输入;2)症状部位:□左侧;□右侧;□双侧;□不明确。症状:□不详;其他:——
3)实验室检查结果:脑脊液,血常规等临床表现
4)补充其他
2.神经网络辅助模块:将临床信息知识库单元的选项和数值化输入内容进行编码,通过历史病例中的临床信息评判结果及其相应的疾病名称构成的数据集训练一个8层的BP神经网络模型,将知识题库和手动输入单元的勾选及输入结果的编码输入训练好的神经网络模型,输出患者部位的疾病名称,提供辅助功能。其工作方式如下:
1)对临床信息知识题库和潜在疾病名称进行编码。本专利采用独热(one-hot)码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元(长度、面积、体积等)和医师输入结果(疾病名称)进行混合编码,生成一个多维编码向量。向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和。
对于选择知识题库,本专利采用独热码对其选项进行编码。假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令si=1且sj=0,(j≠i)生成一个n维向量;对于数值化手动输入单元,本申请采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于潜在疾病名称,本专利采用独热码对其进行编码。假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,可表示为[k0,k1,k,...,km-1]。在历史病例中,当疾病名称为表中第p项时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,(q≠p)。
将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量。其中,前N-m维为临床信息样本编码,后m维为样本标签。
2)按步骤1中编码方式对历史病例进行编码。对大量的历史病例临床知识题库评判结果及其相应的疾病名称信息按照步骤1的编码方式进行编码,生成一个临床病例数据集。按照8.5:1.5的比例将数据集划分为训练集和测试集两个集合。
3)建立神经网络模型,对模型进行训练和测试。本专利设计了一个由8层神经元组成的BP神经网络模型,从输入层到输出层的神经元数量分别为:N-m(输入层),128,256,512,1024,1024,512,512,m(输出层)。每层神经元(除输出层外)经过仿射计算后分别进行批归一化(Batch Nomalization)计算和ReLU6非线性映射。在第4-7层的仿射计算后增加失活概率为0.5的随机失活(Dropout)以防止神经网络过拟合。采用Softmax输出层和交叉熵损失函数。优化器使用随机梯度下降(SGD)优化器,设置初始学习率为0.01并使用学习率余弦函数衰减策略。
每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出。将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0。将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数。待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误。
反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数。测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数。
4)根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称。当医师每次根据病例的临床特征填写完临床信息题库时,按照医师评判情况按步骤1对题库信息按顺序生成N-m维编码向量,将编码向量输入步骤3中保存的神经网络模型,模型输出m维预测结果的编码。按照模型预测结果的编码,假设其中第z(0≤z≤m-1)项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议疾病名称。
3.解剖模式图模块可以在平面图展示可点图式解剖结构,内容包括:(图1-4)
1)半卵圆中心层面解剖(图1)
2)基底节区层面断层解剖(图2)
3)中脑层面解剖图(图3)
4)中脑矢状位及小脑层面解剖(图4)
4.影像特征标准化描述模块
人机交互界面提供预设指示部和输入部,所述预设指示部为用户提供预设的指示信息,用户根据患者的MRI影像和人机交互界面提供的预设的指示信息在输入部输入评估MRI影像的参数。所述参数可以是预先设置的字段型参数,其可根据用户的先前操作而与对应输入部一起显示在人机交互界面上以供用户以单选或多选的形式直观地选择输入,也可以是由用户以填空的形式输入的数值型参数,其对应的输入部可根据用户的先前操作显示在人机交互界面上以供用户填写输入。用户输入的参数可通过系统附加的存储模块或独立存在的存储模块存储为计算机可读的数据。依据该专利预设内容,医师可在影像模块中进行简单点击操作,调取数据库中标准字段,生成标准化报告内容。
a)形态学影像
预处理图像将取得的3个序列或参数图谱定义为3个模态,组成结构模态组:T1加权成像(T1-Weighted Imaging,T1WI)、T2加权成像(T2-Weighted Imaging,T2WI)、对比增强T1加权成像(Contrast Enhanced T1-Weighted Imaging,T1-CE);磁共振T1加权成像(T1WI)、T2加权成像(T2WI)、液体衰减反转恢复(Fluid Attenuated Inversion Recovery,FLAIR)等序列能清晰、直观地呈现胶质瘤的位置、大小、边界、形态及内部的坏死、出血、囊变等形态学特征。注射钆对比剂之后的对比增强T1WI(T1-CE)序列评价肿瘤破坏血脑屏障(Blood Brain Barrier,BBB)的情况,间接反映出肿瘤的实性部分和边界,以及对周围组织的侵犯情况。如弥漫性星形细胞瘤,一般多位于白质区,内部MR信号多均匀,T1WI呈低信号,T2WI呈稍高信号,少见坏死。含有少突胶质细胞成分的低级别胶质瘤位置多靠近脑表面,内部钙化成分较为常见。LGG由于生长缓慢,对周围组织压迫及侵犯作用轻微,肿瘤边界比较清楚,周围通常不伴有或伴有轻微的水肿带,注射对比剂后多无强化效应。HGG生长迅速,肿瘤内部常可见坏死、囊变及出血,肿瘤对周围组织以侵犯为主,病变的边界多不清楚,常可见到肿瘤沿白质纤维束的走行方向呈浸润性生长,病变周边常见到片状的水肿带。注射对比剂后,肿瘤多呈不均匀强化,典型的GBM呈厚薄不一的“花环状”强化。由此可见,不同级别胶质瘤在MR常规序列上的表现存在差异。瘤周水肿区最大直径、病变对比剂强化和皮质受累等特征可以用于胶质瘤分级。
如下征象:
1)T1WI:低,稍低,等,稍高,高,混杂
2)T2WI:低,稍低,等,稍高,高,混杂
3)FLAIR:低,稍低,等,稍高,高,混杂
4)强化程度:不强化,轻度强化,中等强化,明显强化;
5)强化形态:花环状,结节状,斑片状,不均匀强化,均匀强化
b)病灶轴位最大截面:
1)测量序列:T1-CE,T2WI,T1WI,FLAIR
2)最大面长径[]cm,垂直经[]cm
c)功能影像:MRI具有较高的软组织分辨率,其多序列、多模态检查可为胶质瘤的定位、定性乃至定量诊断提供大量有益的信息。近年来,随着多种磁共振新技术的兴起和在临床的逐渐普及,大大提高了MRI在诊断、鉴别诊断、以及治疗后随访的临床应用价值。MR灌注(MR Perfusion,MRP),包括动态磁敏感增强(Dynamic Susceptibility Contrast,DSC)灌注、动态对比剂增强(Dynamic Contrast Enhancement)灌注、动脉自旋标记(ArterailSpin Labelling,ASL)等,可以了解肿瘤血流动力学和血管通透性信息,较真实的反映了肿瘤血供情况。磁共振波谱(Magnetic Resonance Spectroscopy,MRS)和化学交换饱和传递(Chemical Exchange Saturation Transfer,CEST)可以提供肿瘤代谢信息,如:Cho峰的改变,反映细胞膜更新的情况,间接反映了肿瘤的代谢情况,NAA峰代表神经元的变化情况,其减低,直接反映了神经元的损伤情况,Lac峰的出现,反映了脑组织出现无氧代谢;近年来随着MRS绝对定量方法(相对于计算代谢物比值的相对定量方法而言)的应用,使得无创性测定肿瘤内各种代谢物浓度成为可能。MR弥散相关技术,包括常规弥散加权成像(DiffusionWeighted Imaging,DWI)、弥散张量成像(Diffusion Tensor Imaging,DTI)、弥散峰度成像(Diffusion Kurtosis Imaging,DKI)等,可以提供肿瘤内部水分子弥散、脑白质纤维束走行等信息。功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)能够提供肿瘤对脑功能区侵犯的信息。磁敏感加权成像(Susceptibility Weighted Imaging,SWI)能提供肿瘤内出血、钙化、静脉引流的信息。所有这些MRI检查方法为胶质瘤的诊断提供了全方位、多维度的随访依据。如下:
1)DWI:低,稍低,等,稍高,高,混杂
2)ADC:低,稍低,等,稍高,高,混杂
3)DTI:纤维束推挤,纤维束受侵;
4)SWI:未见异常,低信号;
5)相位图:未见异常,高信号,高信号为主伴低信号
6)MRS:Cho=,NAA,Cr=,NAA/Cho=,NAA/Cr=,Lac,Lip(注:勾选MRS选项,请截图MRS图)
7)PWI:1)CBV高,低,等;2)CBF高,低,等;3)MTT延长,缩短,未见异常;4)TTP延长,缩短,未见异常。
d)其他:侧脑室受压狭窄;中线结构移位。
1)其他手工输入区:
5.报告生成模块
此部分输出内容有,典型病灶图及影像模式图;临床信息内容;病灶位置结构名词;影像特征语言;标准化报告内容。在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果等,以避免人为输入错误和非标准用词,输出影像表现的模式图及典型影像图。并逐层、逐次规范输出病灶的解剖结构、病灶影像特征,以规范的书写方式通过人机交互输出标准格式报告内容。
附图标记说明:1、右侧额叶,2、左侧额叶,3、左侧顶叶,4、右侧顶叶,5、左侧额叶,6、右侧岛叶,7、左侧岛叶,8、右侧颞叶,9、右侧枕叶,10、左侧枕叶,11、右尾状核,12、左尾状核,13、右内囊前肢,14、左内囊前肢,15、右内囊后肢,16、左内囊后肢,17、右侧丘脑,18、左侧丘脑,19、右屏状核,20、左屏状核,21、中脑,22、小脑蚓部,23、扣回带,24、嘴部,25、体膝,26、体部,27、压部,28、鞍区,29、松果体区,30、透明隔间腔,31、室间孔,32、第三脑室,33、导水管,34、第四脑室,35、桥脑,36、延髓,37、右小脑半球,38,左小脑半球。
附图说明
图1半卵圆中心层面解剖;
图2基底节区层面解剖;
图3中脑层面解剖;
图4中脑矢状位及小脑层面解剖;
图5病灶示意图;
图6检查报告示意图;
具体实施方式
建立临床信息知识库模块:本结构化报告的使用范围是脑内肿瘤及肿瘤样病变。第一步,确定使用范围。第二步,输入临床病史。第三步,输入实验室检查。第四步,支持手动添加补充内容。
显示解剖模式图模块,如图1所示,操作人员手动点击左侧额叶术区,左侧额叶术区颜色改变,表示病变所属区域(图5)。
构建结构化影像描述模块:
1.形态学影像:
T1WI:低,稍低(选中),等,稍高,高,混杂
T2WI:低,稍低,等,稍高(选中),高,混杂
FLAIR:低,稍低,等,稍高,高(选中),混杂。
强化程度:不强化,轻度强化,中等强化(选中),明显强化。
强化形态:花环状,结节状(选中),斑片状,不均匀强化,均匀强化2.病灶轴位最大截面:
1)测量序列:T1-CE(选中),T2WI,T1WI,FLAIR
2)最大病灶长径计算
对于每个病灶区域,设分割出的病灶区域的体素集合为P,病灶边缘体素集合为M={m1,m2,m3,...,mn},其中mi∈R3。迭代地进行如下步骤:
(1)在M中任取两像素点mi(x1,y1,z1),mj(x2,y2,z2)∈M,i,j=1~n且i≠j构成线段mimj
Figure BDA0002879379660000091
(2)MRI图像的横向切面可表示为z=n,n∈Z。假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的横向切面的交点构成集合U。
(3)判断
Figure BDA0002879379660000105
是否成立,若是,则进行步骤(4);否则进行步骤(5)。
(4)计算线段mimj的长度|mimj|:
Figure BDA0002879379660000101
其中,Δi表示切面图的分辨率,Δj表示层厚。
(5)判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤(6);否则返回步骤(1)。
(6)计算得到最大的线段长度Lmax=max(|mimj|),Lmax即为最大病灶长。
垂直径计算:
设p,q=argmaxi,j(|mimj|),则mp(xp,yp,zp),mq(xq,yq,zq)为最大病灶长所在线段的两端点,则线段mpmq的中点mc的坐标可表示为:
Figure BDA0002879379660000102
直线mpmq的方向向量为
Figure BDA0002879379660000103
则短径所在平面为
Figure BDA0002879379660000104
取该平面所在的体素点与集合P中体素的交集S,令P←S,S内的病灶边缘体素集合为M,按照最大病灶长计算方式即可求得病灶短径Lmin
2)最大面长径[2.2]cm,垂直径[1.5]cm
3.功能影像:
DWI:低,稍低,等,稍高(选中),高,混杂
ADC:低,稍低(选中),等,稍高,高,混杂
DTI:纤维束推挤,纤维束受侵(选中)
SWI:未见异常,低信号(选中)
相位图:未见异常,高信号,高信号为主伴低信号(选中)
MRS:Cho=6,NAA=3,Cr=4,NAA/Cho=1/2,NAA/Cr=3/4LacLip(注:勾选MRS选项,请截图MRS图)
PWI:1)CBV高(选中),低,等;2)CBF高(选中),低,等;3)MTT延长,缩短,未见异常;4)TTP延长,缩短,未见异常。
4.其他:侧脑室受压狭窄;中线结构未见移位
5.其他手工输入区:
6.报告生成模块包括:
影像表现:
(一)手术术区:左侧额叶
模式图 影像图
(二)普通磁共振:
T1WI:呈稍低信号;T2WI:呈稍高;FLAIR:呈高信号,与前次比较:缩小,不变,增大:小于25%(选中)。
强化程度:中等强化;强化形态:结节状。
病灶轴位最大截面:
1)测量序列:T1-CE
2)最大面长径[2.2]cm,垂直经[1.5]cm
(三)功能影像:
DWI:呈稍高信号;ADC:稍低信号;DTI:纤维束受侵;
SWI:低信号;相位图:高信号为主伴低信号
MRS:Cho=6,NAA=3,Cr=4,NAA/Cho=1/2,NAA/Cr=3/4,见Lac峰,见Lip峰
PWI:1)CBV高;2)CBF高
(四)其他:中线结构未见移位。
印象建议
左侧额叶病灶如上述,考虑倾向恶性,胶质瘤可能性,如弥漫性胶质瘤,间变胶质瘤可能性等。建议活检及其他检查。
最终生成报告如图6。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (2)

1.一种脑肿瘤MRI多模态标准化报告输出方法,其特征在于,通过临床信息知识库单元提供选择知识题库和手动输入,选择知识库单元提供临床常见录入选项,手动输入单元作为补充内容;首先在知识题库中选择常见录入内容进行勾选,如无法满足需求,则选择手动输入单元,进行补充;神经网络辅助模块根据选择知识题库与手动输入单元的勾选和填写结果,对患者症状进行特征提取和分析处理,预测出初步的建议,以辅助医师进行判读;解剖模式图模块通过平面图展示可点图式解剖结构;影像特征标准化描述模块通过人机交互界面提供预设指示部和输入部,所述预设指示部为用户提供预设的指示信息,用户根据患者的MRI影像和人机交互界面提供的预设的指示信息在输入部输入评估MRI影像的参数;报告生成模块输出内容有,典型病灶图及影像模式图,临床信息内容,病灶位置结构名词,标准化报告内容;在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果,以避免人为输入错误和非标准用词,输出影像表现的模式图及典型影像图;并逐层、逐次规范输出病灶的解剖结构、病灶影像特征,以规范的书写方式通过人机交互输出标准格式报告内容;神经网络辅助模块将临床信息知识库单元的选项和数值化输入内容进行编码,通过历史病例中的临床信息评判结果及其相应的疾病名称构成的数据集训练一个8层的BP神经网络模型,将知识题库和手动输入单元的勾选及输入结果的编码输入训练好的神经网络模型,输出患者部位的疾病名称,提供辅助功能,其工作方式如下:1)对临床信息知识题库和潜在疾病名称进行编码;本专利采用独热码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元和医师输入结果进行混合编码,生成一个多维编码向量;向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和;对于选择知识题库,本专利采用独热码对其选项进行编码;假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令si=1且sj=0,j≠i,生成一个n维向量;对于数值化手动输入单元,本申请采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于潜在疾病名称,本专利采用独热码对其进行编码;假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,表示为[k0,k1,k,...,km-1];在历史病例中,当疾病名称为表中第p项时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,q≠p;将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量;其中,前N-m维为临床信息样本编码,后m维为样本标签;2)按步骤1中编码方式对历史病例进行编码;对大量的历史病例临床知识题库评判结果及其相应的疾病名称信息按照步骤1的编码方式进行编码,生成一个临床病例数据集;按照8.5:1.5的比例将数据集划分为训练集和测试集两个集合;3)建立神经网络模型,对模型进行训练和测试;本专利设计了一个由8层神经元组成的BP神经网络模型,从输入层到输出层的神经元数量分别为:N-m,128,256,512,1024,1024,512,512,m;每层神经元经过仿射计算后分别进行批归一化计算和ReLU6非线性映射;在第4-7层的仿射计算后增加失活概率为0.5的随机失活以防止神经网络过拟合;采用Softmax输出层和交叉熵损失函数;优化器使用随机梯度下降优化器,设置初始学习率为0.01并使用学习率余弦函数衰减策略;每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出;将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0;将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数;待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误;反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数;测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数;4)根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称;当医师每次根据病例的临床特征填写完临床信息题库时,按照医师评判情况按步骤1对题库信息按顺序生成N-m维编码向量,将编码向量输入步骤3中保存的神经网络模型,模型输出m维预测结果的编码;按照模型预测结果的编码,假设其中第z项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议疾病名称。
2.根据权利要求1所述的一种脑肿瘤MRI多模态标准化报告输出方法,其特征在于,解剖模式图模块包括病灶轴位最大截面信息,最大病灶长径计算方法:对于每个病灶区域,设分割出的病灶区域的体素集合为P,病灶边缘体素集合为M={m1,m2,m3,...,mn},其中mI∈R3,R为实数集;迭代地进行如下步骤:
(1)在M中任取两点mi(x1,y1,z1),mj(x2,y2,z2)∈M,I,j=1~n且i≠j构成线段mimj
Figure FDA0003172050620000041
(2)MRI图像的横向切面可表示为z=n,n∈Z,Z为整数集;假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的横向切面的交点集合U;
(3)判断
Figure FDA0003172050620000042
是否成立,若是,则进行步骤(4);否则进行步骤(5);
(4)计算线段mimj的长度|mimj|:
Figure FDA0003172050620000043
其中,Δi表示切面图的分辨率,Δj表示层厚;
(5)判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤(6);否则返回步骤(1);
(6)计算得到最大的线段长度Lmax=max(|mimj|),Lmax即为最大病灶长。
CN202011638851.0A 2020-12-31 2020-12-31 脑肿瘤mri多模态标准化报告输出系统及方法 Active CN112599216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011638851.0A CN112599216B (zh) 2020-12-31 2020-12-31 脑肿瘤mri多模态标准化报告输出系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011638851.0A CN112599216B (zh) 2020-12-31 2020-12-31 脑肿瘤mri多模态标准化报告输出系统及方法

Publications (2)

Publication Number Publication Date
CN112599216A CN112599216A (zh) 2021-04-02
CN112599216B true CN112599216B (zh) 2021-08-31

Family

ID=75206774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011638851.0A Active CN112599216B (zh) 2020-12-31 2020-12-31 脑肿瘤mri多模态标准化报告输出系统及方法

Country Status (1)

Country Link
CN (1) CN112599216B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN108665949A (zh) * 2018-04-03 2018-10-16 首都医科大学附属北京同仁医院 一种结构化提取和展示眼眶mri影像数据的系统
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法
CN111863237A (zh) * 2020-05-29 2020-10-30 东莞理工学院 一种基于深度学习的移动端疾病智能辅助诊断系统

Also Published As

Publication number Publication date
CN112599216A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Zhang et al. Review of breast cancer pathologigcal image processing
JP7140348B2 (ja) 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
Mazziotta et al. A four-dimensional probabilistic atlas of the human brain
CN112735569B (zh) 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法
Golestani et al. Anatomical correlates of learning novel speech sounds
Gillmann et al. Uncertainty‐aware Visualization in Medical Imaging‐A Survey
CN113077887B (zh) 大脑白质病变自动化定量分析系统与判读方法
Fang et al. Nonlocal convolutional block attention module VNet for gliomas automatic segmentation
Zhou et al. MOLS-Net: Multi-organ and lesion segmentation network based on sequence feature pyramid and attention mechanism for aortic dissection diagnosis
Kumar et al. Brain tumor segmentation of the FLAIR MRI images using novel ResUnet
Mohan et al. Medical imaging with intelligent systems: a review
Weizman et al. Semiautomatic segmentation and follow‐up of multicomponent low‐grade tumors in longitudinal brain MRI studies
CN112863648B (zh) 脑肿瘤术后mri多模态输出系统及方法
Rasool et al. Glioma brain tumor segmentation using deep learning: A review
Xu et al. Deep learning-based automated detection of arterial vessel wall and plaque on magnetic resonance vessel wall images
Wang et al. Assessment of stroke risk using MRI-VPD with automatic segmentation of carotid plaques and classification of plaque properties based on deep learning
CN113096796B (zh) 脑出血血肿扩大风险智能化预测系统及方法
CN112599216B (zh) 脑肿瘤mri多模态标准化报告输出系统及方法
Al-Qazzaz Deep learning-based brain tumour image segmentation and its extension to stroke lesion segmentation
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
CN118873161A (zh) 一种颅内动脉血管狭窄双重判定方法及系统
Tu et al. Self pre-training with single-scale adapter for left atrial segmentation
CN111971751A (zh) 用于评估动态数据的系统和方法
CN112863649B (zh) 玻璃体内肿瘤影像结果输出系统及方法
Shi et al. MVNet: Multi-variate multi-view brain network comparison over uncertain data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant