CN112735569B - 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法 - Google Patents

脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法 Download PDF

Info

Publication number
CN112735569B
CN112735569B CN202011638854.4A CN202011638854A CN112735569B CN 112735569 B CN112735569 B CN 112735569B CN 202011638854 A CN202011638854 A CN 202011638854A CN 112735569 B CN112735569 B CN 112735569B
Authority
CN
China
Prior art keywords
image
coding
result
lesion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011638854.4A
Other languages
English (en)
Other versions
CN112735569A (zh
Inventor
月强
谭乔月
李爽
张思敏
万欣月
杨喜彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202011638854.4A priority Critical patent/CN112735569B/zh
Publication of CN112735569A publication Critical patent/CN112735569A/zh
Application granted granted Critical
Publication of CN112735569B publication Critical patent/CN112735569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本专利提供一种脑肿瘤术后MRI多模态标随访准化半自动生成系统,该系统在报告的形式上提供人机互动的解剖定位,病灶信号的准确描述,保障报告信息规范、统一;采用鼠标点击专利图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,自动生成,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出;并可在报告中可视化病灶及解剖结构,使图文并存,更准确、形象地提供影像判读信息。

Description

脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统及方法
技术领域
本申请涉及MRI影像获取及判读领域,尤其是涉及一种脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统及方法。
背景技术
脑内肿瘤,目前治疗方式主要是手术切除,但大部分呈浸润性生长,边界不清,难以彻底切除病灶,尤其是胶质瘤,并且此肿瘤最常见,且位于脑功能区的病灶,术后致死及致残率一直以来居高不下,严重影响了患者的预后及生存质量。涉及功能区的脑肿瘤切除术具有较高的手术风险,并且在术中易损伤功能区域中的大脑皮层和神经纤维,造成手术切除不完全,手术后容易复发及手术后功能容易受损等,是神经外科需要面临及解决的问题。但是不管是参照传统的成像数据还是在手术显微镜下,区分功能区域或白质纤维束的功能结构均是困难的,治疗患者的目标不仅是最大限度地切除肿瘤,还要通过平衡肿瘤复发或进展的风险与手术造成的相关不良后果。脑功能组织是由与运动、语言及感觉功能相关的皮质和皮质下蛋白组成的,由于存在于功能区的组织损伤后不可修复,所以对于目前的脑功能区的肿瘤手术,既要兼顾肿瘤组织的尽可能全切,又要最大限度的保护脑功能区。对提高患者生存及改善患者的生活质量非常重要。
核磁共振成像(Magnetic resonance imaging,MRI)对软组织分辨率高,且无辐射。MRI平扫及增强扫描判断肿瘤的位置,但是对其准确的边界侵犯及脑功能区侵犯判断困难。磁共振弥散张量成像(diffusion tensor imaging,DTI)是目前应用于临床的一项新技术,其可以在活体中无创清晰准确的描绘出主要脑功能纤维束的形态结构,显示肿瘤对纤维束的侵犯及其与周围正常白质纤维束之间的毗邻关系,尽可能切除损坏的脑组织的同时,又能保护重要脑功能的传导。
功能磁共振成像已越来越多地应用于手术方案的制定。脑功能磁共振成像(functional magnetic resonance imaging,fMRI)是血氧水平依赖(blood oxygenationlevel dependent,BOLD)功能磁共振成像(functional Magnetic resonance imaging,fMRI),利用血氧水平依赖性磁共振成像技术,其通过反映大脑BOLD信号的自发活动来间接反应神经元活动,是近年来脑科学研究的热点之一,可以有针对性观察肿瘤所在特定区域的脑功能情况,判断肿瘤部位脑功能区的侵犯。具有无创性,可重复性及高空间分辨率高等优势。
对报告的书写缺乏规范、标准的方式,报告内容和术语亦存在差异。为了解决现有问题,本专利提供一种脑肿瘤术后MRI多模态标随访准化半自动生成系统,该系统在报告的形式上提供人机互动的解剖定位,病灶信号的准确描述,保障报告信息规范、统一;采用鼠标点击专利图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,自动生成,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出;并可在报告中可视化病灶及解剖结构,使图文并存,更准确、形象地提供影像判读信息。
发明内容
本发明设计了可视化病灶模拟图及病灶图,便于解剖及病灶的对照。将放射科医师观察到的征象,以一种简单、标准、易于掌握的操作流程呈现。对病灶的描述准确、规范。通过病灶描述结果与预设数据单元进行对比,完成描述结果输出。具体如下:
脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统,包括临床信息知识库单元、解剖模式图单元、神经网络单元、影像特征标准化描述单元和报告生成单元。
优选的,脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统,还包括影像对比单元(包括健康脑区解析数据库单元及病灶区脑纤维束解析单元)
1.临床信息知识库单元:
提供选择知识题库和手动输入单元,选择知识库单元提供临床常见录入选项,手动输入单元作为补充内容。首先在知识题库中选择常见录入内容进行勾选,如无法满足需求,则可选择手动输入单元,进行补充。
结构化报告使用范围:脑内病变术前功能区检查MRI检查。
2.神经网络单元:
将临床信息知识库单元的选项和数值化输入内容进行编码,通过历史病例中的临床信息评判结果及其相应的疾病名称构成的数据集训练一个8层的BP神经网络模型,将知识题库和手动输入单元的勾选及输入结果的编码输入训练好的神经网络模型,输出患者部位的疾病名称,提供辅助功能。其工作方式如下:
1)对临床信息知识题库和潜在疾病名称进行编码。本专利采用独热(one-hot)码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元(长度、面积、体积等)和医师输入结果(疾病名称)进行混合编码,生成一个多维编码向量。向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和。
对于选择知识题库,本专利采用独热码对其选项进行编码。假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令si=1且sj=0,(j≠i)生成一个n维向量;对于数值化手动输入单元,本申请采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于潜在疾病名称,本专利采用独热码对其进行编码。假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,可表示为[k0,k1,k,…,km-1]。在历史病例中,当疾病名称为表中第p项时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,(q≠p)。
将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量。其中,前N-m维为临床信息样本编码,后m维为样本标签。
2)按步骤1中编码方式对历史病例进行编码。对大量的历史病例临床知识题库评判结果及其相应的疾病名称信息按照步骤1的编码方式进行编码,生成一个临床病例数据集。按照8.5:1.5的比例将数据集划分为训练集和测试集两个集合。
3)建立神经网络模型,对模型进行训练和测试。本专利设计了一个由8层神经元组成的BP神经网络模型,从输入层到输出层的神经元数量分别为:N-m(输入层),128,256,512,1024,1024,512,512,m(输出层)。每层神经元(除输出层外)经过仿射计算后分别进行批归一化(Batch Nomalization)计算和ReLU6非线性映射。在第4-7层的仿射计算后增加失活概率为0.5的随机失活(Dropout)以防止神经网络过拟合。采用Softmax输出层和交叉熵损失函数。优化器使用随机梯度下降(SGD)优化器,设置初始学习率为0.01并使用学习率余弦函数衰减策略。
每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出。将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0。将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数。待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误。
反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数。测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数。
4)根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称。当医师每次根据病例的临床特征填写完临床信息题库时,按照医师评判情况按步骤1对题库信息按顺序生成N-m维编码向量,将编码向量输入步骤3中保存的神经网络模型,模型输出m维预测结果的编码。按照模型预测结果的编码,假设其中第z(0≤z≤m-1)项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议疾病名称。
3.解剖模式图单元:可以在平面图展示可点图式解剖结构,内容包括:(图1-5)
1)胼胝体层面断层解剖(图1)
2)基底节区层面断层解剖(图2)
3)脑干层面解剖图(图3)
4)小脑层面断层解剖(图5)
5)中脑、脑干结构图(图4)
4.影像特征标准化描述单元
人机交互界面提供预设指示部和输入部,所述预设指示部为用户提供预设的指示信息,用户根据患者的MRI影像和人机交互界面提供的预设的指示信息在输入部输入评估MRI影像的参数。所述参数可以是预先设置的字段型参数,其可根据用户的先前操作而与对应输入部一起显示在人机交互界面上以供用户以单选或多选的形式直观地选择输入,也可以是由用户以填空的形式输入的数值型参数,其对应的输入部可根据用户的先前操作显示在人机交互界面上以供用户填写输入。用户输入的参数可通过系统附加的存储单元或独立存在的存储单元存储为计算机可读的数据。依据该专利预设内容,医师可在影像单元中进行简单点击操作,调取数据库中标准字段,生成标准化报告内容。
a)形态学影像
预处理图像将取得的3个序列或参数图谱定义为3个模态,组成结构模态组:T1加权成像(T1-Weighted Imaging,T1WI)、T2加权成像(T2-Weighted Imaging,T2WI)、对比增强T1加权成像(Contrast Enhanced T1-Weighted Imaging,T1-CE);磁共振T1加权成像(T1WI)、T2加权成像(T2WI)、液体衰减反转恢复(Fluid Attenuated Inversion Recovery,FLAIR)等序列能清晰、直观地呈现胶质瘤的位置、大小、边界、形态及内部的坏死、出血、囊变等形态学特征。注射钆对比剂之后的对比增强T1WI(T1-CE)序列评价肿瘤破坏血脑屏障(Blood Brain Barrier,BBB)的情况,间接反映出肿瘤的实性部分和边界,以及对周围组织的侵犯情况。弥漫性星形细胞瘤一般多位于白质区,内部MR信号多均匀,T1WI呈低信号,T2WI呈稍高信号,少见坏死。含有少突胶质细胞成分的低级别胶质瘤位置多靠近脑表面,内部钙化成分较为常见。LGG由于生长缓慢,对周围组织压迫及侵犯作用轻微,肿瘤边界比较清楚,周围通常不伴有或伴有轻微的水肿带,注射对比剂后多无强化效应。HGG生长迅速,肿瘤内部常可见坏死、囊变及出血,肿瘤对周围组织以侵犯为主,病变的边界多不清楚,常可见到肿瘤沿白质纤维束的走行方向呈浸润性生长,病变周边常见到片状的水肿带。注射对比剂后,肿瘤多呈不均匀强化,典型的GBM呈厚薄不一的“花环状”强化。由此可见,不同级别胶质瘤在MR常规序列上的表现存在差异。瘤周水肿区最大直径、病变对比剂强化和皮质受累等特征可以用于胶质瘤分级。而胶质瘤术后改变,类似部分术前征象,但是在随访中,依据多个信号及大小的变化,临床信息的整合,可以给予一定的提示肿瘤是否复发。如下征象:
1)T1WI:低,稍低,等,稍高,高,混杂等
2)T2WI:低,稍低,等,稍高,高,混杂
3)FLAIR:低,稍低,等,稍高,高,混杂
4)强化程度:不强化,轻度强化,中等强化,明显强化;
5)强化形态:花环状,结节状,斑片状,不均匀强化,均匀强化b)病灶轴位最大截面:
1)测量序列:T1-CE,T2WI,T1WI,FLAIR
2)最大面长径[]cm,垂直经[]cm
c)功能影像:
MRI具有较高的软组织分辨率,其多序列、多模态检查可为胶质瘤的定位、定性乃至定量诊断提供大量有益的信息。近年来,随着多种磁共振新技术的兴起和在临床的逐渐普及,大大提高了MRI在诊断、鉴别诊断、以及治疗后随访的临床应用价值。MR灌注(MRPerfusion,MRP),包括动态磁敏感增强(Dynamic Susceptibility Contrast,DSC)灌注、动态对比剂增强(Dynamic Contrast Enhancement)灌注、动脉自旋标记(Arterail SpinLabelling,ASL)等,可以了解肿瘤血流动力学和血管通透性信息,较真实的反映了肿瘤血供情况。磁共振波谱(Magnetic Resonance Spectroscopy,MRS)和化学交换饱和传递(Chemical Exchange Saturation Transfer,CEST)可以提供肿瘤代谢信息,如:Cho峰的改变,反映细胞膜更新的情况,间接反映了肿瘤的代谢情况,NAA峰代表神经元的变化情况,其减低,直接反映了神经元的损伤情况,Lac峰的出现,反映了脑组织出现无氧代谢;近年来随着MRS绝对定量方法(相对于计算代谢物比值的相对定量方法而言)的应用,使得无创性测定肿瘤内各种代谢物浓度成为可能。MR弥散相关技术,包括常规弥散加权成像(DiffusionWeighted Imaging,DWI)、弥散张量成像(Diffusion Tensor Imaging,DTI)、弥散峰度成像(Diffusion Kurtosis Imaging,DKI)等,可以提供肿瘤内部水分子弥散、脑白质纤维束走行等信息。功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)能够提供肿瘤对脑功能区侵犯的信息。磁敏感加权成像(Susceptibility Weighted Imaging,SWI)能提供肿瘤内出血、钙化、静脉引流的信息。所有这些MRI检查方法为胶质瘤提供了全方位、多维度的随访依据。如下:
1)DWI:低,稍低,等,稍高,高,混杂
2)ADC:低,稍低,等,稍高,高,混杂
3)DTI:纤维束推挤,纤维束受侵;
4)SWI:未见异常,低信号;
5)相位图:未见异常,高信号,高信号为主伴低信号
6)MRS:Cho=,NAA,Cr=,NAA/Cho=,NAA/Cr=,Lac,Lip(注:勾选MRS选项,请截图MRS图)
7)PWI:1)CBV高,低,等;2)CBF高,低,等;3)MTT延长,缩短,未见异常;4)TTP延长,缩短,未见异常。
d)其他:侧脑室受压狭窄;中线结构移位。
1)其他手工输入区:__________
5.影像对比单元
健康脑区解析数据库单元
获取DTI图,通过大数据采集不同年龄段、不同性别的人群的脑磁共振DTI图(DICOM格式,DICOM:Digital Imaging and Communications in Medicine,医疗数位影像传输协定),将DTI图数字化后储存在计算机,作为健康人群脑区的DTI结构数据库解析单元。
病灶区脑纤维束解析单元
经MRI扫描患者全脑纤维束DTI图,将数字化的DTI图存储在计算机中。
将患者病灶区脑纤维束解析单元与健康脑区解析数据库单元相连,经定量后处理系统获取患者病灶脑区的测量数据,再将对比单元与报告输出单元相连,输出对比数字化定量结果及对比数字化图像结果进行输出。为外科手术术前提供数字化定量结果、数字化图像对比结果。
6.报告生成单元
此部分输出内容有,典型病灶图及影像模式图;临床信息内容;病灶位置结构名词;影像对比单元结果;标准化报告内容。在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果等,以避免人为输入错误和非标准用词,输出影像表现的模式图及典型影像图。并逐层、逐次规范输出病灶的解剖结构、病灶影像特征,以规范的书写方式通过人机交互输出标准格式报告内容及影像表现定量和定性的输出。
具体实施流程,如图6
附图标记说明:1、右侧额叶,2、左侧颞叶,3、左侧顶叶,4、右侧顶叶,5、左侧额叶,6、右侧岛叶,7、左侧岛叶,8、右侧颞叶,9、右侧枕叶,10、左侧枕叶,11、右尾状核,12、左尾状核,13、右内囊前肢,14、左内囊前肢,15、右内囊后肢,16、左内囊后肢,17、右侧丘脑,18、左侧丘脑,19、右屏状核,20、左屏状核,21、中脑,22、小脑蚓部,23、扣回带,24、嘴部,25、体膝,26、体部,27、压部,28、鞍区,29、顶盖,30、侧脑室,31、室间孔,32、第三脑室,33、导水管,34、第四脑室,35、桥脑,36、延髓,37、右小脑半球,38,左小脑半球。
附图说明
图1半卵圆中心层面解剖图;
图2基底节区层面解剖图;
图3脑干层面解剖图;
图4中脑矢状位图;
图5小脑层面断层解剖图
图6检查报告单
图7专利实施流程
具体实施方式
实施例一:
1、建立临床信息知识库单元:
本结构化报告的使用范围是:术前脑功能及侵犯评估。第一步,确定脑内病变需要手术。第二步,确认评估病灶侵犯脑功能区。
2、解剖模式图单元
显示解剖模式图单元,如图1所示,操作人员手动点击左侧额叶病灶,左侧额叶术区颜色改变,表示评估此区脑功能。
3、影像特征标准描述单元:
1.形态学影像:
T1WI:低,稍低(选中),等,稍高,高,混杂
T2WI:低,稍低,等,稍高(选中),高,混杂
FLAIR:低,稍低,等,稍高,高(选中),混杂。
强化程度:不强化,轻度强化,中等强化(选中),明显强化。
强化形态:花环状,结节状(选中),斑片状,不均匀强化,均匀强化
2.病灶轴位最大截面:
1)测量序列:T1-CE(选中),T2WI,T1WI,FLAIR
2)最大面长径[2.2]cm,垂直经[1.5]cm
最大病灶长径计算
对于每个病灶区域,设分割出的病灶区域的体素集合为P,病灶边缘体素集合为M={m1,m2,m3,…,mn},其中mi∈R3。迭代地进行如下步骤:
(1)在M中任取两点mi(x1,y1,z1),mj(x2,y2,z2)∈M,i,j=1~n且i≠j构成线段mimj
Figure BDA0002879386500000091
(2)MRI图像的纵向切面可表示为z=n,n∈Z。假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的纵向切面的交点集合U。
(3)判断
Figure BDA0002879386500000093
是否成立,若是,则进行步骤(4);否则进行步骤(5)。
(4)计算线段mimj的长度|mimj|:
Figure BDA0002879386500000092
其中,Δi表示切面图的分辨率,Δj表示层厚。
(5)判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤(6);否则返回步骤(1)。
(6)计算得到最大的线段长度Lmax=max(|mimj|),Lmax即为最大病灶长。
短径计算
Figure BDA0002879386500000101
则mp(xp,yp,zp),mq(xq,yq,zq)为最大病灶长所在线段的两端点,则线段mpmq的中点mc的坐标可表示为:
Figure BDA0002879386500000102
直线mpmq的方向向量为
Figure BDA0002879386500000103
则短径所在平面为
Figure BDA0002879386500000104
取该平面所在的体素点与集合P中体素的交集S,令P←S,S内的病灶边缘体素集合为M,按照最大病灶长计算方式即可求得病灶短径Lmin
3.功能影像:
DWI:低,稍低,等,稍高(选中),高,混杂
ADC:低,稍低(选中),等,稍高,高,混杂
DTI:纤维束推挤,纤维束受侵(选中)
SWI:未见异常,低信号(选中)
相位图:未见异常,高信号,高信号为主伴低信号(选中)
MRS:Cho=6,NAA=3,Cr=4,NAA/Cho=1/2,NAA/Cr=3/4LacLip(注:勾选MRS选项,请截图MRS图)
PWI:1)CBV高(选中),低,等;2)CBF高(选中),低,等;3)MTT延长,缩短,未见异常;4)TTP延长,缩短,未见异常。
4.其他:侧脑室受压狭窄;中线结构未见移位
5.其他手工输入区:________
4、影像对比单元
将医师解读图像后的影像信号征象,病灶的大小等征象,自动与输入计算机单元内的标准进行对比。提供脑功能受侵及功能受侵范围。
数据比对单元原则,分别与临床信息知识库单元、解剖模式图单元、影像特征标准化描述单元、影像对比单元和报告生成单元相连,用于对逻辑内容输出、整理,选择性结构化输出。数据比对单元提取医学影像信息和人工输入信息,与数据库中的预设信息比较,判断侵犯范围及功能受侵情况,并输出结果。
5、报告生成单元:
影像表现:
(一)拟手术术区:左侧额叶
模式图影像图
(二)普通磁共振:
T1WI:呈稍低信号;T2WI:呈稍高;FLAIR:呈高信号。
强化程度:中等强化;强化形态:结节状。
病灶轴位最大截面:
1)测量序列:T1-CE
2)最大面长径[2.2]cm,垂直经[1.5]cm
(三)功能影像:
DWI:呈稍高信号;ADC:稍低信号;DTI:纤维束受侵;
SWI:低信号;相位图:高信号为主伴低信号
MRS:Cho=6,NAA=3,Cr=4,NAA/Cho=1/2,NAA/Cr=3/4,见Lac峰,见Lip峰PWI:1)CBV高;2)CBF高
(四)其他:中线结构未见移位。
印象建议
左侧额叶病灶,倾向肿瘤,术前纤维束受侵如上图。
最终生成报告如图6。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (3)

1.一种脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统,其特征在于,包括临床信息知识库模块、神经网络单元、解剖模式图模块、影像特征标准化描述模块、报告生成模块;
所述临床信息知识库模块包括知识题库和手动输入单元,所述知识题库提供临床常见录入选项,手动输入单元作为补充内容;
所述神经网络单元采用独热码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元和医师输入结果进行混合编码,生成一个多维编码向量;向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和;根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称;
所述神经网络单元的工作方式如下:
步骤1):对临床信息知识题库和医师输入结果进行编码:采用独热码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元和医师输入结果进行混合编码,生成一个多维编码向量;向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和;对于选择知识题库,采用独热码对其选项进行编码;假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令si=1且sj=0,j≠i,生成一个n维向量;对于数值化手动输入单元,采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于医师输入结果,采用独热码对其进行编码;假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,可表示为[k0,k1,k,…,km-1];当医师判断为第p种结果时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,q≠p;将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量;其中,前N-m维为临床信息样本编码,后m维为样本标签;
步骤2):按步骤1)中的编码方式对历史病例进行编码;对大量的历史病例临床知识题库和结果的相应信息按照步骤1)的编码方式进行编码,生成一个临床病例数据集;按照比例将数据集划分为训练集和测试集两个集合;
步骤3):建立神经网络模型,对神经网络模型进行训练和测试;所述神经网络模型由8层神经元组成,从输入层到输出层的神经元数量分别为:N-m,128,256,512,1024,1024,512,512,m;每层神经元经过仿射计算后分别进行批归一化计算和ReLU6非线性映射;在第4-7层的仿射计算后增加失活概率为0.5的随机失活以防止神经网络过拟合;采用交叉熵损失函数和Softmax输出层;优化器使用随机梯度下降优化器,使用学习率余弦函数衰减策略;每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出;将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0;将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数;待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误;反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数;测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数;
步骤4):根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称;当医师每次根据病例的临床特征填写完临床信息题库时,按照医师填写情况按步骤1)对题库信息按顺序生成编码,将编码输入步骤3)中保存的神经网络模型,模型输出预测结果的编码;按照模型预测编码,假设其中第z项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议结果疾病名称;
所述解剖模式图模块能够在平面图展示可点图式解剖结构,其内容包括:胼胝体层面断层解剖图、基底节区层面断层解剖图、脑干层面解剖图、小脑层面断层解剖、中脑、脑干结构图;
所述影像特征标准化描述模块包括形态学影像、病灶轴位最大截面、功能影像和手工输入区;所述形态学影像包括由图像预处理取得的3个序列或参数图谱定义的3个模态组成的结构模态组;所述病灶轴位最大截面包括测量序列、最大面长径和垂直径;所述功能影像包括常规弥散加权成像、弥散张量成像、磁敏感加权成像、相位图、磁共振波谱;
所述报告生成模块的输出内容包括典型病灶图及影像模式图、临床信息内容、病灶位置结构名词、影像对比结果。
2.根据权利要求1所述的脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统,其特征在于,首先在知识题库中选择常见录入内容进行勾选,如无法满足需求,则选择手动输入单元,进行补充;
根据选择知识题库与手动输入单元的勾选和填写结果,对患者症状进行特征提取,利用神经网络单元对患者症状的特征进行分析处理,预测出初步的建议,以辅助医师进行判读;
影像特征标准化描述模块通过人机交互界面提供预设指示部和输入部,所述预设指示部为用户提供预设的指示信息,用户根据患者的MRI影像和人机交互界面提供的预设的指示信息在输入部输入评估MRI影像的参数;
报告生成模块在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果,以避免人为输入错误和非标准用词;并逐层、逐次规范输
出病灶的解剖结构、病灶影像特征,以规范的书写方式通过人机交互输出标准格式报告内容。
3.根据权利要求2所述的脑肿瘤多模态MRI术前胶质瘤手术区结果输出系统,其特征在于,解剖模式图模块包括病灶轴位最大截面信息,对于每个病灶区域,设分割出的病灶区域的体素集合为P,病灶边缘体素集合为M={m1,m2,m3,…,mn},其中mi∈R3;最大病灶短径计算方法:
步骤31:在M中任取两点mi(x1,y1,z1),mj(x2,y2,z2)∈M,i,j=1~n且i≠j构成线段mimj
Figure FDA0003760124310000041
设p,q=argmaxi,j(|mimj|),则mp(xp,yp,zp),mq(xq,yq,zq)为最大病灶长所在线段的两端点,则线段mpmq的中点mc的坐标可表示为:
Figure FDA0003760124310000042
直线mpmq的方向向量为
Figure FDA0003760124310000043
则短径所在平面为
Figure FDA0003760124310000044
取该平面所在的体素点与集合P中体素的交集S,令P←S,交集S内的病灶边缘体素集合为M;
步骤32:MRI图像的纵向切面可表示为z=n,n∈Z;假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的纵向切面的交点集合U;
步骤33:判断
Figure FDA0003760124310000045
是否成立,若是,则进行步骤34;否则进行步骤35;
步骤34:计算线段mimj的长度|mimj|:
Figure FDA0003760124310000051
其中,Δi表示切面图的分辨率,Δj表示层厚;
步骤35:判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤36;
否则返回步骤31;
步骤36:计算得到最大的线段长度Lmin=max(|mimj|),Lmin即为最大病灶短径。
CN202011638854.4A 2020-12-31 2020-12-31 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法 Active CN112735569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011638854.4A CN112735569B (zh) 2020-12-31 2020-12-31 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011638854.4A CN112735569B (zh) 2020-12-31 2020-12-31 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法

Publications (2)

Publication Number Publication Date
CN112735569A CN112735569A (zh) 2021-04-30
CN112735569B true CN112735569B (zh) 2022-09-02

Family

ID=75608873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011638854.4A Active CN112735569B (zh) 2020-12-31 2020-12-31 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法

Country Status (1)

Country Link
CN (1) CN112735569B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187227B (zh) * 2021-09-13 2023-01-24 北京银河方圆科技有限公司 脑肿瘤累及区域的功能区确定方法及装置
CN114140377B (zh) * 2021-09-13 2023-04-07 北京银河方圆科技有限公司 脑肿瘤患者的脑功能图谱确定方法及装置
CN113962958B (zh) * 2021-10-21 2023-05-05 四川大学华西医院 一种征象检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156484A (zh) * 2016-06-08 2016-11-23 中国科学院自动化研究所 基于磁共振影像的脑疾病个体化预测方法和系统
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
AU2019204376B1 (en) * 2019-06-21 2020-07-02 Curvebeam Ai Limited Image Analysis Method and System
CN111863237A (zh) * 2020-05-29 2020-10-30 东莞理工学院 一种基于深度学习的移动端疾病智能辅助诊断系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332639B2 (en) * 2017-05-02 2019-06-25 James Paul Smurro Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams
CN107463786A (zh) * 2017-08-17 2017-12-12 王卫鹏 基于结构化报告模板的医学影像知识库建立方法
WO2019180120A1 (en) * 2018-03-21 2019-09-26 Koninklijke Philips N.V. Medical radiology report validation and augmentation system
CN108665949A (zh) * 2018-04-03 2018-10-16 首都医科大学附属北京同仁医院 一种结构化提取和展示眼眶mri影像数据的系统
BR112020022270A2 (pt) * 2018-05-14 2021-02-23 Quantum-Si Incorporated sistemas e métodos para unificar modelos estatísticos para diferentes modalidades de dados
EP3576020A1 (en) * 2018-05-30 2019-12-04 Siemens Healthcare GmbH Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
CN109166105B (zh) * 2018-08-01 2021-01-26 中国人民解放军东部战区总医院 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156484A (zh) * 2016-06-08 2016-11-23 中国科学院自动化研究所 基于磁共振影像的脑疾病个体化预测方法和系统
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
AU2019204376B1 (en) * 2019-06-21 2020-07-02 Curvebeam Ai Limited Image Analysis Method and System
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
CN111863237A (zh) * 2020-05-29 2020-10-30 东莞理工学院 一种基于深度学习的移动端疾病智能辅助诊断系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络的医学影像诊断关键技术研究;庞浩;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190915(第9期);全文 *
阿尔茨海默病精准医学大数据研究平台的建设与应用;林炜炜;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20170315(第3期);全文 *

Also Published As

Publication number Publication date
CN112735569A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112735569B (zh) 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法
JP7140348B2 (ja) 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
JP5641531B1 (ja) 脳活動訓練装置および脳活動訓練システム
Vandermosten et al. A qualitative and quantitative review of diffusion tensor imaging studies in reading and dyslexia
Mazziotta et al. A four-dimensional probabilistic atlas of the human brain
Kohn et al. Analysis of brain and cerebrospinal fluid volumes with MR imaging. Part I. Methods, reliability, and validation.
JP5691086B1 (ja) 脳活動解析装置、脳活動解析方法およびバイオマーカー装置
US10881321B2 (en) Automatic tract extraction via atlas based adaptive connectivity-based clustering
Fennema-Notestine et al. Feasibility of multi-site clinical structural neuroimaging studies of aging using legacy data
US8634614B2 (en) System and method for volumetric analysis of medical images
WO2019172245A1 (ja) 脳活動訓練装置、脳活動訓練方法および脳活動訓練プログラム
Xue et al. Superficial white matter analysis: An efficient point-cloud-based deep learning framework with supervised contrastive learning for consistent tractography parcellation across populations and dMRI acquisitions
CN113077887B (zh) 大脑白质病变自动化定量分析系统与判读方法
WO2019069955A1 (ja) 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
CN112863648B (zh) 脑肿瘤术后mri多模态输出系统及方法
Zhou et al. Distributed performance of white matter properties in chess players: a DWI study using automated fiber quantification
Rasool et al. Glioma brain tumor segmentation using deep learning: A review
Mishra et al. Medical image processing: A challenging analysis
Baldo et al. Lesion studies
Koshti et al. Brain Tumor Detection System using Convolutional Neural Network
CN112599216B (zh) 脑肿瘤mri多模态标准化报告输出系统及方法
Long et al. The effect analysis of atlas and global signal regression in classification based on brain network for major depression disorders.
Jbabdi Imaging structure and function
CN112863649B (zh) 玻璃体内肿瘤影像结果输出系统及方法
Ilyasova et al. Systems for Recognition and Intelligent Analysis of Biomedical Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant