CN112863649A - 玻璃体内肿瘤影像结果输出系统及方法 - Google Patents
玻璃体内肿瘤影像结果输出系统及方法 Download PDFInfo
- Publication number
- CN112863649A CN112863649A CN202011638852.5A CN202011638852A CN112863649A CN 112863649 A CN112863649 A CN 112863649A CN 202011638852 A CN202011638852 A CN 202011638852A CN 112863649 A CN112863649 A CN 112863649A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- data
- clinical
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明设计了可视化病灶模拟图及病灶图,便于解剖及病灶的对照。将放射科医师观察到的征象,以一种简单、标准、易于掌握的操作流程呈现。采用鼠标点击专利图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,对病灶的描述准确、规范。通过病灶描述结果与预设数据模块进行对比,完成描述结果输出。
Description
技术领域
本申请涉及MRI影像获取及判读领域,尤其是涉及一种玻璃体内肿瘤影像结果输出系统及方法。
背景技术
1)1959年,美国学者Ledley等首次将数学模型引入临床医学,并实验性地应用在了一组肺癌病例。1966年,Ledley又创新性地提出“计算机辅助”的概念,由此揭开计算机与医学相结合的序幕。CAD技术本身的研究结果并不理想,诸多技术难点尚待攻克。
2)眼球的肿瘤严重危害国民的生命及视功能,其中,玻璃体内恶性肿瘤是其常见和最严重的一类,诊疗延误给患者家庭带来巨大经济压力。目前主要的治疗方式是全身化疗、手术治疗等。不同的分期、累及不同的视器,治疗的方式不同,会给患者带来截然不同的预后。目前术前的分期、累及范围主要依靠影像学,其中最主要的是术前眼眶磁共振检查(Magnetic resonance imaging,MRI)。
3)MRI在玻璃体内肿瘤诊疗前,起到决定性的作用。但在实践中遇到的一系列的问题。玻璃体内肿瘤影像表现复杂多样,又缺乏专科的影像医师,对其图像的判读主要依赖主观经验,缺乏规范、标准的报告书写信息,报告内容和术语亦存在差异,准确提供的肿瘤分期信息不足。从而影响了临床医生术前分期,而临床医生缺乏对影像学的判读,容易导致肿瘤治疗前错误的分期,影响疗效。
在医学检查中,放射科医师要为大量的患者解读图像信息。在一些情况下,在一次MRI成像中,每个人获得包含几百或几千张医学图像的大量数据,以及图像解释报告的创建需要从庞大的医学图像数据中选择可能的关键图像,并录入所观察到的大量医学信息并输出。在临床工作中,影像的判读、流程的梳理以及信息的输出是一件繁重的临床工作。
为了解决现有问题,本专利结合计算机技术和影像成像规范化解读,提供一种玻璃体肿瘤的影像学自动生成系统,其特征是:1)该系统在报告的形式上提供人机互动的解剖定位,病灶信号的准确描述,保障报告信息规范、统一,避免遗漏肿瘤累及视器信息;2)采用鼠标点击模式图的方式,避免了键盘人工录入的错误和对解剖结构的误读,实现影像报告术语规范化、操作界面简单化,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出;3)并可在报告中可视化病灶及解剖结构,使图文并存,更准确、形象地提供影像判读信息。
发明内容
本申请提供了解决上述技术问题的影像参数提取和展示眼部MRI影像数据的系统,眼部MRI影像数据的系统,包括主控单元、存储单元、眼部图像采集处理单元、临床信息知识库单元、解剖模式图单元、构建标准化影像描述单元、影像对比单元、神经网络单元、数据处理单元、数据合成单元和报告生成单元中的至少一项;报告生成单元包括人机交互界面,提供预设的显示界面和至少一个输入项,所述预设的显示界面为用户提供预设的显示信息,用户根据MRI影像和预设的显示信息在至少一个输入项输入评估眼部MRI影像的参数,用户输入的影像参数被存储为计算机可读的数据;数据处理单元,根据预设规则将存储的与用户输入的信息对应的数据转换成标准语言数据;以及数据合成单元,基于存储的与用户输入的信息对应的数据结构将标准语言数据整合以生成标准语言报告。本申请结合计算机技术和影像成像规范化解读,提供一种玻璃体内肿瘤的影像学自动生成标准化系统。保障报告信息规范、统一,避免遗漏肿瘤累及视器信息,以此减轻放射医生工作负荷,同时减少人工打字工作的时间付出,更形象准确地提供患者的玻璃体肿瘤信息。
主控单元执行存储在存储单元中的程序,例如,为了检测所获得的体数据中的局部结构的位置(解剖位置),在图像解释报告的创建中选择关键图像,或者提取局部结构。在下面的描述中,根据需要,在医学图像中检测到的局部结构,在患者坐标系中的位置将被称为解剖位置。
关键图像是由读取器从包括在由多个医学图像组成的一条医学图像数据中的多个图像中确定为用于图像解释的关键图像。在医学图像数据中,一个或多个图像被指定为关键图像。
存储单元由诸如RAM或ROM的存储介质形成,并包括可由主控制单元读取的存储介质,例如磁存储介质,光存储介质或半导体存储器。存储介质中的一些或全部程序和数据可以通过电子网络下载。图像解释报告生成单元可以预先存储在存储单元中,检测存储在经由通信控制装置访问的外部存储装置中的数据,或者存储在外部存储设备中。
操作者可在人机交互界面的输入项中以单选、多选或填空的至少一种形式输入信息。眼部MRI影像数据的系统还可包括数据输出单元,用于输出数据合成单元生成的标准语言报告。眼部MRI影像数据的系统还可包括存储单元,用于存储计算机可读的数据。预设的显示界面可提供MRI评估类型,MRI评估类型包括MRI肿瘤病灶评估类型和MRI常规评估类型。
根据操作者输入的MRI评估信息判断MRI肿瘤病灶评估类型,人机交互界面预设的显示界面还可提供:描述解剖部位的信息;表示强化程度的参数;表示强化形态的参数;表示测量序列的参数;描述病灶轴位最大截面的参数;描述测量病灶与视网膜基底部最大径的参数;描述区域性淋巴结转移情况的参数;描述肿瘤远处转移情况的参数。
人机交互界面提供的预设的显示界面还可提供:描述MRI平扫中T1W1信号强度的参数;描述MRI平扫中T2W1信号强度的参数;描述MRI平扫中FLAIR信号强度的参数。本发明的技术方案如下实现:
进行眼部影像采集处理:其装置主要包括主磁体、图像采集或扫描系统、脉冲控制器、用于傅里叶变换的一个或多个阵列处理器、将数据从阵列处理器获取并形成一幅图像的一个或多个图像处理器、存储原始资料以及脉冲序列参数的存储器、一个或多个功率分配式体系结构,用以分配并滤过交流电和直流电,3套梯度线圈、射频发射器及信号接收器、模拟转换器、RF屏蔽、RF放大器、患者运输系统、有扩展功能的一台小型计算机和用户界面使用的操作员控制台,主磁体选用永久磁体、阻抗磁体或超导磁体,梯度线圈改变主磁体场强,产生梯度场,用作选层和信息的空间定位,梯度回波脉冲序列具有可变化的反转角度;射频发射器与MR信号接收器为射频系统,主要由线圈组成,射频发射器是为了产生不同的脉冲序列,以激发体内氢原子核,产生MR信号;RF屏蔽由扫描房间墙内、窗内的金属屏蔽以及沿扫描房间门框的密封条组成;程序员预先对扫描参数、脉冲序列和图像处理功能进行程序化,以使射频和梯度脉冲的顺序和时间根据“系统用户”设定的参数和选项而设定,当“系统用户”选择了视场角度、图像对比度、层厚和矩阵这些参数,系统会自动选择适当的梯度脉冲强度、持续时间和定时,以此完成图形采集。
对患者的影像数据进行处理,包括:
第一步,获取患者的预诊断部位的影像数据和临床数据,主要是对影像与临床数据的处理与存储,具体而言,包括收集整理从合作医院收集到的相关影像与临床信息;
第二步,对获取的影像数据和临床数据进行预处理,以获取预处理后的影像数据和临床数据,并使用病灶及征象标注工具对影像数据进行标注,标注完成后对相应的关注区域或病灶进行影像组学参数的提取,与此同时借鉴已有的本体语义网、分解指南、参考相关文献完成眼部影像知识库的构建;
第三步,对预处理后的影像数据和临床数据进行分析处理;
第四步,基于处理结果,对患者的预诊断部位的疾病进行分类。
通过上述方案可实现快速有效的对相关影像数据中的病灶特性进行分析。
临床信息知识库单元:提供选择知识题库和手动输入单元,选择知识库单元提供临床常见录入选项,手动输入单元作为补充内容。首先在知识题库中选择常见录入内容进行勾选,如无法满足需求,则可选择手动输入单元,进行补充。
解剖模式图单元:预先设计解剖模式,勾勒出清新的解剖结构,将每一解剖结构,进行分区、分块,包括大部分眼内解剖结构。实现鼠标点击识别,并与解剖专业词汇进行关联,输出与解剖部位相对应的解剖词汇。解剖位置被保持在作为解剖位置信息的医学图像数据中。例如,解剖位置信息可以作为数据库保留在存储单元中。例如,在解剖位置信息与唯一识别医学图像的ID等相关联的状态下,以XML或文本格式存储。或者,解剖位置信息可以被保持在解剖位置信息与医学图像数据集成为医学数字成像和通信标准(DigitalImaging and Communications in Medicine,DICOM)中的补充信息中。
构建标准化影像分类单元:该单元中包含眶内解剖结构、头颈部淋巴结组内容。将眶内解剖进行分组,分组后的解剖对应不同的分组,分为1-4组,根据分组解剖中结构的不同,再进行亚组分组。医学图像数据是包含多个层面容积图像数据。医学图像是从医学图像输入单元的医学图像数据中选择图像以及可以从医学图像数据中选择一个或多个层面图像作为关键图像。医学图像数据包含由解剖位置检测单元识别的解剖位置并包含解剖位置信息。
神经网络单元:
将临床信息知识库单元的选项和数值化输入内容进行编码,通过历史病例中的临床信息评判结果及其相应的疾病名称构成的数据集训练一个8层的BP神经网络模型,将知识题库和手动输入单元的勾选及输入结果的编码输入训练好的神经网络模型,输出患者部位的疾病名称,提供辅助功能。其工作方式如下:
1)对临床信息知识题库和潜在疾病名称进行编码。本专利采用独热(one-hot)码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元(长度、面积、体积等)和医师输入结果(疾病名称)进行混合编码,生成一个多维编码向量。向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和。
对于选择知识题库,本专利采用独热码对其选项进行编码。假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令Si=1且Sj=0,(j≠i)生成一个n维向量;对于数值化手动输入单元,本申请采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于潜在疾病名称,本专利采用独热码对其进行编码。假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,可表示为[k0,k1,k,…,km-1]。在历史病例中,当疾病名称为表中第p项时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,(q≠p)。
将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量。其中,前N-m维为临床信息样本编码,后m维为样本标签。
2)按步骤1中编码方式对历史病例进行编码。对大量的历史病例临床知识题库评判结果及其相应的疾病名称信息按照步骤1的编码方式进行编码,生成一个临床病例数据集。按照8.5:1.5的比例将数据集划分为训练集和测试集两个集合。
3)建立神经网络模型,对模型进行训练和测试。本专利设计了一个由8层神经元组成的BP神经网络模型,从输入层到输出层的神经元数量分别为:N-m(输入层),128,256,512,1024,1024,512,512,m(输出层)。每层神经元(除输出层外)经过仿射计算后分别进行批归一化(Batch Nomalization)计算和ReLU6非线性映射。在第4-7层的仿射计算后增加失活概率为0.5的随机失活(Dropout)以防止神经网络过拟合。采用Softmax输出层和交叉熵损失函数。优化器使用随机梯度下降(SGD)优化器,设置初始学习率为0.01并使用学习率余弦函数衰减策略。
每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出。将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0。将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数。待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误。
反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数。测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数。
4)根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称。当医师每次根据病例的临床特征填写完临床信息题库时,按照医师评判情况按步骤1对题库信息按顺序生成N-m维编码向量,将编码向量输入步骤3中保存的神经网络模型,模型输出m维预测结果的编码。按照模型预测结果的编码,假设其中第z(0≤z≤m-1)项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议疾病名称。
影像对比单元:将生成的解剖模式图单元中输出的标准解剖结构内容,与影像对比单元相连。通过人工点击标准影像特征语句或输入影像征象内容与构建标准化影像描述单元相连,内置分组标准单元进行一一对比,输出分组。
报告生成单元:此部分输出内容有,典型病灶图及影像模式图;临床信息内容;病灶位置结构名词;影像分组单元;标准化报告内容。在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果等,以避免人为输入错误和非标准用词。
具体实施流程如下:
一、获取临床资料:
1.临床表现(必选项):1)症状部位:□左侧;□右侧;□双侧。症状:□白瞳症;□眼红;□眼部不适;□不详;其他:__。
2.遗传(必选项):家族遗传史:有,无,不详(Hx)。
3.基因检测(必选项):检出RB1基因突变;未检测出RB1基因突变;双侧玻璃体内肿瘤。其他:__
二、限定使用范围:
当怀疑或确诊是眼部玻璃体内肿瘤,首次或随访MRI检查时启用本标准化报告。其中有“默认选项”、“逻辑设置条件项”、“必选项”、“可选项”。
三、获取影像表现如下:
1.解剖部位(必选项,图上点击):
此选项多个精细解剖,例如上直肌(superior rectus,SR)、下直肌(inferiorrectus muscle,IR)、内直肌(medial rectus,MR)、外直肌(lateral rectus,LR)、上斜肌(superior oblique,SO)、下斜肌(inferior oblique muscle,IO),前房、晶状体、睫状体、黄斑视盘、视神经、视神经乳头、玻璃体。
2.影像表现:
①T1加权成像T1WI(必选项):低、稍低、中、稍高、高、混杂;②T2加权成像T2WI(必选项):低、稍低、中、稍高、高、混杂;③液体衰减反转恢复FLAIR:低、稍低、等、稍高、高、混杂;④强化程度:不强化、轻度强化、中等强化、明显强化;⑤强化形态:花环状、结节状、斑片状、不均匀强化、均匀强化。
3.病灶轴位最大截面(必选项):
1)测量序列:T2加权成像T2WI、T1加权成像T1WI、T1加权增强成像T1-CE、液体衰减反转恢复FLAIR;2)病灶与视网膜基底部最大径[]cm;病灶任意最大面长径[]cm,垂直经[]cm。
4.区域性淋巴结转移情况(可选项):
①局部淋巴结未进行检查;②局部淋巴结未受累;③淋巴结受累:□耳前;□下颌下;□颈部;□不详。
5.肿瘤远处转移情况(cM)分期及特征(可选项):
①无任何头部(眼眶以外)及可见影像远处转移征象(M0);②影像观察到转移征象,如骨髓、肝脏等(M1a);②影像观察到转移征象,中枢神经系统(M1b)。四、构建标准化影像分类单元:
该单元中包括眶内解剖结构、头颈部淋巴结组内容。将眶内解剖进行分组,分组后的解剖对应不同的分组,分为1-4组,根据分组解剖中结构的不同,再进行亚组分组。DICOM医学影像数据图是包含多个层面容积图像数据。医学图像是从医学图像输入单元的医学图像数据中选择图像以及可以从医学图像数据中选择一个或多个层面图像作为关键图像,作为解读眶内解剖结构、颈部淋巴结的观察图。医学图像数据包含由解剖位置检测单元识别的解剖位置并包含解剖位置信息。对眶内解剖、颈部淋巴结进行分组,作为标准化分类单元。
五、影像对比单元:
将上述一至三单元生成的临床信息、病变影像信息、解剖结构侵犯标准内容输出,与标准化影像构建单元相连,进行分组、分类对比,输出标准参照分组。六、报告生成单元:
此部分输出内容有,临床信息内容;典型病灶图及影像模式图;病灶位置结构名词;影像分组单元;标准化报告内容。在计算机内部人工设定预定的解剖结构、病灶形态、病灶信号术语和输出结果等,以避免人为输入错误和非标准用词。
附图说明
图1,眼球病灶;
图2,颅内及颅骨转移病灶;
图3,参考结果输出。
具体实施方式
实施例一
眶内的基本结构模式图,包括6条眼外肌、眼球内解剖结构。眼外肌属骨骼肌,运动眼球的肌有4块直肌和2块斜肌。直肌包括上直肌、下直肌、内直肌和外直肌,它们共同起白视神经管周同的总腱环,沿眼球壁向前行,分别止于巩膜的上、下、内侧、外侧;斜肌包括上斜肌和下斜肌。眼球内结构包括前房、晶状体、睫状体、黄斑视盘、视神经、视神经乳头、玻璃体。
第一步,影像医生在在DICOM图上判断肿瘤部位,并在计算机上点击解剖模式图部位,解剖部位可以是框内肿瘤的具体部位,如左眼玻璃体、黄斑、晶状体等,测量并确认距离黄斑距离:如[0]cm。
第二步,根据影像观察结果手动选定以下标准标准化选项(背景阴影表示选定项,下同):
第三步,确定病灶轴位最大截面,测量病灶与视网膜基底部最大径,例如[4.5]cm;病灶任意最大面长径,例如[2.5]cm,测量垂直径,例如[1.1]cm。
最大病灶长径计算
对于每个病灶区域,设分割出的病灶区域的体素集合为P,病灶边缘体素集合为M={m1,m2,m3,…,mn},其中mi∈R3。迭代地进行如下步骤:
(1)在M中任取两点mi(x1,y1,z1),mj(x2,y2,z2)∈M,i,j=1~n且i≠j构成线段mimj:
(2)MRI图像的纵向切面可表示为z=n,n∈Z。假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的纵向切面的交点集合U。
(4)计算线段mimj的长度|mimj|:
其中,Δi表示切面图的分辨率,Δj表示层厚。
(5)判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤(6);否则返回步骤(1)。
(6)计算得到最大的线段长度Lmax=max(|mimj|),Lmax即为最大病灶长。
短径计算
直线mpmq的方向向量为
则短径所在平面为
取该平面所在的体素点与集合P中体素的交集S,令P←S,S内的病灶边缘体素集合为M,按照最大病灶长计算方式即可求得病灶短径Lmin。
第四步,确定区域性淋巴结转移情况:1.区域淋巴结区显示不符合要求;2.区域淋巴结大小、信号正常;3.区域淋巴结受累:□耳前区(例如选定此项);□下颌下区;□颈部区;□不详。
第五步,确定肿瘤远处转移情况分期及特征:肿瘤侵犯中枢神经系统:左侧额叶(M1)。
第六步,输出描述性结果,描述性结果包括解剖模式图、影像病灶图、影像描述,根据第一步至第五步的选项选定情况,计算机自动输出描述性结果。
计算机内部包括:眼部图像采集处理单元、临床信息知识库单元、解剖模式图单元、构建标准化影像描述单元、神经网络单元和报告生成单元。
神经网络单元:
将临床信息知识库单元的选项和数值化输入内容进行编码,通过历史病例临床信息和结果数据集训练一个8层的BP神经网络模型,将知识题库和手动输入单元的勾选和输入结果的编码输入训练好的神经网络模型,输出患者部位的疾病名称,提供辅助功能。其工作方式如下:
1)对临床信息知识题库和医师输入结果进行编码。本专利采用独热(one-hot)码和实际数值相结合的方式对选择知识题库的选项、数值化手动单元(长度、面积、体积等)和医师输入结果(疾病名称)进行混合编码,生成一个多维编码向量。向量的维度是选择知识题库中所有选项的总数量、数值化手动输入单元的数量以及潜在结果疾病名称表中疾病的数量之和。
对于选择知识题库,本专利采用独热码对其选项进行编码。假设题库中的一个选择题有n个固定顺序的选项[s0,s1,s2,…,sn-1],当医生选择了第i个选项时,令si=1且sj=0,(j≠i)生成一个n维向量;对于数值化手动输入单元,本专利采用直接用实际数值编码的形式,将其在标准单位下的实际输入数值作为其编码;对于医师输入结果,本专利采用独热码对其进行编码。假设在固定顺序的潜在结果疾病名称表中有m项疾病名称,可表示为[k0,k1,k,…,km-1]。当医师判断为第p种结果时,生成一个一一对应的m维向量,其对应方式为kp=1且kq=0,(q≠p)。
将三种编码向量按临床信息题库中的顺序依次合并,组成一个有序的N维编码向量。其中,前N-m维为临床信息样本编码,后m维为样本标签。
2)按步骤1中编码方式对历史病例进行编码。对大量的历史病例临床知识题库和结果的相应信息按照步骤1的编码方式进行编码,生成一个临床病例数据集。按照8.5:1.5的比例将数据集划分为训练集和测试集两个集合。
3)建立神经网络模型,对模型进行训练和测试。本专利设计了一个由8层神经元组成的前馈神经网络模型,从输入层到输出层的神经元数量分别为:N-m(输入层),128,256,512,1024,1024,512,512,m(输出层)。每层神经元(除输出层外)经过仿射计算后分别进行批归一化(Batch Nomalization)计算和ReLU6非线性映射。在第4-7层的仿射计算后增加失活概率为0.5的随机失活(Dropout)以防止神经网络过拟合。采用交叉熵损失函数和Softmax输出层。优化器使用随机梯度下降(SGD)优化器,设置初始学习率为0.01并使用学习率余弦函数衰减策略。
每次从训练集中随机采样32个未训练样本数据输入神经网络进行模型训练,训练时只输入样本编码向量的前N-m维数据,得到m维的模型预测输出。将模型预测输出进行独热编码,具体编码方式为:将其最大的项置1,其它项置0。将独热编码后的模型预测输出与相应样本编码向量中的后m维样本标签数据计算交叉熵损失,并用SGD优化器更新模型参数。待将所有训练集的数据训练完一遍后,更新学习率,并将验证集的样本数据输入模型得到预测向量,预测时只输入样本编码向量的前N-m维数据,得到m维独热编码形式的模型预测输出,将模型预测输出与相应样本编码向量的后m维样本标签进行对比,若二者相同,则预测正确;否则,预测错误。
反复将训练集数据和测试集数据输入神经网络模型进行迭代训练和测试,保存测试准确率最大时的模型及参数。测试准确率的计算方式为在测试集上预测正确的样本总数除以测试集样本总数。
4)根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测疾病名称。当医师每次根据病例的临床特征填写完临床信息题库时,按照医师填写情况按步骤1对题库信息按顺序生成编码,将编码输入步骤3中保存的神经网络模型,模型输出预测结果的编码。按照模型预测编码,假设其中第z项为最大值项,则对照潜在结果疾病名称表选择第z个结果的疾病名称作为建议结果疾病名称。
优选的,计算机内部还包括影像对比单元,影像对比单元分别与解剖模式图单元、构建标准化影像描述单元相连,用于逻辑分析患者眼球累及分类,输出重要信息。
数据比对单元,分别与解剖模式图单元、构建标准化影像描述单元和报告生成单元相连,用于对逻辑内容输出、整理,选择性标准化输出。
第八步,输出结论参考内容。如下:
影像所见:
病灶征象
病灶影像图
1.病灶位置:左眼玻璃体,侵犯晶状体
2.MRI信号特征:T1WI呈稍低信号,T2WI呈稍高、混杂信号,FLAIR呈稍高信号。强化后呈结节状中等强化。
3.病灶轴位最大截面:测量序列:T2WI。
病灶与视网膜基底部最大径[4.5]cm;病灶任意最大面长径,例如[2.5]cm,测量垂直径,例如[1.1]cm。
4.区域性淋巴结转移情况:
淋巴结受累:□耳前
5.肿瘤远处转移情况分期及特征
肿瘤侵犯中枢神经(M1)
其他:
总结意见(注:医师自主选择、总结):
左眼球肿块,侵犯睫状体、视神经,伴远处转移。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (6)
1.一种玻璃体内肿瘤影像结果输出系统,其特征在于,包括所述主控单元、存储单元、眼部图像采集处理单元、临床信息知识库单元、解剖模式图单元、构建标准化影像描述单元、神经网络单元和报告生成单元;所述眼部图像采集处理单元包括所述主磁体、图像采集或扫描系统、脉冲控制器、用于傅里叶变换的一个或多个阵列处理器、将数据从阵列处理器获取并形成一幅图像的一个或多个图像处理器、存储原始资料以及脉冲序列参数的存储器、一个或多个功率分配式体系机构,用以分配并滤过交流电和直流电,3套梯度线圈、射频发射器及信号接收器、模拟转换器、RF屏蔽、RF放大器、患者运输系统、有扩展功能的一台小型计算机和用户界面使用的操作员控制台,主磁体选用永久磁体、阻抗磁体或超导磁体,梯度线圈改变主磁体场强,产生梯度场,用作选层和信息的空间定位,梯度回波脉冲序列具有可变化的反转角度;射频发射器与MR信号接收器为射频系统,主要由线圈组成,射频发射器是为了产生不同的脉冲序列,以激发体内氢原子核,产生MR信号;RF屏蔽由扫描房间墙内、窗内的金属屏蔽以及沿扫描房间门框的密封条组成;程序员预先对扫描参数、脉冲序列和图像处理功能进行程序化,以使射频和梯度脉冲的顺序和时间根据“系统用户”设定的参数和选项而设定,当“系统用户”选择了视场角度、图像对比度、层厚和矩阵这些参数,系统会自动选择适当的梯度脉冲强度、持续时间和定时。
2.根据权利要求1所述的一种玻璃体内肿瘤影像结果输出系统,其特征在于,存储单元由RAM或ROM的存储介质形成,并包括可由主控制单元读取的存储介质,存储介质中的部分或全部程序和数据可以通过电子网络下载;报告生成单元可以预先存储在存储单元中,检测存储在经由通信控制装置访问的外部存储装置中的数据,或者存储在外部存储设备中。
3.根据权利要求1-2任一项所述的一种玻璃体内肿瘤影像结果输出系统,其特征在于,神经网络单元:包括选择知识题库与手动输入单元的勾选和填写结果,对临床信息知识题库和医师判读结果的编码,对历史病例的编码,神经网络模型,根据医师在知识题库中对病例的评判结果生成的临床信息编码,和输出预测建议名称模块。
4.一种玻璃体内肿瘤影像结果输出方法,其特征在于,第一步,获取患者的预诊断部位的影像数据和临床数据,主要是对影像与临床数据的处理与存储,包括收集整理从合作医院收集到的相关影像与临床信息;第二步,对获取的影像数据和临床数据进行预处理,以获取预处理后的影像数据和临床数据,并使用病灶及征象标注工具对影像数据进行标注,标注完成后对相应的关注区域或病灶进行影像组学参数的提取,与此同时借鉴已有的本体语义网、分解指南、参考相关文献完成眼部影像知识库的构建;第三步,对预处理后的影像数据和临床数据进行分析处理;第四步,输出玻璃体内肿瘤影像结果。
5.根据权利要求4所述的一种玻璃体内肿瘤影像结果输出方法,其特征在于,所述第三步还包括:对临床信息知识题库和医师判读结果进行编码;对历史病例进行编码;建立神经网络模型,对模型进行训练和测试;根据医师在知识题库中对病例的评判结果生成临床信息编码,输入保存的模型,输出预测建议名称。
6.根据权利要求4所述的一种玻璃体内肿瘤影像结果输出方法,其特征在于,影像组学参数包括病灶轴位最大截面信息,最大病灶短径计算方法:设 则mp(xp,yp,zp),mq(xq,yq,zq)为最大病灶长所在线段的两端点,则线段mpmq的中点mc的坐标可表示为:
直线mpmq的方向向量为
则短径所在平面为
取该平面所在的体素点与集合P中体素的交集S,令P←S,S内的病灶边缘体素集合为M,步骤(1)在M中任取两点mi(x1,y1,z1),mj(x2,y2,z2)∈M,i,j=1~n且i≠j构成线段mimj:
步骤(2)MRI图像的纵向切面可表示为z=n,n∈Z。假设z1≤z2,取n∈[z1,z2]时线段mimj和MRI图像的纵向切面的交点集合U;
步骤(4)计算线段mimj的长度|mimj|:
其中,Δi表示切面图的分辨率,Δj表示层厚;
步骤(5)判断集合M中的所有点对组合是否迭代处理完,若是,进行步骤(6);
否则返回步骤(1);
步骤(6)计算得到最大的线段长度Lmin=max(|mimj|),Lmin即为最大病灶短径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011638852.5A CN112863649B (zh) | 2020-12-31 | 2020-12-31 | 玻璃体内肿瘤影像结果输出系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011638852.5A CN112863649B (zh) | 2020-12-31 | 2020-12-31 | 玻璃体内肿瘤影像结果输出系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112863649A true CN112863649A (zh) | 2021-05-28 |
CN112863649B CN112863649B (zh) | 2022-07-19 |
Family
ID=76000462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011638852.5A Active CN112863649B (zh) | 2020-12-31 | 2020-12-31 | 玻璃体内肿瘤影像结果输出系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112863649B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
CN109493328A (zh) * | 2018-08-31 | 2019-03-19 | 上海联影智能医疗科技有限公司 | 医学图像显示方法、查看设备以及计算机设备 |
CN109493943A (zh) * | 2018-10-31 | 2019-03-19 | 华南理工大学 | 一种结合光学手术导航的三维可视化头皮开颅定位方法 |
US20190088360A1 (en) * | 2017-09-15 | 2019-03-21 | Multus Medical, Llc | System and method for segmentation and visualization of medical image data |
CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
CN109712131A (zh) * | 2018-12-27 | 2019-05-03 | 上海联影智能医疗科技有限公司 | 肺结节特征的量化方法、装置、电子设备及存储介质 |
CN110491503A (zh) * | 2019-08-21 | 2019-11-22 | 山东大学第二医院 | 一种基于深度学习的胆石症智能辅助系统 |
CN111223085A (zh) * | 2020-01-09 | 2020-06-02 | 北京安德医智科技有限公司 | 一种基于神经网络的头部医疗影像辅助判读报告生成方法 |
CN111340767A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学华西医院 | 一种脑部肿瘤头皮定位图像处理方法及系统 |
WO2020138932A1 (ko) * | 2018-12-24 | 2020-07-02 | 주식회사 제이엘케이인스펙션 | 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템 |
CN111933251A (zh) * | 2020-06-24 | 2020-11-13 | 安徽影联云享医疗科技有限公司 | 一种医学影像标注方法及系统 |
-
2020
- 2020-12-31 CN CN202011638852.5A patent/CN112863649B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190088360A1 (en) * | 2017-09-15 | 2019-03-21 | Multus Medical, Llc | System and method for segmentation and visualization of medical image data |
CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
CN109493328A (zh) * | 2018-08-31 | 2019-03-19 | 上海联影智能医疗科技有限公司 | 医学图像显示方法、查看设备以及计算机设备 |
CN109493943A (zh) * | 2018-10-31 | 2019-03-19 | 华南理工大学 | 一种结合光学手术导航的三维可视化头皮开颅定位方法 |
WO2020138932A1 (ko) * | 2018-12-24 | 2020-07-02 | 주식회사 제이엘케이인스펙션 | 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템 |
CN109712131A (zh) * | 2018-12-27 | 2019-05-03 | 上海联影智能医疗科技有限公司 | 肺结节特征的量化方法、装置、电子设备及存储介质 |
CN110491503A (zh) * | 2019-08-21 | 2019-11-22 | 山东大学第二医院 | 一种基于深度学习的胆石症智能辅助系统 |
CN111223085A (zh) * | 2020-01-09 | 2020-06-02 | 北京安德医智科技有限公司 | 一种基于神经网络的头部医疗影像辅助判读报告生成方法 |
CN111340767A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学华西医院 | 一种脑部肿瘤头皮定位图像处理方法及系统 |
CN111933251A (zh) * | 2020-06-24 | 2020-11-13 | 安徽影联云享医疗科技有限公司 | 一种医学影像标注方法及系统 |
Non-Patent Citations (3)
Title |
---|
E. GELENBE等: "Neural networks for volumetric MR imaging of the brain", 《PROCEEDINGS OF INTERNATIONAL WORKSHOP ON NEURAL NETWORKS FOR IDENTIFICATION, CONTROL, ROBOTICS AND SIGNAL/IMAGE PROCESSING》 * |
张洪静等: "多层螺旋CT对肠管及系膜钝挫伤的诊断价值", 《现代预防医学》 * |
马明明等: "U-Net深度学习模型对DCE-MRI上乳腺肿块自动分割和定位的准确性分析", 《放射学实践》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112863649B (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ahmed et al. | Single volume image generator and deep learning-based ASD classification | |
Mazziotta et al. | A four-dimensional probabilistic atlas of the human brain | |
CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
US20170357844A1 (en) | Image-based tumor phenotyping with machine learning from synthetic data | |
CN1977283B (zh) | 用于医疗诊断的智能定性和定量分析的系统 | |
CN106897568A (zh) | 病历结构化的处理方法和装置 | |
US7130457B2 (en) | Systems and graphical user interface for analyzing body images | |
CN100470560C (zh) | 图像像素编码方法和图像处理方法 | |
US20210151187A1 (en) | Data-Driven Estimation of Predictive Digital Twin Models from Medical Data | |
JP2018529134A (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
Gore et al. | Comparative study of various techniques using deep Learning for brain tumor detection | |
CN112735569B (zh) | 脑肿瘤多模态mri术前胶质瘤手术区结果输出系统及方法 | |
Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
CN111243753B (zh) | 一种面向医疗数据的多因素相关性交互式分析方法 | |
CN113077887B (zh) | 大脑白质病变自动化定量分析系统与判读方法 | |
CN113077875A (zh) | Ct影像的处理方法及装置 | |
CN113707278B (zh) | 一种基于空间编码的脑ct医学报告生成方法 | |
CN112863649B (zh) | 玻璃体内肿瘤影像结果输出系统及方法 | |
CN112863648B (zh) | 脑肿瘤术后mri多模态输出系统及方法 | |
CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 | |
Chakraborty et al. | A radiological image analysis framework for early screening of the COVID-19 infection: A computer vision-based approach | |
CN115762796A (zh) | 目标模型的获取方法、预后评估值确定方法、装置、设备及介质 | |
Che et al. | Segmentation of bone metastases based on attention mechanism | |
CN113269816A (zh) | 一种分区域递进式脑图像弹性配准方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |