CN110503640B - 对医学图像进行分析的装置、系统及计算机可读介质 - Google Patents

对医学图像进行分析的装置、系统及计算机可读介质 Download PDF

Info

Publication number
CN110503640B
CN110503640B CN201910774112.5A CN201910774112A CN110503640B CN 110503640 B CN110503640 B CN 110503640B CN 201910774112 A CN201910774112 A CN 201910774112A CN 110503640 B CN110503640 B CN 110503640B
Authority
CN
China
Prior art keywords
neural network
recurrent neural
medical image
feature information
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910774112.5A
Other languages
English (en)
Other versions
CN110503640A (zh
Inventor
宋麒
孙善辉
尹游兵
王昕�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Keya Medical Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keya Medical Technology Corp filed Critical Shenzhen Keya Medical Technology Corp
Publication of CN110503640A publication Critical patent/CN110503640A/zh
Application granted granted Critical
Publication of CN110503640B publication Critical patent/CN110503640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本公开涉及一种对医学图像进行分析的装置、系统及计算机可读介质。所述装置包括处理器，配置为：基于所述医学图像利用训练好的学习网络来分别确定患有各种疾病的状况，学习网络依序包括编码器和与每种疾病一一对应设置的递归神经网络单元，编码器被配置为基于所述医学图像提取特征信息，从输入侧起的第一个递归神经网络单元被配置为：至少基于所述特征信息来确定患有相应疾病的概率；从输入侧起的第二个以后的每个递归神经网络单元被配置为：基于特征信息以及至少一个相邻递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率。如此，能以自动化的方式，帮助放射科医师和临床医生快速准确地解读医学图像且一并提供多种疾病的分析诊断结果。

Description

对医学图像进行分析的装置、系统及计算机可读介质
交叉引用
本申请要求于2018年8月21日提交的申请号为62/720,156的美国临时申请的优先权，其全部内容通过引用结合于此。
技术领域
本公开大体涉及图像处理和分析。更具体地，本公开涉及医学图像进行分析的装置、系统以及其上储存有计算机程序的非暂时性的计算机可读介质。
背景技术
医学成像技术广泛应用于疾病的诊断，但各种2D投影图像会引入各种缺陷，例如透视缩短效果、遮挡和覆盖问题，这使得解读变得困难，尤其是对于经验较少或夜班的放射科医生或医生而言。以胸部X射线图像为例，胸部X射线成像技术使用小剂量的电离辐射来产生胸腔内部的投影图像。这项技术由于其快速、容易且对患者低风险，仍然良好地用于紧急诊断和治疗以评估肺、肋骨和心脏等的状况。其通常用于诊断呼吸短促、持续性咳嗽、胸痛或其他胸部损伤，如骨折。此外，其还可用于快速筛查各种肺部疾病，如肺炎、肺气肿、气胸等。由于上述优点，放射科医生或医生采集大量的胸部X射线图像并需要对其进行解读。但是，投影X射线图像中很容易发生，如透视缩短效果(参见图1(a))、遮挡(参见图1(b))和覆盖(参见图1(c))问题，这使得解读变得困难，尤其是对于经验较少或夜班的放射科医生或医生而言。此外，需要诊断的疾病的种类繁多，例如对于胸部X射线图像而言，放射科医生或临床医生需要针对包括但不限于肺不张、心脏肥大、肺实变、肺水肿、积液、肺气肿、纤维化、疝气、浸润、肿块、结节、胸膜增厚、肺炎和气胸共14种疾病进行诊断，工作量繁重，解读难度大。
提出本公开以解决以上问题。
发明内容
本公开意图提供一种对医学图像进行分析的装置、系统及计算机可读介质，其能够以自动化的方式，帮助放射科医师和临床医生快速准确地解读医学图像且一并提供多种(可多达十数种)疾病的分析诊断结果。
根据本公开的第一方面，提供一种对医学图像进行分析的装置，所述装置包括处理器，所述处理器配置为：基于所述医学图像利用训练好的学习网络来分别确定患有多种疾病中各种疾病的状况，所述学习网络依序包括编码器和与每种疾病一一对应设置的递归神经网络单元，所述编码器被配置为基于所述医学图像提取特征信息，从所述医学图像的输入侧起的第一个递归神经网络单元被配置为：至少基于所述特征信息来确定患有相应疾病的概率；从医学图像的输入侧起的第二个以后的每个递归神经网络单元被配置为：基于所述特征信息以及至少一个相邻的递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率。
根据本公开的第二方面，提供一种对医学图像进行分析的系统，所述系统包括：接口，其配置为接收由医学成像装置采集的医学图像；存储器，其上存储有计算机可执行指令；以及处理器，所述处理器执行所述计算机可执行指令时，基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的递归神经网络单元的学习网络，来分别确定患有多种疾病中各种疾病的状况，包括：利用编码器，基于所述医学图像提取特征信息；利用从所述医学图像的输入侧起的第一个递归神经网络单元，至少基于所述特征信息来确定患有相应疾病的概率；利用从医学图像的输入侧起的第二个以后的每个递归神经网络单元，基于所述特征信息以及至少一个相邻的递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率。
根据本公开的第三方面，提供一种其上储存有计算机可执行指令的非暂时性的计算机可读介质，其中，所述计算机可执行指令由至少一个处理器执行时，基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的递归神经网络单元的学习网络，来分别确定患有多种疾病中各种疾病的状况，包括：利用从所述医学图像的输入侧起的第一个递归神经网络单元，至少基于所述特征信息来确定患有相应疾病的概率；利用从医学图像的输入侧起的第二个以后的每个递归神经网络单元，基于所述特征信息以及至少一个相邻的递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率。
根据本公开各个实施例的对医学图像进行分析的装置、系统及计算机可读介质，能够帮助放射科医师和临床医生快速准确地解读医学图像，且一并提供多种(可多达十数种)疾病的分析诊断结果，以供放射科医师和临床医生参考。
应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。
附图说明
在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。
图1(a)-图1(c)示出胸部X射线图像的示例，其中，图1(a)示出了透视缩短效果，图1(b)示出了遮挡问题，图1(c)示出了覆盖问题；
图2示出根据本公开实施例的医学图像分析装置的概略图；
图3示出根据本公开实施例的对医学图像进行分析的学习网络的结构图；
图4(a)示出根据本公开实施例的医学图像分析系统的框图；
图4(b)示出根据本公开实施例的医学图像分析装置的框图；
图5示出根据本公开实施例的注意单元的作用机理的可视化图示以及训练好的学习网络对于各种疾病的预测结果；
图6示出根据本公开实施例的注意单元的作用机理的可视化图示以及训练好的学习网络对于各种疾病的预测结果；
图7示出根据本公开实施例的训练好的学习网络应用于NIH临床中心发布的NIH数据集对于14种疾病的接收者操作特征曲线。
具体实施方式
图2示出根据本公开实施例的医学图像分析装置202的概略图。如图2所示，该医学图像分析装置202可以接收医学图像201，例如但不限于患者的胸部X射线图像，并由处理器(未示出)，以端到端的方式，基于所述医学图像利用训练好的学习网络来分别预测患者的该部位患有多种疾病中各种疾病的状况。预测的多种疾病的数量可多达数种，甚至十数种，例如，对于胸部X射线图像来说，医学图像分析装置202的预测可以专注于14种疾病：肺不张、心脏肥大、肺实变、肺水肿、积液、肺气肿、纤维化、疝气、浸润、肿块、结节、胸膜增厚、肺炎和气胸。在本文中，技术术语“患有多种疾病的状况”可以表示患有各种疾病的概率、是否患有各种疾病、患有各种疾病的区域位置、患有各种疾病的病灶尺寸等中的任何一种或其组合。
如图2所示，“患有多种疾病的状况”例如可以表示各种疾病的概率(203)：患有肺不张的概率为0.990，患有心脏肥大的概率为0.889，患有肺实变的概率为0.05，等等。在一些实施例中，“患有多种疾病的状况”例如可以表示各种疾病的有无(204)：患有肺不张、心脏肥大、肺水肿、肿块和肺气肿，但未患心脏肥大。
图3示出根据本公开实施例的对医学图像进行分析的学习网络300的结构图，该学习网络300可以作为针对各种疾病的多标签分类系统，多标签意味着每幅图像可能包含多疾病(各个疾病的0或大于0的概率)，而学习网络300可以一并确定每幅图像包含多种疾病的状况。如图3所示，该学习网络300可以依序包括编码器301和与每种疾病一一对应设置的递归神经网络(RNN)单元302，例如但不限于LSTM单元。所述编码器301被配置为基于所述医学图像提取特征信息ai，i为1到L中的任何一个自然数，L为所述医学图像中的位置总数。其中，从所述医学图像的输入侧起的第一个RNN单元302可以被配置为：至少基于所述特征信息ai来确定患有相应疾病(例如肺不张)的概率P1。注意，至少基于所述特征信息ai应理解为可以结合其他信息，也可以对所述特征信息ai进行进一步的处理，由此来确定患有相应疾病的概率。从医学图像的输入侧起的第二个以后的每个RNN单元302被配置为：基于所述特征信息ai以及至少一个相邻的RNN单元302的隐藏信息(例如如图3所示，上一个RNN单元302的隐藏信息ht-1，t为当前RNN单元302的序号)来确定患有相应各种疾病的概率。注意，在本文中，表述“第二个以后”包括第二个以及其下游的各个RNN单元。在下文中为了便利说明，以上一个RNN单元302作为至少一个相邻的RNN单元302的示例，隐藏信息是从上一个RNN单元302馈送到当前的RNN单元302的；但须知本发明不限于此，从医学图像的输入侧起的第二个以后的每个RNN单元302可以被配置为与至少一个相邻的RNN单元302正向地(从上游向下游)、反向地(从下游向上游)、或者双向地馈送彼此的隐藏信息。
下文中以LSTM单元作为RNN单元的示例来对本公开进行说明。
在一些实施例中，如图3所示，对于第2LSTM单元302来说，也可以不使用第2关注单元302，从而第2LSTM单元302可以配置为：接收所述特征信息ai以及第1LSTM单元302的隐藏信息h1作为输入，来确定患有心脏肥大的概率P2。
编码器301可以采用多种实现方式，例如多层感知机等。在一些实施例中，编码器301可以基于卷积神经网络来实现，例如但不限于全卷积神经网络。在一个优选实施例中，使用了Resnet 50卷积神经网络作为编码器301。
在一些实施例中，RNN单元可以实现为LSTM单元，如图3所示，但也可以实现为门控循环GRU单元等。图3中所示的LSTM单元302的序列实际上是LSTM神经网络的环结构的展开(unroll)，每个LSTM单元302可以理解为一次LSTM展开操作步骤。在本文中，技术术语“隐藏信息”表示神经网络除了输入和输出之外的信息，例如但不限于各个中间层馈送的信息。具体而言，对于编码器301而言，隐藏信息可以表示其中间层编码的隐藏的特征信息；对于LSTM单元302而言，隐藏信息可以表示若不展开则会循环馈送的中间信息等等。
在一些实施例中，各个LSTM单元302在学习网络300中的次序(也就是上下游馈送关系)依据对所述各种疾病人为诊断的优先次序来确定。如图3所示，可以看到，预测肺不张的第1LSTM单元302在预测心脏肥大的第2LSTM单元302的上游，也就是说，学习网络300的决策过程是，是否包含肺不张→该图像是否包含心脏肥大？这与放射科医师的人为诊断流程次序相符。如此，可以模拟放射科医师的人为诊断流程。人为诊断流程的疾病诊断次序根据长期经验来得到的，症状显著且容易诊断的疾病可以先诊断，需要配合其他疾病的症状的疾病则后诊断，按照这样的次序诊断可以降低诊断难度和误诊率。通过使得学习网络300的决策过程与放射科医师的人为诊断流程次序相符，使得其习得根据长期经验来得到的优化的诊断次序，从而进一步降低诊断难度和误诊率，提高诊断效率。
通过使得各个LSTM单元302向相邻的(例如下游的相邻)LSTM单元302馈送隐藏信息，学习网络300可以从训练数据学习疾病的共存属性，在进行各种疾病的预测时可以结合各种疾病的共存属性，从而进一步提高预测的准确性和各种疾病的检出率。具体说来，共存属性表示这样的情况：一种疾病发生，则相关联的疾病也很可能发生。
下面的表格1示出了胸部的14种疾病的共存概率。
表格1：胸部的14种疾病的共存概率
Figure BDA0002174508850000061
Figure BDA0002174508850000071
Figure BDA0002174508850000081
如表格1所示，在心脏肥大的情况下，同时发生积液的概率高达0.38，是同时发生疾病中概率最高的，例如，同时发生浸润的概率为0.21，同时发生其他疾病的概率均只有几个百分点。在肺不张的情况下，同时发生肺实变的概率为0.27，发生积液的概率为0.24，发生心脏肥大的概率为0.13，等等。在一些实施例中，可以按照放射科医师的人为诊断流程来排布各个LSTM单元302的次序。当放射科医师的人为诊断流程中对某几个疾病的诊断次序没有显著区分时，可以考虑各种疾病的共存概率来排布各个LSTM单元302的次序。例如，可以将共存概率高的两种疾病，例如心脏肥大和积液，所对应的LSTM单元可以设置在所述学习网络中邻近的位置，参见图3所示，可以设置为邻近的第2LSTM单元302和第3LSTM单元302。如此，发生紧密关联的两种疾病中的一种疾病的LSTM单元302可以从另一种疾病的LSTM单元302直接获得隐藏信息，相比于经过几个LSTM单元302间接习得所述另一种疾病的LSTM单元302的隐藏信息，前者获得的隐藏信息未经变换也未引入其他干扰信息，能够更好地计入这两种疾病的紧密关联性，进一步提高预测的准确性和各种疾病的检出率。
在一些实施例中，如图3所示，从医学图像的输入侧起的第二个以后的每个LSTM单元302(为了说明方便，称为第t个LSTM单元302，t大于或者等于2)还配置为：基于相邻的至少一个LSTM单元302的隐藏信息(例如上一个LSTM单元302的隐藏信息ht-1)以及注意处理后的特征信息
Figure BDA0002174508850000091
来确定患有相应各种疾病的概率Pt。并且，从所述医学图像的输入侧起的第一LSTM单元302还配置为：基于注意处理后的特征信息
Figure BDA0002174508850000092
来确定患有相应疾病的概率P1。对所述特征信息ai(i为1到L中的任何一个自然数)的注意处理基于该LSTM单元302对应疾病的诊断对于所述医学图像中的各个位置的特征信息ai(i为1到L中的任何一个自然数)的注意程度来执行。
如此，充分考虑到医学图像分析中的如下事实：某些种类的疾病通常仅与某些特征或区域相关联，其他特征或者区域对其诊断意义不大。例如，在X射线图像解读中发现如下事实：14种疾病中的某种可能仅在一定区域中发生，例如，在肺内部或者肺部尖端发生。通过向各个LSTM单元302引入注意单元303，可以实现：基于其对应疾病的诊断对于所述医学图像中的各个位置i的特征信息ai(i为1到L中的任何一个自然数)的注意程度，对所述特征信息ai的注意处理。从而让各个LSTM单元302知晓针对该疾病的需要注意的区域并加强注意位置的特征信息，从而在降低计算负荷(经由相对弱化非注意区域的特征信息)的同时，能够取得更鲁棒性的疾病预测结果。
在一些实施例中，对所述特征信息ai(i为1到L中的任何一个自然数)进行注意处理可以根据如下公式(1)到公式(3)来执行：
eti＝fatt(ai，ht-1) 公式(1)
Figure BDA0002174508850000093
Figure BDA0002174508850000094
其中，i为1到L中的任何一个自然数，L为所述医学图像中的位置总数，t为待诊断的疾病序号，eti表示第t种疾病的诊断对于i位置的特征信息ai的注意程度，fatt为注意函数，ai表示位置i处对所述医学图像编码所提取的特征信息，ht-1表示第t-1个LSTM单元302所得到的隐藏信息，h0为所述编码器301中各个层输出的隐藏信息，αti为归一化的注意系数，
Figure BDA0002174508850000095
表示注意处理后的特征信息，且通过对各个位置i的特征信息ai利用所述归一化的注意系数αti进行各种处理的
Figure BDA0002174508850000096
函数来得到。
其中，第t个注意单元303的输入为ai和ht-1，输出为
Figure BDA0002174508850000101
可以为向量)，且可以配置为实现注意函数fatt和
Figure BDA0002174508850000102
函数。注意单元303可以看做一个注意模型，其可以采用前馈神经网络来模拟，其参数可以和整个神经网络300中的其他参数(例如各个LSTM单元302的参数、编码器301的参数等)一起进行联合优化。
在一些实施例中，
Figure BDA0002174508850000103
函数可以简单实现为加权求和，参见公式(4)。
Figure BDA0002174508850000104
在一些实施例中，所述学习网络300还可以包括与各个LSTM单元302对应设置的多个二元分类器304，以基于对应的各个LSTM单元302确定的患有相应疾病的概率P来确定是否患有该疾病，例如，第1二元分类器304可以配置为确定是否患有肺不张。二元分类器304可以采用多种实现方式，例如但不限于简单的单阈值分类、经由分类映射函数的分类等等。
学习网络300可以采用各种方式，例如但不限于随机梯度下降法，进行联合训练，可以采用的损失函数包括但不限于平方差损失函数、交叉熵损失函数等。
可以在ImageNet中通过向编码器301(例如Resnet-50)添加适应层(9个卷积层)针对X射线图像的分类问题进行预训练。可以将适应层的输出(也就是编码特征ai，i＝1到L)馈送到各个LSTM单元302。可以使用加权sigmoid交叉熵损失函数loss来进行训练，参见公式(5)。
loss＝target*-log(p)*posweight+(1-target)*-1og(1-p) 公式(5)
其中，target为训练样本对于某种疾病的分类结果，p为利用上述神经网络基于相应训练样本的肺部的X射线图像计算得到的概率，posweight为一批次(batch)中某种疾病的正样本的权重。为了计算该权重，需要计算该批次中的正样本和负样本的数量。该权重计算为与该训练批次中的负样本的数量和正样本的数量的比例成反比。
在一些实施例中，可以利用随机梯度下降法来进行训练，直到损失函数loss收敛。然后，对于给出的X射线图像，就可以利用训练好的学习网络300来预测各种疾病的概率。优选地，学习网络300在各个LSTM单元302的末端可以使用sigmoid作为激活函数来计算概率，如此使用加权sigmoid交叉熵损失函数则更有利和方便。
图4(a)示出了根据本公开的一些实施例的医学图像分析系统400的框图。在一些实施例中，医学图像分析系统400可以是专用计算机或通用计算机。例如，医学图像分析系统400可以是为医院定制的计算机，以执行图像采集和图像处理任务。如图4中所示，医学图像分析系统400可以包括通信接口403、处理器404、存储器405、储存器406和显示器407。
在一些实施例中，通信接口403可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。医学图像分析系统400可以通过通信接口403连接到其他构件，例如图像采集装置402、学习网络训练装置401、医学图像数据库、PACS系统等。在一些实施例中，通信接口403可以从图像采集装置402接收医学图像。例如，图像采集装置402可以包括数字减影血管造影机、MRI扫描仪、CT扫描仪、WSI扫描仪等等。在一些实施例中，通信接口403还可以从学习网络训练装置401接收诸如训练好的学习网络。
在一些实施例中，处理器404可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器404可以通信地耦合到存储器405并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各实施例的医学图像分析流程。
在一些实施例中，存储器405/储存器406可以是非暂时性计算机可读的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
在一些实施例中，储存器406可以储存训练好的学习网络和数据，该数据诸如为原始医学图像、习得的特征信息、训练好的注意函数等，以及诸如在执行计算机程序的同时所接收的、所使用的或所生成的数据等。在一些实施例中，存储器405可以储存计算机可执行指令，诸如一个以上图像处理程序，以实现根据本公开各个实施例的图像分析流程，即基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的RNN单元的学习网络，来分别确定患有多种疾病中各种疾病的状况。
在一些实施例中，所述处理器404执行计算机可执行指令时，基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的RNN单元的学习网络，来分别确定患有多种疾病中各种疾病的状况，包括：利用编码器，基于所述医学图像提取特征信息；利用从所述医学图像的输入侧起的第一个RNN单元，至少基于所述特征信息来确定患有相应疾病的概率；利用从医学图像的输入侧起的第二个以后的每个RNN单元，基于所述特征信息以及相邻的至少一个RNN单元的隐藏信息来确定患有相应各种疾病的概率。在一些实施例中，所述处理器404执行计算机可执行指令时，还可以执行根据本公开各个实施例的图像分析方法的各个其他步骤，例如但不限于：由医学图像的输入侧起的第二个以后的每个RNN单元实现的功能，也就是，基于至少一个相邻的RNN单元的隐藏信息以及注意处理后的特征信息，来确定患有相应各种疾病的概率。还可以实现从所述医学图像的输入侧起的第一个RNN单元实现的功能，也就是，基于注意处理后的特征信息，来确定患有相应疾病的概率。此外，处理器404执行计算机可执行指令时，还可以执行注意单元的功能，也就是，基于其对应疾病的诊断对于所述医学图像中的各个位置的特征信息的注意程度，对所述特征信息进行注意处理。
在一些实施例中，处理器404可以在显示器407上呈现图像的分析结果(是否患有疾病/患有各种疾病的概率/病灶区域)和/或其他数据的可视化。显示器407可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和图像/数据显示。
根据本公开，学习网络训练装置401可以具有与医学图像分析系统400相同或相似的结构。在一些实施例中，学习网络训练装置401包括处理器以及被配置为使用训练数据集训练学习网络的其他构件。相较医学图像分析系统400，学习网络训练装置401的存储器405中也可以储存计算机可执行指令，以实现根据本公开各个实施例的学习网络的训练方法。
在一些实施例中，学习网络训练装置401的储存器406可以储存训练好的学习网络、训练中的学习网络的更新后的实时权重等等。在一些实施例中，学习网络训练装置401和医学图像分析系统400也可以整合到一个装置内。
图4(b)示出根据本公开实施例的医学图像分析装置408的框图。如图4(b)所示，该医学图像分析装置408可以包括特征提取单元409、疾病预测单元410和注意处理单元411。其中，特征提取单元409可以被配置为：基于所述医学图像提取特征信息(利用经由编码器)。注意，疾病预测单元410可以与要预测的疾病一一对应设置；注意处理单元411也可以与各个疾病预测单元410一一对应地设置。注意处理单元411可以配置为：基于各个疾病预测单元410的疾病诊断对于医学图像中的各个位置的特征信息的注意程度来执行注意处理，从而得到注意处理后的特征信息，并馈送给相应各个疾病预测单元410。第一个疾病预测单元410可以配置为：基于为其注意处理后的特征信息，来确定患有相应疾病的概率；而第二个以后的疾病预测单元410则可以配置为：基于至少一个相邻的疾病预测单元410的隐藏信息以及为其进行注意处理后的特征信息，来确定患有相应各种疾病的概率。
根据本公开的医学图像分析装置及其所采用的学习网络与现有技术进行了对比实验，实验过程和结果如下。
在由NIH临床中心公布的NIH数据集(胸部X射线图像)上应用了根据本公开各种实施例的学习网络(如图3所有框图所示的学习网络300)。将NIH数据集随机地划分为训练数据集(70％，77952幅图像)、验证数据集(10％,11264幅图像)以及预测数据集(20％，22656幅图像)。注意，学习网络的所有超参数基于验证处理来选择。
图5示出根据本公开实施例的注意单元的作用机理的可视化图示以及训练好的学习网络对于各种疾病的预测结果。如图5中所示，该胸部X射线图像标注为患有肺不张和浸润两种疾病，通过根据本公开实施例的训练好的学习网络得到的预测结果与之相符，肺不张概率为0.843，浸润概率为0.820，显著高于其他疾病(例如肺炎概率为0.187)；同时还检出了未标注的其他漏检疾病，例如胸膜增厚(概率为0.795)。如图5所示，注意单元对于不同疾病加强了不同注意区域的特征信息(用虚线示出)。
图6示出根据本公开实施例的注意单元的作用机理的可视化图示以及训练好的学习网络对于各种疾病的预测结果。如图6中所示，该胸部X射线图像标注为患有气胸一种疾病，通过根据本公开实施例的训练好的学习网络得到的预测结果与之相符，气胸概率为0.717，显著高于其他疾病(例如肺炎概率0.031)；同时还检出了未标注的其他有可能存在漏检的疾病，例如浸润(概率为0.495)，如此可以向医生提供有益提示，例如需要进行其他检查辅助诊断等。如图6所示，注意单元对于不同疾病加强了不同注意区域的特征信息(用虚线示出)。
表格2示出了根据本公开各个实施例的训练好的学习网络和现有技术公布的两种学习网络如上应用于NIH数据集(胸部X射线图像)对于14种肺部疾病的预测准确率的比较结果。
表格2 本公开的学习网络与现有技术的两种学习网络的性能比较
Figure BDA0002174508850000141
Figure BDA0002174508850000151
可以看到，对于这14种疾病的总体预测而言，根据本公开的学习网络表现比NIH使用的Resnet-50学习网路更好，且与谷歌使用的Resnet-50学习网络加多示例学习的表现相当，在某几种疾病，例如疝气和肺炎，的预测上性能显著更好。
图7示出根据本公开实施例的训练好的学习网络应用于NIH临床中心发布的NIH数据集对于14种疾病的接收者操作特征曲线，可以看到，其接收者操作特征曲线也证实了，其对于14种疾病的预测效果较好。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (12)

1.一种对医学图像进行分析的装置，所述装置包括处理器，其特征在于，所述处理器配置为：
基于所述医学图像利用训练好的学习网络来分别确定患有多种疾病中各种疾病的状况，所述学习网络依序包括编码器和与每种疾病一一对应设置的递归神经网络单元，所述编码器被配置为基于所述医学图像提取特征信息，
从所述医学图像的输入侧起的第一个递归神经网络单元被配置为：至少基于所述特征信息来确定患有相应疾病的概率；
从医学图像的输入侧起的第二个以后的每个递归神经网络单元被配置为：基于所述特征信息以及至少一个相邻的递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率，其中，所述递归神经网络单元的次序基于各种疾病的共存概率来排布。
2.根据权利要求1所述的装置，其特征在于，所述至少一个相邻的递归神经网络单元为上一个递归神经网络单元。
3.根据权利要求1所述的装置，其特征在于，各个递归神经网络单元的次序依据对所述各种疾病人为诊断的优先次序。
4.根据权利要求3所述的装置，其特征在于，共存概率高的两种疾病所对应的递归神经网络单元设置在所述学习网络中邻近的位置。
5.根据权利要求3所述的装置，其特征在于，从医学图像的输入侧起的第二个以后的每个递归神经网络单元还配置为：基于至少一个相邻的递归神经网络单元的隐藏信息以及注意处理后的特征信息，来确定患有相应各种疾病的概率；
从所述医学图像的输入侧起的第一个递归神经网络单元还配置为：基于注意处理后的特征信息，来确定患有相应疾病的概率；
其中，对所述特征信息的注意处理基于各个递归神经网络单元对应疾病的诊断对于所述医学图像中的各个位置的特征信息的注意程度来执行。
6.根据权利要求5所述的装置，其特征在于，对所述特征信息的注意处理根据如下公式(1)到公式(3)来执行：
eti＝fatt(ai，ht-1) 公式(1)
Figure FDA0003462669330000021
Figure FDA0003462669330000022
其中，i为1到L中的任何一个自然数，L为所述医学图像中的位置总数，t为待诊断的疾病序号，eti表示第t种疾病的诊断对于i位置的特征信息的注意程度，fatt为注意函数，ai表示位置i处对所述医学图像编码所提取的特征信息，ht-1表示第t-1个递归神经网络单元所得到的隐藏信息，h0为所述编码器中各个层输出的隐藏信息，αti为归一化的注意系数，
Figure FDA0003462669330000023
表示注意处理后的特征信息，且通过对各个位置i的特征信息ai利用所述归一化的注意系数αti进行各种处理的
Figure FDA0003462669330000024
函数来得到。
7.根据权利要求6所述的装置，其特征在于，所述注意处理后的特征信息
Figure FDA0003462669330000025
为向量，且根据公式(4)来确定：
Figure FDA0003462669330000026
8.根据权利要求1所述的装置，其特征在于，所述学习网络还包括与各个递归神经网络单元对应设置的多个二元分类器，以基于对应的各个递归神经网络单元确定的患有相应疾病的概率来确定是否患有该疾病。
9.根据权利要求1所述的装置，其特征在于，所述递归神经网络单元为长短期记忆单元。
10.根据权利要求1所述的装置，其特征在于，所述医学图像包括胸部X射线图像，所述多种疾病包括肺不张、心脏肥大、肺实变、肺水肿、积液、肺气肿、纤维化、疝气、浸润、肿块、结节、胸膜增厚、肺炎和气胸。
11.一种对医学图像进行分析的系统，其特征在于，所述系统包括：
接口，其配置为接收由医学成像装置采集的医学图像；
存储器，其上存储有计算机可执行指令；以及
处理器，所述处理器执行所述计算机可执行指令时，基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的递归神经网络单元的学习网络，来分别确定患有多种疾病中各种疾病的状况，包括：
利用编码器，基于所述医学图像提取特征信息；
利用从所述医学图像的输入侧起的第一个递归神经网络单元，至少基于所述特征信息来确定患有相应疾病的概率；
利用从医学图像的输入侧起的第二个以后的每个递归神经网络单元，基于所述特征信息以及相邻的至少一个递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率，其中，所述递归神经网络单元的次序基于各种疾病的共存概率来排布。
12.一种其上储存有计算机可执行指令的非暂时性的计算机可读介质，其特征在于，所述计算机可执行指令由至少一个处理器执行时，基于所述医学图像利用训练好的依序包括编码器和与每种疾病一一对应设置的递归神经网络单元的学习网络，来分别确定患有多种疾病中各种疾病的状况，包括：
利用编码器，基于所述医学图像提取特征信息；
利用从所述医学图像的输入侧起的第一个递归神经网络单元，至少基于所述特征信息来确定患有相应疾病的概率；
利用从医学图像的输入侧起的第二个以后的每个递归神经网络单元，基于所述特征信息以及相邻的至少一个递归神经网络单元的隐藏信息来确定患有相应各种疾病的概率，其中，所述递归神经网络单元的次序基于各种疾病的共存概率来排布。
CN201910774112.5A 2018-08-21 2019-08-21 对医学图像进行分析的装置、系统及计算机可读介质 Active CN110503640B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862720156P 2018-08-21 2018-08-21
US62/720,156 2018-08-21

Publications (2)

Publication Number Publication Date
CN110503640A CN110503640A (zh) 2019-11-26
CN110503640B true CN110503640B (zh) 2022-03-22

Family

ID=68588506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910774112.5A Active CN110503640B (zh) 2018-08-21 2019-08-21 对医学图像进行分析的装置、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN110503640B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备
CN111523593B (zh) * 2020-04-22 2023-07-21 北京康夫子健康技术有限公司 用于分析医学影像的方法和装置
CN111709925B (zh) * 2020-05-26 2023-11-03 深圳科亚医疗科技有限公司 用于血管斑块分析的装置、系统及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN108305246B (zh) * 2017-11-15 2020-10-09 深圳科亚医疗科技有限公司 基于医学图像预测血流特征的装置及系统
CN108197701A (zh) * 2018-02-05 2018-06-22 哈工大机器人（合肥）国际创新研究院 一种基于rnn的多任务学习方法

Also Published As

Publication number Publication date
CN110503640A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
Wang et al. Automatically discriminating and localizing COVID-19 from community-acquired pneumonia on chest X-rays
Abdar et al. UncertaintyFuseNet: robust uncertainty-aware hierarchical feature fusion model with ensemble Monte Carlo dropout for COVID-19 detection
JP7069359B2 (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
Gazda et al. Self-supervised deep convolutional neural network for chest X-ray classification
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CN110503640B (zh) 对医学图像进行分析的装置、系统及计算机可读介质
CN112418329B (zh) 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统
Shorfuzzaman et al. Artificial neural network-based deep learning model for COVID-19 patient detection using X-ray chest images
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
Gündel et al. Robust classification from noisy labels: Integrating additional knowledge for chest radiography abnormality assessment
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
Carneiro et al. Automated 5-year mortality prediction using deep learning and radiomics features from chest computed tomography
US20220180514A1 (en) Methods of assessing lung disease in chest x-rays
Ghosh et al. ENResNet: A novel residual neural network for chest X-ray enhancement based COVID-19 detection
Patro et al. SCovNet: A skip connection-based feature union deep learning technique with statistical approach analysis for the detection of COVID-19
CN112613517A (zh) 内窥镜仪器分割方法、装置、计算机设备及存储介质
Hou et al. Periphery-aware COVID-19 diagnosis with contrastive representation enhancement
WO2020109781A1 (en) Domain adaption
Kyono et al. Multi-view multi-task learning for improving autonomous mammogram diagnosis
Alahmari et al. A comprehensive review of deep learning-based methods for COVID-19 detection using chest X-ray images
CN115719328A (zh) 用于量化医学图像评估的不确定性的方法、系统和装置
Chanda et al. CNN based transfer learning framework for classification of COVID-19 disease from chest X-ray
Al Smadi et al. Information systems in medical settings: A covid-19 detection system using x-ray scans
Shyni et al. Unsupervised Lung Anomaly Detection from Chest Radiographs for Curative Care using Isolation Forest Algorithm
Nagaraj et al. Optimized TSA ResNet Architecture with TSH—Discriminatory Features for Kidney Stone Classification from QUS Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant