CN110692107B - 用于临床决策支持的对原始医学成像数据的机器学习 - Google Patents

用于临床决策支持的对原始医学成像数据的机器学习 Download PDF

Info

Publication number
CN110692107B
CN110692107B CN201880035293.3A CN201880035293A CN110692107B CN 110692107 B CN110692107 B CN 110692107B CN 201880035293 A CN201880035293 A CN 201880035293A CN 110692107 B CN110692107 B CN 110692107B
Authority
CN
China
Prior art keywords
diagnostic
raw
medical imaging
medical
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880035293.3A
Other languages
English (en)
Other versions
CN110692107A (zh
Inventor
C·M·斯威舍
H·皮恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110692107A publication Critical patent/CN110692107A/zh
Application granted granted Critical
Publication of CN110692107B publication Critical patent/CN110692107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)

Abstract

本公开的各种实施例涉及一种用于由医学成像机器生成的原始医学成像数据的医学诊断(与传统上根据原始医学成像数据重建的医学图像的医学诊断完全不同)的原始诊断机器。在操作中，原始诊断引擎包括医学成像诊断控制器，所述医学成像诊断控制器实施用于从所述原始医学成像数据中选择或提取一个或多个维度降低的特征向量的维度降低预处理器，并且还实施用于绘制由所述(一个或多个)维度降低的特征向量表示的所述原始医学成像数据的诊断评价的原始诊断人工智能引擎。所述医学成像诊断控制器还可以控制对所述原始医学成像数据的所述诊断评价的通信(例如，显示、打印、发送电子邮件、发送短信等)。

Description

用于临床决策支持的对原始医学成像数据的机器学习
相关申请的交叉引用
本申请要求于2017年5月31日提交的美国临时专利申请号为62/512,774的文件的优先权，为了所有目的，其整个公开内容以引用方式并入本文。
技术领域
本公开中描述的各种实施例涉及包含用于绘制解剖区域或解剖器官的医学成像(特别是在原始医学成像数据的领域内)的诊断评价的人工智能的系统、控制器和方法。
背景技术
医学成像数据被频繁地采集，并且随后被操纵以用于人类解读。例如，解剖区域或解剖器官的计算机断层摄影(CT)医学成像涉及对(一个或多个)投影正弦图形式的医学成像数据的采集，(一个或多个)投影正弦图被处理以重建解剖区域/器官的医学图像以用于在解剖区域/器官的临床诊断期间的人类解读，如本公开的领域中已知的。通过进一步范例，解剖区域/器官的磁共振成像(MRI)涉及对k-空间中的医学成像数据的采集，k-空间中的医学成像数据被处理以重建解剖区域/器官的医学图像以用于在解剖区域/器官的临床诊断期间的人类解读，如本公开的领域中已知的。
虽然将原始医学成像数据重建成医学图像以用于在解剖区域/器官的临床诊断期间的人类解读已经证明支持可靠的临床决策，但是图像重建过程可能涉及大量的计算时间，这可能导致临床医生不能及时对需要立即关注的解剖区域/器官的供养/伤害/创伤/损伤作出响应。
例如，图1A图示了用于四(4)个Testa 8-series图形处理单元(GPU)执行由磁共振成像(MRI)机器生成的原始医学图像数据的图像重建的九十七(97)秒的时间段20a和用于2.66GHz四核Intel Core 2 Extreme(CPU)执行原始MRI数据的图像重建的23.2分钟的时间段20b。通过进一步范例，图1B图示了用于四(4)个Testa 10-series图形处理单元(GPU)执行由计算机断层摄影(CT)机器生成的原始医学图像数据的图像重建的59.9秒的时间段21a和用于256AMD双核Opteron 250中央处理单元(CPU)执行原始CT数据的图像重建的67.4秒的时间段21b。如在图1A和图1B中示出的这种计算时间可能导致临床医生不能及时对需要立即关注的解剖区域/器官的伤害/创伤/损伤(特别是大脑的伤害/创伤/损伤)作出响应。
此外，图像重建过程可能将伪影引入重建的医学图像中，导致更不可靠的临床决策(例如，CT成像中的由于金属的条纹、截断伪影(吉布斯振铃)，拉链干扰(rf干扰)和鬼影)。
例如，图2图示了踝关节在16KHz下的典型医学图像22和同一踝关节在32KHz下的理想医学图像23。医学图像22包括未存在于医学图像23中的化学位移，如本公开的领域的技术人员将会意识到的。
此外，图像重建过程可以涉及比医学图像的完整信息范围更小的范围的医学图像的显示。例如，超声医学成像涉及随着深度的信号幅度衰减，并且显示器/监视器的当前技术状态提供小于全动态范围的超声医学图像。
例如，图3图示了比超声图像的完整信息范围25更小的范围的超声图像的显示24。
正在寻求用于图像重建的算法的改进来解决前面提到的计算时间、伪影和动态显示范围限制。一般地，图像重建算法可以被分类为直接图像重建算法或迭代图像重建算法。更具体地，直接图像重建几乎在所有当今的医学CT扫描器中使用。虽然此类算法计算起来是快速的，但是它们易受伪影和噪声影响。相反，迭代重建算法提供更大的准确性，但是以高计算成本为代价。
发明内容
不是寻求定制的图像重建算法的开发来在减少的诊断计算时间内最小化图像伪影对医学诊断的不准确影响，本公开中描述的本发明的发明人而是发现基于人工智能对处于其原始采集状态的原始医学成像数据执行医学诊断(相对于本公开的领域的技术人员的思想违反直觉)提供许多优点，例如，图像伪影对医学诊断的不准确影响的消除和诊断计算时间的最小化。更具体地，由本领域技术人员历史上建立的原则是解剖区域或解剖器官的医学图像的评估是用于适当地诊断解剖区域/器官的健康状态的仅有手段。本公开的发明通过证明医学图像根据其重建的原始医学成像数据的评估是用于特别是在时间关键的紧急情况下适当地诊断解剖区域/器官的健康状态的有效备选手段来反对这种历史上建立的原则。
本公开的发明的一个实施例是一种医学成像诊断系统，其采用用于生成原始医学成像数据的医学成像机器和用于由所述医学成像机器生成的所述原始医学成像数据的医学诊断的原始诊断机器。所述原始诊断机器包括医学成像诊断控制器，所述医学成像诊断控制器被配置为：(1)将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取一个或多个维度降低的特征向量，(2)将所述(一个或多个)维度降低的特征向量输入到原始诊断人工智能引擎(例如，人工神经网络和/或监督式学习机器)中，所述原始诊断人工智能引擎被训练为绘制所述原始医学成像数据的诊断评价，并且(3)控制对所述原始医学成像数据的所述诊断评价的通信(例如，对所述原始医学成像数据的所述诊断评价的显示、打印、发送电子邮件、发送短信等)。
所述医学成像诊断控制器可以还被配置为：(4)将所述原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像，并且(5)通信所述重建的医学图像(例如，对所述重建的医学图像的显示、打印、发送电子邮件、发送短信等)。
所述医学成像诊断控制器可以还被配置为：(6)将所述重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取一个或多个医学图像特征向量，(7)将所述(一个或多个)医学图像特征向量输入到图像诊断人工智能引擎中，所述图像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价，并且(8)通信所述重建的医学图像(例如，对所述重建的医学图像的所述医学图像的显示、打印、发送电子邮件、发送短信等)。
本公开的发明的第二实施例是一种非瞬态机器可读存储介质，被编码有用于由至少一个处理器执行以处理由医学成像机器生成的原始医学成像数据的指令。所述非瞬态机器可读存储介质包括用于以下项的指令：(1)将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取一个或多个维度降低的特征向量，以及(2)将所述(一个或多个)维度降低的特征向量输入到原始诊断人工智能引擎(例如，人工神经网络和/或监督式学习机器)中，所述原始诊断人工智能引擎被训练为绘制所述原始医学成像数据的诊断评价。
所述非瞬态机器可读存储介质可以还包括用于以下项的指令：(3)将所述原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像。
所述非瞬态机器可读存储介质可以还包括用于以下项的指令：(4)将重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取一个或多个医学图像特征向量，以及(5)将所述(一个或多个)医学图像特征向量输入到图像诊断人工智能引擎中，所述图像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
本公开的发明的第三实施例是一种用于由医学成像诊断控制器对由医学成像机器生成的原始医学成像数据的医学诊断的医学成像诊断方法。所述医学成像诊断方法包含：(1)由所述医学成像诊断控制器将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取一个或多个维度降低的特征向量，以及(2)由所述医学成像诊断控制器将所述(一个或多个)维度降低的特征向量输入到原始诊断人工智能引擎(例如，人工神经网络和/或监督式学习机器)中以绘制所述原始医学成像数据的诊断评价。
所述医学成像诊断方法可以还包含(3)由所述医学成像诊断控制器将原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像。
所述非瞬态机器可读存储介质可以还包括用于以下项的指令：(4)由所述医学成像诊断控制器将重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取一个或多个医学图像特征向量，以及(5)由所述医学成像诊断控制器将所述(一个或多个)医学图像特征向量输入到图像诊断人工智能引擎中，所述图像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
出于描述并请求保护本公开的发明的目的：
(1)包括但不限于“人工智能”、“特征向量”、“人工神经网络”、“监督式学习机器”、“维度降低”、“图像重建”、“解剖区域”和“解剖器官”的本公开的领域的术语如在本公开的领域中已知和在本公开中示范性地描述的那样宽泛地进行解读；
(2)术语“医学成像机器”宽泛地涵盖如本公开的领域中理解和下文设想的用于执行解剖区域或解剖器官的诊断成像的任何成像模态。医学成像机器的范例包括但不限于X-射线机器、超声机器、计算机断层摄影(CT)机器、磁共振成像(MRI)机器、正电子发射断层摄影(PET)机器、单光子发射计算机断层摄影(SPECT)机器和扩散光学断层摄影(DOT)机器；
(3)术语“原始医学成像数据”宽泛地涵盖通过如本公开的领域中理解和下文设想的医学成像机器采集的电子数据。原始医学成像数据的范例包括但不限于k-空间中的MRI、CT正弦图、原始超声数据和PET列表模式文件；
(4)术语“原始诊断机器”宽泛地涵盖根据本公开的发明原理被配置用于如在本公开中示范性地描述的原始医学成像数据的基于人工智能的医学诊断的任何机器；
(5)术语“控制器”宽泛地涵盖如本公开的领域中理解和下文设想的用于如随后在本公开中描述的那样控制本公开的各种发明原理的应用的专用主板或专用集成电路的所有结构配置。控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)非瞬态机器可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)槽和(一个或多个)端口；
(6)术语“模块”宽泛地涵盖被包含在控制器中或可由控制器访问的用于执行特定应用的电路/硬件和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)；
(7)本文中用于术语“模块”的描述性标签便于如本文中描述和要求保护的模块之间的区别，而不指定或暗示对术语“模块”的任何额外限制；
(8)术语“维度降低预处理器”宽泛地涵盖如本公开的领域中理解和下文设想的根据本公开的发明原理被配置为实施对原始医学成像数据的特征选择(例如，过滤、包裹或嵌入式评估)或特征提取(例如，主成分分析或线性判别分析)的维度降低技术的任何类型的数据预处理器；
(9)术语“维度降低的特征向量”宽泛地涵盖通过维度降低预处理器从原始医学成像数据中选择或提取的表示原始医学成像数据的分类/预测性特征的特征向量；
(9)术语“原始诊断人工智能引擎”宽泛地涵盖如本公开的领域中理解和下文设想的根据本公开的发明原理被配置为如在本公开中示范性地描述的那样实施原始医学成像数据的医学诊断的识别、分类或预测的任何类型的人工智能引擎。原始诊断人工智能引擎的范例包括但不限于人工神经网络(例如，卷积神经网络、递归神经网络等)和监督式学习机器(例如，支持向量机器)；
(10)术语“医学图像重建引擎”宽泛地涵盖如本公开的领域中理解和下文设想的实施原始医学成像数据的图像重建以由此生成重建的医学图像的任何类型的计算引擎；
(11)术语“图像重建预处理器”宽泛地涵盖如本公开的领域中理解和下文设想的根据本公开的发明原理被配置为实施重建的医学图像的特征提取技术的任何类型的数据预处理器；
(12)术语“医学图像特征向量”宽泛地涵盖通过图像重建预处理器从重建的医学图像提取的表示重建的医学图像的分类/预测性特征的特征向量；以及
(13)“数据”可以以如本公开的领域中理解的和如在本公开中示范性地描述的用于传输支持如随后在本公开中描述的那样应用本公开的各种发明原理的信息和/或指令的所有形式的可检测物理量或脉冲(例如，电压、电流、磁场强度、阻抗、颜色)方式来体现。由本公开的发明涵盖的数据通信可以包含如本公开的领域中已知的任何通信方法，包括但不限于通过任何类型的有线或无线数据链路的数据发射/接收和对上传到计算机可用/计算机可读存储介质的数据的读取。
本公开的发明的前述实施例和其他实施例以及本公开的各种特征和优点将从结合附图阅读的本公开的发明的各种实施例的以下详细描述变得更加明显。这些详细描述和附图仅仅是对本公开的发明的说明而不是限制，本公开的发明范围由权利要求及其等同物来限定。
附图说明
为了更好地理解各种范例实施例，对附图进行参考，其中：
图1A图示了用于如本公开的领域中已知的先进的MRI的示范性重建时间；
图1B图示了用于如本公开的领域中已知的CT成像的示范性重建时间；
图2图示了如本公开的领域中已知的踝关节的示范性成像；
图3图示了如本公开的领域中已知的示范性超声图像；
图4A-4C图示了根据本公开的发明原理的医学成像诊断系统的示范性实施例；
图5A-5C图示了根据本公开的发明原理的原始诊断机器的示范性实施例；
图6图示了根据本公开的发明原理的医学成像诊断控制器的示范性实施例；
图7图示了根据本公开的发明原理的医学成像诊断工作配置的示范性实施例；
图8A图示了根据本公开的发明原理的原始诊断域模块的示范性训练阶段和示范性诊断阶段；
图8B图示了根据本公开的发明原理的图像诊断域模块的示范性训练阶段和示范性诊断阶段；
图9图示了根据本公开的发明原理的原始诊断域模块的示范性实施例；
图10图示了根据本公开的发明原理的CT成像中的示范性投影数据；
图11图示了根据本公开的发明原理的示范性支持向量机器(SVM)；
图12图示了图11的SVM的示范性性能；
图13图示了图11的SVM的示范性出血检测性能；
图14图示了根据本公开的发明原理的MRI中的示范性k-空间；
图15图示了根据本公开的发明原理的k-空间的示范性对称性；
图16图示了根据本公开的发明原理的示范性k-空间图像；
图17图示了根据本公开的发明原理的示范性深度递归架构；以及
图18图示了根据本公开的发明原理的示范性长短期记忆网络。
具体实施方式
本文中呈现的描述和附图图示了各种原理。应当理解，本领域技术人员将能够设计出各种布置，这些布置虽然未在本文中得到明确描述或图示，但是却体现出这些原理并且被包括在本公开的范围内。如本文中所使用的，除非另有指示(例如，“或者在其他情况下”或“或者在备选方案中”)，否则本文中所使用的术语“或”指的是非排他性或(即，和/或)。另外，本公开中描述的各种实施例不一定是相互排斥的并且可以进行组合以产生包含本公开描述的原理的额外实施例。
如将会在本公开中进一步解释的，本公开的发明以原始医学成像数据的维度降低为前提，以由此促进由人工智能引擎对原始医学成像数据的特定医学诊断的识别、分类或预测。更具体地，维度降低提供了原始医学成像数据的可实施变量，原始医学成像数据使得人工智能引擎能够在健康状态(例如，解剖区域/器官的供养/伤害/创伤/损伤的不存在的识别、分类或预测)和不健康状态(例如，解剖区域/器官的供养/伤害/创伤/损伤的存在的识别、分类或预测)之间的医学诊断的范围内识别、分类或预测对应于原始医学成像数据的解剖区域或解剖器官的特定医学诊断。
为了便于本公开的发明的理解，图4A-4C的以下描述教导了本公开的医学成像诊断系统的各种实施例。根据图4A-4C的描述，本公开的领域的普通技术人员将会意识到如何将本公开应用于利用本公开的医学成像诊断系统的许多和各种额外实施例。
图4A图示了采用如本公开的领域中已知的医学成像机器30和根据本公开的发明原理的原始诊断机器40a的本公开的医学成像诊断系统的一个实施例。
参考图4A，在实践中，医学成像机器30采集解剖区域或解剖器官的原始成像数据31，如本公开的领域中已知的，特别是X-射线机器、超声机器、MRI机器、CT机器、PET机器、SPECT机器和DOT机器的原始成像数据。
仍然参考图4A，原始诊断机器40a处理原始医学成像数据31，如将会在本公开中进一步解释的，以绘制原始医学成像数据31的诊断评价。在实践中，原始诊断机器40a将会具有被训练用输入并处理来自一种或多种类型的医学成像机器30的原始医学成像数据31、和/或用于处理对应于一个或多个解剖区域和/或解剖器官的原始医学成像数据31的结构架构。
而且在实践中，诊断评价可以是以通信原始医学成像数据31的特定医学诊断的识别、分类或预测的任何形式。在如所示的一个实施例中，原始诊断机器40a输出原始风险评价分数41，其中分数41的水平指示原始医学成像数据31的特定医学诊断的识别、分类或预测。例如，在零(0)至一(1)的尺度上，零(0)水平指示解剖区域/器官的供养/伤害/创伤/损伤的不存在的识别、分类或预测，而一(1)水平指示解剖区域/器官的供养/伤害/创伤/损伤的存在的识别、分类或预测。此外，零(0)和一(1)之间的中间水平可以用来指示解剖区域/器官的供养/伤害/创伤/损伤的存在的预测的不确定性/确定性的程度。原始诊断机器40a可以进一步输出原始医学成像数据31的特定医学诊断的识别、分类或预测的原始风险评价描述42。
图4B图示了采用如本公开的领域中已知的医学成像机器30和根据本公开的发明原理的原始诊断机器40b的本公开的医学成像诊断系统的第二实施例。
参考图4B，在实践中，医学成像机器30采集解剖区域或解剖器官的原始成像数据31，如本公开的领域中已知和之前针对图4A描述的。
仍然参考图4B，原始诊断机器40b处理原始医学成像数据31，如将会在本公开中进一步解释的，以绘制原始医学成像数据31的诊断评价，如之前针对原始诊断机器40a(图4A)描述的。除此之外，原始诊断机器40b执行如本领域中已知的用于生成对应于从医学成像机器30采集的特定类型的原始医学成像数据31的重建的医学图像43(例如，来自从X-射线机器采集的原始医学成像数据31的X-射线图像、来自从X-射线机器采集的原始医学成像数据31的超声图像等)的图像重建技术。
图4C图示了采用如本公开的领域中已知的医学成像机器30和根据本公开的发明原理的原始诊断机器40c的本公开的医学成像诊断系统的第三实施例。
参考图4C，在实践中，医学成像机器30采集解剖区域或解剖器官的原始成像数据31，如本公开的领域中已知和之前针对图4A描述的。仍然参考图4C，原始诊断机器40c处理原始医学成像数据31，如将会在本公开中进一步解释的，以绘制原始医学成像数据31的诊断评价，并且重建医学图像，如之前针对原始诊断机器40b(图4B)描述的。
除此之外，原始诊断机器40c处理原始医学成像数据31，如将会在本公开中进一步解释的，以绘制重建的医学图像43的诊断评价。在实践中，诊断评价可以是以通信重建的医学图像43的特定医学诊断的识别、分类或预测的任何形式。在如所示的一个实施例中，原始诊断机器40c输出原始风险评价分数44，其中分数44的水平指示重建的医学图像43的特定医学诊断的识别、分类或预测。再次，例如，在零(0)至一(1)的尺度上，零(0)水平指示解剖区域/器官的供养/伤害/创伤/损伤的不存在的识别、分类或预测，而一(1)水平指示解剖区域/器官的供养/伤害/创伤/损伤的存在的识别、分类或预测。此外，零(0)和一(1)之间的中间水平可以用来指示解剖区域/器官的供养/伤害/创伤/损伤的存在的预测的不确定性/确定性的程度。原始诊断机器40b可以进一步输出重建的医学图像43的特定医学诊断的识别、分类或预测的原始风险评价描述45。
为了进一步便于本公开的发明的理解，图5A-5C的以下描述教导了本公开的原始诊断机器的各种实施例。根据图5A-5C的描述，本公开的领域的普通技术人员将会意识到如何将本公开应用于利用本公开的原始诊断机器的许多和各种额外实施例。
图5A图示了原始诊断机器40a(图4A)的实施例140a。参考图5A，原始诊断机器140a包括采用维度降低预处理器51和原始诊断人工智能引擎52的原始诊断域模块50。
在实践中，维度降低预处理器51是根据本公开的发明原理被配置为将原始医学成像数据31的随机变量的数量降低为一组主要变量以由此获取维度降低的特征向量的数据预处理器，如将会在本公开中进一步解释的。
在一个实施例中，维度降低预处理器51实施特征选择的维度降低技术(例如，过滤、包裹或嵌入式评估)以将原始医学成像数据31的随机变量的数量降低为一组主变量，以由此选择维度降低的特征向量。
在第二实施例中，维度降低预处理器51实施特征提取的维度降低技术(例如，主成分分析或线性判别分析)以将原始医学成像数据31的随机变量的数量降低为一组主变量，以由此提取维度降低的特征向量。
仍然参考图5A，在实践中，原始诊断人工智能引擎52绘制原始医学成像数据31的诊断评价，例如，如之前在本公开中描述的原始风险评价分数41和原始风险评价描述42(图4A)。
在一个实施例中，原始诊断人工智能引擎52包括被训练为绘制原始医学成像数据31的诊断评价的一个或多个人工神经网络(例如，卷积神经网络、递归神经网络等)，如将会在本文中进一步解释的。
在第二实施例中，原始诊断人工智能引擎52包括被训练为绘制原始医学成像数据31的诊断评价的一个或多个监督式学习机器(例如，支持向量机器)，如将会在本文中进一步解释的。
图5B图示了原始诊断机器40b(图4B)的一个实施例140b。参考图5B，原始诊断机器140b包括如之前在本公开中描述的原始诊断域模块50(图5A)。原始诊断机器140b还包括如本公开的领域中已知的根据原始医学成像数据31重建医学图像43的医学图像重建引擎60。
在一个实施例中，医学图像重建引擎60实施如本公开的领域中已知的直接图像重建算法。
在第二实施例中，医学图像重建引擎60实施如本公开的领域中已知的迭代图像重建算法。
图5C图示了原始诊断机器40c(图4C)的一个实施例140c。参考图5C，原始诊断机器140C包括如之前在本公开中描述的原始诊断域模块50(图5A)和如之前在本公开中描述的医学图像重建引擎60(图5B)。原始诊断机器140c还包括采用医学图像预处理器71和图像诊断人工智能引擎72的图像诊断域模块70。
在实践中，医学图像预处理器71是如本公开的领域中已知的那样被配置用于从重建的医学图像43提取医学图像特征向量的数据预处理器，如将会在本公开中进一步解释的。
仍然参考图5B，在实践中，图像诊断人工智能引擎72绘制重建的医学图像43的诊断评价，例如，如之前在本公开中描述的图像风险评价分数44和图像风险评价描述45(图4C)。
在一个实施例中，图像诊断人工智能引擎72包括被训练为绘制重建的医学图像43的诊断评价的一个或多个人工神经网络(例如，卷积神经网络、递归神经网络等)，如将会在本文中进一步解释的。
在第二实施例中，图像诊断人工智能引擎72包括被训练为绘制重建的医学图像43的诊断评价的一个或多个监督式学习机器(例如，支持向量机器)，如将会在本文中进一步解释的。
为了进一步便于本公开的发明的理解，图6和图7的以下描述教导了本公开的医学成像诊断控制器的各种实施例。根据图6和图7的描述，本公开的领域的普通技术人员将会意识到如何将本公开应用于利用本公开的医学成像诊断控制器的许多和各种额外实施例。
在实践中，本公开的医学成像诊断控制器可以被实施为用于实施本公开的原始诊断机器(例如，原始诊断机器140a(图5A)、原始诊断机器140b(图5B)和原始诊断机器140c(图5C))的硬件/电路/软件/固件。
在如图6中示出的一个实施例中，医学成像诊断控制器240包括经由一个或多个系统总线246互相连接的处理器241、存储器242、用户接口243、网络接口244和存储设备245。在实践中，控制器240a的部件241-245的实际组织可以是比所图示的更复杂的。
处理器241可以是能够执行被存储在存储器或存储设备中的指令或者处理数据的任何硬件设备。因此，处理器241可以包括微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类似的设备。
存储器242可以包括各种存储器，例如L1、L2或L3高速缓冲存储器或系统存储器。因此，存储器242可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪速存储器、只读存储器(ROM)或其他类似的存储器设备。
用户接口243可以包括用于实现与诸如管理员的用户通信的一个或多个设备。例如，用户接口243可以包括显示器、鼠标和用于接收用户命令的键盘。在一些实施例中，用户接口243可以包括可以经由网络接口244被呈现给远程终端的命令行接口或图形用户接口。
网络接口244可以包括用于实现与其他硬件设备通信的一个或多个设备。例如，网络接口244可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。此外，网络接口244可以实施用于根据TCP/IP协议进行通信的TCP/IP堆栈。用于网络接口的各种备选的或额外的硬件或配置将会是显而易见的。
存储设备245可以包括一个或多个机器可读存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪速存储器设备或类似的存储介质。在各种实施例中，存储设备245可以存储用于由处理器241执行的指令或处理器241可以对其进行操作的数据。例如，存储设备245可以存储用于控制硬件的各种基本操作的基本操作系统(未示出)。
对于本公开更特别的是，在一个实施例中，出于实施原始诊断机器140a(图5A)的目的，存储设备245可以将原始诊断域模块50a形式的控制模块247存储为原始诊断域模块50的计算机指令实施例。
在第二实施例中，出于实施原始诊断机器140b(图5B)的目的，存储设备245可以将原始诊断域模块50a形式的控制模块247存储为原始诊断域模块50(图5B)的计算机指令实施例，并且将医学图像重建引擎60a存储为医学图像重建引擎60a(图5B)的计算机指令实施例。
在第三实施例中，出于实施原始诊断机器140c(图5C)的目的，存储设备245可以原始诊断域模块50a形式的控制模块247存储为原始诊断域模块50(图5C)的计算机指令实施例，将医学图像重建引擎60a存储为医学图像重建引擎60a(图5C)的计算机指令实施例，并且将图像诊断域模块70a存储为图像诊断域模块70(图5C)的计算机指令实施例。
参考图7，在实践中，医学图像诊断控制器240可以被安装在可由多个客户端(例如，如所图示的客户端91和客户端92)访问的应用服务器90内，和/或被安装在采用监视器94、键盘95和计算机96的工作站93内。
在操作中，医学图像诊断控制器240在训练阶段期间输入来自医学成像数据源80的训练原始医学成像数据31a，如将会在本公开中进一步解释的(图8A)，并且输入诊断原始医学成像数据31b，如将会在本公开中进一步解释的(图8A)。医学成像数据源80可以包括任何数量和类型的医学成像机器(例如，如图所示的MRI机器81、CT机器83、X-射线机器85和超声机器87)，并且可以还包括数据库管理/文件服务器(例如，如图所示的MRI数据库管理服务器82、CT服务器84、X-射线数据库管理服务器86和超声数据库管理服务器88)。在实践中，应用服务器90或工作站93(无论哪个都是可应用的)可以被直接连接或网络连接到医学成像数据源90，以由此输入用于医学图像诊断控制器240的原始医学成像数据31a/31b。备选地，医学成像数据源90和应用服务器90或工作站93(无论哪个都是可应用的)可以被直接集成，其中医学图像诊断控制器240能够访问原始医学成像数据31a/31b。
而且在实践中，应用服务器90或工作站93(无论哪个都是可应用的)还包括如本公开的领域中已知的用于促进原始医学成像数据31a/31b的诊断评价到客户端91/92或工作站93的操作者的通信的显示控制器，例如，如所示出的原始风险评价分数41(例如，文本和/或颜色编码的显示)、原始风险评价描述42、重建的医学图像43(例如，二维和/或三维图像)、图像风险评价分数44(例如，文本和/或颜色编码的显示)和图像风险评价描述45的显示。应用服务器90或工作站93(无论哪个都是可应用的)可以包括如本公开的领域中已知的用于原始医学成像数据31a/31b的诊断评价到客户端91/92或工作站93的操作者的其他形式的通信的其他控制器，例如，用于对原始医学成像数据31a/31b的诊断评价进行打印、发送电子邮件、发送短信等的控制器。
为了进一步便于本公开的发明的理解，图8A和图8B的以下描述教导了用于本公开的原始诊断域模块和图像诊断域模块的训练阶段和诊断阶段。根据图6和图7的描述，本公开的领域的普通技术人员将会意识到如何将本公开应用于利用用于训练和操作本公开的原始诊断域模块和图像诊断域模块的许多和各种额外实施例。
参考图8，原始诊断域模块50a的训练阶段100包含对处理训练原始医学成像数据31a以由此选择或提取维度降低的特征向量53的维度降低预处理器51的构建，该训练原始医学成像数据是与重建的医学图像的之前诊断评价相关联的数据。
原始诊断域模块50a的训练阶段101还包含对处理维度降低的特征向量53以由此绘制与根据原始医学成像数据31a重建的医学图像的之前诊断评价一致的原始医学成像数据31a的诊断评价的原始诊断人工智能引擎52的构建。例如，风险原始评价分数41a与根据原始医学成像数据31a重建的医学图像的之前诊断评价一致。为此目的，人工智能参数46a可以根据需要被添加、修改和/或删除，以根据需要来调整原始诊断人工智能引擎52，以确保原始医学成像数据31a的诊断评价与根据原始医学成像数据31a重建的医学图像的之前诊断评价一致。此外，评价题注47可以被添加到原始诊断人工智能引擎52以用作原始风险评价描述42a。
仍然参考图8A，诊断阶段101包含将诊断原始医学成像数据31b输入到维度降低预处理器51中来选择或提取维度降低的特征向量53b，该维度降低的特征向量被输入到原始诊断人工智能引擎52中，以由此绘制诊断原始医学成像数据31b的风险原始评价分数41b和原始风险评价描述42b。更具体地，诊断原始医学成像数据31b表示用于尤其在时间关键的紧急情况下通过原始诊断域模块50a评估的未诊断数据。
参考图8B，图像诊断域模块70a的训练阶段102包含对如本公开的领域中已知的那样处理训练重建的医学图像43a(其是之前诊断的重建的医学图像)以由此提取医学图像特征向量73的医学图像预处理器71的构建。在实践中，医学图像预处理器71被构建，其中医学图像特征向量73的特征与维度降低的特征向量53(图8A)的特征一致。
图像诊断域模块70a的训练阶段102还包含对处理医学图像特征向量73以由此绘制与根据重建的医学图像43a重建的医学图像的之前诊断评价一致的重建的医学图像43a的诊断评价的图像诊断人工智能引擎72的构建。例如，图像风险评价分数41a与根据重建的医学图像43a重建的医学图像的之前诊断评价一致。为此目的，图像诊断人工智能引擎72具有原始诊断人工智能引擎52(图8B)的相同或等同架构，由此人工智能参数46b可以根据需要被添加、修改和/或删除，以根据需要来调整图像诊断人工智能引擎72来确保重建的医学图像43a的诊断评价与根据重建的医学图像43a重建的医学图像的之前诊断评价一致。此外，评价题注47可以被添加到图像诊断人工智能引擎72以用作图像风险评价描述45a。
仍然参考图8B，图像诊断域模块70a的诊断阶段103包含将诊断重建的医学图像43b输入到医学图像预处理器71中来提取医学图像特征向量73b，该医学图像特征向量被输入到图像诊断人工智能引擎72中，以由此绘制诊断重建的医学图像43b的风险原始评价分数41b和原始风险评价描述42b，其可以用作诊断原始医学成像数据31b的风险原始评价分数41b和原始风险评价描述42b的验证。
在实践中，本公开的原始诊断域模块可以针对特定类型的医学成像机器和特定的解剖区域或解剖器官进行训练。例如，图9图示了分别针对肝脏、大脑、胸部区域和头颅区域的CT机器成像进行训练的原始诊断域模块50b-50e。图9进一步图示了分别针对肺、前列腺、乳房区域和胸骨区域的MRI机器成像进行训练的原始诊断域模块50f-50i。图9进一步图示了分别针对肺、前列腺、乳房区域和胸骨区域的X-射线机器成像的原始诊断域模块50j-50m。图9进一步图示了分别针对肺、前列腺、乳房区域和胸骨区域的超声机器成像的原始诊断域模块50n-50g。
为了进一步便于本公开的发明的理解，附图的以下描述教导了如在图3-9中阐述的本公开的发明原理的各种应用。根据附图的描述，本公开的领域的技术人员将会在实践中意识到如何应用本公开以应用本公开的发明原理。
断层摄影成像：在现代的医学CT系统中，机架围绕患者旋转，并且在该旋转机架上，x-射线源位于一侧上，而成排的检测器元件位于相对侧上。由扫描器采集的数据被称为投影正弦图，表示沿着x-射线波束的路径积分的x-射线衰减。随后，重建算法被应用于投影数据以形成图像。断层摄影成像在医学中是普遍的，透射或发射断层摄影的原理在CT、MRI(磁共振成像)、PET(正电子发射断层摄影)、SPECT(单光子发射计算机断层摄影)、DOT(扩散光学断层摄影)以及其他中使用。由于形成图像所需的所有信息都被包含在投影数据中，因此清楚的是投影包含用于诊断的足够信息。然而，在本公开之前，所有这些实例中的感兴趣对象(例如，出血、肿瘤)的识别不是在投影数据上执行的，而是在重建的图像上执行的。
CT投影过程被数学地捕获为x-射线衰减系数的潜在场的Radon变换。投影过程为使得图像空间中的每一个局部特征(例如，出血)被变换成图10A-10F中的正弦图空间中的正弦曲线。虽然最现代的临床CT扫描器以螺旋模式使用锥形波束x-射线来产生多行正弦图，但是为了本公开中的简单性，扇形波束被投影通过轴向图像来产生投影正弦图。
更具体地，图10图示了CT数据采集几何结构100，其中，在每个旋转角处，根据在探测器处接收的信号与衰减系数沿着路径w的线性积分相关，其中Io和It分别是入射波束强度和透射波束强度，并且(w)是沿着路径长度L的射线w的x-射线线性衰减系数。对于相对于身体的旋转角，我们能够通过和定义视场内的任何点(x,y)。然后，从源通过点(x,y)到达探测器阵列的x-射线通过正弦曲线来给出。图10进一步图示了大脑中的大硬膜上出血(箭头)的CT图像101，其中在CT图像102中通过从相对侧替换像素值来数字地移除CT图像101中的出血。图10进一步图示了分别对应于CT图像101和102的正弦图103和104、以及仅示出了出血的投影的正弦图103和104之间的正弦图差105。注意，正弦图103和104的最大值为大约45,000，而正弦图差105的最大值为1,000。
该实施例使用随机的投影将特征向量的维度降低到更可管理的尺寸。原始n维空间X中的向量经由随机投影矩阵R被投影到k维子空间Xp(即，Xp＝R-X)上，其中k<<n，并且R的列是具有单位长度的独立且同分布的零均值正态变量的实现。虽然一般来说投影矩阵需要具有正交列，但是高维度数据集的一个性质是当每个向量的方向是随机的时，大多数向量是“几乎”正交的，其中“几乎”通过Johnson-Lindenstrauss法则来精确地定义。因为正交基函数计算起来代价高，所以随机投影提供了降低特征空间维度的计算高效的方法。对于该实施例，k的若干值被检查。并且具有28,000个维度的可接受性能被实现。因此，通过随机投影的使用，特征向量的维度被降低～96.5％。
给定一组维度降低的特征向量，一个向量对应于每个投影正弦图，支持向量机器(SVM)用来确定每个特征向量是表示患者正常还是具有出血。更具体地，SVM是通过以使得最大化如在图11中示出的图106中的种类之间的分开的方式将特征向量嵌入在更高维度流形中来执行分类的一类算法。对于该实施例，焦点仅在具有线性核的线性SVM上。重要的是注意，尽管分类器可能在训练期间需要大量的计算来确定，但是一旦被计算出，仅需要简单的点积来对每个新的特征向量进行分类。
对于图11更具体地，在支持向量机器(SVM)分类器的训练阶段中，维度k的每个输入向量xi(i＝1,...,n)与标签yi相关联，其中如果xi来自种类1(正常正弦图)，则yi＝+1，并且如果xi来自种类2(出血正弦图)，则yi＝-1。下一步骤是定义加权矩阵w，该加权矩阵定义将两个种类分开的超平面w·x-b＝0，在图11中被示为将种类1和2分开的粗线。更具体地，拉格朗日乘数公式用来标准化w的大小，其受到满足标记的训练样本的约束。定义w和b的公式通过(其中i's是拉格朗日乘数) 来给出。即，Lp相对于w和b被最小化。
在诊断阶段中，224幅患者大脑CT图像(88幅正常和136幅出血)被回顾性地获得，并且随后投影正弦图被创建。出血类型包括硬膜下、硬膜上和蛛网膜下，具有从0.5至190ml的范围内变动的大小和26.2ml的平均大小。
图12图示了使用真实CT数据的分类器性能。CT图像107是正常CT的范例，而CT图像108是具有通过箭头象征的硬膜下出血的CT的范例。在下表1中示出了在10次交叉验证试验内平均的SVM分类器的全性能矩阵。
表1
真实诊断
结果示出了94.3％的总体正确分类率，具有92.4％的灵敏性和97.2％的特异性，并且图13图示了根据出血的大小的出血检测性能的图109，R2＝0.9963。
总的来说，在该研究中，获得能够代替图像域在CT投影域中执行颅内出血的自动化诊断的初步证明。在投影(原始)域中执行诊断可能似乎是违反直觉的，因为图像中的空间定位的解剖特征已经被变换成正弦曲线。然而，随着机器学习技术的进步，并且随着CT扫描器生成日益更精细的分辨率和更大量的数据，本公开的发明原理为断层摄影域的基于计算机的诊断提供了新的且独特的方法。
重要注意的是系统的性能依赖于所遇到的出血的大小，如通过图13证明的。尽管大脑中的出血总是令人不安的，但是值得注意的是，至少在出血性脑卒中的情况下，预测30天死亡结果的出血大小>30ml。在此背景下，对于用于快速且准确地绘制诊断建议以用于合适的干预，本公开的发明可以保持显著的前景。此外，用于改善本公开的发明对更小出血的检测灵敏性的潜力可以在保留更多特征时并且通过使用更复杂的SVM设计来实现。
利用深度神经网络的傅里叶类型重建。为了学习k-空间中的临床相关的特征，本公开的原始诊断模块将会需要被设计为学习扩散模式而非局部异常。例如，图14的k-空间图像110中的具有与病灶的相似性的点对象将会使其信息定位在图像中但是“扩散”在k-空间中。在MR成像中，图像和k-空间之间的关系通过傅里叶理论(例如调频、缩放)来管理。对于其中标准方法是要找到小异常(诸如梗塞、肿瘤和骨折)的许多医学成像问题，这是特别相关的。这是重要的，因为大多数图像信息与诊断无关。找到小的局部的“噪声中的信号”实际上对于计算机来说是比描述扩散特征更困难的。通常，该挑战通过使用包括定位紧接着分类的两级方法或利用注意机制来克服。然而，在采集域中，小的局部的对象将会具有不需要难以训练的注意机制的更扩散表观。然而，本公开的原始诊断模块将会需要接受增加维度的更宽泛的输入。
更具体地，图10图示了示出圆形对象与其k-空间表示的关系的图像110、为了说明示出具有人工移除的病灶的右硬膜的微小不对称性的液体衰减反转恢复(FLAIR)MRI图像111、以及MR图像112，其中MR图像111中的高信号病灶通过从相对侧替换像素值来数字地移除。
图10进一步图示了分别对应于MR图像111和MR图像112的k-空间113和114、以及仅示出病灶的频率响应的k-空间113和114之间的k-空间差115。注意，相对于(f)，k-空间113和114的最大值是10：1。(注意：k-空间利用简单的笛卡尔采样方案来模拟)。
部分傅里叶成像对于MRI是常见的，其中少至k-空间的一半用来生成整个MR图像。由于k-空间信息的冗余，这是可行的。假设在数据采集期间不存在相位误差，则k-空间具有如在图15中示出的厄米特对称性109。对于MRI，本公开利用其k-空间对称性来降低特征空间维度。更具体地，图15突出显示了K-空间的对称性。具体地，共轭对称性109应用于跨k-空间的原点彼此对角地定位的点对(诸如P和Q)。如果P处的数据是复数[a+bi]，那么Q处的数据被立即知晓为是P的复共轭[a-bi]。Npe是相位编码的编号，并且Nfe是频率编码的编号。
图像域和k-空间之间的另一区别因素是输入的形状，这将会需要具有两个信道(真实的和假想的)以考虑被存储在K-空间中的复数的信号信息。在表2和表3中，我们描述了可以用于该问题的两个简单的网络架构(需要训练数据来改进网络设计；不包括丢弃、正则化和批量标准化)。2D或3D设计可以依赖于脉冲序列或正被研究的解剖结构的类型。这仅仅是许多AI方法中的一种，其中如在实施例1或其他网络架构中描述的基于SVM的方法可以产生类似的结果。
表1：用于k-空间的可能的3D网络架构
表2：用于k-空间的可能的2D网络架构
本公开在此处示出了T2加权的急性缺血性脑卒中的范例，因为解剖MR成像具有图像和k-空间之间的更加直截了当的关系。然而，该方法也可以用来检测利用(超)急性脑卒中中的扩散加权MR或其他间接的MR成像方法检测的梗塞，其中图像≠FT{K-空间}。由于在短时间窗口内对患者的结果的影响和存在于急诊部中的具有指示缺血性脑卒中的症状的大量患者，这是另一紧迫的使用情况。根据世界健康组织，全世界每年1千5百万人遭受卒中。这些人中，5百万死亡，并且另一5百万永久残疾。缺血性脑卒中占这些患者的88％。对可疑的缺血性脑卒中患者的成功处置需要早期的诊断、快速的处置决策和立即的响应。
扩散加权成像(DWI)是用于急性缺血性脑卒中的评估的通常执行的MRI序列，并且在小的且早期的梗塞的检测中是灵敏的。常规MRI序列(T1-加权、T2-加权)可能不能在6小时内证明梗塞，并且小的梗塞可能难以在几天内在CT上意识到，尤其是在没有现有成像的益处的情况下。用于梗塞在非增强的计算机断层摄影上的呈现的时间甚至更长。
缺血性脑组织中的增加的DWI信号在动脉阻塞之后的几分钟内被观察到，并且通过表观扩散系数(ADC)降低的定型序列发展，跟着有随后的增加，伪标准化，以及最后跟着永久评估。报告的灵敏性在88-100％的范围内变动，并且特异性在86-100％的范围内变动。然而，该方法也可以用于急性脑卒中成像，除了解剖成像(T2加权或FLAIR)之外，包括扩散加权、灌注和血管造影序列。
扩散加权图像也在k-空间中进行采集，类似于T1和T2加权图像。然而，为了提取经常被量化为表观扩散系数(ADC)的组织的功能状态，需要具有变化梯度强度(变化b-值)的多个k-空间图像，如在图15中示出的。
对于图15更具体地，表观扩散系数(ADC)图119经由对没有扩散加权(bo)的图像117和具有变化b-值的若干图像118的采集来创建。这些图像被组合以通过以下公式来创建ADC图119(SDWI)：Sx＝Soe-bDxx，Sy＝Soe-bDyy，Sz＝Soe-bDzz和SSWI＝3√(SxSySz)。
图15进一步图示了利用用于如本公开的领域中已知的急性缺血性脑卒中的不同诊断的扫描器采集的图像的集合120。从左向右，集合102包括DWI图像、FLAIR图像、T2-加权图像、MRA TOF(非对比)图像和Gd后MRA(对比增强)。
因为存在重要像素水平相关性，将提出的网络应用于数据并且向后组合结果将会明显地损失重要的信息。代替地，本公开提出了将输入修改为具有形状＝Npe/2x Nfe/2x b-值，其中b-值可以被当作信道或额外的维度。复数数据然后利用由Geberman,N.“OnComplex Valued Convolutional Neural Networks”(2016).https://arxiv.org/pdf/ 1602.09046.pdf(以引用方式并入本文)描述的方法或类似的方法来捕获。该方法可以被扩展到诸如DCE或DSC MRI的其他MR功能扫描，其中输入将会具有形状＝Npe/2x Nfe/2x时间。
原始数据到文本以改善风险分数的临床接受性：图17图示了组合机器翻译和计算机视觉的最近进展的第一种深度递归架构131，其针对医学图像特性和医学文本本体论进行了微调。在给定医学图像的情况下，使用编码器-解码器神经网络，模型131利用来自医学文献的描述性句子来训练。模型131通过首先经由卷积神经网络(CNN)将图像“编码”成固定长度的向量表示并且然后将该表示“解码”成自然语言描述来工作。解码器是被训练为在图像编码上调节的语言模型的长短期记忆(LSTM)网络。规划的工作包括利用备选网络架构改善模型的准确性和在目标临床数据集上进行训练、以及将CNN扩展到3D，使得体积数据能够被接受。本公开提供了同样能够如在人类可读解剖重建中一样解读声谱图中的关系的DNN。例如，图17提供了来自从正弦图130产生描述性文本的深度视觉CNN和语言生成RNN的输出(例如，“缺血性脑卒中的头部CT在开始之后>1天，示出了低密度区域。左颞叶的扩大和西尔维厄斯(Sylvian)特征的缩小”)。这将会在放射专家自由文本注释上进行训练。
对于根据原始数据创建解剖信息的文本描述的一般性模型，本公开的发明提供了如之前在本公开中描述的维度降低的首次使用紧接着通过CNN的特征提取。该特征向量是到文本生成模型132中的输入，如在图18中示出的。为了训练，维度降低的特征向量将会作为输入连同第一题注词一起被给到第一LSTM单元，并且词的序列被类似地传到随后的LSTM单元。因此，图像权重跨在解码阶段期间的所有LSTM步骤被共享，以学习图像特征和题注词之间的关联性。该系列LSTM单元在给定输入词和原始数据的情况下学习下一词的概率，使得得到的模型能够在给定原始数据(诸如声谱图或k-空间)时生成题注(短语或句子)。
参考图1-19，本领域的普通技术人员将会意识到本公开的发明的许多益处，包括但不限于从原始图像数据中选择或提取的自动化诊断，其具有与直接从重建的医学图像的情况相同或比其改善的准确性。对于时间关键的决策和在具有有限计算资源的环境中，本公开的发明是特别有利的。
此外，将显而易见的是，被描述为被存储在存储设备中的各种信息可以额外地或备选地被存储在存储器中。在这方面，存储器也可以被认为构成“存储设备”，并且存储设备也可以被认为是“存储器”。各种其他布置将是显而易见的。另外，存储器和存储设备都可以被认为是“非瞬态机器可读介质”。如本文所使用的，术语“非瞬态”将被理解为不包括瞬态信号但是包括所有形式的存储设备，包括易失性和非易失性存储器。
尽管该设备被示为包括每个描述的部件中的一个部件，但是在各种实施例中可以复制各种部件。例如，处理器可以包括多个微处理器，所述多个微处理器被配置为独立地执行本公开中描述的方法，或者被配置为执行本公开中描述的方法的步骤或子例程，使得多个处理器协作以实施在本公开中描述的功能。另外，在云计算系统中实施该设备的情况下，各种硬件部件可以属于单独的物理系统。例如，处理器可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。
根据前面的描述应当显而易见的是，本发明的各种范例实施例可以被实施为硬件或固件。此外，各种示范性实施例可以被实施为被存储在机器可读存储介质上的指令，所述指令可以由至少一个处理器读取和运行以执行本文详细描述的操作。机器可读存储介质可以包括用于以机器可读形式存储信息的任何机构，例如，个人计算机或膝上型计算机、服务器或其他计算设备。因此，机器可读存储介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪速存储设备和类似的存储介质。
本领域技术人员应当理解，本文中的任何框图均表示实施本发明原理的说明性电路的概念视图。类似地，应当理解，任何流程图解、流程图、状态转换图、伪代码等均表示可以基本上在机器可读介质中表示且因此由计算机或处理器执行的各种过程，而无论这样的计算机或处理器是否被明确示出。
尽管已经具体参考本发明的某些示范性方面详细描述了各种示范性实施例，但是应当理解，本发明能够具有其他实施例，并且其细节能够在各种明显的方面进行修改。对于本领域技术人员显而易见的是，能够在保持在本发明的精神和范围内的同时做出改变和修改。因此，前述公开内容、说明书和附图仅用于说明目的，而并不以任何方式限制本发明，本发明仅由权利要求来限定。

Claims (17)

1.一种医学成像诊断系统，包括：
医学成像机器，其用于生成用于医学图像重建引擎的原始医学成像数据，所述医学图像重建引擎被配置为根据所述原始医学成像数据来生成重建的医学图像；以及
原始诊断机器，其用于由所述医学成像机器生成的所述原始医学成像数据的医学诊断，所述原始诊断机器包括医学成像诊断控制器，所述医学成像诊断控制器被配置为：
将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取至少一个维度降低的特征向量；
将所述至少一个维度降低的特征向量输入到原始诊断人工智能引擎中，所述原始诊断人工智能引擎被训练为绘制所述原始医学成像数据的诊断评价；并且
控制对所述原始医学成像数据的所述诊断评价的通信。
2.根据权利要求1所述的医学成像诊断系统，其中，所述原始诊断人工智能引擎包括人工神经网络和监督式学习机器中的至少一个。
3.根据权利要求1所述的医学成像诊断系统，其中，所述医学成像机器是以下项中的一种：医学共振成像机器、计算机断层摄影成像机器、超声成像机器、x-射线成像机器、扩散光学断层摄影机器、正电子发射断层摄影机器以及单光子发射计算机断层摄影机器。
4.根据权利要求1所述的医学成像诊断系统，其中，所述原始医学成像数据包括MRIk-空间数据、CT声谱图数据和/或PET列表模式文件。
5.根据权利要求1所述的医学成像诊断系统，其中，所述医学成像诊断控制器还被配置为：
将所述原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像；并且
控制对所述重建的医学图像的通信。
6.根据权利要求3所述的医学成像诊断系统，其中，所述医学成像诊断控制器还被配置为：
将所述重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；
将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价；并且
控制对所述重建的医学图像的所述诊断评价的通信。
7.根据权利要求1所述的医学成像诊断系统，所述医学成像诊断控制器还被配置为：
将重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；
将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价；并且
控制对所述重建的医学图像的所述诊断评价的通信。
8.根据权利要求1所述的医学成像诊断系统，其中，以下项中的至少一个成立：
所述维度降低预处理器被训练为从与指定解剖区域或指定解剖器官中的一个相对应的所述原始医学成像数据中选择或提取所述至少一个维度降低的特征向量；以及
所述原始诊断人工智能引擎被训练为绘制与所述指定解剖区域或所述指定解剖器官中的一个相对应的所述原始医学成像数据的所述诊断评价。
9.一种非瞬态机器可读存储介质，被编码有用于由至少一个处理器执行以处理由医学成像机器生成的原始医学成像数据的指令，所述原始医学成像数据被布置用于医学图像重建引擎，所述医学图像重建引擎被配置为根据所述原始医学成像数据来生成重建的医学图像，所述非瞬态机器可读存储介质包括用于以下项的指令：
将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取至少一个维度降低的特征向量；以及
将所述至少一个维度降低的特征向量输入到原始诊断人工智能引擎中，所述原始诊断人工智能引擎被训练为绘制所述原始医学成像数据的诊断评价。
10.根据权利要求9所述的非瞬态机器可读存储介质，其中，所述非瞬态机器可读存储介质还包括用于以下项的指令：
将所述原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像。
11.根据权利要求10所述的非瞬态机器可读存储介质，其中，所述非瞬态机器可读存储介质还包括用于以下项的指令：
将所述重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；以及
将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
12.根据权利要求9所述的非瞬态机器可读存储介质，其中，所述非瞬态机器可读存储介质还包括用于以下项的指令：
将重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；以及
将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
13.根据权利要求9所述的非瞬态机器可读存储介质，其中，以下项中的至少一个成立：
所述维度降低预处理器被配置为从与指定解剖区域或指定解剖器官中的一个相对应的所述原始医学成像数据中选择或提取所述至少一个维度降低的特征向量；以及
所述原始诊断人工智能引擎被训练为绘制与所述指定解剖区域或所述指定解剖器官中的一个相对应的所述原始医学成像数据的所述诊断评价。
14.一种医学成像诊断方法，所述医学成像诊断方法用于由医学成像诊断控制器对由医学成像机器生成的原始医学成像数据的医学诊断，所述原始医学成像数据被布置用于医学图像重建引擎，所述医学图像重建引擎被配置为根据所述原始医学成像数据来生成重建的医学图像，所述方法包括：
由所述医学成像诊断控制器将所述原始医学成像数据输入到维度降低预处理器中，所述维度降低预处理器被训练为从所述原始医学成像数据中选择或提取至少一个维度降低的特征向量；以及
由所述医学成像诊断控制器将所述维度降低的特征向量输入到原始诊断人工智能引擎中以绘制所述原始医学成像数据的诊断评价。
15.根据权利要求14所述的医学成像诊断方法，还包括：
由所述医学成像诊断控制器将所述原始医学成像数据输入到医学图像重建引擎中以生成重建的医学图像；
由所述医学成像诊断控制器将所述重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；以及
由所述医学成像诊断控制器将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
16.根据权利要求14所述的医学成像诊断方法，还包括：
由所述医学成像诊断控制器将重建的医学图像输入到医学图像预处理器中，所述医学图像预处理器被训练为从所述重建的医学图像中选择或提取至少一个医学图像特征向量；以及
由所述医学成像诊断控制器将所述至少一个医学图像特征向量输入到成像诊断人工智能引擎中，所述成像诊断人工智能引擎被训练为绘制所述重建的医学图像的诊断评价。
17.根据权利要求14所述的医学成像诊断方法，其中，以下项中的至少一个成立：
由所述维度降低预处理器从所述原始医学成像数据中对所述至少一个维度降低的特征向量的所述选择或提取对应于指定解剖区域或指定解剖器官中的一个；以及
由所述原始诊断人工智能引擎对所述原始医学成像数据的所述诊断评价的所述绘制对应于所述指定解剖区域或所述指定解剖器官中的一个。
CN201880035293.3A 2017-05-31 2018-05-30 用于临床决策支持的对原始医学成像数据的机器学习 Active CN110692107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762512774P 2017-05-31 2017-05-31
US62/512,774 2017-05-31
PCT/EP2018/064308 WO2018220089A1 (en) 2017-05-31 2018-05-30 Machine learning on raw medical imaging data for clinical decision support

Publications (2)

Publication Number Publication Date
CN110692107A CN110692107A (zh) 2020-01-14
CN110692107B true CN110692107B (zh) 2023-11-14

Family

ID=62567631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035293.3A Active CN110692107B (zh) 2017-05-31 2018-05-30 用于临床决策支持的对原始医学成像数据的机器学习

Country Status (5)

Country Link
US (1) US11984224B2 (zh)
EP (1) EP3631808B1 (zh)
JP (1) JP7181230B2 (zh)
CN (1) CN110692107B (zh)
WO (1) WO2018220089A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201909659QA (en) * 2018-10-17 2020-05-28 Tata Consultancy Services Ltd System and method for authenticating humans based on behavioral pattern
US10755412B2 (en) * 2018-11-20 2020-08-25 International Business Machines Corporation Automated patient complexity classification for artificial intelligence tools
US11681873B2 (en) * 2019-09-11 2023-06-20 International Business Machines Corporation Creating an executable process from a text description written in a natural language
EP4037550A4 (en) * 2019-09-30 2023-11-08 Massachusetts Eye and Ear Infirmary OBJECTIVE ASSESSMENT OF NEUROLOGICAL MOVEMENT DISORDERS FROM MEDICAL IMAGING
EP3824814A1 (en) 2019-11-22 2021-05-26 Koninklijke Philips N.V. Assessment of measured tomographic data
US11727125B2 (en) * 2020-03-31 2023-08-15 General Electric Company Emergent language based data encryption
EP4082439B1 (en) * 2021-04-29 2024-04-17 Siemens Healthineers AG Determining ct scan parameters based on machine learning
US20230253095A1 (en) * 2022-02-10 2023-08-10 Siemens Healthcare Gmbh Artifical intelligence for end-to-end analytics in magnetic resonance scanning
EP4266074A1 (en) 2022-04-22 2023-10-25 Koninklijke Philips N.V. Segmentation of medical images reconstructed from a set of magnetic resonance images
EP4321890A1 (en) 2022-08-09 2024-02-14 Koninklijke Philips N.V. Reconstruction parameter determination for the reconstruction of synthesized magnetic resonance images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
CN102652317A (zh) * 2009-12-10 2012-08-29 皇家飞利浦电子股份有限公司 用于连续存储以及联合分析图像和非图像医学数据的诊断技术
WO2014153466A2 (en) * 2013-03-20 2014-09-25 Cornell University Methods and tools for analyzing brain images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9347945B2 (en) 2005-12-22 2016-05-24 Abbott Molecular Inc. Methods and marker combinations for screening for predisposition to lung cancer
US8073253B2 (en) 2006-09-29 2011-12-06 General Electric Company Machine learning based triple region segmentation framework using level set on PACS
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
WO2011025919A1 (en) 2009-08-28 2011-03-03 Asuragen, Inc. Mirna biomarkers of lung disease
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
US20150042677A1 (en) * 2012-03-23 2015-02-12 Konica Minolta, Inc. Image-generating apparatus
WO2013188957A1 (en) 2012-06-18 2013-12-27 University Health Network Method and system for compressed sensing image reconstruction
CN103793908A (zh) * 2014-01-17 2014-05-14 首都医科大学 一种基于脑核磁共振图像多维度纹理建立预测模型的方法
US20190066020A1 (en) * 2014-03-31 2019-02-28 Kountable, Inc. Multi-Variable Assessment Systems and Methods that Evaluate and Predict Entrepreneurial Behavior
KR20160010157A (ko) 2014-07-18 2016-01-27 삼성전자주식회사 차원 축소 기반 3차원 컴퓨터 보조 진단 장치 및 방법
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
WO2016094330A2 (en) 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
KR20160107528A (ko) 2015-03-04 2016-09-19 삼성전자주식회사 컴퓨터 보조 진단을 위한 신뢰도 제공 장치 및 방법
US10307108B2 (en) 2015-10-13 2019-06-04 Elekta, Inc. Pseudo-CT generation from MR data using a feature regression model
US10799186B2 (en) * 2016-02-12 2020-10-13 Newton Howard Detection of disease conditions and comorbidities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934589A (zh) * 2004-03-23 2007-03-21 美国西门子医疗解决公司 为医学成像提供自动决策支持的系统和方法
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
CN102652317A (zh) * 2009-12-10 2012-08-29 皇家飞利浦电子股份有限公司 用于连续存储以及联合分析图像和非图像医学数据的诊断技术
WO2014153466A2 (en) * 2013-03-20 2014-09-25 Cornell University Methods and tools for analyzing brain images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《中国临床医学影像杂志》2013年第24卷主题索引.中国临床医学影像杂志.(第12期), *

Also Published As

Publication number Publication date
US20210174937A1 (en) 2021-06-10
RU2019144788A (ru) 2021-07-02
JP7181230B2 (ja) 2022-11-30
WO2018220089A1 (en) 2018-12-06
CN110692107A (zh) 2020-01-14
EP3631808B1 (en) 2024-09-11
US11984224B2 (en) 2024-05-14
EP3631808A1 (en) 2020-04-08
JP2020522068A (ja) 2020-07-27
RU2019144788A3 (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110692107B (zh) 用于临床决策支持的对原始医学成像数据的机器学习
US11610308B2 (en) Localization and classification of abnormalities in medical images
CN112770838B (zh) 使用自关注深度学习进行图像增强的系统和方法
RU2667879C1 (ru) Обработка и анализ данных на изображениях компьютерной томографии
US11624795B2 (en) Systems and methods for improving low dose volumetric contrast-enhanced MRI
Gillmann et al. Uncertainty‐aware Visualization in Medical Imaging‐A Survey
WO2021061710A1 (en) Systems and methods for improving low dose volumetric contrast-enhanced mri
US20100128841A1 (en) Smoothing of Dynamic Data Sets
Winder et al. Automatic arterial input function selection in CT and MR perfusion datasets using deep convolutional neural networks
EP3107031A1 (en) Method, apparatus and system for spine labeling
Martínez-Murcia et al. Functional activity maps based on significance measures and independent component analysis
WO2023219963A1 (en) Deep learning-based enhancement of multispectral magnetic resonance imaging
Rai et al. Accessible, affordable and low-risk lungs health monitoring in covid-19: Deep cascade reconstruction from degraded lr-uldct
Asman et al. Out‐of‐atlas likelihood estimation using multi‐atlas segmentation
JP2023545570A (ja) 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること
RU2779064C2 (ru) Машинное обучение на необработанных данных медицинской визуализации для поддержки принятия клинических решений
Pandey et al. A Framework for Mathematical Methods in Medical Image Processing
US20240249395A1 (en) Systems and methods for contrast dose reduction
Kumar et al. [Retracted] CNN‐Based Cross‐Modal Residual Network for Image Synthesis
KR102595045B1 (ko) Icv 세그먼테이션 정보를 출력하는 방법 및 이를 위한 장치
Kan Organ segmentation of pediatric computed tomography (ct) with generative adversarial networks
Vaidya Perceptually Improved Medical Image Translations Using Conditional Generative Adversarial Networks
Prada et al. Statistical techniques for digital pre-processing of computed tomography medical images: A current review
Amor Bone segmentation and extrapolation in Cone-Beam Computed Tomography
Xie et al. Metal implant segmentation in CT images based on diffusion model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant