CN110121749B - 用于图像采集的深度学习医疗系统和方法 - Google Patents

用于图像采集的深度学习医疗系统和方法 Download PDF

Info

Publication number
CN110121749B
CN110121749B CN201780080797.2A CN201780080797A CN110121749B CN 110121749 B CN110121749 B CN 110121749B CN 201780080797 A CN201780080797 A CN 201780080797A CN 110121749 B CN110121749 B CN 110121749B
Authority
CN
China
Prior art keywords
image
data
imaging system
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780080797.2A
Other languages
English (en)
Other versions
CN110121749A (zh
Inventor
谢江
戈帕尔·阿维纳什
萨阿德·西罗海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110121749A publication Critical patent/CN110121749A/zh
Application granted granted Critical
Publication of CN110121749B publication Critical patent/CN110121749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了用于改进的用于图像采集的深度学习的方法和装置。成像系统配置装置包括训练学习设备,该训练学习设备包括第一处理器,用于实现第一深度学习网络(DLN),以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,所述训练学习设备用于接收和处理包括来自所述至少一个成像系统进行的所述多个图像采集的操作数据的反馈。示例性装置包括部署的学习设备,该部署的学习设备包括用于实现第二DLN的第二处理器,所述第二DLN从所述训练学习设备的所述第一DLN生成,所述部署的学习设备被配置为响应于接收到用于图像采集的第二输入而向所述成像系统提供第二成像系统配置参数。

Description

用于图像采集的深度学习医疗系统和方法
技术领域
本公开整体涉及改进的医疗系统,并且更具体地,涉及改进的用于图像采集的深度学习医疗系统和方法。
背景技术
各种经济、技术和行政方面的障碍对保健机构诸如医院、诊所、医生办公室等为患者提供优质护理构成了挑战。经济动因、专业人员技术水平较低、专业人员较少、设备复杂以及用于控制和标准化保健企业中辐射暴露剂量使用的新兴认证,都对有效管理和使用成像和信息系统来对患者进行检查、诊断和治疗制造了困难。
保健提供商整合创建了在地理上分布的医院网络,在这种医院网络中,与系统进行物理接触的成本太高。同时,转诊医生希望更直接地获取报告中的支持数据以及更好的合作通道。医生的患者多、时间少并且被大量数据所淹没,因此他们迫切需要帮助。
发明内容
某些示例提供了一种成像系统配置装置,该成像系统配置装置包括训练学习设备,该训练学习设备包括第一处理器,用于实现第一深度学习网络,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,该训练学习设备用于接收和处理包括来自至少一个成像系统进行的多个图像采集的操作数据的反馈。该示例性装置包括部署的学习设备,该部署的学习设备包括用于实现第二深度学习网络的第二处理器,该第二深度学习网络从训练学习设备的第一深度学习网络生成,该部署的学习设备被配置为响应于接收到用于图像采集的第二输入而向成像系统提供第二成像系统配置参数。
某些示例提供了一种计算机可读介质,该计算机可读介质包括指令,该指令在被执行时配置机器以实现成像系统配置装置。该示例性装置包括训练学习设备,该训练学习设备包括用于实现第一深度学习网络的第一处理器,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,该训练学习设备用于接收和处理包括来自至少一个成像系统进行的多个图像采集的操作数据的反馈。该示例性装置包括部署的学习设备,该部署的学习设备包括用于实现第二深度学习网络的第二处理器,该第二深度学习网络从训练学习设备的第一深度学习网络生成,该部署的学习设备被配置为响应于接收到用于图像采集的第二输入而向成像系统提供第二成像系统配置参数。
某些示例提供了一种方法,该方法包括在训练学习设备处训练第一深度学习网络,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,该训练学习设备用于接收和处理包括来自至少一个成像系统进行的多个图像采集的操作数据的反馈。该示例性方法包括使用第一深度学习网络在部署的学习设备处生成第二深度学习网络。该示例性方法包括利用第二深度学习网络部署部署的学习设备,以响应于接收到用于图像采集的第二输入而向成像系统提供第二成像系统配置参数。该示例性方法包括从成像系统接收反馈,该反馈包括来自成像系统的图像采集的操作数据。该示例性方法包括基于所接收的反馈来更新训练学习设备的第一深度学习网络。
附图说明
图1是示例性深度学习神经网络的表示。
图2示出了作为卷积神经网络的示例性神经网络的具体实施方式。
图3是图像分析卷积神经网络的示例性实施方式的表示。
图4A示出了应用深度学习网络来处理和/或以其他方式评估图像的示例性配置。
图4B示出了多个深度学习网络的组合。
图5示出了深度学习网络的示例性训练和部署阶段。
图6示出了利用训练网络包来提供深度学习产品供应的示例性产品。
图7A至图7C示出了各种深度学习设备配置。
图8A至图8B示出了利用深度学习网络的示例性学习和改进工厂。
图8C示出了用于训练和部署深度学习网络模型的示例性方法的示例性流程图。
图8D示出了在基于部署深度学习网络模型的设备的操作期间收集和存储反馈并且重新训练模型以进行重新部署的示例性方法。
图9示出了利用深度学习来为一个或多个系统和/或相关联的用户提供应用程序的包括数据工厂、应用程序工厂和学习工厂的示例性系统。
图10示出了医疗设备生态系统的概述,该医疗设备生态系统包括在物理上内部部署的设备和外部部署的设备(物理工厂)以及数字工厂。
图11示出了示例性物理设备及其与数字工厂交互的数据流。
图12示出了处理和利用数字工厂中的数据的示例性方法的流程图。
图13提供了关于处理和利用数据工厂和学习工厂中的数据的示例性方法的进一步细节。
图14示出了用于利用深度学习进行患者评估和诊断的示例性保健系统。
图15A示出了用于患者评估和诊断的示例性改进的保健系统的进一步详细视图。
图15B示出了其中采集引擎、重建引擎和诊断引擎伴随有数据质量评估引擎、图像质量评估引擎和诊断评估引擎的示例性系统实施方式。
图16示出了用于改善的图像采集、处理和患者诊断的示例性方法的流程图。
图17示出了当信息在图15A的示例性系统的部件之间流动时信息的示例性数据流和转换。
图18示出了用于使用图14至图15B的示例性系统进行图像采集、图像重建、图像分析和患者诊断的示例性保健分析框架。
图19示出了用于图像采集的示例性方法的流程图。
图20示出了示例性图像采集配置系统。
图21示出了训练和部署图20的图像采集配置设备的示例性方法的流程图。
图22示出了作为提供给患者的剂量的函数的图像质量指标的曲线图。
图23A至图23B示出了图像质量深度学习网络的示例性学习和测试/评估阶段。
图24A至图24B示出了示例性深度卷积网络的示例性学习、验证和测试阶段。
图25A示出了被利用来确定重建参数的初始集的输出质量的示例性训练网络。
图25B示出了用于使用部署的网络模型进行图像质量评估和反馈的示例性系统。
图25C示出了用于使用部署的网络模型进行检测和/或诊断评估和反馈的示例性系统。
图26至图30描绘了使用本文所公开的技术的实验结果的曲线图。
图31A示出了用于图像重建的示例性方法的流程图。
图31B提供了关于用于图像重建的图31A的示例性方法的具体实施方式的进一步细节。
图32是被构造为执行示例性机器可读指令以实现本文所公开和所描述的部件的处理器平台的框图。
图33至图34示出了可以应用本文所公开的方法、装置和制品的示例性成像系统。
这些附图不是按比例绘制的。只要有可能,在整个附图和随附的书面描述中将使用相同的参考标号来表示相同或相似的部分。
具体实施方式
在以下具体实施方式中,参考形成其一部分的附图,并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域的技术人员能够实践主题,并且应当理解,可利用其他示例并且可在不脱离本公开的主题的范围的情况下进行逻辑、机械、电气和其他改变。因此,提供以下具体实施方式以描述示例性实施方式,而不应将其视为限制本公开中描述的主题的范围。可组合来自以下描述的不同方面的某些特征以形成下文讨论的主题的新方面。
当介绍本公开的各种实施方案的元件时,冠词“一个”、“一种”、“该”和“所述”旨在表示存在一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的,并且表示可能存在除所列元件之外的其他元件。
虽然下文在医疗或保健系统的背景下描述了某些示例,但是可以在医疗环境之外实施其他示例。例如,某些示例可以应用于非医学成像,诸如非破坏性测试、爆炸性检测等。
I.概述
成像设备(例如,伽马相机、正电子发射断层显像(PET)扫描仪、计算机断层显像(CT)扫描仪、X射线机、磁共振(MR)成像机、超声扫描仪等)可以生成表示身体部分(例如,器官、组织等)的医学图像(例如,原生医学数字成像和通信(DICOM)图像)以诊断和/或治疗疾病。医学图像可包括体积数据,该体数据包括与在医学图像中捕获的身体部分相关联的体素。医学图像可视化软件允许临床医生在医学图像的各个位置上分割、注释、测量和/或报告功能或解剖特征。在一些示例中,临床医生可利用医学图像可视化软件来识别医学图像的感兴趣的区域。
医学图像数据的采集、处理、分析和存储对在保健环境中对患者进行诊断和治疗起着重要作用。可以在医学成像工作流程和设备的整个操作期间配置、监视和更新工作流程中涉及的医学成像工作流程和设备。可以使用机器学习来帮助配置、监控和更新医学成像工作流程和设备。
某些示例提供和/或有利于改进的成像设备,这些成像设备改善了诊断准确性和/或覆盖范围。某些示例有利于改进的图像采集和重建以提供改善的诊断准确性。例如,可以使用深度学习和/或其他机器学习技术来有利于图像质量(IQ)度量和自动验证。
例如,可以使用机器学习技术(无论是深度学习网络还是其他经验/观察学习系统)来定位图像中的对象,理解语音并将语音转换为文本,并改善搜索引擎结果的相关性。深度学习是使用一组算法的机器学习的子集,以使用具有包括线性和非线性转换的多个处理层的深度曲线图来模拟数据中的高级抽象。虽然许多机器学习系统植入有通过学习和更新机器学习网络来进行修改的初始特征和/或网络权重,但是深度学习网络训练本身来识别“良好”特征用于分析。使用多层架构,采用深度学习技术的机器可以比使用常规机器学习技术的机器更好地处理原始数据。使用不同的评估或抽象层来促进检查高度相关值或独特主题的组的数据。
在整个说明书和权利要求书中,以下术语采用本文明确相关的含义,除非上下文另有明确规定。术语“深度学习”是一种利用多个数据处理层来识别数据集中的各种结构并且以高精度对数据集进行分类的机器学习技术。深度学习网络可以是基于多个输入和输出来学习模式的训练网络(例如,训练网络模型或设备)。深度学习网络可以是从训练网络生成的并且响应于输入而提供输出的部署网络(例如,部署的网络模型或设备)。
术语“监督学习”是一种其中向机器提供来自人类来源的已分类数据的深度学习训练方法。术语“无监督学习”是一种其中没有向机器给出已分类数据但是使机器可用于异常检测的深度学习训练方法。术语“半监督学习”是一种其中与机器可用的大量未分类数据相比,向机器提供来自人类来源的少量分类数据的深度学习训练方法。
术语“表示学习”是用于将原始数据转换为可以在机器学习任务中利用的表示或特征的方法的领域。在监督学习中,经由标记输入来学习特征。
术语“卷积神经网络”或“CNN”是用于深度学习以检测、分割和识别数据集中的相关对象和区域的互连数据的生物启发网络。CNN以多个阵列的形式评估原始数据,从而在一系列阶段中分解数据,检查数据的学习特征。
术语“转移学习”是存储用于正确或不正确地解决一个问题的信息以解决与第一个问题具有相同或相似性质的另一个问题的机器过程。转移学习也可被称为“归纳学习”。例如,转移学习可以使用来自先前任务的数据。
术语“主动学习”是其中机器选择接收其训练数据的一组示例而不是被动地接收由外部实体选择的示例的机器学习过程。例如,当机器学习时,可以允许机器选择机器确定的将对学习最有帮助的示例,而不是仅依靠外部人类专家或外部系统来识别和提供示例。
术语“计算机辅助检测”或“计算机辅助诊断”是指出于建议可能的诊断而分析医学图像的计算机。
深度学习
深度学习是一类采用表示学习方法的机器学习技术,其允许向机器给出原始数据并确定数据分类所需的表示。深度学习使用用于改变深度学习机器的内部参数(例如,节点权重)的反向传播算法来确定数据集中的结构。深度学习机器可以利用各种多层架构和算法。例如,在机器学习涉及用于训练网络的特征的识别时,深度学习处理原始数据以识别感兴趣的特征而无需外部识别。
神经网络环境中的深度学习包括被称为神经元的许多互连节点。从外部源激活的输入神经元基于到由机器参数控制的其他神经元的连接来激活那些其他神经元。神经网络基于其自身的参数以某种方式表现。学习可以细化机器参数,并且可以通过扩展细化网络中的神经元之间的连接,使得神经网络以期望的方式表现。
利用卷积神经网络的深度学习使用卷积过滤器对数据进行分隔,以定位和识别数据中的学习的可观察特征。CNN架构的每个过滤器或层都对输入数据进行转换以增加数据的选择性和不变性。这种数据抽象允许机器专注于其试图分类的数据中的特征并忽略不相关的背景信息。
深度学习在理解许多数据集包括高级特征(包括低级特征)的条件下操作。例如,在检查图像时,更有效的是寻找形成基序的边缘,而不是寻找对象,所述基序形成构成所寻找的对象的部分。这些特征层次可以在许多不同形式的数据中找到,诸如语音和文本等。
学到的可观察特征包括机器在监督学习期间学习的对象和可量化规律。提供有一大组分类良好的数据的机器能够更好地区分和提取与新数据的成功分类有关的特征。
利用转移学习的深度学习机器可将数据特征正确地连接到由人类专家确认的某些分类。相反,同一机器可以在人类专家通知分类不正确时更新用于分类的参数。例如,设置和/或其他配置信息可以通过学习使用设置和/或其他配置信息来引导,并且当系统被更多地(例如,重复地和/或由多个用户)使用时,可以针对给定情况减少设置和/或其他配置信息的许多变体和/或其他可能性。
例如,可以在一组专家分类数据上训练示例性深度学习神经网络。该组数据构建了神经网络的第一参数,并且这将是监督学习的阶段。在监督学习阶段,可以测试神经网络是否已经实现期望的行为。
一旦已经实现期望的神经网络行为(例如,已经训练机器根据指定的阈值等操作),就可以部署机器以供使用(例如,用“真实”数据等测试机器)。在操作期间,可以确认或拒绝神经网络分类(例如,通过专家用户、专家系统、参考数据库等)以继续改善神经网络行为。然后,当基于正在进行的交互来更新确定神经网络行为的用于分类的参数时,示例性神经网络处于转移学习状态。在某些示例中,神经网络可以向另一个过程提供直接反馈。在某些示例中,神经网络输出在被提供给另一个过程之前被缓冲和被验证的数据(例如,经由云等)。
使用卷积神经网络(CNN)的深度学习机器可以用于图像分析。CNN分析的阶段可以用于自然图像、计算机辅助诊断(CAD)等中的面部识别。
可以使用一种或多种成像模式来采集高质量医学图像数据,诸如X射线、计算机断层显像(CT)、分子成像和计算机断层显像(MICT)、磁共振成像(MRI)等。医学图像质量通常不受产生图像的机器的影响,但受患者的影响。例如,患者在MRI期间移动可能产生模糊或失真的图像,这种图像可能妨碍准确诊断。
无论质量如何,解读医学图像仅是最近的发展。医学图像在很大程度上由医生解读,但这些解读可能是主观的,受到医生在该领域的经验和/或疲劳的影响。经由机器学习进行图像分析可以对保健从业者的工作流程提供支持。
例如,深度学习机器可以提供计算机辅助检测支持,以改进其在图像质量和分类方面的图像分析。然而,应用于医学领域的深度学习机器所面临的问题经常导致许多错误的分类。例如,深度学习机器必须克服小型训练数据集并需要重复调整。
例如,深度学习机器只需极少的培训就可以用来确定医学图像的质量。半监督和无监督深度学习机器可以用于定性测量图像的定性方面。例如,在已经采集图像之后可以利用深度学习机器来确定图像的质量是否足以用于诊断。监督深度学习机器也可以用于计算机辅助诊断。例如,监督学习可以帮助降低对错误分类的敏感性。
深度学习机器可以在与医生交互时利用转移学习来抵消监督培训中可用的小数据集。这些深度学习机器可以通过培训和转移学习来随着时间的推移改进其计算机辅助诊断。
II.实施例的描述
示例性深入学习网络系统
图1是示例性深度学习神经网络100的表示。示例性神经网络100包括层120、140、160和180。层120和140与神经连接130连接。层140和160与神经连接150连接。层160和180与神经连接170连接。数据经由输入端112、114、116从输入层120向前流到输出层180并到达输出端190。
层120是输入层,其在图1的示例中包括多个节点122、124、126。层140和160是隐藏层,并且在图1的示例中包括节点142、144、146、148、162、164、166、168。神经网络100可包括比所示更多或更少的隐藏层140和160。层180是输出层,并且在图1A的示例中包括具有输出端190的节点182。每个输入端112-116对应于输入层120的节点122-126,并且输入层120的每个节点122-126具有到隐藏层140的每个节点142-148的连接130。隐藏层140的每个节点142-148具有到隐藏层160的每个节点162-168的连接150。隐藏层160的每个节点162-168具有到输出层180的连接170。输出层180具有输出190以提供来自示例性神经网络100的输出。
在连接130、150和170中,某些示例性连接132、152、172可被赋予增加的权重,而其他示例性连接134、154、174可在神经网络100中被赋予较小的权重。例如,通过经由输入端112-116接收输入数据来激活输入节点122-126。分别通过使数据经由连接130和150向前流过网络100来激活隐藏层140和160的节点142-148和162-168。在经由连接170发送在隐藏层140和160中处理的数据之后,激活输出层180的节点182。当输出层180的输出节点182被激活时,节点182基于在神经网络100的隐藏层140和160中完成的处理来输出适当的值。
图2示出了作为卷积神经网络200的示例性神经网络100的具体实施方式。如图2的示例所示,输入110被提供给第一层120,该第一层处理输入110并将其传播到第二层140。输入110在第二层140中进一步被处理并被传播到第三层160。第三层160对要提供给输出层180的数据进行分类。更具体地讲,如图2的示例所示,卷积204(例如,5×5卷积等)在第一层120中应用于输入110(例如,32×32数据输入等)的部分或窗口(也称为“接受域”)202,以提供特征映射206(例如,(6×)28×28特征映射等)。卷积204将元素从输入110映射到特征映射206。第一层120还提供子采样(例如,2×2子采样等)以生成缩减的特征映射210(例如,(6×)14×14特征映射等)。特征映射210经历卷积212并且从第一层120传播到第二层140,在第二层中,特征映射210变为扩展特征映射214(例如,(16×)10×10特征映射等)。在第二层140中进行子采样216之后,特征映射214变为缩减的特征映射218(例如,(16×)4×5特征映射等)。特征映射218经历卷积220并且传播到第三层160,在第三层中,特征映射218变为形成N个类别224的输出层的分类层222,这些类别例如具有到卷积层222的连接226。
图3是图像分析卷积神经网络300的示例性实施方式的表示。卷积神经网络300接收输入图像302并使卷积层304中的图像抽象化,以识别学习特征310-322。在第二卷积层330中,图像被转换为多个图像330-338,其中学习特征310-322在相应的子图像330-338中各自被加重。进一步处理图像330-338以专注于图像340-348中的感兴趣特征310-322。然后通过合并层处理所得到的图像340-348,该合并层减小了图像340-348的尺寸以隔离包括感兴趣特征310-322的图像340-348的部分350-354。卷积神经网络300的输出350-354从最后的非输出层接收值,并基于从最后的非输出层接收的数据对图像进行分类。在某些示例中,卷积神经网络300可包含卷积层、合并层、学习特征和输出等的许多不同变体。
图4A示出了应用深度学习网络来处理和/或以其他方式评估图像的示例性配置400。深度学习可以应用于各种过程,包括图像采集、图像重建、图像分析/诊断等。如图4A的示例性配置400所示,原始数据410(例如,从成像扫描仪诸如X射线、计算机断层显像、超声、磁共振等获得的原始数据410,诸如声波图原始数据等)被馈送到深度学习网络420。深度学习网络420处理数据410以将原始图像数据420关联和/或以其他方式组合到所得图像430(例如,“良好质量”图像和/或提供足够质量用于诊断的其他图像等)中。深度学习网络420包括将原始数据410与完成的图像430相关联的节点和连接(例如,路径)。例如,深度学习网络420可以是训练深度学习网络,其学习连接并处理反馈以建立连接和识别模式。例如,深度学习网络420可以是部署深度学习网络,其由训练网络生成并利用在训练网络中建立的连接和模式来获取输入原始数据410并生成所得图像430。
一旦DLN 420被训练并由原始图像数据410产生良好图像630,网络420就可以继续“自学习”过程并在其操作时细化其性能。例如,在输入数据(原始数据)410中存在“冗余”并且在网络420中存在冗余,并且可以利用冗余。
如果检查分配给DLN 420中的节点的权重,则可能存在许多具有非常低权重的连接和节点。低权重指示这些连接和节点对DLN 420的整体性能贡献很小。因此,这些连接和节点是冗余的。可以评估这种冗余以减少输入(原始数据)410中的冗余。例如,减少输入410冗余可以节省扫描仪硬件,减少对部件的需求,并且还减少对患者的暴露剂量。
在部署中,配置400形成包括输入定义410、训练网络420和输出定义430的包400。包400可以相对于另一系统(诸如,成像系统、分析引擎等)部署和安装。
如图4B的示例所示,深度学习网络420可以与多个深度学习网络421-423链接和/或以其他方式组合以形成更大的学习网络。例如,网络420-423的组合可以用于进一步细化对输入的响应和/或将网络420-423分配给系统的各个方面。
在一些示例中,在操作中,“弱”连接和节点初始可以设置为零。然后,DLN 420在重新训练过程中处理其节点。在某些示例中,在重新训练期间不允许更改设置为零的节点和连接。考虑到网络420中存在的冗余,很有可能将生成同样良好的图像。如图4B所示,在重新训练之后,DLN 420变为DLN 421。还检查DLN 421以识别弱连接和节点并将它们设置为零。该进一步重新训练网络为DLN 422。示例性DLN 422包括DLN 421中的“零”以及新的一组节点和连接。DLN 422继续重复处理,直到在DLN 423(被称为“最小可行网络(MVN)”)处达到良好的图像质量。DLN 423是MVN,因为如果尝试在DLN 423中将附加连接或节点设置为零,则图像质量会受损。
一旦利用DLN 423获得MVN,就将“零”区域(例如,曲线图中的不规则暗区域)映射到输入410。每个暗区域可能映射到输入空间中的一个或一组参数。例如,零区域中的一个可链接到原始数据中的视图数量和通道数量。由于可以减少对应于这些参数的网络423中的冗余,因此很可能可以减少输入数据并且输入数据可以产生同样良好的输出。为了减少输入数据,获得对应于减少的参数的新原始数据集合并通过DLN 421运行。网络420-423可或可不被简化,但是DLN 420-423中的一个或多个被处理,直到达到原始数据输入410的“最小可行输入(MVI)”。在MVI处,输入原始数据410的进一步减少可导致图像430质量降低。例如,MVI可以降低数据采集的复杂性,减少对系统部件的需求,减小对患者的压力(例如,较少的屏气或对比)和/或减少对患者的剂量。
通过强制DLN 420-423中的一些连接和节点为零,网络420-423构建“附属物”以进行补偿。在该过程中,获得对DLN 420-423的拓扑的深入了解。需注意,例如,DLN 421和DLN422具有不同的拓扑,因为已经强制一些节点和/或连接为零。这种有效地从网络中移除连接和节点的过程超出了“深度学习”,可以被称为“深度-深度学习”。
在某些示例中,输入数据处理和深度学习阶段可以作为单独的系统实现。然而,作为单独的系统,两个模块都不知道较大的输入特征评估循环以选择感兴趣/重要的输入参数。由于输入数据处理选择关系到产生高质量输出,因此来自深度学习系统的反馈可以用于经由模型执行输入参数选择优化或改进。不是扫描整组输入参数以创建原始数据(例如,这是强力的并且可能很昂贵),而是可以实现主动学习的变体。使用主动学习的这种变体,可以确定起始参数空间以在模型中产生期望或“最佳”结果。然后可以随机减小参数值以生成原始输入,这些原始输入会降低结果的质量,同时仍保持可接受的质量范围或阈值,并通过处理对模型质量影响不大的输入来减少运行时间。
图5示出了深度学习网络的示例性训练和部署阶段。如图5的示例所示,在训练阶段,向网络504提供一组输入502以用于处理。在该示例中,该组输入502可以包括待识别的图像的面部特征。网络504在前向方向506上处理输入502以关联数据元素并识别模式。网络504确定输入502表示狗508。在训练中,将网络结果508与已知结果512进行比较510。在该示例中,已知结果512是人脸(例如,输入数据集502表示人脸,而不是狗脸)。由于网络504的确定508与已知结果512不匹配510,因此生成错误514。错误514沿着通过网络504的后向通路516触发对已知结果512和相关联数据502的反向分析。因此,训练网络504通过网络405从前向通路506和后向通路516学习数据502、512。
一旦网络输出508与已知输出512的比较根据特定标准或阈值匹配510(例如,匹配n次,匹配大于x%等),训练网络504就可以用于生成用于与外部系统部署的网络。一旦部署,就将单个输入520提供给部署深度学习网络522以生成输出524。在这种情况下,基于训练网络504,部署网络522确定输入520是人脸524的图像。
图6示出了利用训练网络包来提供深度学习产品供应的示例性产品。如图6的示例所示,提供输入610(例如,原始数据)用于预处理620。例如,对原始输入数据610进行预处理620以检查格式、完整性等。一旦已对数据610进行了预处理620,就创建630数据的补丁。例如,创建630具有特定大小和格式的数据的补丁或部分或“块”以供处理。然后将补丁馈送到训练网络640中进行处理。基于学习的模式、节点和连接,训练网络640基于输入的补丁确定输出。组装650输出(例如,组合和/或以其他方式分组在一起以生成可用输出等)。然后将输出显示660和/或以其他方式输出给用户(例如,人类用户、临床系统、成像模态、数据存储(例如,云存储、本地存储、边缘设备等)等。)。
如上所述,可以将深度学习网络打包为用于培训、部署和应用于各种系统的设备。图7A至图7C示出了各种深度学习设备配置。例如,图7A示出了一般深度学习设备700。示例性设备700包括输入定义710、深度学习网络模型720和输出定义730。输入定义710可以包括经由网络720转化为一个或多个输出730的一个或多个输入。
图7B示出了示例性训练深度学习网络设备701。也就是说,训练设备701是被配置为训练深度学习网络设备的设备700的示例。在图7B的示例中,将多个训练输入711提供给网络721以在网络721中开发连接并提供由输出评估器731评估的输出。然后,输出评估器731将反馈提供到网络721中,以进一步开发(例如,训练)网络721。可以将附加输入711提供给网络721,直到输出评估器731确定网络721被训练(例如,输出已经根据特定阈值、误差幅度等满足输入到输出的已知相关性)。
图7C示出了示例性部署深度学习网络设备703。一旦训练设备701已经学习到必要水平,就可以部署训练设备701以供使用。例如,在训练设备701处理要学习的多个输入时,部署设备703处理单个输入以确定输出。如图7C的示例所示,部署设备703包括输入定义713、训练网络723和输出定义733。例如,一旦网络721已经被充分训练,就可以由网络721生成训练网络723。例如,部署设备703经由网络723接收系统输入713并处理输入713以生成输出733,该输出然后可以由与部署设备703相关联的系统使用。
在某些示例中,训练设备701和/或部署设备703可以集成在学习和改进工厂中,以基于反馈向目标系统提供输出、收集反馈并更新/重新训练。图8A示出了包括训练深度学习设备701和部署深度学习设备703的示例性学习和改进工厂800。如图8A的示例所示,训练深度学习设备701向模型评估器802提供输出。模型评估器802将设备701的输出与已知输出进行比较和/或以其他方式测量输出的准确度、精度和/或质量,以确定训练设备701是否准备好部署。一旦模型评估器802确定设备701已经被正确地训练,模型评估器802就将训练网络的模型从设备701提供给模型部署模块804,该模型部署模块准备训练模型用于部署。模块804将准备的模型提供给部署深度学习设备生成器806,该生成器利用用于来自输入定义和输出定义的框架或包在来自设备701的训练网络的模型周围实例化部署深度学习设备703。
部署设备703在输入上操作并提供输出,并且反馈收集器808监视输出(和输入)并基于部署深度学习设备703的操作收集反馈。反馈存储在反馈存储器810中,直到已经收集特定量的反馈(例如,特定数量、特定质量/一致性、特定时间段等)。一旦收集足够的反馈,就触发重新训练启动器812。重新训练启动器812从反馈存储器810检索数据并结合重新训练数据选择器814操作,以从反馈存储器810中选择数据以提供给训练深度学习设备701。然后使用反馈来更新/重新训练训练设备701的网络,直到模型评估器802满足训练网络模型完成。然后,如上所述,在部署深度学习设备703中准备并部署更新/重新训练模型。
如图8B的示例所示,学习和改进工厂800可以以各种级别/层级实现。例如,微学习和改进工厂801可以为具体设备、设备特征等建模和/或提供支持。例如,学习和改进工厂803可以针对整个系统或安装。全球学习和改进工厂805可以提供输出并建模组织、设施等。因此,学习和改进工厂801-805可以通过组织来实现,以学习、建模和提高系统准确性、性能、有效性、安全性、效率等。
图8C示出了用于训练和部署深度学习网络模型的示例性方法820的流程图。在框822处,训练深度学习网络模型。例如,将多个输入提供给网络并生成输出。在框824处,评估深度学习网络模型。例如,将网络输出与这些输入的已知/参考输出进行比较。当网络建立连接和学习时,网络模型的准确性提高。在框826处,评估输出以确定网络是否已成功建模预期输出。如果网络没有,则训练过程在框822处继续。如果网络已成功建模输出,则在框828处,生成基于深度学习模型的设备。在框830处,部署深度学习设备。
在框832处,收集并存储来自基于部署深度学习模型的设备的操作的反馈,直到收集的反馈满足阈值(框834)。反馈可以包括输入、部署模型信息、预处理和/或后处理信息、实际和/或校正输出等。一旦满足反馈收集阈值,就在框836处启动模型重新训练。在框838处,选择来自收集的反馈的数据(和/或其他输入数据)以重新训练深度学习模型。数据选择可以包括预处理和/或后处理以正确地格式化数据以供模型训练等。然后控制转到框822以(重新)训练深度学习网络模型。
图8D重申了在基于部署深度学习网络模型的设备的操作840期间收集和存储反馈并且重新训练模型以进行重新部署的示例性过程。反馈可以包括输入、部署模型信息、预处理和/或后处理信息、实际输出和/或校正输出等。在框842处,审查收集的反馈以确定收集的反馈是否满足收集/反馈阈值(例如,反馈量、反馈频率、反馈类型、反馈所用的时间量等)。如果不满足阈值,则反馈收集和存储在框840处继续。然而,如果满足阈值,则在框844处启动模型重新训练。
在框846处,选择数据以重新训练深度学习网络模型。数据包括收集的反馈,并且还可以包括其他数据,包括例如到模型的原始输入数据和/或其他参考数据。因此,模型可能不会仅仅在反馈数据上进行重新训练,而是例如在馈送到深度学习模型中的旧数据和新数据的混合上进行重新训练。数据选择可以包括预处理和/或后处理,以正确地格式化数据以进行模型训练等。
在框848处,重新训练深度学习网络模型。也就是说,提供数据作为输入以修改网络模型并生成输出。在框850处,评估输出以确定网络模型是否已被(重新)训练。在框852处,如果网络尚未建模预期输出,则控制恢复到框848以继续利用输入和输出评估进行模型训练。如果(重新)训练的网络已成功建模预期输出(例如,在特定时间阈值内等),则在框854处生成基于深度学习模型的设备。在框856处,部署深度学习设备。因此,可以启动训练和/或重新训练模型并将模型用于生成基于部署网络模型的设备。虽然在操作期间不修改部署设备,但是例如可以更新和/或以其他方式修改训练模型并且周期性地将其用于替换/重新部署部署网络模型。
图9示出了利用深度学习来为一个或多个系统和/或相关联的用户提供应用程序的包括数据工厂902、应用程序工厂916和学习工厂924的示例性系统。在图9的示例中,数据工厂902包括一个或多个数据规划904、策展工具906、批量数据摄取908、数据选择/过滤器910、连续数据摄取912和数据目录/湖914。示例性数据工厂902摄取数据908、912,并且可以处理数据以选择/过滤数据910并根据特定规划904格式化数据。可以根据一个或多个策展工具906组织数据并将其存储在数据目录/湖914中以使应用程序工厂916和/或学习工厂924可用。应用程序工厂916包括查看器918,其允许系统和/或相关联的用户查看和/或访问经由应用程序服务920和/或管道目录922可用的应用程序。
例如,在图9的示例中,学习工厂924包括模型目录926,其包括应用程序工厂916和/或其他外部系统可用的一个或多个网络模型(例如,基于深度学习的网络模型、基于机器学习的网络机器等)。学习工厂924还包括数据科学928,其包括用于形成模型目录926中的模型和/或由该模型利用的数据。示例性数据科学928包括架构目录930、数据准备932、结果/报告934、训练和验证936以及测试938,以组织和以其他方式预处理数据、训练和验证学习网络、报告结果并测试结果等。例如,经过训练和验证的网络可用于经由模型目录926在一个或多个应用程序中部署。
图10示出了医疗设备生态系统1000的概述,该医疗设备生态系统包括在物理上内部部署的设备(物理工厂)1002和外部部署的设备1004以及数字工厂1006。如图10的示例所示,数字工厂1006包括数据工厂902、数据目录914、学习工厂924、基于深度学习网络的模型目录926等。数字工厂1006提供一个或多个数字模型1008(例如,深度学习网络模型、机器学习模型等)和/或与其交互。数字工厂1006与物理工厂交互,该物理工厂包括内部部署1002的多个设备1010-1016(例如,设备1010和1012)和外部部署1004的多个设备(例如,设备10140和1016)。设备1010-1016连接到数字工厂1006,并且可以将数据上载到数字工厂1006、订阅来自目录926的模型、更新模型等。例如,内部部署1002中的设备1010、1012可以用于利用数字工厂1006进行的测试和细化目的,而外部部署1004中的设备1014、1016与部署模型“实时”,帮助设备1014、1016进行决策和/或其他执行。
图11示出了物理设备1010的示例性配置1100及其与数字工厂1006交互的数据流,该数字工厂可以包括数据工厂902及其数据目录914、数据策展906,以及学习工厂924及其模型目录926、应用程序工厂916及其应用程序管道目录922等。如图11的示例所示,物理设备1010(例如,成像扫描仪)包括设备控制器1102、检测器1104和源1106以采集患者1108的图像数据。扫描仪设备1010在图像采集1114中提供扫描环境1110和扫描仪数据1112。采集引擎1114与数字工厂1006交互以模拟图像数据的采集等。采集的图像数据被提供用于重建1116,并且重建引擎1116也与数字工厂1006交互以便基于模型的资源用于所采集的图像数据的重建。例如,结合从数字工厂1006提供的应用程序,提供重建图像用于查看1118。例如,可以将一个或多个应用程序和/或测量1120应用于重建图像(例如,基于来自数字工厂1006的模型和/或其他应用程序等)。可以在一个或多个临床工作流程1122中利用处理的图像和/或其他数据,这些工作流程又利用来自数字工厂1006的应用程序、数据和模型来促进临床工作流程1122的改进和/或自动执行。例如,可以将工作流程的结果提供给分析和决策支持1124,以结合数字工厂1006驱动结论、建议、下一动作、模型细化等。
图12示出了处理和利用数据工厂902和学习工厂924中的数据的示例性方法1200的流程图。在框1202处,摄取数据(例如,通过批量908和/或连续912摄取等)。在框1204处,策展摄取的数据。例如,可以将一个或多个数据分类、处理和/或其他策展工具906应用于组织摄取的数据。在框1206处,处理策展的数据并将其用于学习。例如,可以分析策展的数据,将其用于训练深度学习网络等。在框1208处,打包并部署由处理的数据生成的且基于学习的输出。例如,可以在模型目录926中编目一个或多个训练深度学习网络并使其可用于部署。
图13提供了关于处理和利用数据工厂902和学习工厂924中的数据的示例性方法1200的进一步细节。如图13的示例所示,数据摄取1202包括从一个或多个预置数据源1302(诸如,图片存档和通信系统(PACS)、供应商中立档案(VNA)、企业档案(EA)、成像扫描仪等)提取数据。摄取的数据被收集并存储1304在数据目录/湖1306中。在框1308处,经由图像和/或其他数据查看器1310选择和/或提取数据以供查看1310。
图13还提供了关于数据策展/组织1204的进一步细节。在框1312处,分析所选择/提取的数据以确定应用程序和/或其他请求的数据是否正确。如果不是,则控制恢复到框1308以选择/提取不同的数据。如果已经选择了正确的数据,则在框1314处对数据进行审查以确定数据是否被策展。如果数据未被策展,则在框1316处发生数据策展。例如,数据策展涉及准确标记数据、利用可编辑边界框识别感兴趣区域(ROI)、添加元数据信息、修改不正确的预策展信息等,并保存为新数据集。将策展的数据提供回数据目录1306。如果在框1314处数据被策展,则控制转移到框1206处的数据处理。
如图13更详细地所示,数据处理1206包括使用一个或多个数据准备工具1320来准备数据1318。准备数据用于人工智能(AI)的开发(框1322),诸如深度学习网络模型和/或其他机器学习模型的开发等。数据准备1318(例如,用于训练、验证、测试等)包括数据补丁的创建和标记、图像处理(例如,裁剪、压缩等)、数据增加以生成更多训练样本、三维图像处理以提供给学习网络模型、数据库创建和存储(例如,json和/或其他格式)、补丁图像数据存储(例如,.png、.jpeg等)等。在一些示例中,将最终补丁图像数据集存储在数据目录/湖1306中。
例如,在框1324处,从可用模型的AI目录1326中选择AI方法(例如,深度学习网络模型和/或其他机器学习模型等)。例如,可以导入深度学习模型,可以修改模型,可以促进转移学习,可以选择和/或修改激活函数,可以进行机器学习选择和/或改进(例如,支持向量机(SVM)、随机森林(RF)等),可以选择和/或修改优化算法(例如,随机梯度下降(SGD)、AdaG等)。AI目录1326可以包括一个或多个AI模型,诸如良好的老式人工智能(GOFAI)(例如,专家系统等)、机器学习(ML)(例如,SVM、RF等)、深度学习(DL)(例如,卷积神经网络(CNN)、递归神经网络(RNN)、长期短期记忆(LSTM)、生成性对抗网络(GAN)等)、范例(例如,监督、无监督、强化等)等。
在框1328处,初始化模型开发(例如,使用激活函数、权重、偏差、超参数等),并且在框1330处进行模型的训练(例如,如上所述等)。在某些示例中,训练1330是一个包括训练和验证的迭代过程,涉及超参数设置、超参数搜索、训练/验证设置精度曲线图、曲线下面积(AUC)作图、间歇模型生成和保存、提前和/或手动停止训练等。在框1332处,评估AI模型的精度以确定精度是否可接受。如果精度不可接受,则控制恢复到框1318以进行附加数据准备和后续开发。如果精度可接受,则在框1334处释放AI模型以进行测试(例如,提供附加输入和评估输出等)。在框1336处,报告测试的结果。例如,可以提供实验参数和结果的连续记录。
图13还提供了关于打包和部署1208的进一步示例性细节。在框1338处,如果所测试模型的精度不可接受,则控制恢复到框1318以进行数据准备。如果所测试模型的精度可接受,则在框1340处将该模型添加到训练模型的目录。在框1342处,打包训练模型的目录中的一个或多个模型,并且在框1344处部署包(例如,到目标站点、目标系统等)。
利用深度和/或其他机器学习的示例性改进保健系统及其相关联的方法
图14示出了用于患者评估和诊断的示例性保健系统1400。示例性系统1400包括成像设备1410、信息子系统1420、采集引擎1430、重建引擎1440以及用于与人类1402诸如用户1404(例如,医生、护士、技术人员和/或其他保健从业者等)和患者1406进行交互的诊断引擎1450。保健系统1400的部件可以使用执行硬编码配置、固件配置、结合存储器的软件指令等的一个或多个处理器来实现。例如,系统1400的一个或多个部件可以包括基于处理器的系统,包括适用于执行本文所讨论的功能(包括在本文其他地方描述的方法的各种元件的性能)的硬件和/或软件代码、例程、模块或指令的组合。应当注意,这类软件例程可体现在制造(例如,光盘、硬盘驱动器、闪存存储器、基于通用串行总线(USB)的驱动器、随机存取存储器(RAM)、只读存储器(ROM)等)中,并且被配置为由处理器执行以使本文描述的功能的性能生效。
使用示例性系统1400,可以基于来自信息子系统1420和/或采集引擎1430的设置通过成像系统1410(例如,CT、X射线、MR、PET、超声、MICT、单光子发射计算机断层显像(SPECT)、数字断层合成等)来检查患者1404。设置可以由部署的深度学习网络模型/设备(诸如CNN、RNN等)指示和/或影响。基于信息诸如检查原因、患者识别、患者背景、群体健康信息等,成像设备1410设置可以被配置用于由采集引擎1430单独或结合信息子系统1420(例如,图片存档和通信系统(PACS)、医院信息系统(HIS)、放射信息系统(RIS)、实验室信息系统(LIS)、心血管信息系统(CVIS)等)针对患者1406进行图像采集。例如,可以收集来自信息子系统1420和/或采集引擎1430的信息以及来自成像设备1410的反馈,并将其提供给训练深度学习网络模型,以修改用于图像采集的未来设置、推荐等。周期性地和/或在满足特定标准时,训练深度学习网络模型可以处理反馈并生成用于针对系统1400进行部署的更新模型。
单独或结合附加的患者病史、患者背景、群体健康信息、检查原因等将从成像装置1410采集的原始图像数据提供给重建引擎1440,以处理数据从而生成所得图像。重建引擎1440使用信息和采集的图像数据来重建患者1406的一个或多个二维(2D)和/或三维(3D)图像。用于重建的方法、重建引擎1440设置等可以由深度学习网络(诸如,CNN、RNN等)来设置和/或受其影响。例如,可以使用深度学习网络来确定和修改切片厚度、图像质量等。
在某些示例中,原始图像数据可以由重建引擎1440来预处理。预处理可包括一个或多个子过程,诸如强度校正、类似、过滤等。在某些示例中,可检测图像数据中的解剖标记,并且可创建图像网格。基于解剖标记和图像网格,重建引擎可以注册图像数据(例如,根据参考坐标系等)。在注册之后,可提取图像数据中感兴趣的特征。
在某些示例中,原始图像数据中感兴趣的具体特征可根据感兴趣的具体疾病或病症而变化。例如,在诊断神经病症中,可能有用的是提取脑部图像数据的某些特征以便于诊断。此外,在一些示例中,可能希望确定患者或者一个或多个参考个体的大脑皮层的厚度。
某些示例处理由成像设备1410和采集引擎1430采集的原始数据,并将原始图像数据提供给重建引擎1440,以产生a)提供给诊断决策支持引擎1450的机器可读图像以及b)显示用于用户诊断的人类可查看图像中的一者或两者。
例如,虽然图像重建主要是针对人类消耗而进行的,但是预重建数据可以由机器使用,该机器不关心数据是否已被重建以便人类可查看。因此,可以针对人类消耗和机器消耗不同地处理预重建数据。机器可读图像数据可以由重建引擎1440根据给定疾病的指示符进行处理,例如使得重建引擎1440和/或诊断引擎1450可以识别指示疾病的模式而不进行重建(例如,在原始图像数据采集状态中)。因此,在一些示例中,重建引擎1440可以与诊断引擎1450一起执行诊断,而不是依赖用户1404与诊断引擎1450进行交互以进行临床诊断。
然后可以将来自重建引擎1440的图像输出提供给诊断引擎1450。诊断引擎1450可以从重建引擎1440获取图像数据和/或从信息子系统1420获取非图像数据,并且处理数据(例如,静态数据、动态数据、纵向数据等)以确定关于患者1404的诊断(和/或有利于用户1406进行诊断)。提供给诊断引擎1450的数据还可以包括来自一个或多个患者监测器(诸如,脑电图(EEG)设备、心电图(ECG或EKG)设备、肌电图(EMG)设备、电阻抗断层显像(EIT)设备、适用于收集神经传导数据的设备和/或这些设备的某一组合)的数据。
在一些示例中,诊断引擎1450处理来自图像数据的一个或多个感兴趣的特征,以有利于针对一种或多种疾病类型或者疾病严重程度对患者1406进行诊断。图像数据可从各种来源获得,诸如成像设备1410、信息子系统1420、其他设备、其他数据库等。此外,这种图像数据可与具体患者诸如患者1406或者群体样本中的一个或多个参考个体相关。例如,图像数据可以由重建引擎1440和/或诊断引擎1450处理,以从图像登记和提取感兴趣的特征。
然后可以将信息从诊断引擎1450输出到用户1404、信息子系统1420和/或其他系统以用于进一步存储、传输、分析、处理等。例如,可以将信息以字母数字数据格式显示并制表以供进一步分析和查看(例如,基于度量分析、偏差度量、历史参考比较等)。另选地或除此之外,例如,可以通过单独或相对于参考数据获取的热图、偏差图、表面矩阵等整体呈现数据以供分析。本受让人共同拥有的美国专利9,271,651、8,934,685、8,430,816、8,099,299和8,010,381提供了关于示例性整体分析的进一步公开。
可针对各种患者疾病类型和/或患者病症以及相关联的严重程度提供患者诊断,同时还提供决策支持工具用于患者的用户诊断。例如,可以以整体、直观和统一的方式将患者临床图像和非图像信息一起可视化,从而促进用户1404的有效诊断。在另一个示例中,可以将患者皮层偏差图和已知脑部疾病的参考皮层偏差图与其他患者和参考偏差图的计算以及这些图与其他临床测试的组合一起可视化,以实现脑部疾病的定量评估和诊断。
进行诊断是一项非常专业的任务,即使是训练有素的医学影像专家也会对图像进行主观评估。由于这一内在的主观性,诊断可能不一致且非标准化。诊断引擎1450可以采用深度学习网络(诸如,CNN、RNN等)来帮助改进诊断的一致性、标准化和准确性。诊断引擎1450可以将附加数据(诸如,非图像数据)包括在深度学习网络中,以向患者诊断提供整体方法。
在某些示例中,系统1400的部件可以经由任何类型的公用或专用网络(诸如但不限于互联网、电话网络、局域网(LAN)、电缆网络和/或无线网络)进行通信和交换信息。为了能够经由网络进行通信,系统1400的一个或多个部件包括通信接口,该通信接口能够连接到以太网、数字用户线(DSL)、电话线、同轴电缆或任何无线连接等。
在某些示例中,信息子系统1420包括本地存档和远程系统。远程系统周期性地和/或在触发时经由网络接收本地存档。远程系统可从各种计算设备收集本地存档(例如,包括从信息子系统1420、重建引擎1440、诊断引擎1450等收集本地存档),以生成远程医学图像存档的数据库。在一些示例中,远程系统包括用于分析、关联和/或处理信息的机器学习算法,以基于来自各种临床位点的存档来开发大型数据分析。例如,远程系统可以收集多个图像以训练和测试要部署的神经网络,以自动检测图像中感兴趣的区域(例如,自动轮廓等)。
图15示出了用于患者评估和诊断的示例性改进的保健系统1500的进一步详细视图。在图15的示例中,成像设备1410、信息系统1420、采集引擎1430、重建引擎1440和诊断引擎1450被配置有多个深度学习网络1522、1532、1542、系统健康模块1550和系统设计引擎1560。
如图15A所示,采集引擎1430、重建引擎1440和诊断引擎1450中的每一个与相关联的学习和改进工厂1520、1530、1540通信以用于反馈评估和训练,并且包括分别部署的深度学习设备1522、1532、1542(例如,CNN、RNN、其他深度神经网络、深度置信网络、递归神经网络、其他机器学习等)以帮助参数选择、配置、数据处理、结果确定等。例如,虽然在图15A的示例中相对于引擎1430、1440、1450描绘了设备1522、1532、1542,设备1522至1542可结合在工厂1520至1540中,如上文参照图8A所述。例如,学习和改进工厂1520、1530、1540实现学习、反馈和更新所部署的深度学习设备1522、1532、1542的过程。引擎1430、1440、1450向待处理的工厂1520至1540中的一者或多者提供反馈并训练更新的模型以调整设置、调整输出、请求输入等。例如,周期性地和/或以其他方式在达到阈值、满足标准等时,工厂1520、1530、1540可替换和/或重新部署用于设备1522、1532、1542的深度学习网络模型。
部署的深度学习网络(DLN)设备1522、1532、1542和相关联的工厂1520、1530、1540的实现可使用特别配置为实现网络,诸如深度学习卷积神经网络,类似于上述示例网络100、200、300的处理器和存储器。可通过建立与网络1520、1530、1540的预期目的相关联的已知输入和输出来教授每个工厂1520、1530、1540。例如,采集学习和改进工厂1520的任务是改进采集引擎1430的图像采集设置,以基于患者信息、检查原因、成像设备1410数据等提供给成像设备1410。例如,重建学习和改进工厂1530的任务是基于所获取的图像数据、成像设备1410设置和历史数据来确定图像质量和重建反馈。例如,诊断学习和改进工厂1540的任务是基于患者信息、图像重建信息和分析以及临床知识库来辅助患者诊断。
对于每个工厂1520、1530、1540,确定用于培训、验证和试验的数据集。例如,用于训练和验证工厂1520、1530、1540及其包括的训练网络模型的学习部分是可用数据的验证和试验部分的倍数。工厂1520、1530、1540可以多种方式初始化。例如,如果不存在关于与相应工厂1520、1530、1540相关联的组件1430、1440、1450的先验知识,则可使用除网络的最终分类器层的所有层的随机数来初始化工厂1520、1530、1540的训练深度学习网络,其可初始化为零。如果存在先验知识,则可通过将先前学习的值传送到网络中的节点来初始化工厂1520、1530、1540的网络层。另选地,即使不存在先验知识,也可使用堆叠自动编码器技术来初始化网络层。
在某些示例中,给予和/或来自工厂1520、1530和/或1540的反馈被捕获在存储中(例如,在基于云的存储中存储和/或缓冲等),包括输入数据、实际输出和期望输出。当接收到足够量的反馈时,相应工厂1520、1530、1540的训练DLN以递增方式重新训练或使用附加反馈数据(例如,基于原始反馈数据加上附加反馈数据等)进行新的训练,取决于收到的反馈数据量。一旦(重新)训练,来自工厂1520至1540的网络模型可用于生成和/或重新部署用于深度学习设备1522至1542的经过部署的网络模型。
在某些示例中,自动编码器技术提供有效编码的无监督学习,诸如在人工神经网络中。使用自动编码器技术,可针对一组数据学习表示或编码。自动编码可用于使用编码器和解码器来学习数据模型和/或其他降维,从而处理数据以构建层(包括隐藏层)和层之间的连接以形成神经网络。
例如,可使用包括输入层、隐藏层和输出层的3层神经网络来实现自动编码器。在该示例中,输入层和输出层包括相同数量的节点或单元,但并非所有隐藏层节点都连接到输入层中的所有节点。相反,隐藏层中的每个节点连接到输入层的局部区域中的输入节点。例如,与图3的示例一样,自动编码器网络可将图像的部分建模,以检测具有减少数量的参数的局部模式和/或特征。示例性自动编码器可包括两个组件:1)将输入x映射到隐藏层表示h=f(x)的编码器函数f,以及2)映射h以重构x用于输出层的解码器函数g。使用权重和偏差,自动编码器可用于通过隐藏层h生成输入x的新表示。
错误的反向传播可批量使用(例如,小批量等),涉及使用随机梯度下降(SGD)从学习数据集中随机选择的数据的预定集合(例如,小集合),以最小化或者以其他方式减少预定成本函数,同时尝试通过自动编码器网络中的规则化(例如,丢弃,非线性之前的小批量的批量归一化等)来防止过度训练。使用小批量而不是整个训练数据集,分析应该更快地收敛。在利用初始数量的训练数据训练工厂1520、1530、1540的DLN(例如,多个验证数据等)之后,对于训练期间的每个后续批次数据,执行验证并监测验证错误。例如,通过该过程跟踪和累积具有最佳验证错误的学习参数以改进未来的训练。在验证之后选择提供最小错误的参数(例如,超参数)。此外,如果在预定次数的迭代之后验证错误没有改善,则可停止学习迭代。如果验证错误得到改善,则迭代可继续,直到验证错误稳定为止。然后,例如,可为工厂1520、1530、1540的DLN选择参数。
超参数表示要在工厂1520、1530、1540中调整的变量。在一些示例中,在将该学习算法应用于神经网络之前,为特定学习算法选择超参数。例如,可手动固定和/或通过算法确定超参数。在一些示例中,用于选择超参数值(例如,训练数据)的数据不能用于测试工厂1520、1530、1540的DLN。因此,例如,一旦使用训练数据确定超参数值,则使用单独的测试数据集来测试网络。
例如,来自采集引擎1430、重建引擎1440和诊断引擎1450的输出和/或其他反馈提供给系统健康模块1550,以生成系统1500的健康状况的指示,其基于来自重建引擎1440的图像质量指示符、诊断引擎1450提供的诊断置信度分数和/或深度学习网络1522、1532、1542经由采集引擎1530、重建引擎1440和/或诊断引擎1450生成的其他反馈。采集引擎1430、重建引擎1440和诊断引擎1450提供给系统健康模块1550的输出/反馈也提供给学习和改进工厂1520、1530,以基于输出和/或其他反馈来更新其网络模型。因此,可使用来自后续阶段1530、1540等的反馈来更新前一阶段的学习和改进工厂1520、1530。系统健康模块1550可包括其自己部署的深度学习设备1552和系统学习和改进工厂1555,用于建模和调整系统健康状况和相关指标、建议等的确定。
深度学习网络通过学习模式来确定模式。学习包括使用已知输入和输出调整网络参数。学习的网络可在给定新输入的情况下预测输出。因此,在学习过程期间,网络以表示通用输入到输出映射的映射的方式调整参数,因此,它们可以非常高的精度确定输出。
对部署的深度学习设备(DDLD)1522、1532、1542的输入和输出可基于DDLD 1522、1532、1542的目的而变化。例如,对于采集DDLD 1522,输入和输出可包括患者参数和成像设备1410扫描参数。例如,对于重建DDLD 1532,输入和输出可包括使用计算密集算法的投影域数据和重建数据。例如,对于诊断DDLD 1542,输入可包括二维和/或三维图像,并且输出可包括标记的可视化或放射学报告。用于实现DDLD 1522、1532、1542的一类网络可基于目标任务而变化。在某些示例中,可通过利用非医疗数据和医疗数据来训练相应的采集、重建或诊断学习和改进工厂1520、1530、1540,并且使用经训练的模型生成DDLD 1522、1532、1542。
例如,重建引擎1440向采集学习和改进工厂1520提供反馈,其可基于图像质量和/或由重建引擎1440确定的其他输出特性重新部署DDLD 1522和/或以其他方式更新采集引擎1430参数。当由DDLD 1522建模和处理时,采集引擎1430可使用此类反馈来调整其设置。重建引擎1440还可向其自己的重建学习和改进工厂1530提供反馈。采集引擎1430还可向其自己的采集学习和改进工厂1520提供反馈。
类似地,例如,诊断引擎1450向重建引擎1440的学习和改进工厂1530提供反馈,其可基于与诊断和/或由诊断引擎1450确定的其他输出特性相关联的置信度分数重新部署DDLD 1532和/或以其他方式更新重建引擎1440参数。当由DDLD 1532建模和处理时,重建引擎1440可使用此类反馈来调整其设置。
学习和改进工厂1520、1530、1540中的一者或多者还可从一个或多个人类用户1404接收反馈(例如,基于使用诊断引擎1450的结果来诊断和治疗患者1406等)。通过链接引擎1430至1450、工厂1520至1540以及系统健康模块1550之间的反馈,引擎1430、1440、1450可从成像和诊断过程的当前和/或后续阶段学习和改进。
因此,某些示例考虑检查患者的原因,结合部署了采集的深度学习设备1522、部署了重建的深度学习设备1532、部署了诊断的深度学习设备1542和部署了系统健康的深度学习设备1552,以改进系统1500及其组件的配置和操作,诸如成像设备1410、信息子系统1420、采集引擎1430、重建引擎1440、诊断引擎1450等。深度学习可用于图像分析、图像质量(诸如,清晰度、分辨率和/或其他图像质量特征等)等。
学习数据集可用作每个学习和改进工厂1520、1530、1540的输入。例如,学习数据集可包括具有指定的图像质量度量(例如,1至5的等级等)的图像数据集作为输出。系统1500及其组件将一个或多个度量评估为输出并反馈给工厂1520、1530、1540以持续进行改进。使输入和输出自动化到工厂1520、1530、1540、1555以及DDLD 1522、1532、1542、1552有利于持续的系统操作和改进。
在某些示例中,使用来自不同成像模态(MRI、CT、x射线等)的医学图像的3D形貌可提供分类、卷积等的变化。模型可由相应的DDLD 1522、1532、1542形成。可基于解剖学、临床应用、患者信息(例如,数据和/或侦察扫描等)、病历等调整模型。
在某些示例中,每个DDLD 1522、1532、1542确定签名。例如,DDLD 1522、1532、1542确定机器(例如,成像设备1410、信息子系统1420等)服务问题、与患者健康相关的临床问题、噪声纹理问题、伪影问题等的签名。DDLD 1522、1532、1542可基于输入、学习的历史模式、病历、偏好等确定指示这些问题之一的签名。
某些示例通过DDLD 1522、1532、1542提供验证和回归试验的度量。输出还可包括来自签名分类的通知。某些示例提供用于人类视觉检查的图像质量矩阵/度量。某些示例提供用于非人类解释的图像质量矩阵/度量(例如,大数据分析、机器学习等)。
某些示例可提供用于质量控制的输出(例如,提供数字或值以反映成像扫描的整体质量等)。某些示例提供用于重新扫描辅助的输出(例如,决定是否保证重新扫描等)。某些示例可用于自动化协议选择和/或新协议定制(例如,可基于图像质量度量等计算新协议参数)。
在某些示例中,输出可用于改进硬件系统的开发。例如,如果在医疗系统中识别出问题(例如,由硬件引起的伪影等),则下一次迭代可提出解决方案来解决或缓解该问题。在某些示例中,临床背景被添加到DDLD 1522、1532、1542以促进临床决策和支持。
DDLD 1522、1532、1542的输出可用于改进算法的开发,诸如用于衡量质量的算法。通过向工厂1520、1530、1540提供反馈,可通过相应工厂1520、1530、1540的DLN对算法的改变进行建模和测试,以确定改变如何影响输出数据。例如,反馈回路中的捕获和建模变化可与所获取的图像数据的非线性迭代重建一起使用。
某些示例通过系统1500的自动诊断来促进机器健康的监测和调整。可基于深度学习输出信息做出服务决定(例如,机器可自行运行的自动服务,手动人工修理的呼叫等)。可提供基于机器的决策支持,并且可调查和调整指示问题的一个或多个机器特定签名。
某些示例可基于从信息子系统1420输入的患者信息以及来自采集引擎1430、重建引擎1440和诊断引擎1450的输出结合其DDLD 1522、1532、1542来推断关于患者的附加信息。在某些示例中,基于病历、医疗问题、过去数据集等,DDLD 1522可帮助确定哪些采集设置最佳地获取图像数据集,并且DDLD 1532可帮助确定哪个协议是提供图像数据集输出的最佳选择。例如,患者行为,诸如扫描期间的移动、他们的身体如何处理对比度、扫描的定时、感知的剂量等,可被DDLD 1522收集作为输入,例如用于确定图像设备1410的采集设置。
某些示例提供了端到端图像采集和分析系统,其包括将多个DDLD 1522、1532、1542链接在一起的改进基础设施。例如,处理由成像设备1410和采集引擎1430采集的原始数据并将其提供给重建引擎1440以产生以下一者或两者:a)提供给诊断决策支持引擎1450的机器可读图像,和b)显示用于用户诊断的人类可视图像。提供不同的DLN用于采集、重建和诊断,并且每个DDLD 1522、1532、1542具有不同输入、不同处理和不同输出。
因此,示例系统1500使用互连的DDLD 1522、1532、1542和对应的引擎1430、1440创建一个或多个图像,并且经由诊断引擎1450和DDLD 1542将图像链接到决策支持以用于诊断。实时(或基本上实时的给定处理和传输延迟)反馈(例如,在学习和改进工厂1520、1530、1540和引擎1430、1440、1450之间的前馈和反馈)循环在示例系统1500中的采集和重建之间以及诊断和重建之间形成,例如,用于持续改进采集引擎1430、重建引擎1440和诊断引擎1450的设置和操作(例如,直接地和/或基于更新/再训练的DLN等通过替换/更新DDLD1522、1532、1542)。当系统1500从其组件的操作中学习时,系统1500可改进其功能。用户1404还可提供离线反馈(例如,提供给工厂1520、1530、1540等)。结果,例如每个工厂1520、1530、1540基于系统1500输入以及结合与患者1406相关联的个性化变量的用户输入而不同地学习。
在某些示例中,诊断引擎1450与DDLD 1542一起操作,其使用足够大的数据集进行训练、验证和测试,该数据集可充分地代表诊断引擎1450将遇到的预期数据的可变性。例如,诊断学习和改进工厂1540可用于改进其输出,因为诊断引擎1450和/或重建引擎1440向其提供更多输入。然后,例如,工厂1540可替换DDLD 1542的部署的DLN。
诊断引擎1450基于来自群体中的患者的大数据(例如,从信息子系统1420检索)识别一个或多个图像中的模式,以向用户1404建议患者1406的诊断。例如,示例性诊断引擎1450突出用户1404焦点的区域,并且可基于大数据分析来预测未来感兴趣的区域。即使图像以次优方式呈现,诊断引擎1450也可提供依赖于患者的答案,而不是依赖于该特定成像扫描的确定。诊断引擎1450可分析图像并基于在采集、重建、分析等中使用的设置确定用户1404可能看不到的故障点。输出可以自动以触发另一系统/设备和/或可作为对用户1404的建议呈现。例如,可将从系统1500输出的数据提供给基于云的系统。可将输出提供给系统健康模块1550的系统学习和改进工厂1555,使得系统健康模块1550获知应何时采取行动来维持或改善系统1500的健康状况。
系统健康模块1550接收来自多个组件1430、1440、1450的输入,并处理该输入以确定是否应该对系统1500进行更改。基于对影响采集引擎1430、重建引擎1440、诊断引擎1450等的问题的接触和学习,系统健康模块1550向采集引擎1430提供输出以修改成像设备1410和/或其他系统组件的行为。例如,系统健康模块1550还为系统设计引擎1560提供输出,其使用所识别的难题/问题来修改成像设备1410和/或系统1400、1500组件的设计。
图15B示出了示例系统实施方式1501,其中采集引擎1430、重建引擎1440和诊断引擎1450伴随有数据质量评估引擎1570、图像质量评估引擎1572和诊断评估引擎1574。在图15B的配置1501中,每个引擎1430、1440、1450从相关联的评估引擎1570、1572、1574接收直接反馈。在某些示例中,采集引擎1430、重建引擎1440和/或诊断引擎1450接收反馈,而不必更新其关联的部署的深度学习模块1522、1532、1542。另选地或除此之外,数据质量评估引擎1570、图像质量评估引擎1572和诊断评估引擎1574向引擎1430至1450提供反馈。尽管为简单起见在图15B的示例中描绘了直接连接,应当理解,每个基于深度学习的反馈模块1570至1574具有相关联的训练图像数据库,包括不同类别的示例条件,例如相关联的学习和改进工厂模块,编排模块以及关联参数更新和重启的触发器。
因此,例如,采集引擎1430可接收来自数据质量评估引擎(DQ-AE)1570、图像质量评估引擎(IQ-AE)1572和/或诊断评估引擎(Diag-AE)1574的反馈。例如,重建引擎1440可接收来自IQ-AE 1572和/或Diag-AE 1574的反馈。例如,诊断引擎1450可接收来自Diag-AE1574的反馈。
图16示出了用于改善的图像采集、处理和患者诊断的示例性方法1600的流程图。在框1602处,将个性化患者特征输入到采集引擎1430中。例如,临床医生可将个性化患者特征输入到采集引擎1430中。另选地或除此之外,可经由信息子系统1420为所识别的患者提供个性化的患者特征以成为图像。例如,在框1604处,采集引擎1430基于输入的个性化患者特征以及从DDLD 1522提取的学习的信息来建议一个或多个成像设备1410设置。
因此,使用特定于患者1406的信息以及由DDLD 1522学习的信息,可确定成像设备1410的图像采集的改进设置。在框1606处,由成像设备1410获得患者1406的一个或多个图像。根据采集引擎1430提供的设置获得图像。设置可由采集引擎1430在成像设备1410处自动配置和/或由用户1404(例如,临床医生、放射科医师、技术人员等)手动输入/覆盖。
在框1608处,重建引擎1440从采集引擎1430接收原始图像数据并处理图像数据以分配图像质量度量。图像质量(IQ)度量可为综合图像质量指示符(IQI)和/或关于图像质量方面的一个或多个特定度量。例如,特定图像质量度量包括空间分辨率、噪声等。在块840处,如上所述,可收集和存储由重建引擎1440生成的反馈。因此,系统1500从采集的图像数据的重建中学习的教益可反馈回采集学习和改进工厂1520中,以进一步改进成像设备1410的设置。在对图像数据进行图像质量分析之后,重建引擎1440处理图像数据以重建图像以供进一步查看和分析。可处理所得的一个或多个图像以用于自动机器分析,诸如计算机辅助诊断(CAD),或者用于人查看图像。
来自重建DDLD 1532的配置设置用于确定是否要处理所获取的图像数据以用于机器分析和/或人查看。在框1612处,重建图像以供人查看所得图像的显示。在框1614处,处理图像数据以产生适合于机器评估和图像分析的图像。例如,使用可机器分析的图像,可优化图像特征以用于计算机检测,但是对于诸如放射科医师的用户而言不需要在视觉上是可感知的。但是,对于人类可视图像,图像解剖结构的特征应是能由人类观察者检测到的,以便对重建有用。
在框1616处,如果已经重建人类可视图像,则重建代理1440将图像提供给诊断引擎1450,该诊断引擎将图像显示给用户1404。在框1618处,已生成机器可分析图像,然后重建引擎1440将机器可读图像提供给诊断引擎1450,用于基于来自诊断引擎1450的图像数据自动处理和建议诊断。
在框840处,从诊断引擎450提供关于人类可视图像和/或机器建议诊断的反馈。在框1624处,基于用户1404对图像的人类查看和/或诊断引擎1450对图像的自动处理,单独或结合来自DDLD 1542和/或信息子系统1420的数据对患者1406进行诊断。
例如,诊断可提供给用户1404、患者1406和/或路由到另一个系统。例如,在框840处,提供来自诊断引擎1450和/或用户1404的反馈。还可向系统设计引擎1560提供反馈。可向系统健康模块1560提供来自用户1404、诊断引擎1450、重建引擎440、采集引擎1430和/或其他系统1500组件的反馈,以计算系统1500健康状况的指示。
图17示出了当信息1700在系统1500的组件之间流动时的示例性数据流和转换。如图17的示例中所示,第一数据1702由成像设备1410提供给采集引擎1430。第二数据1704由信息子系统1420提供给采集引擎1430。采集引擎1430将包括第一数据1702和/或第二数据1704的第三数据1706发送到采集DDLD 1522。采集DDLD 1522将第三数据1706变换为第四数据1708,并将第四数据1708发送回采集引擎1430。采集引擎1430将第四数据1708发送到成像设备1410。采集引擎1430将第五数据1710发送到重建引擎1440。
重建引擎1440将包括第五数据1710的第六数据1712发送到重建DDLD 1532。DDLD1532将第六数据1012变换为第七数据1714,并将第七数据1714发送回重建引擎1440。重建引擎1440将第七数据1714发送到采集引擎1430。重建引擎1440将第八数据1716发送到诊断引擎1450。
诊断引擎1450将包括第八数据1716的第九数据1718发送到诊断DDLD 1542。DDLD1542将第九数据1718变换为第十数据1720,并将第十数据1720发送回诊断引擎1450。诊断引擎1450将第十数据1720发送到重建引擎1440。
因此,某些示例将患者信息、检查原因和患者图像数据转换为诊断和其他医疗保健相关信息。例如,通过诸如深度学习网络等机器学习,可通过成像、信息和分析设备的操作来开发、监测和优化多个参数、设置等。例如,使用深度学习网络,可在部署成像系统之前(例如,在内部或测试环境中)促进学习/训练和测试,同时例如在系统部署和激活使用之后“在现场”继续调整参数。
某些示例提供了组织成可部署在各种位置的单元或模块的核心处理能力。可使用设备外处理来提供微云、迷你云和/或全球云等。例如,微云提供一对一配置,其具有成像设备控制台,针对不具有云连接等的客户的低延迟处理(例如,笔划等)。迷你云部署在客户网络等上,例如,针对希望在内部保存数据的客户的低延迟处理。全球云部署在客户组织中,实现具有卓越运营的信息技术基础架构的高性能计算和管理。
例如,使用设备外处理引擎(例如,采集引擎1430、重建引擎1440、诊断引擎1450等,以及它们相关联的部署的深度学习网络设备1522、1532和/或1542等),可确定采集设置并将其发送到成像设备1410。例如,检查目的、电子病历信息、心率和/或心率变异性、血压、体重、俯卧/仰卧的视觉评估、头先或脚先等,可用于确定一个或多个采集设置,诸如默认视场(DFOV)、中心、俯仰、方向、对比度注入速率、对比度注入时间、电压,电流等,从而提供“一键式”成像设备。相似地,例如,内核信息、切片厚度、切片间隔等可用于确定包括图像质量反馈的一个或多个重建参数。可将采集反馈、重建反馈等提供给系统设计引擎1560,为成像设备1410提供实时(或基本上实时的给定处理和/或传输延迟)健康分析,如一个或多个数字模型(例如,深度学习模型、机器模型、数字孪生等)所表示的。数字模型可用于实时(或基本上实时地给定处理和/或传输延迟)预测成像设备1410的部件健康状况。
可使用具有相关结果的策划数据来训练每个深度学习网络。例如,关于中风的数据(例如,从开始到治疗后90天的数据等)可用于训练神经网络以驱动预测中风结果。因此,可鉴定操作、临床、治疗和治疗“生物标志物”以获得最佳和/或其他改善的结果。相似地,肺癌数据可通过深度学习网络进行分析,包括从筛选、诊断、治疗计划、治疗响应、最终结果等的部门到部门跟踪,用于包括CT、PET/CT、核医学等的一个或多个成像设备1410。
对于图像采集,给定一个或多个已知输入和一个或多个已知输出,可自动确定采集设置以训练采集学习和改进工厂1520,以获得可预测的输出来生成部署的DDLD 1522。当成像设备1410的设置输出达到可靠性阈值时,可认证采集引擎1430以提供成像设备1410的采集设置(例如,集成到成像设备1410中和/或作为单独的设备与成像设备1410等通信)。无需进一步的客户培训或测试即可使用和修改设置。结果,用户可获得高质量的图像采集并避免差的或低于标准的图像采集组。可训练采集设置和相关联的DDLD 1522以仅响应高质量的图像采集,并且当获得质量差的图像时,DDLD 1522可建议设置调整。因此,从用户的角度来看,按一个按钮以始终如一地获得快速图像检查。使用检查目的,结合患者参数,用于期望输出的DICOM标题,以及从现有医学检查获得的期望输出的、对应于成功和/或不成功数据集的成像设备1410参数的指示,DDLD 1522可识别良好的图像质量并建议相应的设置作为默认设置,并且当用户在配置成像设备1410用于图像采集时出错的情况下建议从错误恢复的设置。随着时间的推移,采集学习和改进工厂1520可基于所学习的成功和失败来发展和改进,例如以重新训练和重新部署改进的DDLD 1522来驱动至采集引擎1430。
在某些示例中,可捕获和管理基于云的协议以自动选择协议和/或规则,从而通过云实现最佳实践。
质量反馈也可以从图像重建获得。在没有人类审查的情况下,例如,可通过DDLD1532识别好的或差的图像并且与一个或多个图像质量度量和/或指示符相关联。例如,这样的图像质量指标(IQI)和/或其他度量可由重建引擎1440使用DDLD 1532生成,并用于在有或没有人类审查的情况下作出医学决策。生成的索引/度量可用于告知DDLD 1532和/或用户1404关于成像设备1410是否正在获取好的或差的质量图像以及在什么条件下等信息。
在深度学习中,测试可针对某一级别的已知病例自动评估图像质量。例如,可向系统设计引擎1560提供基于与成像设备1410设置相比的图像质量分析的反馈,以促进成像设备1410的进一步开发。例如,使用系统设计引擎1560以及学习和改进工厂1520和/或1530,可检测图像质量的下降并用于评估系统健康1550,包括成像设备1410的健康状况。虽然人类用户1404可能检测不到质量逐渐降低,但深度学习提供了用于早期检测的客观、无偏见的评估。
在某些示例中,可类似于图像质量指示符来计算诊断索引或可检测性指数。诊断索引可以是在给定一组数据的情况下,用户1404可在哪些条件下进行诊断的度量。DDLD1542和相关的诊断学习和改进工厂1540分析来自其他组件的当前和历史数据和系统1500参数,为用户1404、患者1406、病症类型、患者类型、检查类型等提供一致的指示。例如,一旦训练了工厂1540的训练DLN,就可将模型部署到DDLD 1542,并且可将诊断数据与图像质量进行比较。例如,可向重建引擎1440、采集引擎1430、相关联的学习和改进工厂1520、1530和/或用户1404提供反馈,以提供图像质量的进一步指示和/或成像设备1410的相应变化以用于采集。
在一些示例中,代替或者除了患者诊断的数字指示,可提供整体分析/显示。使用整体分析,可提供视觉指示,诸如热图、偏差图等,以可视化患者1406如何符合或不符合特定疾病或病症的趋势、特征、指标等。在某些示例中,随着工厂1540在其诊断学习中的改进,视觉表示可得到改善。使用具有诊断引擎1450及其DDLD 1542的整体方法,处理来自多个源的数据并将其转换成人可确定模式的形式。使用深度学习,DDLD 1542可处理数千个数据视图,其中人类用户1404可能仅能够在失去焦点之前合理地处理十个数据。
DDLD 1542的深度学习过程可确定模式(并且可能使得能够通过诊断引擎1450显示确定的模式的指示),而不是人类用户1404必须手动检测和认识(例如,查看)模式。DDLD1542可促进多变量分析和模式识别,其中人类用户1404可能难以这样做。例如,DDLD 1542和诊断引擎1540可能能够确定人类不可理解的不同模式,和/或人类可理解但埋藏在人类合理审查和分析的太多可能性中的模式。例如,DDLD 1542和诊断引擎1450可结合人类审查提供反馈。
在某些示例中,整体分析反馈到仅由用户1404单独或与诊断引擎1450一起进行的诊断。例如,诊断引擎1450及其DDLD 1542可作为法律规定/医疗设备,用于为人类策略提供第二意见。在某些示例中,诊断引擎1450可与DDLD 1542一起工作以提供自动诊断。
示例性分析框架
在某些示例中,使用示例系统1400、1500可提供医疗保健分析框架1800,用于图像采集、图像重建、图像分析和患者诊断(包括采集引擎1430、重建引擎1440和诊断引擎1450,以及它们相关联的DDLD 1520至150以及学习和改进工厂1520至1540)。如图18的示例所示,将诸如成像设备1410参数、重建引擎1440参数等的输入提供给基于物理的设备比较1810。例如,DDLD 1522和/或其他机器学习网络有利于设备比较1810。设备比较1810使用输入将成像设备1410与来自相同和/或不同供应商的相同和/或不同类型的其他成像设备进行比较。可使用深度学习和/或其他机器学习技术来学习和帮助基于设备1410特性、图像采集参数、重建设置等来开发比较。例如,DDLD 1522和/或1532可用于设备比较1810,以开发轮廓和/或将成像设备1410与其他成像扫描仪比较。
将设备1410比较信息提供给数据评估规范1820。例如,数据评估规范1820还可由DDLD 1522和/或1532和/或单独的处理器实现。数据评估规范1820处理来自重建引擎1440的重建图像1822,以及来自采集引擎1430和成像设备1410的原始图像数据1824的转换。诸如深度学习、字典学习(诸如,从其他图像构建字典并将字典定义应用于当前图像等)等机器学习方法可应用于重建和/或原始图像数据,以定义图像属性和/或基于任务的图像质量评估度量1826。使用深度学习和/或其他机器学习技术,可直接从图像和原始图像数据(例如,使用感兴趣的区域,不使用特定的模型和/或调制传递函数(MTF)等)提取图像质量信息(例如,噪声、分辨率等)。此外,可使用深度学习和/或其他机器学习从数据中提取一个或多个基于任务的度量(例如,可检测性等)。属性和度量1826基于基于设备的比较形成数据评估规范。
在某些示例中,可形成模型。数据评估规范1820构建传递函数1828,以数学地表示数据评估规范1820的输入和输出或对其建模。传递函数1828帮助生成图像属性和/或基于任务的图像质量评估度量1826并对其建模。在某些示例中,可基于分析来对变化建模,诸如计算结节体积、直接估计来自图像的变化源等,并且可使用建模的变化来标准化重建的图像并改进分析。
基于提供图像数据的分析和修改的模型和传递函数1828,结果处理器1830确定一个或多个临床结果。例如,可向结果处理器1830提供信息以便于用户(例如,经由诊断引擎1450)确定临床结果。另选地或除此之外,结果处理器1830可生成临床结果的机器确定(例如,使用具有图像分析的诊断引擎1450和DDLD 1542)。
因此,例如,传统上使用模型(例如,线、边缘等)结合MTF来测量图像分辨率质量。然而,许多放射科医师可通过观察图像来判断临床图像具有较低分辨率。深度学习和/或其他机器网络学习通过例如重复曝光和分析来模拟该观察。例如,使用来自设备比较1810的信息连同重建图像1822、标准化变换1824等,数据评估规范1820可使重建引擎1440及其DDLD 1532能够例如计算图像属性并重新校准变换,以与诊断引擎1450及其DDLD 1542一起工作,用于向临床医生提供分析,并识别图像中关于由例如DDLD 1542定义和/或学习的范围、阈值等的可接受或不可接受的分辨率。如果分辨率不可接受,那么可经由学习和改进工厂1520更新DDLD 1522,并且例如调整采集引擎1430的设置。
图像采集实施例
图19示出了使用成像设备1410和图像采集引擎1430进行图像采集的示例性方法1900的流程图。在框1902处,将个性化患者变量输入到采集引擎1430中。个性化患者变量可包括患者身高、患者体重、成像类型、检查原因、患者健康史等。例如,临床医生可将个性化患者特征输入到采集引擎1430中。另选地或除此之外,可经由信息子系统1420为所识别的患者提供个性化的患者特征以成为图像。
在框1904处,采集部署的深度学习网络设备1522分析对采集引擎1430的输入。例如,DDLD 1522处理患者参数、现有成像设备1410扫描参数等,以生成用于图像采集的成像设备1410设置。使用CNN、RNN、自动编码器网络和/或其他深度/机器学习网络,DLN 520利用先前的采集来与当前成像设备1410设置、患者信息、检查原因、病历和群体健康信息等进行比较,以生成预测输出。可探索设置、事件和结果之间的关系,以确定适当的成像设备1410设置、基于检查类型和患者类型的理想或优选采集设置、对成像设备1410设计的改变等。设置可包括针对足够(相对于较差和/或相对于高质量等)的图像质量等的强度或辐射剂量设置。设置可包括采集类型、持续时间、角度、扫描次数、位置等。
在框1906处,采集引擎1430基于输入的个性化患者特征以及例如从DDLD 1522提取的学习的信息来建议一个或多个成像设备1410设置。如上所述,来自DDLD 1522的输出可被组织为成像设备1410的一个或多个参数或配置设置,以获得患者1406的图像。因此,使用特定于患者1406的信息以及由所部署的深度学习网络设备1522学习的信息,可确定成像设备1410的图像采集的改进设置。基于检查原因、特定患者信息和现有成像设备1410设置,采集DDLD 1522可生成建议的设置以供采集引擎1430用于经由成像设备1410从患者1406获得图像数据。例如,这些设置可由采集引擎1430自动地施加到成像设备1410和/或由用户1404手动输入/覆盖。
在框1908处,由成像设备1410获得患者1406的一个或多个图像。根据采集引擎1430提供的设置获得图像。设置可由采集引擎1430在成像设备1410处自动配置和/或由用户1404(例如,临床医生、放射科医师、技术人员等)手动输入/覆盖。
在框1910处,采集的图像数据被发送至重建引擎1440(例如,被重建为人类可查看图像和/或机器处理的图像等)。重建引擎1440(使用DDLD 1532)可生成图像质量(IQ)度量,以作为综合图像质量指示符(IQI)和/或关于与所采集的原始图像数据相关联的图像质量方面的一个或多个特定度量。例如,特定图像质量度量包括空间分辨率、噪声等。
在框1912处,来自重建引擎1440的反馈被提供给采集学习和改进工厂1520,以改进用于成像设备1410设置生成和推荐的DDLD 520(例如,生成用于与采集引擎1430一起部署的新DDLD 1522)。因此,系统1500从采集的图像数据的重建中学习的教益可反馈回采集学习和改进工厂1520(和/或图像质量评估引擎1572等)中,以进一步细化网络操作并导致改进成像设备1410的设置。反馈确保对DDLD 1522(经由工厂1520)的持续改进,并且因此确保对提供给成像设备1410的用于各种患者1406的图像采集的设置的持续改进。
在框1914处,如果未显示图像,则不会获得附加反馈。然而,如果显示图像,则在框1916处,向采集学习和改进工厂1520提供附加反馈。例如,重建DDLD 1532、诊断引擎1450、诊断DDLD 1542、用户1404等中的一者或多者可向采集学习和改进工厂1520(和/或图像质量评估引擎1572等)提供进一步的反馈来改进其学习和数据处理。例如,可提供关于所用内核、降噪设置、切片厚度、间隔等的反馈。
在某些示例中,采集引擎1430和相关联的DDLD 1522可被实现为可连接到成像设备1410以将成像设备1410的操作配置用于图像采集的设备。该采集配置设备可由现场的技术人员或安装者使用,出售给客户以用于其自己的设备操作等。
图20示出了示例性图像采集配置系统2000,其包括训练学习设备2010和与成像系统1401通信的图像采集配置设备2020。图像采集配置设备2020包括处理器2030和存储器2040。设备2020的处理器2030将所部署的深度学习设备2050实例化。
在某些示例中,图像采集配置设备2020最初使用第一组成像系统配置参数来配置,该第一组成像系统配置参数通过使用训练学习设备2010训练和测试先前的一组参数来确定。设备2020还包括其自身部署的学习设备2050,该学习设备将使用训练学习设备2010来生成,以帮助图像采集配置设备基于系统操作、患者输入等等来确定配置参数。设备2050与配置设备2020一起操作,同时训练设备2010接收反馈并继续发展。当满足某些标准(例如,收集的反馈阈值、设备2050结果和建模的设备2010结果之间的偏差裕度等)时,训练设备2010可重新部署所部署的学习设备2050。例如,设备2010、2050可如上所述来实现。
一旦设备2010的网络已被训练(例如,达到与患者类型、检查类型、图像采集类型、图像质量阈值等的成像设备1410配置参数相关联的可靠性阈值),设备2020及其初始参数便可使用训练学习设备2010来部署。直到配置设备2020正在为成像设备1410生成相关的、可靠的设置建议,训练设备2010继续提供建议和调整,并结合关于低效、不准确等的反馈,以继续学习和细化给定检查目的的参数选择、患者类型、病症类型、剂量、安全阈值、操作条件等,以及重新部署所部署的学习设备2050。
一旦已部署学习设备2050,并且配置设备2020已被验证为具有足够的可靠性和质量,则可释放图像采集配置设备2020以在客户站点进行部署和安装(例如,由与成像设备1410制造商相关联的技术人员使用,由客户直接使用等)。设备2020可被部署为物理连接或“插入”到成像设备1410(例如,通过电线、电缆、连接器等)。另选地或除此之外,图像采集配置设备2020可与成像设备1410无线通信(例如,经由BluetoothTM、蓝牙低功耗(BLETM)、近场通信(NFC)、Wi-FiTM等)以将设置传输至成像设备1410并接收来自成像设备1410的反馈。例如,在设备1410、2020的操作期间,训练学习设备2010使用反馈来继续学习、修改和改进设置推荐。设备2020还可与重建引擎1440和/或其他图像处理工作站通信,以获得成像设备1410的图像数据采集所产生的图像的图像质量反馈。例如,训练设备2010也使用该反馈来进一步训练以对良好质量作出响应,并对不良质量的图像采集提出建议。
图21示出了训练和部署图像采集配置设备2020的示例性方法2100的流程图。在框2102处,使用训练设备2010来训练图像采集配置设备2020。例如,设备2020及其初始配置设置可基于设备2010对一个或多个参考参数集的训练和测试,首先使用训练学习设备2010来训练。
在框2104处,继续训练直到训练学习设备2010的输出满足阈值(例如,与来自参考数据的已知响应相比较)。例如,良好参考数据和不良参考数据都可用于训练设备2010以识别可用结果和不可用结果。直到训练设备2010达到与患者类型、检查类型、图像采集类型、图像质量阈值等的成像设备1410配置参数相关联的可靠性阈值,训练设备2010继续训练并结合关于低效、不准确等的反馈,以继续学习和细化给定检查目的的参数选择、患者类型、病症类型、剂量、安全阈值、操作条件等。
一旦训练设备2010已被训练并验证为具有足够的可靠性和质量,则在框2106处,生成所部署的学习设备2050。例如,训练设备2010的训练网络用于为所部署的学习设备2050生成部署网络模型。
在框2108处,可释放图像采集配置设备2020以在客户站点部署(例如,供与成像设备1制造商相关联的技术人员使用,由客户直接使用等)。设备2020可被部署为物理连接或“插入”到成像设备1410(例如,通过电线、电缆、连接器等)。另选地或除此之外,图像采集配置设备1120可与成像设备1410无线通信(例如,经由BluetoothTM、蓝牙低功耗(BLETM)、近场通信(NFC)、Wi-FiTM等)以将设置传输至成像设备1410并接收来自成像设备1410的反馈。
在框2110处,图像采集配置设备2020可为成像设备1410生成配置参数以获得患者1406的一个或多个图像。基于患者1406、先前患者信息(例如,患者病史、来自信息子系统1420的家族史、二维和/或三维侦察扫描等)、检查的原因和/或类型等,配置设备2020的所部署网络2050生成配置参数以将成像设备1410配置用于患者1406的图像采集。
在框2112处,配置参数由配置设备2020输出。配置设备2020可向成像设备1410提供参数以自动地将成像设备1410配置用于图像采集(例如,由操作者覆盖和/或调节)。配置设备2020还可将参数提供给操作者以用于设置用于图像采集的成像设备1410。
在框2114处,由图像采集配置设备2020从成像设备1410接收反馈。例如,在成像设备1410采集图像期间和/或之后,可经由有线和/或无线连接接收反馈。在某些示例中,还可将关于所采集图像数据的重建和/或其他处理的反馈提供给采集配置设备2020和/或训练设备2010,以改进用于参数生成的DDLD 2050的操作。例如,训练设备2010可处理图像质量的指示(例如,太低、足够、太高等)以生成要部署在设备2050中的新的深度学习网络,从而改进配置设备2020对成像设备1410设置的确定。在框840处,如上所述收集并存储反馈以供处理。例如,在设备1410、2020的操作期间,训练设备2010使用反馈来继续学习、修改和改进设置推荐。反馈可用于进一步训练以对良好质量作出响应,并对不良质量的图像采集提出建议。
因此,图像采集配置设备2020用作客户和/或供应商可结合成像设备1410提供的黑盒,以配置和改进成像设备1410的操作,使用户交互最少。客户可使用和调整设备2020,但在使用成像设备1410部署设备2020之前,无需对设备2020进行培训和测试。使用配置设备2020及其部署的学习设备2050,普通用户可获得高质量(或用于读取等的足够诊断质量)图像采集,同时避免来自成像设备1410的不良质量或不可接受的图像采集组。
在某些示例中,可促进单个按钮推送以用于图像采集,其中用户1404推动按钮或以其他方式选择选项,并且配置设备2020执行其余操作以配置和激活成像设备1410。例如,设备2020生成将与患者信息一起提供给成像设备1410用于图像采集的DICOM标头信息。所得图像可与DICOM标头(包括诸如病历、血压等的数据)相关联。可包括关于先前图像、先前诊断、来自其他模态的信息等的信息。
所部署的学习设备2050被训练为对良好(或足够)质量的图像作出响应,并且当获得较差(或不足)质量的图像时向用户1404提供建议。设备2050识别出良好的图像质量并且建议用于在特定环境中获得良好质量图像的设置作为该特定环境的默认设置。当获得不良质量的图像时(例如,通过不良设置、用户错误等),设备2050可建议如何从错误中恢复,诸如通过建议可改变以纠正错误的不同设置。输入参数包括默认视场(DFOV)、中心、电压(kV)、电流(mA)、俯仰、方向、注入速率、注入时间等。例如,通过所部署设备2050的深度学习可不是采集侦察图像来识别地标并使用那些设置,而是促进对扫描范围、视场和/或其他设置的一键确定,并且操作者可例如修改或批准并激活图像采集。
例如,对于肝脏研究,有不同的方法来扫描患者。通过提供症状、对研究进行排序的原因、血液测试结果等,而不是纯粹的操作者选择、血液测试等,所部署的学习设备2050可确定如何扫描患者1406、使用或不使用对比度注入(例如,多快、浓度、总注入量等)、使用或不使用双能量等。可评估和配置多种成像模态的设置,诸如CT、MICT、SPECT、PET等,这些成像模态遵循相同的过程,具有针对不同输出的不同输入。可使用配置设备2020支持和改善心脏成像、神经灌注、肺癌筛查、治疗响应等。
例如,如果患者1406被安排进行对比度增强的肝脏检查,则具有正常心脏尺寸、尺寸和肝功能的患者使用某些对比度设置,但是如果患者的心脏功能较低(例如,受损),则可用成像设备1410配置较慢的推注(例如,较慢的注入速率)和较大的稀释对比度,以帮助确保在患者的特定位置提供该对比度。在没有由配置设备2020提供的更准确的配置设置的情况下,可获得患者的超过九百个视图。然而,通过利用先前的学习,例如,诊断可能只涉及六十个视图。在某些示例中,与系统健康模块1550和系统设计引擎1560一起工作,如果系统未以最佳性能运行,即使成像设备1410没有正常运行,也可调整采集和/或重建以获得诊断图像质量。在某些示例中,训练学习设备2010可被扰乱(例如,周期性地和/或基于事件触发,诸如结果、数据类型、检查类型等)来迫使设备2010重新评估其节点、连接、权重等。
在某些示例中,给予和/或来自设备2020的反馈被捕获在存储装置中(例如,在基于云的存储装置中存储和/或缓冲等),包括输入数据、实际输出和期望输出。当接收到足够量的反馈时,设备1120的训练学习网络2010以递增方式重新训练或使用附加反馈数据(例如,基于原始反馈数据加上附加反馈数据等)进行新的训练,取决于收到的反馈数据量。因此,训练网络2010可随时间推移了解成像设备1410等的用户和/或站点偏好,并通过重新部署所部署的学习设备2050来对设置、警报、推荐协议等的那些偏好作出反应。
图像重建实施例
如上所述,采集的图像数据可被重建和/或以其他方式处理以供机器处理和/或人类查看。然而,除非图像数据具有足够的质量以供预期的机器处理和/或人类读取,否则成像设备1410的图像采集不会成功并且对患者1406不利。
图像质量是医学成像的重要参数。以前,传统的成像测量度量,诸如空间分辨率、时间分辨率和低对比度可检测性,已经被医学成像界广泛用于比较不同成像设备(诸如X射线CT)的性能。最近,在重新定义图像质量度量方面做出了重大努力,这些度量可更接近基于任务的结果的性能。然而,由于影响图像质量的许多因素,诸如复杂解剖结构、依赖于对象的空间分辨率、依赖于剂量的空间分辨率、图像纹理、应用依赖性、噪声和模式、人类视觉系统、图像伪影、依赖于解剖结构的时间分辨率、依赖于对象的低对比度可检测性(LCD)、依赖于剂量的LCD等,这些努力仅取得有限的成功。
在某些示例中,迭代重建使许多测量度量非线性且较不可预测。例如,迭代重建图像的调制传递函数(MTF)既依赖于对象对比度又依赖于剂量。因此,举例来说,对于整个CT系统来说,仅引用一组MTF编号已不再足够。必须指出获得MTF的测试条件。这将数值转换为复杂的多维变量。
这个问题因人类视觉系统而变得更加复杂。对图像“质量”的判断可因观察者而异。例如,每个放射科医师基于过去的经验对图像的外观有他或她的偏好。一些放射科医师喜欢粗糙的噪声纹理,而其他放射科医师更喜欢精细的纹理。通常,放射科医师会将图像中噪声的存在与图像中结构的“清晰度”联系起来。另外,图像纹理目前无法用数学方法定义。例如,许多尝试,诸如引入噪声功率谱(NPS),未能区分噪声纹理的细微差异。
考虑到问题的复杂性,某些示例提供了基于深度学习和/或其他机器学习来建立图像质量度量的系统和方法。仅出于说明的目的,该方法聚焦于X射线CT成像分析和质量度量。然而,应当理解,此类技术可广泛适用于其他成像模态,诸如MR、PET、SPECT、X射线、超声波等。
对于X射线CT,图像质量指标(IQI)包括多个因素诸如剂量,并且可受环境因素诸如X射线通量水平的影响。一般来讲,较高的X射线的剂量产生更好的图像质量。然而,由于CT使用电离辐射,因此对患者健康具有不利影响,并且高水平的辐射暴露与癌症的增加概率相关。因此,希望将IQI建立为提供给患者的剂量的函数,诸如在图22的图中所示。需注意,IQI与剂量之间的关系可取决于临床应用。例如,40-50毫戈瑞(mGy)辐射用于产生良好的非对比度头部图像,而8-10mGy用于产生良好的腹部和骨盆图像。
在某些示例中,IQI基于人类消费的5分量表。在其他示例中,为计算机分析生成图像质量作为图像分类概率值的变化。例如,在1-5分的量表上,3表示图像是可诊断的(例如,具有诊断质量),5表示完美图像(例如,可能在剂量过高的情况下),并且1表示图像数据不可用于诊断。因此,优选的分数为3-4。DDLD 1532可通过模拟放射科医师行为和1-5分量表并基于采集的图像数据生成IQI。使用图像数据属性,DDLD 1532可分析图像并确定特征(例如,小病变),然后评估图像数据中每个特征的诊断质量。如果IQI低(例如,1、2等),则DDLD1532可提供关于如何提高在采集DDLD 1522处的图像质量的建议。如果IQI令人满意(例如,3、4等),则可建议用户1404(例如,放射科医师等)读取图像。在某些示例中,学习和改进工厂1530可随时间推移而了解特定用户和/或站点图像质量偏好。例如,医生S通常喜欢查看IQI为4的图像。学习到这一点,学习和改进工厂1530和/或图像质量评估引擎1572可提出扫描协议以实现4的IQI,或者触发该协议将不会实现医生S的IQI偏好的警告。因此,重建学习和改进工厂1530和/或图像质量评估引擎1572可基于IQI确定来促进自学协议(例如,工厂1530了解到用户更喜欢协议X以达到为Y的IQI等)。
在某些示例中,重建DDLD 1532可将图像建模为具有属于某个值或类别的变化概率。例如,图像可被分类为属于相关概率为90%的类别4、图像属于类别5的9%概率,以及图像属于类别3的1%概率。这些百分比随时间变化的值可用于在统计上确定更细粒度级别的渐变。
虽然生成IQI的传统方法并不成功,至少因为它们没有考虑到非线性迭代重建和人类视觉系统不那么可预测的性质,但某些示例提供了考虑到非线性迭代重建和人类可视化的IQI生成。如上所述,深度学习可用于基于输入数据和期望输出来训练和细化目标算法。某些示例将深度学习和/或其他机器学习应用于图像重建和图像质量度量(诸如IQI等)确定。
深度学习尝试通过使用分层方法识别对象来模拟人类大脑。随着深度学习网络从较低层导航到较高层,提取和抽象出更高级别的特征集。提取和抽象提供了该问题的答案和用于确定该答案的关键“特征”的标识。例如,用于确定IQI的图像特征包括局部信噪比、马尔可夫随机场、基于尺度和空间的Gabor小波分解、傅立叶变换等。例如,这些特征可用于初始化神经网络和补充自动特征映射,以生成图像质量分类器。图像可以是多种模态的二维(2D)、三维(3D)、四维(4D)或n维(ND)图像。
例如,深度学习输入包括标记图像和/或未标记图像。标记的图像可基于临床应用、人体解剖结构和/或其他重要属性进行分类。标记的图像还经历了图像质量评估,并且可将IQI分配给每个标记的图像。标记的图像基于使用图像进行临床决策的置信度进行评级。例如,级别3表示基于图像进行决策的足够置信度,而级别5表示基于图像进行决策的最高置信度。另一方面,级别1表示此类图像不可用于诊断。标记的图像最初用于训练深度学习图像质量算法。
图23A至图23B示出了图像质量深度学习网络的示例性学习和测试/评估阶段。如图23A的示例所示,将已知的标记图像2310应用于卷积网络2320。使用多个用户获得图像2310,并且它们的图像质量指标是已知的。如以上关于图1至图3所讨论的,卷积2320被应用于输入图像2310以生成特征映射,并且汇集2330减小图像尺寸以隔离图像2310的包括感兴趣特征的部分2325,从而形成完全连接的层2340。分类器2350(例如,softmax分类器等)将权重与表示感兴趣特征的节点相关联。分类器2350提供可用于生成已知图像质量指标2360的加权特征。在某些示例中,集中趋势度量诸如平均图像质量指标可用作用于训练目的的已知图像质量指标2360。例如,可对各个图像分别执行评估。
在图23A的示例中,通过由多个卷积内核2320卷积输入2310来创建多个特征映射。每个卷积内核2320被随机初始化,并且随着学习的进行,随机内核会聚到“特征映射”。接下来是汇集层2330。完全连接的层2340由汇集2330形成,并且可任选地添加另外的卷积层和汇集层。分类器级2350是确定输出指标2360的最后一层。在某些示例中,网络2300的训练使用随机梯度法(SGD)分批完成。
未标记的图像是尚未进行评估以识别和标记图像中特征的图像。未标记的图像可用于测试在图23A中训练的深度学习算法的性能,并细化算法性能。如图23B的示例所示,示例性网络2300也可应用于未标记的图像2315。可生成图像质量指标2365,并且可将其与已知图像质量指标2360进行比较以评估网络2300的开发和可靠性。如果测试并发现网络2300是令人满意的图像质量确定器,则可例如将网络2300部署为重建DDLD 1532。
存在可用于对将与某些IQI相关联的图像进行分类的多种深入学习和其他机器学习技术。例如,深度卷积网络可根据标记数据的可用性、计算和内存限制、性能要求等以多种方式建立。在示例性深度卷积网络的卷积层中,初始层包括多个特征映射,其中使用参数化的正态随机变量初始化节点权重。特征映射之后是第一汇集层,接着是第二卷积层,然后是第二汇集层,依此类推。随后的汇集层和卷积层是可选的,具体取决于配置、复杂性、数据类型、目标环境等。最后一层是分类层,使用例如softmax分类器来评估网络中的选项。
在某些示例中,分类层的权重和偏差被设置为0。softmax层的输出是一组正数,总计为1。换句话讲,softmax层的输出可被视为概率分布。使用该分布,网络可用于选择所需超参数的值。图24A至图24B示出了示例性深度卷积网络的示例性学习、验证和测试阶段。
如图24A的示例所示,如果在医疗数据的集合中没有一大组标记数据,则可以训练、验证和测试示例性网络2400。在学习阶段2410中,将标记图像输入2411到无监督学习层2413(例如,自动编码器等)。无监督学习层2413初始化用于输入2411的特征空间。在由无监督学习层2413处理之后,图像信息随后传递到卷积网络的一个或多个受监督学习层2415。如上所述,经由卷积层2415可创建特征映射并可减少特征。受监督学习层2415是网络2400中的隐藏层并执行反向传播。然后经由分类层2417对输出进行分类,该分类层分析权重和偏差并生成一个或多个图像质量指标2419。
在验证阶段2420中,通过将未标记图像2421输入到无监督学习层2413然后输入到卷积网络的受监督学习层2415来调谐超参数。在分类2417之后,生成一个或多个图像质量指标2419。
在验证阶段2420期间调谐参数后,测试阶段2430使用卷积网络2435的学习层处理输入的未标记图像2431。分类层2417产生图像质量指标2439。
如果有一大组标记数据可用,则可对网络进行训练、验证和测试,如图24B的示例所示。在学习阶段2440中,将标记图像输入2441到卷积网络2445的一个或多个学习层。如上所述,经由卷积层2445可创建特征映射并可减少特征。然后经由分类层2447对输出进行分类,该分类层分析权重和偏差并生成一个或多个图像质量指标2449。
在验证阶段2450中,通过将未标记图像2451输入到卷积网络2445的学习层来调谐超参数。在分类2447之后,生成一个或多个图像质量指标2459。
在验证阶段2450期间调谐参数后,测试阶段2460使用卷积网络2465的学习层处理输入的未标记图像2461。分类层2447产生图像质量指标2469。
虽然图24A至图24B的示例已用自动编码器和深度卷积网络示出,但也可在示例中使用深度残差网络。在深度残差网络中,相对于网络的堆叠非线性内部层明确定义期望的底层映射。使用前馈神经网络,深度残差网络可包括略过一个或多个内部层以连接节点的快捷连接。可通过具有反向传播的随机梯度下降(SGD)来端对端地训练深度残差网络,如上所述。
此外,可通过持续的学习和操作评估来改进深度学习网络。在某些示例中,结合输入数据的预处理的神经网络中间层的分析可用于确定数据中的冗余,以驱动数据生成效率。数据的预处理可包括但不限于主成分分析、小波分解、傅立叶分解、匹配过滤分解等。每个预处理可生成不同的分析,并且预处理技术可基于一个或多个已知条件下的深度学习网络的结构进行组合。然后可跨多个单独的分析(例如,从执行的每个预处理函数)执行元分析。
在某些示例中,可使用来自深度学习系统的反馈来优化或改进输入参数选择,从而改变用于处理输入(例如,图像数据、设备参数等)的深度学习网络以生成输出(例如,图像质量、设备设置等)。主动学习的变化可用于选择提供最佳结果的起始参数空间,然后随机地减小参数值以生成降低图像质量但仍保持可接受的质量值范围的原始输入,而不是扫描整个输入参数集以创建原始数据。随机减小的值可通过处理对图像质量影响很小的输入(诸如通过消除网络中的冗余节点、冗余连接等)来减少运行时。
例如,为了使用多个输入参数来处理每个原始数据集以产生对应的输出数据集,同时减少仍保持已处理的输出数据集的参数集值,则采用搜索策略来在参数空间中导航。首先,确定用于数据处理的参数(例如,重建参数等)。如图25A的示例所示,利用训练的网络2500确定重建参数的起始或初始参数集2510的输出质量(例如,重建图像数据集的IQI),并将其用作基线。例如,起始参数集2510包括重建参数Param 0,Param 1,…,Param N。从已知值(包括冗余参数)开始,可为N个数据集确定参考IQI。
由于目标是减少参数的数量,因此根据给定的策略(例如,梯度下降等)降低参数值,直到满足停止标准(例如,消除提供不良结果的已知琐碎选择等)。参数值选择器2504确定限制搜索空间和更新结果的搜索策略。原始数据集2506(例如,Dataset 0,Dataset1,…,Dataset N)被处理用于重建2508,以产生N个重建图像数据集2510。IQI比较器2512处理每个图像数据集2510以向参数值选择器2504生成反馈值。反馈值以基于平均参数的IQI与基于当前平均参数的IQI之间的差异为基础。对不同的数据集重复此过程,以映射规范化空间中每个参数的参数修剪过程的一般行为。重复该过程,直到识别出提供最小参数值的集合,该集合仍然提供可接受的图像质量,该图像质量可用作最佳可用解决方案。
图25B示出了用于使用部署的网络模型进行图像质量评估和反馈的示例性系统2501。如图25B的示例所示,采集参数更新器和重启器2520向采集引擎1430提供更新。重建参数更新器和重启器2522向重建引擎1440提供更新。协调器2524在引擎2520、2522和具有部署模型2526的图像质量评估引擎之间进行协调。图像质量学习和更新工厂2528从训练图像数据库2530学习,以训练与图像质量评估引擎2526(例如,图像质量评估引擎1572等)一起部署的深度学习网络模型。在操作中,具有部署模型2526的图像质量评估引擎向训练图像数据集2530提供信息,该信息可用于例如工厂2528的持续监测和改进。例如,训练图像数据集2530可包括表示不同类别的示例性错误条件的图像数据。例如,使用协调器2524,采集引擎1430和/或重建引擎1440可分别由采集参数更新器和重启器2520和/或重建参数更新器和重启器2522更新和重启。
图25C示出了还包括与诊断引擎1450相关联的检测/诊断参数更新器和重启器2532的示例性系统配置2503。示例性系统2503还包括具有部署模型2534的检测/诊断评估引擎。利用来自训练图像数据库2530的数据,由检测/诊断学习和更新工厂2536生成具有部署模型2534的诊断评估引擎。例如,训练图像数据库2530包括表示不同类别的示例性检测和条件诊断的数据。
在图25C的示例中,协调器2524在引擎2520、2522、2532和具有部署模型2534的检测/诊断评估引擎之间进行协调。检测/诊断学习和更新工厂2535从训练图像数据库2530学习,以训练与检测/诊断评估引擎2534(例如,诊断评估引擎1574等)一起部署的深度学习网络模型。在操作中,具有部署模型2534的检测/诊断评估引擎向训练图像数据集2530提供信息,该信息可用于例如工厂2534的持续监测和改进。例如,引擎2534可与专家2538一起工作。例如,使用协调器2524,采集引擎1430、重建引擎1440和/或诊断引擎1450可分别由采集参数更新器和重启器2520、重建参数更新器和重启器2522和/或检测/诊断参数更新器和重启器2532更新和重启。
某些示例利用深度学习和/或其他机器学习技术由采集的目标图像数据计算基于任务的图像质量。由于人类可通过观看图像来视觉地理解图像质量(例如,噪声、分辨率、一般诊断质量等)的水平,因此可训练人工智能或学习方法(例如,使用人工神经网络等)来评估图像质量。通常基于使用电线、线对和均匀区域(例如,由空气、水、其他材料等形成)的虚线扫描来估计图像质量(IQ)。这需要由人工操作者对物理模型进行单独扫描,并由技术人员和/或放射科医师进行读取,并且执行多个模型扫描来测量图像质量通常是不实际的。此外,图像质量本身可取决于正被扫描的对象或患者。因此,具有测试模型的图像质量可能不能代表扫描实际患者时获得的质量。最后,传统的IQ度量诸如点扩散函数(PSF)的半高全宽(FWHM)、调制传递函数(MTF)截止频率、线对中的最大可见频率、噪声的标准偏差等,不能反映真实的基于任务的图像质量。相反,某些示例提供了直接从采集的临床图像估计IQ的有效性。某些示例使用基于特征的机器学习或深度学习方法(称为学习模型)来评估图像质量。在某些示例中,可直接从实际患者图像和/或对象图像计算基于任务的图像质量(和/或整体图像质量指标)。
使用具有感兴趣的已知图像质量(IQ)的图像(例如,临床图像),可训练学习模型。通过操作原始图像(例如通过模糊或噪声插入等,以获得具有不同图像质量的训练图像),可生成额外的训练图像。一旦训练了学习模型,就可将该模型应用于新的临床图像以估计感兴趣的图像IQ。
例如,将从裁剪原始图像数据和边缘图信息获取的图像输入特征诸如平均值、标准偏差、峰度、偏斜度、能量、力矩、对比度、熵等与一个或多个标签(诸如空间分辨率水平、空间分辨率值等)组合,以形成用于机器学习系统的训练集。机器学习网络使用训练集形成训练模型,并将模型应用于从图像数据的测试集获得的特征。因此,机器学习网络基于训练模型信息输出估计的空间分辨率(例如,水平和/或值)。
在某些示例中,回归和/或分类方法可用于通过用对应图像IQ度量的绝对值和/或水平标记训练数据来生成图像质量度量。即,度量可包括图像质量的定量测量(例如,噪声水平、可检测性等)、图像质量的描述性测量(例如,李克特得分等)、图像质量的分类(例如,图像是否为诊断的,是否具有伪影等)和/或图像质量的总体指标(例如,IQI)。
在基于特征的机器学习方法中,模型训练的输入包括来自训练图像数据集的提取特征。可针对感兴趣的图像IQ定制特征选择。特征包括但不限于基于强度值直方图的特征(例如,平均值、标准偏差、偏斜度、峰度、能量、能量、对比度、力矩、熵等)。这些特征可根据原始图像数据来计算和/或可在对图像应用差分过滤器之后提取这些特征以用于局部增强和/或其他图像操作和/或变换。可从整个图像、裁剪图像和/或从一个或多个感兴趣区域(ROI)计算这些特征。还可包括基于邻接矩阵(诸如Mahotas Haralick等)的全局和/或局部纹理特征。
在基于深度学习(例如,基于卷积神经网络)的方法中,不需要定义一组特征。DLN将根据其对训练数据集的分析来识别特征本身。在某些示例中,与基于特征的机器学习方法(其中特征被识别为输入的一部分)相比,训练涉及更多的数据(如果特征尚未被识别)。
因此,在某些示例中,输入可包括完整图像、裁剪图像(例如,裁剪到感兴趣区域)、图像补丁等。对于图像补丁,可使用较小的图像补丁在局部基础上评估图像质量,并且可为图像生成图像质量图。度量,诸如定量图像IQ,诸如空间分辨率、噪声水平和/或基于任务的IQ度量(例如,可检测性等)可直接从临床图像中提取。某些示例可应用于执行或期望图像质量评估的任何环境中,诸如用于比较成像技术(例如,硬件和/或算法);在图像采集期间用于改进或优化扫描技术和实时重建(或基本上实时给定处理、存储和/或数据传输延迟)同时减少或最小化辐射剂量,和/或用于向临床医生提供量化的图像IQ以帮助诊断等。所提出的技术可应用于CT示例之间的其他成像模态,诸如MRI、PET、SPECT、X射线、断层合成、超声波等。
因此,通过识别变化源(例如,以图像分辨率计等)并根据变化重建图像,标准化变换可通过机器学习网络创建、细化并应用于图像重建(例如,使用重建引擎1430和相关联的DDLD 1532)。当计算图像属性时,重新校准变换可被开发、细化和应用于计算图像属性。分析可提供给临床医生,并用于使用学习网络评估图像分辨率。
例如,假设数据集包括九个心脏体积,每个体积有224个图像。高斯模糊应用于图像以生成四个附加分辨率水平的图像。总样本大小然后为224*5*9=10080。从原始图像数据中提取七个特征,并从图像的边缘图提取八个特征。通过将样本分成训练集(70%)和测试集(30%)来促进交叉验证,并使用随机森林回归。
生成并对比估计的(使用机器学习)和实际的(测量的)误差或分布之间的结果。例如,图26示出了估计FWHM(以毫米计)与真实FWHM的比较。图27示出了示例性真实FWHM分布。图28示出了示例性估计FWHM分布。图29示出了PSF的FWHM中的示例性估计误差(例如,估计FWHM-真实FWHM(mm))。图30示出了示例性数据集中特征重要性的示例性比较。图30的示例性图按特征指标组织特征重要性。来自原始图像数据的特征包括:0:平均值,1:峰度,2:偏斜度,3:能量,4:力矩,5:对比度,6:熵。来自边缘图的特征包括:7:平均值,8:标准偏差,9:峰度,10:偏斜度,11:能量,12:力矩,13:对比度,14:熵。如示例性数据所示,机器学习产生用于根据临床数据集估计空间分辨率的合理结果。另外,边缘图的熵被示出为用于估计空间分辨率以及原始图像的熵的重要特征。
其他用例可包括肺结节/钙化或用于肺癌检测的小结构检测和分析。变化源可包括噪声(例如,mA、峰值千伏(kVp)、患者尺寸等)、分辨率(例如,重建内核类型、厚度、像素尺寸等)、呼吸和心脏运动(例如,旋转速度和患者依从性等)、晕状伪影(例如,重建方法、部分体积、运动等)。对结果的影响可包括体积和密度的测量误差,这会导致分期不足和结构缺失。另一个用例可包括用于诊断冠状动脉疾病(CAD)的心脏灌注分析。变化源可包括患者生理学(例如,交叉患者和相同患者,动态范围小等)、射束硬化伪影(患者摄取、推注定时等)、心脏运动、造影剂汇集等。对结果的影响可包括不正确的灌注图(例如,遗漏的灌注缺损或错误的灌注缺损诊断等)。另一个用例可包括用于癌症检测的肝脏病变/小暗结构。变化源可包括噪声(例如,mA、kVp、患者尺寸等)、分辨率(例如,重建内核类型、厚度、像素尺寸等)、结构性噪声(例如,条纹、图案、纹理等)、阴影伪影(例如,骨、肋骨、脊椎重建伪影等)、运动等。对结果的影响可包括由于低对比度可检测性而遗漏的病变或不正确的诊断。
另一个用例可包括冠状动脉/血管成像。变化源可包括条纹或晕状伪影(例如,重建方法、部分体积、运动等)、噪声(例如,mA、kVp、患者尺寸等)、分辨率等。对结果的影响可包括,如果需要分析流明,则噪声和分辨率具有更大的影响。
另一个用例可包括用于中风的脑灌注。变化源可包括来自骨的阴影伪影、小的生理变化(例如,动态范围小等)、结构化噪声(例如,重建方法等)等。对结果的影响可包括不正确的灌注图(例如,遗漏的灌注缺损或错误的灌注缺损诊断等)等。
另一个用例可包括慢性阻塞性肺病(COPD)和/或其他肺病(例如,尘肺病等)诊断和分类(例如,胸腔VCAR)等。变化源可包括噪声(例如,mA、kVp、患者尺寸、切片厚度等)、分辨率(例如,内核、像素尺寸、厚度尺寸等)、造影剂(例如,碘等)、患者生理学(例如,扫描期间的肺容量,可从图像测得等)、呼吸运动等。对结果的影响可包括测量误差(例如,气道直径/周长、管腔狭窄低估、壁厚增加高估等)等。
另一个用例可包括肝脏脂肪定量(例如,脂肪变性分级、肝硬化分期等)。变化源可包括噪声(例如,mA、kVp、患者尺寸等)、分辨率(例如,重建内核类型、厚度、像素尺寸等)、结构性噪声(例如,条纹、图案、纹理等)、阴影伪影(例如,肋骨、脊椎重建伪影等)等。对结果的影响可包括测量误差和错误分期等。另一个用例可包括其他器官的体积/大小量化(例如,肾移植等)或器官中的肿块(例如,囊肿或结石等)等。
图31A示出了用于图像重建的示例性方法3100的流程图。在框3102处,从采集引擎1430接收图像数据。例如,重建引擎1440经由采集引擎1430从成像设备1410接收图像。在框3104处,预处理图像数据。例如,DDLD 1532根据一个或多个设置或参数预处理图像数据,诸如是否要从采集的图像数据生成人类可查看和/或机器可读的图像。例如,重建DDLD 1532可与训练的网络一起部署以替换降噪算法(例如,通过在多个噪声和无噪声图像对的示例上训练学习和改进工厂1530中的DLN)来转换噪声数据以产生高质量数据。
如上所述,机器可读图像不需要被格式化以供人类观看,而是可被处理以供机器分析(例如,计算机辅助诊断等)。相反,人类可查看图像应具有特征的清晰度(例如,足够的分辨率和降低的噪声等),使得放射科医师和/或其他人类用户1404可读取和评估图像(例如,执行放射学读取)。例如,DDLD 1532可在重建之前评估图像数据并确定重建设置。DDLD1532可确定重建和/或其他处理参数,以用于人类可查看和/或机器可读图像。
在框3106处,评估重建设置以确定是否要生成人类可查看和/或机器可读图像。在一些示例中,仅生成人类可查看图像以供用户1404查看。在一些示例中,例如,仅生成机器可处理的图像数据以供诊断引擎1450自动评估。在一些示例中,将提供人类可查看图像和机器可处理图像数据两者。
如果需要人类可查看的图像,则在框3108处,使用图像数据重建图像以供人类查看(例如,放射科医师读取)。例如,重建引擎1440和DDLD 1532(例如,在原始和重建图像对的多个示例上训练)可处理原始图像数据并产生与迭代算法质量等同或接近等同的一个或多个重建图像,而不是采用接收原始数据并产生图像的计算密集型迭代重建算法。另外,如上所述,DDLD 1532可例如将噪声数据转换为更高质量的图像数据。此外,DDLD 1532可用于调节图像数据并提供“宽视图”以在成像设备1410的检测器的视场(FOV)之外重建图像。DDLD 1532不是使用公式外推检测器之外的数据,而是可基于从其训练数据集中学到的内容来填充空白。如果需要机器可查看的图像数据,则在框3110处,处理图像数据以进行机器分析。例如,DDLD 1532可处理图像数据以消除噪声、扩展视野等。
在框3112处,分析重建的图像。例如,通过DDLD 1532分析图像的质量、IQI、数据质量指标、其他图像质量度量等。DDLD 1532从重建图像的内容(例如,识别的特征、分辨率、噪声等)中学习,并与先前重建的图像(例如,对于同一患者1406、相同类型的患者等)进行比较。在框3114处,将重建的图像发送至诊断引擎1450。例如,图像可由诊断引擎1450及其DDLD 1542显示和/或进一步处理,以便于对患者1406进行诊断。
类似地,在框3116处,分析经处理的图像数据。例如,通过DDLD 1532分析图像数据的质量、IQI、数据质量指标、其他图像质量度量等。DDLD 1532从机器可处理图像数据的内容(例如,识别的特征、分辨率、噪声等)中学习,并与先前的图像数据和/或重建的图像(例如,对于同一患者1406、相同类型的患者等)进行比较。在框3118处,将经处理的图像数据发送至诊断引擎1450。例如,图像数据可由诊断引擎1450及其DDLD 1542进一步处理,以便于对患者1406进行诊断。例如,机器可读图像数据可连同其他患者信息(例如,历史、实验室结果、2D/3D侦察图像等)一起提供给诊断引擎1450,其可被一起处理以生成输出,从而支持用户1404诊断患者1406(例如,生成支持文档以帮助放射科医师读取图像等)。
图31B提供了关于在用于图像重建的图31A的示例性方法3100的具体实施方式中的框3112和3116的进一步细节。图31B的示例性方法可由示例性方法3100中的框3112和3116中的一者或两者触发。
在框3120处,分析图像/图像数据以确定采集的图像是否为高质量图像。为了确定采集的图像数据是否表示“良好质量”图像,可将数据与一个或多个阈值、值、设置等进行比较。如上所述,可生成IQI、其他数据质量指标、可检测性指标、诊断指标等,以表示用于诊断患者1406的数据的可靠性和/或有用性。同时,IQI捕获图像的可接受性的量表(例如,李克特量表等),提供给放射科医师以供诊断。例如,可结合其他指标,诸如分辨率图像质量、噪声图像质量、活组织检查数据质量和/或其他数据质量度量,以表示用于诊断的图像数据的适用性。例如,特定于任务的数据质量指标可表示用于面向机器分析的采集图像数据的质量。
在框3122处,如果采集的和处理的图像和/或图像数据的质量不够,则重建DDLD1532向采集学习和改进工厂1520发送指示所获得的图像数据不具有用于分析和诊断的足够质量的反馈。这样,工厂1520继续学习和改进不同环境下的图像采集设置,并且可生成网络模型以重新部署DDLD 1522。在框3124处,采集引擎1430经由成像设备1410触发从患者1406重新采集图像数据(例如,在框3102处)。因此,重建DDLD 1532和采集DDLD 1522可一起工作以修改成像参数并重新采集图像数据,同时患者1406可例如仍在台上或至少靠近成像设备1410,从而减少对患者1406和工作人员的困难以及设备调度。
在框3126处,如果图像/图像数据质量满足阈值,则可评估图像质量以确定质量是否过高。过高的图像质量(例如,IQI为5指示“完美”图像等等)可指示当获得图像数据时患者1406暴露于过多辐射。例如,如果图像质量3或4足以用于用户1404和/或诊断引擎1450的诊断读取,则不需要图像质量5。如果图像质量过高,则在框3128处,从重建DDLD 1532向采集学习和改进工厂1520提供反馈,以调整成像设备1410的剂量/强度设置,用于将来的图像采集(例如,针对该患者的特定类型等)。该过程随后在框3114和/或3118处继续向诊断引擎3114提供重建的图像(框3118)和/或经处理的图像数据(框1450)以供处理和查看。
虽然结合图1至图31B示出了示例性具体实施,但结合图1至图31B示出的元件、过程和/或设备可以任何其他方式组合、划分、重新布置、省略、消除和/或实现。此外,本文所公开和描述的部件可通过硬件、机器可读指令、软件、固件和/或硬件、机器可读指令、软件和/或固件的任何组合来实现。因此,例如,本文公开和描述的部件可通过模拟和/或数字电路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)实现。在阅读本专利的任何装置或系统权利要求书以涵盖纯粹的软件和/或固件实现时,所述部件中的至少一个由此被明确地定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘,诸如存储器、数字通用光盘(DVD)、光盘(CD)、蓝光盘等。
代表用于实现本文所公开和描述的部件的示例性机器可读指令的流程图结合至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B示出。在这些示例中,机器可读指令包括由处理器诸如下文结合图32讨论的示例性处理器平台3200中所示的处理器3212执行的程序。该程序可体现在存储在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用光盘(DVD)、蓝光盘或与处理器3212相关联的存储器)上的机器可读指令中,但整个程序和/或其部分可以替代地由除处理器3212之外的设备执行和/或体现在固件或专用硬件中。此外,尽管参考至少结合图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B示出的流程图描述了示例性程序,但是可替代地使用实现本文公开和描述的部件的许多其他方法。例如,框的执行顺序可被改变,和/或所述框中的一些可被改变、消除或组合。尽管至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B的流程图以示出的顺序描绘了示例性操作,但是这些操作不是穷举性的,并且不限于示出的顺序。此外,本领域的技术人员可在本公开的实质和范围内作出各种改变和修改。例如,流程图中所示的框可以替代顺序执行或者可以并行地执行。
如上所述,至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如,计算机和/或机器可读指令)来实现,所述有形计算机可读存储介质诸如硬盘驱动器、闪存存储器、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘,其中信息被存储任何持续时间(例如,长时间存储、永久存储、短暂存储、用于暂时缓存和/或用于信息的高速缓存)。如本文所用,术语有形计算机可读存储介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所用,“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。附加地或另选地,至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如,计算机和/或机器可读指令)来实现,所述非暂态计算机和/或计算机可读介质诸如硬盘驱动器、闪存存储器、只读存储器、光盘、数字通用光盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘,其中信息被存储任何持续时间(例如,长时间存储、永久存储、短暂存储、用于暂时缓存和/或用于信息的高速缓存)。如本文所用,术语非暂态计算机可读介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所用,当短语“至少”用作权利要求的前言中的过渡术语时,其为开放式的,与术语“包含”为开放式的方式相同。此外,术语“包括”为开放式的,与术语“包含”为开放式的方式相同。
图32是被构造成执行至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B的指令以实现本文公开和描述的示例性部件的示例性处理器平台3200的框图。处理器平台3200可为例如服务器、个人计算机、移动设备(例如,移动电话、智能电话、平板电脑诸如iPadTM)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
例示的示例的处理器平台3200包括处理器3212。例示的示例的处理器3212为硬件。例如,处理器3212可由来自任何期望的系列或制造商的集成电路、逻辑电路、微处理器或控制器实现。
例示的示例的处理器3212包括本地存储器3213(例如,高速缓存)。图32的示例性处理器3212执行至少图8C、图8D、图12、图13、图16、图17、图19、图21、图31A和图31B的指令,以实现学习和改进工厂1520、1530、1540、1555和/或其他部件诸如信息子系统1420、采集引擎1430、重建引擎1440、诊断引擎1450等。例示的示例的处理器3212经由总线3218与包括易失性存储器3214和非易失性存储器3216的主存储器通信。易失性存储器3214可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器3216可通过闪存存储器和/或任何其他期望类型的存储器设备来实现。对主存储器3214、3216的访问由时钟控制器控制。
例示的示例的处理器平台3200还包括接口电路3220。接口电路3220可通过任何类型的接口标准来实现,诸如以太网接口、通用串行总线(USB)和/或PCI express接口。
在例示的示例中,一个或多个输入设备3222连接到接口电路3220。输入设备3222允许用户将数据和命令输入到处理器3212中。输入设备可通过例如传感器、麦克风、相机(静态或视频)、键盘、按钮、鼠标、触摸屏、跟踪板、轨迹球、等点鼠标和/或语音识别系统来实现。
一个或多个输出设备3224也连接到例示的示例的接口电路3220。输出设备3224可例如通过显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备和/或扬声器)来实现。因此,例示的示例的接口电路3220通常包括图形驱动卡、图形驱动芯片或图形驱动处理器。
例示的示例的接口电路3220还包括通信设备,诸如发射器、接收器、收发器、调制解调器和/或网络接口卡,以便于经由网络3226(例如,以太网连接、数字用户线路(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如,任何类型的计算设备)交换数据。
例示的示例的处理器平台3200还包括用于存储软件和/或数据的一个或多个海量存储设备3228。此类海量存储设备3228的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光光盘驱动器、RAID系统和数字通用光盘(DVD)驱动器。
图32的编码指令3232可存储在大容量存储设备3228中、易失性存储器3214中、非易失性存储器3216中和/或可移动的有形计算机可读存储介质(诸如CD或DVD)上。
根据上述内容,应当理解,已经公开了上述公开的方法、装置和制品,以使用多种深度学习和/或其他机器学习技术来监控、处理和改进成像和/或其他医疗保健系统的操作。
上述方法、装置和制品可应用于各种医疗保健系统和非医疗保健系统。在一个具体示例中,上述方法、装置和制品可应用于CT成像系统的部件、配置和操作。图33至图34示出了作为可应用本文所公开的方法、装置和制品的CT成像扫描仪的成像设备1410的示例性实施方式。图33和图34示出了包括机架12的计算机断层显像(CT)成像系统10。机架12具有旋转构件13,该旋转构件具有X射线源14,该X射线源将X射线束16朝向旋转构件13的相对侧上的检测器组件18投影。主轴承可用于将旋转构件13附接到机架12的静止结构。X射线源14包括静止目标或旋转目标。检测器组件18由多个检测器20和数据采集系统(DAS)22形成,并且可包括准直器。多个检测器20感测通过对象24的投影X射线,并且DAS 22将数据转换为数字信号以用于后续处理。每个检测器20产生模拟或数字电信号,该电信号表示入射X射线束的强度,并因此表示衰减的束通过对象24时的强度。在扫描以采集X射线投影数据期间,旋转构件13和安装在其上的部件可围绕旋转中心旋转。
旋转构件13的旋转和X射线源14的操作由CT系统10的控制机构26支配。控制机构26可包括向X射线源14提供功率和定时信号的X射线控制器28和发生器30以及控制旋转构件13的旋转速度和位置的机架马达控制器32。图像重建器34从DAS 22处接收采样和数字化的X射线数据并执行高速图像重建。重建的图像输出到计算机36,该计算机将该图像存储在计算机存储设备38中。
计算机36还经由操作员控制台40从操作员接收命令和扫描参数,该操作员控制台具有某种形式的操作员界面,诸如键盘、鼠标、触敏控制器、语音激活控制器或任何其他合适的输入装置。显示器42允许操作者观察来自计算机36的重建图像和其他数据。计算机36使用操作者采用的命令和参数向DAS 22、X射线控制器28和机架马达控制器32提供控制信号和信息。另外,计算机36操作台式马达控制器44,该台式马达控制器控制电动台46以定位对象24和机架12。具体地讲,台46使对象24全部或部分地移动通过机架开口48或孔洞。坐标系50定义了对象24沿着其进出开口48的患者或Z轴52、检测器组件18沿着其通过的机架周向或X轴54,以及沿着从X射线管14的焦点到检测器组件18的方向通过的Y轴56。
因此,某些示例可将深度学习和/或其他机器学习技术应用于CT扫描仪10及其机架12、旋转构件13、X射线源14、检测器组件18、控制机构26、图像重建器34、计算机36、操作员控制台40、显示器42、台控制器44、台46和/或机架开口48等的配置、设计和/或操作。例如,可基于输入、期望输出、实际输出等来监控部件配置、操作、结构,以学习和建议对扫描仪10和/或其部件的配置、操作和/或结构的改变。
虽然本文已经描述了某些示例性方法、装置和制品,但本专利的覆盖范围并不限于此。相反,该专利涵盖了完全落在本专利的权利要求范围内的所有方法、装置和制品。

Claims (17)

1.一种成像系统配置装置,包括:
训练学习设备,所述训练学习设备包括用于实现第一深度学习网络的第一处理器,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,所述训练学习设备用于接收和处理包括来自所述至少一个成像系统进行的多个图像采集的操作数据的反馈;以及
部署的学习设备,所述部署的学习设备包括用于实现第二深度学习网络的第二处理器,所述第二深度学习网络从所述训练学习设备的所述第一深度学习网络生成,所述部署的学习设备被配置为响应于接收到用于图像采集的第二输入,向所述成像系统提供第二成像系统配置参数;
还包括用于连接到所述成像系统的接口,所述接口一旦连接,就能够在所述成像系统与所述训练学习设备和所述部署的学习设备中的至少一者之间自动交换数据。
2.根据权利要求1所述的装置,其中所述第二输入包括用于所述图像采集的对象的患者信息。
3.根据权利要求1所述的装置,其中所述反馈包括图像重建质量信息。
4.根据权利要求3所述的装置,其中当所述图像重建质量信息未满足阈值时,所述部署的学习设备将生成针对下一个动作的推荐。
5.根据权利要求3所述的装置,其中当所述图像重建质量信息满足阈值时,所述第一处理器将所述第一组成像系统配置参数设置为所述成像系统的默认参数组。
6.根据权利要求1所述的装置,其中所述第二输入包括与所述图像采集相关联的医学检查的目的。
7.一种计算机可读介质,包括当被执行时配置机器以实现成像系统配置装置的指令,所述装置包括:
训练学习设备,所述训练学习设备包括用于实现第一深度学习网络的第一处理器,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,所述训练学习设备用于接收和处理包括来自所述至少一个成像系统进行的多个图像采集的操作数据的反馈;以及
部署的学习设备,所述部署的学习设备包括用于实现第二深度学习网络的第二处理器,所述第二深度学习网络从所述训练学习设备的所述第一深度学习网络生成,所述部署的学习设备被配置为响应于接收到用于图像采集的第二输入,向所述成像系统提供第二成像系统配置参数;
所述指令在被执行时还将所述机器配置为包括用于连接到所述成像系统的接口,所述接口一旦连接,就能够在所述成像系统与所述训练学习设备和所述部署的学习设备中的至少一者之间自动交换数据。
8.根据权利要求7所述的计算机可读介质,其中所述第二输入包括用于所述图像采集的对象的患者信息。
9.根据权利要求7所述的计算机可读介质,其中所述反馈包括图像重建质量信息。
10.根据权利要求9所述的计算机可读介质,其中当所述图像重建质量信息未满足阈值时,所述第一深度学习网络将生成针对下一个动作的推荐。
11.根据权利要求9所述的计算机可读介质,其中当所述图像重建质量信息满足阈值时,所述第一组成像系统配置参数被设置为所述成像系统的默认参数组。
12.根据权利要求7所述的计算机可读介质,其中所述第二输入包括与所述图像采集相关联的医学检查的目的。
13.一种用于图像采集的深度学习医疗方法,包括:
在训练学习设备处训练第一深度学习网络,以基于来自多个先前图像采集的第一组输入来学习第一组成像系统配置参数,从而配置至少一个用于图像采集的成像系统,所述训练学习设备用于接收和处理包括来自所述至少一个成像系统进行的多个图像采集的操作数据的反馈;
使用所述第一深度学习网络在部署的学习设备处生成第二深度学习网络;
利用所述第二深度学习网络部署所述部署的学习设备,以响应于接收到用于图像采集的第二输入而向所述成像系统提供第二成像系统配置参数;
从所述成像系统接收反馈,所述反馈包括来自所述成像系统的所述图像采集的操作数据;以及
基于所述接收的反馈来更新所述训练学习设备的所述第一深度学习网络;
还包括经由接口将所述图像采集配置设备连接到所述成像系统,其中所述接口一旦连接,就能够在所述成像系统与所述训练学习设备和所述部署的学习设备中的至少一者之间自动交换数据。
14.根据权利要求13所述的方法,其中所述第二输入包括用于所述图像采集的对象的患者信息。
15.根据权利要求13所述的方法,其中所述反馈包括图像重建质量信息。
16.根据权利要求15所述的方法,其中当所述图像重建质量信息未满足阈值时,所述第二深度学习网络将生成针对下一个动作的推荐。
17.根据权利要求15所述的方法,还包括其中当所述图像重建质量信息满足阈值时,所述图像采集配置设备将所述第一组成像系统配置参数设置为默认参数组。
CN201780080797.2A 2016-11-23 2017-11-20 用于图像采集的深度学习医疗系统和方法 Active CN110121749B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/360,626 2016-11-23
US15/360,626 US10127659B2 (en) 2016-11-23 2016-11-23 Deep learning medical systems and methods for image acquisition
PCT/US2017/062588 WO2018098078A1 (en) 2016-11-23 2017-11-20 Deep learning medical systems and methods for image acquisition

Publications (2)

Publication Number Publication Date
CN110121749A CN110121749A (zh) 2019-08-13
CN110121749B true CN110121749B (zh) 2024-02-13

Family

ID=60812129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080797.2A Active CN110121749B (zh) 2016-11-23 2017-11-20 用于图像采集的深度学习医疗系统和方法

Country Status (5)

Country Link
US (2) US10127659B2 (zh)
EP (1) EP3545526B1 (zh)
JP (1) JP7309605B2 (zh)
CN (1) CN110121749B (zh)
WO (1) WO2018098078A1 (zh)

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275906B2 (en) * 2014-07-16 2019-04-30 Koninklijke Philips N.V. iRecon: intelligent image reconstruction system with anticipatory execution
CA3021697A1 (en) 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
EP3465247A4 (en) * 2016-05-31 2020-02-12 Shanghai United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR ELIMINATING GIBBS ARTIFACTS IN A MEDICAL IMAGING SYSTEM
US11291532B2 (en) * 2016-07-27 2022-04-05 James R. Glidewell Dental Ceramics, Inc. Dental CAD automation using deep learning
CN107025369B (zh) * 2016-08-03 2020-03-10 北京推想科技有限公司 一种对医疗图像进行转换学习的方法和装置
US10452899B2 (en) * 2016-08-31 2019-10-22 Siemens Healthcare Gmbh Unsupervised deep representation learning for fine-grained body part recognition
US10127659B2 (en) 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
EP3559903B1 (en) 2016-12-23 2023-03-22 HeartFlow, Inc. Machine learning of anatomical model parameters
US10810721B2 (en) * 2017-03-14 2020-10-20 Adobe Inc. Digital image defect identification and correction
US10395141B2 (en) * 2017-03-20 2019-08-27 Sap Se Weight initialization for machine learning models
GB201705876D0 (en) 2017-04-11 2017-05-24 Kheiron Medical Tech Ltd Recist
GB201705911D0 (en) 2017-04-12 2017-05-24 Kheiron Medical Tech Ltd Abstracts
KR102475826B1 (ko) * 2017-04-21 2022-12-09 삼성메디슨 주식회사 영상 분할 방법 및 그 전자 장치
US10922556B2 (en) 2017-04-28 2021-02-16 Intel Corporation Storage system of DNN outputs for black box
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
CN107040628B (zh) * 2017-05-25 2019-04-12 维沃移动通信有限公司 一种摄像头组件及移动终端
WO2018221599A1 (ja) * 2017-05-31 2018-12-06 カリーナシステム株式会社 手術器具検出システムおよびコンピュータプログラム
EP3270308B9 (en) * 2017-06-14 2022-05-18 Siemens Healthcare GmbH Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product
GB201710877D0 (en) * 2017-07-06 2017-08-23 Nokia Technologies Oy A method and an apparatus for evaluating generative machine learning model
US10832387B2 (en) * 2017-07-19 2020-11-10 Petuum Inc. Real-time intelligent image manipulation system
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
CN107492099B (zh) * 2017-08-28 2021-08-20 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference
WO2019084411A1 (en) 2017-10-27 2019-05-02 Butterfly Network, Inc. QUALITY INDICATORS FOR COLLECTION AND AUTOMATED MEASUREMENT ON ULTRASONIC IMAGES
US11605447B2 (en) * 2017-10-27 2023-03-14 Siemens Healthcare Gmbh Intelligent agents for patient management
WO2019090023A1 (en) 2017-11-03 2019-05-09 General Electric Company System and method for interactive representation learning transfer through deep learning of feature ontologies
US10535001B2 (en) * 2017-11-06 2020-01-14 International Business Machines Corporation Reducing problem complexity when analyzing 3-D images
WO2019090533A1 (en) * 2017-11-08 2019-05-16 Shenzhen United Imaging Healthcare Co., Ltd. System and method for diagnositic and treatment
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings
US20190294992A1 (en) * 2017-11-28 2019-09-26 Yudong Zhu Hybrid learning for intelligent instruments
JP6950505B2 (ja) * 2017-12-08 2021-10-13 富士通株式会社 判別プログラム、判別方法および判別装置
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
US11048946B2 (en) * 2017-12-21 2021-06-29 Samuel Chenillo System and method for identifying cognate image sequences
US10755454B2 (en) * 2017-12-22 2020-08-25 General Electric Company Clinical task-based processing of images
US20200337668A1 (en) * 2018-01-19 2020-10-29 Koninklijke Philips N.V. Scan parameter adaption during a contrast enhanced scan
US11170545B2 (en) * 2018-01-24 2021-11-09 New York University Systems and methods for diagnostic oriented image quality assessment
US20190231288A1 (en) * 2018-01-26 2019-08-01 General Electric Company Systems and methods for contrast flow modeling with deep learning
US10393842B1 (en) * 2018-02-20 2019-08-27 The Board Of Trustees Of The Leland Stanford Junior University Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering
WO2019219387A1 (en) * 2018-05-16 2019-11-21 Koninklijke Philips N.V. Automated tumor identification during surgery using machine-learning
JP7126864B2 (ja) * 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
WO2019228482A1 (en) * 2018-05-30 2019-12-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
JP7114347B2 (ja) * 2018-06-04 2022-08-08 浜松ホトニクス株式会社 断層画像予測装置および断層画像予測方法
EP3807814A4 (en) 2018-06-15 2022-03-16 Subtle Medical, Inc. MAGNETIC RESONANCE IMAGING STANDARDIZATION SYSTEMS AND METHODS USING DEEP LEARNING
US11493585B2 (en) * 2018-06-29 2022-11-08 Canon Medical Systems Corporation Medical information processing apparatus and medical information processing method
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
EP3827282A1 (en) 2018-07-26 2021-06-02 Koninklijke Philips N.V. Ultrasound system with automated dynamic setting of imaging parameters based on organ detection
EP3605404B1 (de) * 2018-08-03 2023-10-04 Siemens Healthcare Diagnostics, Inc. Verfahren und vorrichtung zum trainieren einer maschinellen lernroutine zum steuern eines technischen systems
CN109325920B (zh) * 2018-08-06 2022-02-22 深圳大学 雾霾图像清晰化方法、系统及可存储介质
CN109003229B (zh) * 2018-08-09 2022-12-13 成都大学 基于三维增强深度残差网络的磁共振超分辨率重建方法
CA3107154A1 (en) * 2018-08-10 2020-02-13 Southern Methodist University Image analysis using machine learning and human computation
CN109325410B (zh) * 2018-08-16 2021-10-19 广东工业大学 一种基于卷积神经网络的脑电信号eeg特征提取方法
SG10201907613PA (en) * 2018-08-19 2020-03-30 Chang Gung Memorial Hospital Linkou Method and System of Analyzing Medical Images
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
EP3617733A1 (en) * 2018-08-30 2020-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and apparatus for processing magnetic resonance data using machine learning
US10751029B2 (en) * 2018-08-31 2020-08-25 The University Of British Columbia Ultrasonic image analysis
JP7224618B2 (ja) * 2018-09-03 2023-02-20 孝文 栢 行動推奨装置及び行動推奨システム
JP7134805B2 (ja) * 2018-09-20 2022-09-12 キヤノンメディカルシステムズ株式会社 医用情報処理装置および医用情報処理システム
US11580384B2 (en) * 2018-09-27 2023-02-14 GE Precision Healthcare LLC System and method for using a deep learning network over time
US10878311B2 (en) 2018-09-28 2020-12-29 General Electric Company Image quality-guided magnetic resonance imaging configuration
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
US10803585B2 (en) 2018-10-09 2020-10-13 General Electric Company System and method for assessing image quality
US11083913B2 (en) 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US10835761B2 (en) 2018-10-25 2020-11-17 Elekta, Inc. Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC)
JP7049974B2 (ja) * 2018-10-29 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
EP3649955A1 (en) * 2018-11-07 2020-05-13 Koninklijke Philips N.V. Deep learning based spectral bolus tracking
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
US11151420B2 (en) 2018-11-19 2021-10-19 International Business Machines Corporation Determination using learned model
KR102261473B1 (ko) * 2018-11-30 2021-06-07 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US11126660B1 (en) * 2018-11-30 2021-09-21 A9.Com, Inc. High dimensional time series forecasting
US11087170B2 (en) * 2018-12-03 2021-08-10 Advanced Micro Devices, Inc. Deliberate conditional poison training for generative models
US10929708B2 (en) 2018-12-10 2021-02-23 International Business Machines Corporation Deep learning network for salient region identification in images
JP7246912B2 (ja) * 2018-12-18 2023-03-28 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
US10373025B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Method and device for verifying integrity of parameters of CNN by using test pattern to enhance fault tolerance and fluctuation robustness in extreme situations for functional safety
US10373026B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
CN109784490B (zh) * 2019-02-02 2020-07-03 北京地平线机器人技术研发有限公司 神经网络的训练方法、装置和电子设备
CN109919204B (zh) * 2019-02-23 2023-06-23 华南理工大学 一种面向噪声图像的深度学习聚类方法
US10973472B2 (en) * 2019-03-05 2021-04-13 Siemens Healthcare Gmbh Artificial intelligence-based material decomposition in medical imaging
WO2020198854A1 (en) * 2019-03-29 2020-10-08 Polyvalor, Limited Partnership Method and system for producing medical images
CN113614788A (zh) * 2019-04-08 2021-11-05 美国西门子医疗系统股份有限公司 计算机辅助读取和分析的深度强化学习
US11041827B2 (en) * 2019-04-12 2021-06-22 International Business Machines Corporation Carrier-resolved photo-hall system and method
US10790056B1 (en) * 2019-04-16 2020-09-29 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US11310250B2 (en) 2019-05-24 2022-04-19 Bank Of America Corporation System and method for machine learning-based real-time electronic data quality checks in online machine learning and AI systems
US20200394458A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Weakly-supervised object detection using one or more neural networks
JP7334073B2 (ja) * 2019-06-19 2023-08-28 キヤノンメディカルシステムズ株式会社 医用データ処理装置及び医用データ処理方法
US11373093B2 (en) 2019-06-26 2022-06-28 International Business Machines Corporation Detecting and purifying adversarial inputs in deep learning computing systems
US11481633B2 (en) * 2019-08-05 2022-10-25 Bank Of America Corporation Electronic system for management of image processing models
JP7446736B2 (ja) * 2019-08-09 2024-03-11 キヤノンメディカルシステムズ株式会社 医用データ処理装置および医用画像診断装置
JP7116849B2 (ja) * 2019-08-16 2022-08-10 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
US20220327738A1 (en) * 2019-08-16 2022-10-13 Hoya Corporation Processor for endoscope, endoscope system, information processing apparatus, non-transitory computer-readable storage medium, and information processing method
US11042799B2 (en) 2019-08-20 2021-06-22 International Business Machines Corporation Cohort based adversarial attack detection
EP4018371A4 (en) * 2019-08-23 2023-09-06 Subtle Medical, Inc. SYSTEMS AND METHOD FOR ACCURATE AND RAPID POSITRON EMISSION TOMOGRAPHY USING DEEP LEARNING
US11238580B2 (en) 2019-08-29 2022-02-01 Varian Medical Systems International Ag Systems and methods for image cropping and anatomical structure segmentation in medical imaging
US11798159B2 (en) * 2019-09-20 2023-10-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for radiology image classification from noisy images
EP3799062A1 (de) * 2019-09-25 2021-03-31 Siemens Healthcare GmbH Verfahren zum bestimmen eines bevorzugten zielorts für ein fahrzeug
US20210093203A1 (en) * 2019-09-30 2021-04-01 DawnLight Technologies Systems and methods of determining heart-rate and respiratory rate from a radar signal using machine learning methods
EP4037833A4 (en) * 2019-10-01 2023-11-01 Subtle Medical, Inc. SYSTEMS AND METHODS FOR USING SELF-ATTENTION DEEP LEARNING FOR IMAGE ENHANCEMENT
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images
DE102019215460A1 (de) * 2019-10-09 2021-04-15 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen
US11570030B2 (en) * 2019-10-11 2023-01-31 University Of South Carolina Method for non-linear distortion immune end-to-end learning with autoencoder—OFDM
US11288841B2 (en) 2019-10-17 2022-03-29 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for patient positioning
TWI730467B (zh) 2019-10-22 2021-06-11 財團法人工業技術研究院 影像轉換方法及影像轉換網路
CN110755076B (zh) * 2019-11-01 2023-08-11 上海联影医疗科技股份有限公司 磁共振扫描仪的图像采集方法、装置、设备和介质
US12051193B2 (en) * 2019-11-05 2024-07-30 Canon Medical Systems Corporation Medical information processing apparatus, system, and X-ray diagnosis apparatus
US11480594B2 (en) 2019-11-07 2022-10-25 Global Energy Interconnection Research Institute Co. Ltd Systems and methods of bad data identification and recovery for electric power systems
CN111128400B (zh) * 2019-11-26 2023-09-12 泰康保险集团股份有限公司 医学护理资料的处理方法及装置、存储介质、电子设备
CN113261012B (zh) * 2019-11-28 2022-11-11 华为云计算技术有限公司 处理图像的方法、装置及系统
KR20210067788A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN111047293B (zh) * 2019-12-12 2023-11-03 云南云电同方科技有限公司 图形数据资源管理的方法及其系统
US11320357B2 (en) * 2019-12-23 2022-05-03 Chevron U.S.A. Inc. System and method for estimation of rock properties from core images
EP4085377A1 (en) * 2020-01-03 2022-11-09 PAIGE.AI, Inc. Systems and methods for processing electronic images for generalized disease detection
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111242906B (zh) * 2020-01-06 2022-03-18 杭州电子科技大学 一种支持向量数据描述的胸部影像异常检测方法
WO2021141906A1 (en) 2020-01-09 2021-07-15 Idexx Laboratories, Inc. Methods and systems for x-ray imaging and labeling
CN111136659B (zh) * 2020-01-15 2022-06-21 南京大学 基于第三人称模仿学习的机械臂动作学习方法及系统
TWI753361B (zh) 2020-02-06 2022-01-21 商之器科技股份有限公司 用於醫療影像存取系統與輔助診斷的整合系統
CN111260741B (zh) * 2020-02-07 2022-05-10 北京理工大学 一种利用生成对抗网络的三维超声模拟方法及装置
DE102020105696A1 (de) 2020-03-03 2021-09-09 Carl Zeiss Meditec Ag Scannendes Bilderzeugungsgerät und scannendes Bildaufnahmeverfahren
CN111476796B (zh) * 2020-03-10 2023-04-18 西北大学 一种结合多种网络的半监督冠状动脉分割系统及分割方法
JP6885517B1 (ja) * 2020-03-17 2021-06-16 株式会社村田製作所 診断支援装置及びモデル生成装置
CN113470037A (zh) 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置及系统
EP3889882B1 (en) * 2020-03-31 2023-06-07 Siemens Healthcare GmbH Image normalization increasing robustness of machine learning applications for medical images
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
CN111476773A (zh) * 2020-04-07 2020-07-31 重庆医科大学附属儿童医院 一种耳廓畸形分析识别方法、系统、介质和电子终端
CN111626119B (zh) * 2020-04-23 2023-09-01 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN112309523A (zh) * 2020-04-26 2021-02-02 吴九云 基于人工智能的智慧医疗信息推送方法及系统
DE102020111563A1 (de) 2020-04-28 2021-10-28 Carl Zeiss Meditec Ag Verfahren zum Gewinnen annotierter Daten mithilfe von Operationsmikroskopiesystemen
DE102020111584A1 (de) 2020-04-28 2021-10-28 Carl Zeiss Meditec Ag Verfahren zum Gewinnen von Daten mithilfe von Operationsmikroskopiesystemen
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
CN111598878B (zh) * 2020-05-18 2023-06-27 中国医学科学院生物医学工程研究所 用于电阻抗成像的图像空间分辨能力的确定方法及装置
CN111666984B (zh) * 2020-05-20 2023-08-25 海南电网有限责任公司电力科学研究院 一种基于迁移学习的过电压智能识别方法
WO2021242956A1 (en) * 2020-05-27 2021-12-02 Rutgers, The State University Of New Jersey Distributed generative adversarial networks suitable for privacy-restricted data
US11222406B2 (en) * 2020-06-05 2022-01-11 Canon Medical Systems Corporation Method and system for training a machine learning-based image denoising system
CN111739076B (zh) * 2020-06-15 2022-09-30 大连理工大学 面向多种ct肺部纹理识别的非监督保内容域适应方法
CN111739114B (zh) * 2020-06-15 2023-12-15 大连理工大学 一种基于孪生反馈网络的低剂量ct重建方法
US11431895B2 (en) 2020-06-24 2022-08-30 International Business Machines Corporation Photography guidance based on crowdsourced photographs
KR102304750B1 (ko) * 2020-06-24 2021-09-24 주식회사 파워인스 인공지능 기반 비파괴검사 방법 및 시스템
US12061985B2 (en) * 2020-07-02 2024-08-13 Mitsubishi Electric Research Laboratories, Inc. Automated construction of neural network architecture with Bayesian graph exploration
CN111950595A (zh) * 2020-07-14 2020-11-17 十堰市太和医院(湖北医药学院附属医院) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
US20220139006A1 (en) * 2020-07-29 2022-05-05 Canon Medical Systems Corporation Information processing method, medical image diagnostic apparatus, and information processing system
CN111968113B (zh) * 2020-09-02 2024-01-19 中国人民解放军国防科技大学 一种基于最优传输映射的脑影像二维卷积深度学习方法
CN111883237B (zh) * 2020-09-28 2021-01-15 平安科技(深圳)有限公司 病理切片图像处理方法、装置、电子设备及存储介质
CN112255662A (zh) * 2020-10-14 2021-01-22 南昌华亮光电有限责任公司 基于智能时间采样的伽马相机及探测方法
WO2022094062A1 (en) * 2020-10-30 2022-05-05 Fresenius Medical Care Holdings, Inc. Techniques for image-based examination of fluid status
KR20220073209A (ko) * 2020-11-26 2022-06-03 조선대학교산학협력단 심전도 신호로부터 설명 가능한 히트맵 영상에 근거한 질병을 판별하는 시스템 및 판별 방법
DE102020215309A1 (de) 2020-12-03 2021-11-25 Siemens Healthcare Gmbh Verfahren zur Optimierung einer individualisierten Übertragung von medizinischen Daten von einem Erzeuger-System zu einem Empfänger-System
CN112859789B (zh) * 2021-01-29 2024-02-06 重庆邮电大学 一种基于cfd构建数据中心数字孪生体的方法及系统
US12079738B2 (en) 2021-02-10 2024-09-03 Ford Global Technologies, Llc Variance of gradient based active learning framework for training perception algorithms
KR102550631B1 (ko) * 2021-03-16 2023-07-03 (주)파인헬스케어 인공지능을 이용한 욕창 단계 평가 및 치료 추천을 제공하는 장치 및 방법
US11744535B2 (en) 2021-03-23 2023-09-05 International Business Machines Corporation Automated population based assessment of contrast absorption phases
US11633168B2 (en) * 2021-04-02 2023-04-25 AIX Scan, Inc. Fast 3D radiography with multiple pulsed X-ray sources by deflecting tube electron beam using electro-magnetic field
US20220335254A1 (en) * 2021-04-16 2022-10-20 Baker Hughes Holdings Llc Computer vision inferencing for non-destructive testing
EP4084009A1 (en) * 2021-04-30 2022-11-02 Koninklijke Philips N.V. Diagnostic imaging system to support a clinical endpoint
CN113269305B (zh) * 2021-05-20 2024-05-03 郑州铁路职业技术学院 一种加强记忆的反馈语音强化方法
US20220414855A1 (en) * 2021-06-25 2022-12-29 Fei Company Area selection in charged particle microscope imaging
US11881041B2 (en) 2021-09-02 2024-01-23 Bank Of America Corporation Automated categorization and processing of document images of varying degrees of quality
US20230129584A1 (en) * 2021-09-16 2023-04-27 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Real-time, artificial intelligence-enabled analysis device and method for use in nuclear medicine imaging
US11538578B1 (en) 2021-09-23 2022-12-27 International Medical Solutions, Inc. Methods and systems for the efficient acquisition, conversion, and display of pathology images
KR20240073923A (ko) * 2021-09-30 2024-05-27 스냅 인코포레이티드 맞춤화된 이미지 재처리 시스템
CN113946688B (zh) * 2021-10-20 2022-09-23 中国人民解放军国防科技大学 一种寻找自然语言处理模型天然后门的方法
CN113842166B (zh) * 2021-10-25 2024-07-05 上海交通大学医学院 基于超声影像设备的超声图像采集方法以及相关装置
CN114266270A (zh) * 2021-11-22 2022-04-01 南京航空航天大学 一种基于递归神经网络与集成学习的肌电信号解码方法
EP4199002A1 (en) 2021-12-16 2023-06-21 Koninklijke Philips N.V. A computer implemented method and a system
US20230252311A1 (en) * 2022-02-10 2023-08-10 Clarifai, Inc. Systems and methods for transductive out-of-domain learning
US12100502B2 (en) * 2022-03-16 2024-09-24 Siemens Healthineers Ag Multi-view matching across coronary angiogram images
CN114880951B (zh) * 2022-06-06 2023-04-07 浙江理工大学 一种基于数字孪生的织物瑕疵预测方法
US20240338312A1 (en) * 2023-04-07 2024-10-10 Western Digital Technologies, Inc. Data storage device configured for use with a generative-adversarial-network (gan)
CN116958128B (zh) * 2023-09-18 2023-12-26 中南大学 基于深度学习的医学图像自动定位方法
CN117542485B (zh) * 2023-11-21 2024-05-10 江苏瑞康成医疗科技有限公司 一种影像检查的智慧处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545957A (zh) * 2013-10-22 2015-04-29 上海西门子医疗器械有限公司 X线影像系统、x线影像设备、服务器及方法
WO2015109254A2 (en) * 2014-01-17 2015-07-23 Morpheus Medical, Inc. Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging
CN105938559A (zh) * 2015-03-04 2016-09-14 埃森哲环球服务有限公司 使用卷积神经网络的数字图像处理
CN106022287A (zh) * 2016-05-27 2016-10-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度学习与字典表示的跨年龄人脸验证方法
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术(武汉)有限公司 消化道病灶图像识别系统及识别方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1774469A1 (en) * 2004-07-26 2007-04-18 Koninklijke Philips Electronics N.V. System and method for automated suspicious object boundary determination
US8099299B2 (en) 2008-05-20 2012-01-17 General Electric Company System and method for mapping structural and functional deviations in an anatomical region
US8010381B2 (en) 2008-05-20 2011-08-30 General Electric Company System and method for disease diagnosis from patient structural deviation data
US8430816B2 (en) 2008-05-20 2013-04-30 General Electric Company System and method for analysis of multiple diseases and severities
US9271651B2 (en) 2009-11-30 2016-03-01 General Electric Company System and method for integrated quantifiable detection, diagnosis and monitoring of disease using patient related time trend data
US8934685B2 (en) 2010-09-21 2015-01-13 General Electric Company System and method for analyzing and visualizing local clinical features
US9918700B2 (en) 2013-02-01 2018-03-20 Siemens Medical Solutions Usa, Inc. Tuning ultrasound acquisition parameters
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9324022B2 (en) 2014-03-04 2016-04-26 Signal/Sense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US10275906B2 (en) 2014-07-16 2019-04-30 Koninklijke Philips N.V. iRecon: intelligent image reconstruction system with anticipatory execution
US9953425B2 (en) * 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9743911B2 (en) * 2014-09-03 2017-08-29 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
US10346726B2 (en) * 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US10835210B2 (en) * 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
US20160317122A1 (en) 2015-04-28 2016-11-03 Qualcomm Incorporated In-device fusion of optical and inertial positional tracking of ultrasound probes
US10127659B2 (en) 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545957A (zh) * 2013-10-22 2015-04-29 上海西门子医疗器械有限公司 X线影像系统、x线影像设备、服务器及方法
WO2015109254A2 (en) * 2014-01-17 2015-07-23 Morpheus Medical, Inc. Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging
CN105938559A (zh) * 2015-03-04 2016-09-14 埃森哲环球服务有限公司 使用卷积神经网络的数字图像处理
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106022287A (zh) * 2016-05-27 2016-10-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度学习与字典表示的跨年龄人脸验证方法
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术(武汉)有限公司 消化道病灶图像识别系统及识别方法

Also Published As

Publication number Publication date
WO2018098078A1 (en) 2018-05-31
CN110121749A (zh) 2019-08-13
US10628943B2 (en) 2020-04-21
US20190050987A1 (en) 2019-02-14
EP3545526B1 (en) 2024-05-22
US20180144466A1 (en) 2018-05-24
JP2020500377A (ja) 2020-01-09
JP7309605B2 (ja) 2023-07-18
US10127659B2 (en) 2018-11-13
EP3545526A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
CN110121749B (zh) 用于图像采集的深度学习医疗系统和方法
US10896352B2 (en) Deep learning medical systems and methods for image reconstruction and quality evaluation
US10438354B2 (en) Deep learning medical systems and methods for medical procedures
US11003988B2 (en) Hardware system design improvement using deep learning algorithms
KR102229853B1 (ko) 환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들
US20210073987A1 (en) Automated organ risk segmentation machine learning methods and systems
CN111344801B (zh) 针对前列腺癌的多模态计算机辅助诊断系统和方法
US11443201B2 (en) Artificial intelligence-based self-learning in medical imaging
CN111401398A (zh) 用于根据人工智能检测输出确定疾病进展的系统和方法
CN111127389A (zh) 用于医疗保健的可扩展人工智能模型生成系统和方法
US20220399107A1 (en) Automated protocoling in medical imaging systems
US20240331872A1 (en) System and method for detection of a heart failure risk

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment