CN110517757B - 调谐的医学超声成像 - Google Patents

Abstract

提供了调谐的医学超声成像。机器学习训练（14）以调谐设置。为了训练（14），使用作为正在进行的患者检查的部分的与图像参数（即，设置）的用户交互来建立（13）设置的地面真值肯定和否定示例，而不是依赖于收集的样本的专家审查。患者信息、位置信息和/或用户信息也可以被包括在训练数据中，使得网络被训练（14）为基于所包括的信息为不同的情形提供（18）设置。在应用期间，对患者进行成像（16）。将初始或后续的图像与其他信息（例如，患者、用户和/或位置信息）输入（17）到机器训练网络，以输出（18）在该情形中要用于改进的成像的设置。

Description

调谐的医学超声成像

背景技术

本实施例涉及医学超声成像。越来越多且老龄化的患者人口正在创建针对改进的医疗保健效率的需求。从增加的患者周转量（throughput）、通过重复运动减少检查时间和用户压力以及检查的更好标准化的角度来看，这已经导致对超声成像工作流程改进的期望。超声工作流程的部分是调谐成像参数，以取得适合于每个患者的诊断的最佳图像。为了找到该图像的调谐是耗时且具有挑战性的任务。

找到可以跨不同患者类型、解剖结构和病理产生满意的诊断图像的“一体适用（one size fits all）”系统设置是困难的。找到满足跨各种全球区域的不同用户偏好的一个设置也是困难的。用户必须针对每个患者检查来调谐设置导致增加的检查时间、低效的工作流程、操作者疲劳以及甚至减少的诊断置信度。

在当今的产品中，通过在工厂中针对不同的患者类型和应用创建预设来解决该问题。这些工厂预设在一定程度上起作用，但不能涵盖种类繁多的患者类型，并且不解决用户偏好。存在使用人工智能或其他技术来分割图像的一些基于知识的技术。然后分割可以用于设置诸如频率、焦点或深度之类的成像系统参数，但是分割聚焦于解剖结构。该方案要求专家审查来创建训练数据并且不解决其他患者可变性也不解决用户偏好。

发明内容

通过介绍的方式，下面描述的优选实施例包括用于机器学习以使用机器学习网络来调谐设置和成像优化的方法、系统、指令和计算机可读介质。对于训练，使用作为正在进行的患者检查的部分的与图像参数（即，设置）的用户交互来建立设置的地面真值（groundtruth）肯定和否定示例，而不是依赖于收集的样本的专家审查。患者信息、位置信息和/或用户信息也可以包括在训练数据中，使得网络被训练为基于所包括的信息为不同的情形提供设置。在应用期间，患者被成像。将初始或后续的图像与其他信息（例如，患者、用户和/或位置信息）输入到机器训练网络，以输出在该情形中要用于改进的成像的设置。

在第一方面中，提供一种用于利用医学超声扫描仪的机器学习图像优化的方法。医学超声扫描仪对患者进行成像，其中所述成像提供第一图像并且提供第二图像，其中一个或多个设置在第一图像的显示之后被改变，所述第二图像是从一个或多个设置的改变而得到的。机器训练第一神经网络以基于输入图像和患者信息来输出设置值。所述训练包括训练数据中分别作为否定和肯定示例的第一图像和第二图像。存储所训练的第一神经网络。

在第二方面中，提供一种用于利用医学超声扫描仪的图像优化的方法。医学超声扫描仪使用第一设置对患者进行成像。将来自使用第一设置成像的第一图像和针对患者的患者信息输入到机器学习网络。机器学习网络响应于第一图像和患者信息的输入而输出第二设置。医学超声扫描仪使用第二设置对患者进行重新成像。显示来自重新成像的第二图像。

在第三方面中，提供一种用于调谐的超声成像的系统。超声扫描仪是基于成像参数的第一值和第二值可配置的。处理器被配置为响应于患者的第一图像、用于第一图像的成像参数的第一值以及针对患者的患者信息的输入，利用机器训练网络来确定成像参数的第二值。显示器被配置为显示由第二值配置的超声扫描仪生成的患者的第二图像。

本发明由所附权利要求限定，并且本章节中没有内容应当视为对那些权利要求的限制。下面结合优选实施例讨论本发明的另外方面和优点，并且本发明的另外方面和优点可以在以后独立或组合地要求保护。

附图说明

部件和附图不一定是按比例的，而是将重点放在说明本发明的原理上。此外，在附图中，同样的参考标号贯穿不同视图指定对应的部分。

图1是用于进行调谐的机器学习的方法以及用于在医学超声成像中进行调谐的机器学习网络的应用的一个实施例的流程图；

图2图示了用于从正在进行的患者检查收集训练数据的示例工作流程；

图3图示了示例机器学习网络架构；

图4图示了用于使用机器学习网络来提供用于超声成像的设置的示例工作流程；以及

图5是用于调谐的超声成像的系统的一个实施例的框图。

具体实施方式

提供患者特定的超声图像优化。基于人工智能（AI）的算法使得超声扫描仪能够通过分析作为患者成像的部分而产生的数据来“从经验中学习”以确定地面真值。AI的能力用于成像参数的自动调谐，并且因此改进超声成像工作流程。通过利用训练的AI应用患者信息、位置和/或先前用户选择，调谐可以特定于患者情形、成像的位置和/或用户。针对不同患者、解剖结构、用户偏好、区域偏好、视图的类型和/或病理情形来自动地调谐成像参数，以提供适合于诊断的超声图像。可以为每个患者以及用户定制成像，从而导致诊断置信度和客户满意度方面的显著增加。可以减少检查时间，并且可以增加患者周转量。

为了聚集训练数据，在检查患者时从用户工作流程导出低质量和高质量图像以及对应的设置。不存在由专家手动标注图像的需要，如同大多数监督式学习AI算法的情况一样。这可以导致开发时间和精力方面的节省。

人工神经网络（ANN）用于包括图像分类和分割的函数近似和分类任务中。ANN或其他机器学习设定可以用于自动化成像参数调谐。对于超声机器，存在针对高患者周转量和高超声图像质量的需求。ANN自动调谐成像参数的能力可以导致高质量的超声图像，而不需要用户操控或者利用较少的用户操控。利用该方案，可以减小检查时间，这是因为临床用户花费较少的时间手动调谐成像参数以取得适合于诊断的超声图像。

图1示出了用于利用医学超声扫描仪的机器学习图像优化和/或图像优化的方法的一个实施例。动作10-15对应于收集训练数据以及机器训练网络以输出成像参数设置。动作16-21对应于训练的网络的使用，以输出用于对患者进行成像的成像参数设置。所述方法可以仅是其他实施例中的训练部分或者仅是应用。

为了聚集训练数据，医学超声扫描仪的一个或多个用户与成像器或患者的医学记录交互用于检查患者。在检查工作流程期间，依次生成各种图像，其中用户丢弃一些图像并更改设置以提供为了诊断而捕获的图像。从用户工作流程导出这些低质量和高质量的图像，因此不存在手动标注它们的需要。用于患者的治疗、诊断和/或预后的这种交互指示针对样本的地面真值（例如，针对肯定（捕获的）或否定（丢弃的）的设置），所述样本是图像、患者信息、位置信息和/或用户信息。该地面真值用于训练或重新训练要由医学扫描仪或其他扫描仪应用于其他患者的检查的机器学习网络。机器学习用于优化所述系统并将所述系统个性化为特定患者类型、解剖结构类型、视图类型、用户偏好和/或区域偏好。

由诸如医学超声扫描仪之类的医学成像系统实现图1的方法。在一个实施例中，图5的系统实现图1的方法。例如，一个或多个医学超声扫描仪执行动作10、16和20的成像。医学扫描仪、工作站或其他处理器在动作13中基于为患者目的而创建的数据来确定地面真值，在动作14中机器训练和/或在动作15中利用存储器存储。相同或不同的超声扫描仪、工作站和/或处理器在动作17中使用训练的网络,在动作18中输出设置并且在动作19中通知。作为由扫描仪、工作站和/或处理器控制的用户接口交互的用户输入设备和显示器处置对设置的任何调整、网络提议的设置的授权和/或成像控制。显示设备显示从诸如执行动作21之类的成像动作而得到的图像。其他设备可以执行任何动作或者用于任何动作的执行中。可以使用除超声之外的其他类型的医学扫描仪，诸如计算机断层摄影、X射线或磁共振。

以示出的顺序（自顶向下或数字）或另一顺序执行动作。可以提供附加的、不同的或更少的动作。例如，不提供动作16-21。作为另一示例，不提供动作10-15。在其他示例中，提供用于聚集或输入位置、患者和/或用户信息的动作。

在动作10中，医学超声扫描仪对患者进行成像。可以使用任何医学诊断和/或治疗超声成像器。波束形成器和换能器生成声能并且接收回声以扫描患者。图像处理器中的检测器、滤波器、扫描转换器和/或其他设备从扫描数据生成图像。动作11和12是患者的成像的一个示例。

医学扫描仪扫描不同的患者。对于每个患者，扫描是用于患者的预后、诊断和/或治疗。为了帮助患者而扫描患者。治疗医师（例如，用户）命令扫描，技术人员（例如，用户）执行扫描，并且放射科医师（例如，用户）可以审查扫描的结果。扫描的这些用户正在帮助患者，因此数据用于患者目的。

在动作11中，医学扫描仪通过扫描来成像。将能量传输到患者，并且测量响应。在点处、沿着线、在区或平面上和/或以三维扫描患者。可以扫描患者的任何部分。

医学扫描仪获取表示患者的图像数据。医学扫描仪提供表示患者的区域的医学数据。医学扫描仪可以直接地提供图像数据，诸如在医学扫描仪的图像处理流水线中提供图像数据。医学扫描仪可以间接地提供图像数据，诸如通过存储器或计算机网络路由图像数据。可以从图片存档和通信系统（PACS）服务器或电子医学记录访问图像数据。

在动作12中，医学扫描仪从图像数据生成患者的一个或多个图像。处理来自患者的测量信号以生成图像。图像是可以被格式化为显示值和/或映射到显示值的标量值，或者是显示值（例如，RGB）。可以使用诸如滤波、重建、渲染、分割和/或界标检测之类的任何图像处理。图像可以包括图形，诸如针对检测的界标或分割的对象的线框或轮廓。

对于动作10，医学扫描仪被配置用于获取图像数据并从图像数据生成图像。设置针对各种扫描和/或后处理设置的值。各种成像参数的值或设置可以控制传输、接收或接收后处理（例如，滤波、检测和/或重建）。示例扫描设置包括传输频率、接收频率、扫描线格式、扫描线密度、脉冲重复频率、总增益、深度增益、动态范围、焦点深度、扫描深度、焦点位置、滤波器核、空间滤波器参数、时间滤波器参数、噪声阈值、运动阈值、颜色映射、三维渲染参数和/或用于生成图像的其他扫描或扫描后设置。在一个实施例中，机器学习网络用于获取图像数据。例如，机器学习网络被训练为基于患者特定的输入数据来输出要使用的扫描设置。将机器学习网络应用于患者数据提供针对扫描参数的值。

成像生成数据。由医学扫描仪生成用于扫描的医学扫描仪的性能日志、图像数据、图像、扫描设置和/或其他数据，以用于患者的检查。可以访问或使用其他数据用于检查，所述其他数据诸如实验室结果、患者病史、患者临床数据、来自压力监视器和/或心脏监视器（例如，ECG）的数据和/或其他数据。针对正由医学设施和专业人员治疗或诊断的患者聚集该患者数据。

可以获得其他数据。例如，为扫描仪和/或患者提供位置（例如，区域指定）。作为另一示例，获得用户标识。用户标识可以用于获得诸如年龄、性别、角色（例如，技术人员、放射科医师或治疗医师）、视力信息（例如，色盲和/或视敏度）和/或图像偏好之类的附加用户信息。

在动作13中，处理器确定针对患者生成的一个图像或多个图像的地面真值。由医学扫描仪、工作站、服务器或其他计算机确定地面真值。

可以使用各种数据源来确定地面真值，所述各种数据源诸如医学扫描仪的图像、来自PACS数据库的图像或扫描设置、医学扫描仪或维护数据库中的扫描仪日志数据、针对患者的电子医学记录、来自其他传感器的数据和/或其他数据。在一个实施例中，医学扫描仪跟踪生成的图像、用于图像的设置以及图像被捕获还是导致重新扫描。可以将数据存储在医学扫描仪的本地和/或与医学扫描仪远程地存储数据。

由医学扫描仪的用户针对患者生成数据。治疗医师、护士、扫描技术人员、放射科医师和/或向患者提供医学服务的其他医学专业人员生成数据。根据为患者目的而创建的数据确定地面真值。例如，捕获为患者检查生成的图像以用于存储或对患者的分析，这指示图像的接受。用于患者检查的图像和对应数据指示地面真值。从患者和/或医学图像在日常临床实践期间遇到的下游事件来推断地面真值。不存在借此创建用于训练算法的地面真值的专用过程。而是，凭借具有对来自临床医生、IT系统等的针对患者的其他上下文数据的访问来创建地面真值。地面真值是图像的接受、图像的拒绝、任何改变之后的最终图像或者针对患者的数据使用的其他指示（例如，来自患者的检查的最终结果）。

在一个实施例中，针对患者的图像的接受或改变的指示可以在成像情形中（例如，给定患者、用户和/或位置信息）为该图像和对应设置提供肯定或否定的地面真值。改变之后的图像可以提供肯定的地面真值。可以通过在患者医学记录中对图像的存储或捕获来指示接受，诸如图像到PACS的传送、将图像指示为最终或最后图像的日志数据、或者接受或不接受的其他指示。例如，日志数据可以指示相同扫描的重复或利用一个或多个不同设置从相同图像数据的图像再生。如果在阈值时间内和/或基于保存或传送，则可以指示接受或拒绝。

归因于差的质量，经常重复若干次扫描。可能存在对于差的质量的若干原因——操作者错误、归因于呼吸和/或患者移动的运动伪影、不正确的对比度定时等。医学扫描仪可以自动地检测质量差的扫描并且使用质量差的图像作为地面真值训练数据库中的否定示例。通过重新扫描、未能将图像保存在患者的医学记录中、图像的覆写、日志数据和/或图像质量的测量来指示差的质量。例如，当操作者在阈值时间内接续地执行完全相同的扫描时，可以标识重复扫描。在这类情况下，医学扫描仪假定第一扫描具有差的质量（地面真值标注），而下一扫描具有诊断质量（地面真值标注）。在另一示例中，扫描仪通过分析由扫描仪产生的使用日志文件来检测重复的成像。

用于患者成像的工作流程确定地面真值。在图像的显示之后改变一个或多个设置的情况下，图像和对应的设置是否定的地面真值。对于典型的工作流程，在将视场定位在感兴趣的患者区域上之后生成的患者的初始图像是基于默认设置的。用户输入设置可以用于导致质量差的图像的初始图像或其他图像。未能在患者的医学记录中捕获图像指示否定的地面真值。响应于质量差的图像，用户更改一个或多个设置以改进成像。在对设置的改变导致针对患者的图像捕获的情况下，该后面的图像和对应的设置是肯定的地面真值。

图2示出了用于检查患者和用于基于聚焦患者（patient-focused）的检查来训练数据集合的示例工作流程。从与常规方法相对的用户工作流程导出输入和输出，在所述常规方法中“标注”作为样本集合的审查的部分被手动完成。

在动作22中，由用户使用医学超声扫描仪来开始检查。用户配置扫描仪以扫描患者，诸如基于要执行的检查来选择默认设置集。用户可以输入或覆盖一个或多个设置。

在动作23中，动作22中的检查的开始触发患者、用户和/或区域信息的收集或存储。将患者信息输入到扫描仪和/或从患者的电子医学记录访问患者信息。示例患者信息包括身高、体重、年龄、性别、体质指数、先前病史、遗传信息、实验室结果和/或患者功能的测量结果（例如，心率、体温或压力）。可以输入、从用户请求和/或从数据库访问位置和用户信息。

在动作24中，将换能器探头定位在患者之上并且移动换能器探头以生成患者中感兴趣区域的图像。例如，感兴趣区域是给定器官，因此相对于患者移动探头以利用当前设置对该器官进行成像。

在动作25中，用户确定所得图像是否具有充分的质量。例如，心脏的图像可能未示出具有充分对比度和/或分辨率的一个期望腔室或多个期望腔室。在图像不充分的情况下，用户在动作26中改变一个或多个设置以生成更好的图像。基于该改变，在动作27中将质量差的图像和对应的设置存储或收集为否定示例。在图像可以是在诊断上有用的情况下，在动作28中用户捕获图像。通过按下捕获按钮，记录图像供以后使用来诊断患者。在动作29中将捕获的图像和对应的设置存储或聚集为肯定示例。可以重复所述过程以捕获患者区域的相同或不同视图的任何数量的图像。在动作30中，在捕获所有期望的图像之后，检查结束。

在一示例中，由对于初始图像（IMG）以0开始的索引N表示设置。在不捕获IMG0的情况下将成像参数（IP）从0更新到1的情况下，在动作27中将IP0和IMG0存储为否定示例。在不捕获IMG1的情况下将IP从1更新到2的情况下，在动作27中将IP1和IMG1存储为另一否定示例。在动作28中捕获IMG2的情况下，在动作29中将IP2和IMG2存储为肯定示例。在不捕获IMG3的情况下将成像参数（IP）从2更新到3的情况下，在动作27中将IP3和IMG3存储为否定示例。在不捕获IMG4的情况下将IP从3更新到4的情况下，在动作27中将IP4和IMG4存储为另一否定示例。在捕获IMG5的情况下将IP从4更新到5的情况下，在动作29中将IMG5和IP5存储为肯定示例。训练数据集包括：患者信息、区域信息、IP0、IMG0的输入和按照期望的IP2的输出；患者信息、区域信息、IP1、IMG1的输入和按照期望的IP2的输出；患者信息、区域信息、IP2、IMG2的输入和按照期望的IP2的输出；患者信息、区域信息、IP3、IMG3的输入和按照期望的IP5的输出；患者信息、区域信息、IP4、IMG4的输入和按照期望的IP5的输出；以及患者信息、区域信息、IP5、IMG5的输入和按照期望的IP5的输出。在替代的实施例中，使用导致存储图像的来自任何先前图像的设置（例如，存储用于IMG3的IP2）。IMG0、IMG1、IMG3和IMG4是归因于低图像质量而需要调谐的图像，并且IMG2和IMG5是不需要调谐的高图像质量或充分图像质量的图像。

从由一个或多个超声扫描仪完成的真实检查收集许多数据集。在执行检查时，机器软件（SW）在没有对用户的干扰的情况下收集数据。感兴趣的数据是临床用户开始调谐的超声图像（具有不充分质量的图像）、临床用户满意的超声图像（具有充分质量的图像，这是在图像存储期间捕获的图像）以及针对低质量和高质量图像的成像参数值。

通过收集其他信息（例如，用户、患者和/或位置），各种数据集可以与不同的成像情形相关联。设置和对应的图像质量可以依据患者状况、病理、解剖结构、位置（即，区域）和/或用户偏好而变化。通过收集图像、图像设置和其他信息，训练数据可以包括信息，根据所述信息可以使用机器训练来确定依据情形的变化。

收集的训练数据和确定的地面真值或可以用于自动确定地面真值的信息被提供给机器以用于机器训练。数据集可以存储在本地存储装置（例如，硬盘驱动器）上并且在超声机器维护、服务期间或者根据需求而被手动收集。可以经由web/云服务将数据集上载到第三方存储装置（例如，扫描仪制造商存储装置）。数据集可以作为DICOM的部分被存储为私有标记，使得当DICOM被输出到PACS时，针对数据集而查询PACS。可以使用用于从一个或多个超声扫描仪收集数据集的其他方案。

返回到图1，在动作14中机器使用收集的数据集执行机器训练。所述机器是医学扫描仪的处理器、服务器、工作站或计算机。基于训练数据（例如，示例和地面真值），人工智能系统被训练为从未看见的输入数据产生期望的输出。人工智能或智能被机器训练为给定输入，输出图像参数（即，成像设置）的值。诸如图像处理器、计算机、服务器或其他设备之类的机器从样本学习以提供输出。通过使用机器学习，基于地面真值从大量（例如，数十、数百、数千或更多）的样本提取大量的输入变量与任何数量的输出变量之间的复杂关系。

训练用于任何上下文中的成像。可以针对任何数量的成像情形来学习一个模型。可替代地，针对不同的情形训练不同的模型。不同的情形可以包括不同的超声扫描模态（例如，用于B模式、多普勒组织、流动模式、M模式和/或频谱多普勒模式的不同模型）。不同的情形可以包括不同类型的感兴趣组织（例如，肝脏对比肾脏）和/或不同的诊断目的或工作流程（例如，癌性病变对比骨钙化）。可以将收集的数据集聚类成组。基于所述组，可以创建多个模型（例如，按每探头类型、患者类型、检查类型的模型或按每区域的模型）。

可以使用任何现在已知的或以后开发的机器学习。使用回归、分类和/或强化学习。回归训练通过度量的最小化来学习范围或持续输出。分类学习差别输出。强化学习利用反馈来学习动作序列。可以使用神经网络、贝叶斯网络、概率提升树或支持向量机训练。可以使用分层、级联或其他方案。可以使用监督式、无监督式或半监督式机器学习。

为了训练，从输入数据提取特征。可以从图像数据或图像提取哈尔小波、可调性（steerable）、梯度或其他特征。可替代地，使用输入数据本身（例如，渲染图像的像素或颜色值），并且学习（诸如利用深度学习）确定特征。在深度学习中，训练从输入图像学习卷积核、权重和/或连接以生成输出。深度学习通过使用具有由多个非线性变换组成的结构的多个处理层来对数据中的高级抽象进行建模，其中输入数据特征未被明确地设计（engineer）。深度学习提供由其他机器训练使用的特征以学习输出。可以训练和应用深度学习的稀疏自动编码模型。在学习要使用的特征以及如何对给定的输入样本（即，特征向量）分类中，机器训练是无监督式的。

可以使用用于深度学习的任何人工神经网络架构。神经网络架构限定用于训练的神经网络以及所得的训练的或机器学习的模型。神经网络被训练为在具有或不具有其他输入信息（例如，患者、位置和/或用户信息）的情况下，基于输入图像输出一个或多个设置值。在一个实施例中，网络是深度卷积神经网络，其可以匹配或超过人类性能。图3示出了一示例网络架构。由收集的输入表示训练数据。在该示例中，收集的输入是图像、用于图像的设置、患者信息和位置（即，区域）信息。诸如用于不同设置的肯定和否定标注之类的用于设置的标注也提供地面真值。神经网络架构包括负责从超声图像提取图像特征的任何数量的卷积和池化层34。神经网络架构还包括完全连接层，完全连接层负责根据层34的输出和收集的信息的函数近似和/或分类。在其他实施例中，将一些或所有其他信息输入到卷积和池化层34。可以使用其他架构。可以一起或分离地训练层34和35。例如，卷积和池化层34来自现有网络（例如，Alexnet）并且用于训练完全连接层35。

训练基于地面真值和诸如图像、设置之类的对应数据和/或其他信息。将从患者的检查标识的地面真值和来自患者的检查的数据用于训练中。输入相同类型数据的许多样本。为了学习人类不能在相同水平上感知关系的可能充分复杂的统计或其他关系，提供数十、数百或数千个样本。在针对患者的检查获取附加样本和地面真值后，重新训练可以发生。

对于训练，输入目标或地面真值信息。利用标注的数据（例如，具有设置的输入图像）训练人工智能系统。当有意义数量的数据集可用时，根据收集的数据集训练神经网络。例如，收集的数据集是：（1）低质量的超声图像、用于低质量图像的成像参数设置、患者信息、区域信息和用户信息的输入与高质量的相关联或最终成像参数设置的地面真值输出；以及（2）高质量的超声图像、用于高质量图像的成像参数设置、患者信息、区域信息和用户信息的输入与高质量图像的相关联成像参数的地面真值输出。在其他实施例中，使用否定示例作为输入，其中地面真值输出是具有低质量的图像的参数设置，同时还使用肯定示例，其中地面真值输出是具有高质量的图像的设置。训练基于否定和肯定样本以及其他信息来学习将低质量和高质量进行区分的设置。

对于不同的患者，甚至对于相同的成像模式、被诊断的病理和/或被成像的解剖结构，用于充分质量成像的设置可以是不同的。将患者信息用于机器训练中，以学习为不同的患者情形提供设置。为训练数据的不同样本提供患者的临床特性（例如，身高、体重、年龄、性别和/或BMI）、患者病史和/或实验室结果。

对于不同位置，用于充分质量成像的设置可以是不同的。将位置信息用于机器训练中，以学习诸如依据县、州和/或国家来为不同区域提供设置。不同区域可以对图像充分性具有不同的需求、期望或预期。训练数据包括针对医学超声扫描仪的区域位置或针对样本的检查。

对于不同的用户，甚至对于相同的成像模式、被诊断的病理和/或被成像的解剖结构，用于充分质量成像的设置可以是不同的。将用户信息用于机器训练中，以学习为不同的用户情形提供设置。用户的年龄、性别、角色或其他特性可以导致不同版本的充分图像。机器训练可以提供用户特定设置，因此在调谐成像参数中考虑用于成像的用户特定偏好。

在动作15中，存储训练的人工智能。将训练的模型存储在存储器中。可以使用任何存储器。可以使用用于训练数据的存储器。对于应用，存储器可以在另一个设备中。例如，将训练的模型存储在医学超声扫描仪或工作站的存储器中。实现训练的模型的一个副本的服务器可以用于不同的患者。可以向不同的医师、医学超声扫描仪和/或工作站提供训练的模型的多个副本，以供不同的医师用于不同的患者。

存储的机器学习网络用于在动作16-21中优化通过医学超声扫描仪的成像。使用机器学习网络调谐对图像的设置。例如，将训练的ANN部署在超声机器中。通过使用从网络输出的设置，对于任何给定的患者更可能获得诊断上有用的图像。可以减少用于患者的检查时间，从而增加针对超声扫描仪的患者周转量。

在动作16中，医学超声扫描仪使用设置对患者进行成像。扫描仪是用于收集训练数据的扫描仪中的一个或不同的扫描仪。患者是用于收集训练数据（例如，随访检查）的先前患者中的一个或不同的患者。由在收集训练数据中牵涉的相同用户或不同的用户操作扫描仪。

医学扫描仪对患者进行成像。如针对动作10-12讨论的那样执行成像。执行成像用于患者的诊断、预后和/或治疗。针对任何数量的患者执行成像。不同的患者在不同的时间被成像。

成像生成患者的图像。可以生成图像序列，诸如用于查看随时间的改变和/或用于相对于患者定位换能器的视场以便扫描患者中的感兴趣区域。

用于生成一个或多个图像的设置基于用户输入、默认设置和/或来自训练的网络的先前输出设置。为提供成像参数的设置而对机器学习网络的使用发生在检查期间的任何时间，诸如在获取初始图像之后或以后。

在动作17中，在具有或不具有其他信息的情况下将图像中的一个输入到机器学习网络中。网络具有输入特征向量，诸如图像、从图像导出的特征、用于获取图像的设置、患者信息、用户信息和/或位置信息。

将针对当前患者、用户和/或位置的信息输入到机器学习网络。医学超声扫描仪获得患者、用户和/或位置信息。所述信息可以从诸如患者的电子健康记录之类的数据库获得。所述信息可以从请求获得，诸如作为患者检查的部分要求用户将信息输入到医学超声扫描仪。

基于以下内容训练机器学习网络：在未针对其他患者存储时作为否定示例的针对其他患者的图像和对应的设置，以及在针对其他患者存储时作为肯定示例的针对其他患者的图像和对应的设置。训练导致机器学习网络被配置为响应于输入而输出针对一个或多个成像参数的值。所述输入是具有或不具有其他信息（例如，患者和位置）的图像。当调用网络时，收集当前超声图像、成像参数、患者信息和区域信息，并将它们作为输入馈送到训练的网络中。

在动作18中，由处理器所实现的机器学习网络输出一个或多个设置。响应于针对当前患者的图像和任何其他信息（例如，患者、用户和/或位置信息）的输入，由机器学习网络输出成像参数的一个或多个值。

输出可以是针对给定成像参数的值。输出要使用的新设置。可替代地，输出是值从当前值的改变（例如，通过增加X来调整）。

将针对所有成像参数的值作为集而输出。可替代地，仅输出被改变的值。在其他实施例中，输出针对成像参数的子集的一个值或多个值。

该输出被转换为成像动作，所述成像动作导致更新用于生成患者的下一图像的成像参数。可替代地，所述输出是到用户的。用户可以决定使用输出设置和/或更改输出设置或其他设置。

在动作19中，向医学超声扫描仪的用户通知设置。用户可以接受、更改或拒绝设置或设置的子集。用户配置医学超声扫描仪以使用通知中的一些或所有设置。该配置（例如，接受）可以触发使用当前（新）设置对患者的重新成像。对通知的响应触发重新成像。

用户可以启用或禁用网络的应用。配置设置可以是可用的：当被启用时，在检查期间的所有时间或特定时间应用机器学习网络调谐。

图4示出了在患者的超声检查中使用机器学习网络的工作流程的一个实施例。机器学习网络在后台中运行。当存在针对成像参数更新的建议时，通知用户（例如，针对一个图像参数或多个图像参数的闪烁控制）。

在动作40中，开始使用超声扫描仪对患者的检查。使用默认、用户设置的或网络提供的设置。在动作41中，使用如通过当前设置所配置的成像对患者进行成像以找到感兴趣区域（例如，器官）。

一旦找到感兴趣区域，就可以在显示屏上定格该感兴趣区域的图像或者以其他方式由用户查看该感兴趣区域的图像。在动作42中，用户确定图像是否具有充分的质量用于对患者的诊断。如果是，则在动作46中捕获图像。如果否，则用户或扫描仪确定是否使用由机器学习网络输出的设置。例如，将图像和其他信息输入到网络，并且向用户提供通知。用户可以在动作43中选择使用或不使用设置。可替代地，将对使用或不使用设置的默认选择用于动作43。在动作45中，用户输入其他设置或调整网络提议的设置。在动作44中，扫描仪被自动配置为利用网络输出设置更新设置。可以使用动作45和44的组合，诸如其中用户覆盖一个设置但没有覆盖另一个设置。

一旦提供新设置，就再次执行成像并针对质量核查所得图像。可以使用相同的过程针对患者捕获其他图像（例如，重复在动作41或动作42处开始的动作）。一旦在动作46中捕获期望的图像，检查就在动作47中结束。

返回到图1，医学超声扫描仪在动作20中使用来自网络的输出的至少一个设置对患者进行重新成像。其他设置可以来自网络的输出、来自对来自网络的设置的手动调整、基于手动录入、或者保持相同（例如，来自默认）。

一旦被配置，扫描仪就使用新设置对患者进行成像。基于设置生成一个或多个图像。

在动作21中，显示使用基于机器学习网络输出设置的配置而生成的一个图像或多个图像。来自对患者进行重新成像的图像被传输到显示设备。可以重复动作17-20，直到针对患者捕获一个或多个期望的图像。

归因于在动作20的重新成像中对机器学习网络的应用，图像响应于输出设置。图像更可能提供诊断上有用的信息，从而避免或减少为了找到期望图像的持续手动调整。由于网络在输出设置中使用患者、位置和/或用户信息，因此图像可以更可能是针对当前患者、用户和/或区域的期望图像。

在显示屏上显示针对每个患者生成的一个图像或多个图像。医师和/或技术人员查看图像用于患者的诊断、预后和/或治疗。用户可以保存图像、更改图像、传输图像、丢弃图像和/或重复图像采集。该交互发生在医学扫描仪上和/或在图像的存储之后发生在另一位置（例如，PACS或电子健康记录）处。出于创建附加的地面真值的目的，可以使用交互和/或出于患者检查目的而生成的其他信息来在不具有专家审查的情况下确定地面真值。

图3示出了用于调谐的超声成像的系统的一个实施例的框图。所述系统实现图1、2或4的方法和/或另一方法。所述系统用于利用机器学习的训练和/或机器学习模型的应用。对于训练，所述系统使用与设置相对应的日常患者检查成像序列，以导出地面真值并基于导出的地面真值来训练。对于应用，所述系统将正在检查的患者的图像和其他信息输入到机器学习网络，所述机器学习网络输出在检查期间用于后续成像的设置。可以实现诸如提供用于批准、显示通知、手动更改设置、监督训练、检查患者和/或应用学习模型的用户接口之类的其他方法或动作。

所述系统包括用户输入56、存储器58、显示器54、医学扫描仪50和图像处理器52。可以提供附加的、不同的或更少的部件。例如，不提供存储器58。在另一示例中，提供网络或网络连接，诸如用于与医学成像网络、电子医学记录、用户信息的数据库、具有位置信息的存储器或数据存档系统（例如，PACS）联网。

用户输入56、存储器58、图像处理器52和/或显示器54是医学扫描仪50的部分。可替代地，用户输入56、存储器58、图像处理器52和/或显示器54是与医学扫描仪50分离的服务器、工作站或计算机的部分。在其他实施例中，图像处理器52和/或存储器58是用于与包括其余部件的医学扫描仪50交互的远程服务器的部分。用户输入56、存储器58、图像处理器52和/或显示器54可以是诸如台式计算机或膝上型计算机之类的个人计算机、工作站、服务器或其组合。在又其他实施例中，用户输入56和存储器58是与图像处理器52分离的计算机的部分。

医学扫描仪50是医学诊断超声成像系统。医学扫描仪50包括传输和接收波束形成器，所述传输和接收波束形成器与换能器一起利用超声扫描患者。扫描是体积扫描、平面扫描、线性扫描或点区域的扫描。检测器从扫描接收波束形成的超声数据以根据数据检测。扫描转换器将检测的数据格式化以供显示。可以包括用于颜色映射的存储器、时间滤波器、空间滤波器和/或其他部件。

通过针对各种部件的设置来配置医学扫描仪50，以在检查期间生成患者的一个或多个图像。设置是针对成像参数的。配置来自存储器（例如，使用默认值）、来自用户接口（例如，使用手动录入的值）和/或来自图像处理器52（例如，使用由机器学习网络输出的值）。可以改变一个或多个设置。在相同检查期间（例如，在图像之间具有小于15分钟的间隙的相同预约或相同的正在进行的超声检查），在不同时间不同地配置医学超声扫描仪50。在给定患者的检查期间，使用不同的设置在图像序列中生成不同的图像。

用户输入56是键盘、按钮、滑块、旋钮、鼠标、轨迹球、滚珠、触摸板、触摸屏和/或任何其他用户输入设备或硬件。用户使用用户输入56与系统交互。作为患者检查的部分，患者、患者的治疗医师、患者的放射科医师和/或扫描患者的技术人员可以与医学扫描仪50和/或图像处理器52交互。用于处理关于患者的数据（例如，来自医学扫描仪50对患者的扫描的图像）的这些选择、配置、编辑、接受、存储、传输或其他动作可以由用户输入56从存储器和/或从通过网络的传送来接收。可以存储和/或传输动作或动作的结果。

存储器58是用于存储训练数据、图像、电子健康记录、PACS数据、扫描仪日志信息、用户数据、位置信息、提取的地面真值、设置（例如，成像参数的值）、机器学习架构、机器学习网络和/或其他信息的图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓冲存储器、硬驱动器、光学介质、磁介质、闪存驱动器、缓冲器、其组合或其他现在已知或以后开发的存储器设备。存储器58是医学扫描仪50的部分、与图像处理器52相关联的计算机的部分、另一系统的部分、图片存档存储器或独立设备。存储器58可以由在相同或不同位置处的多个不同存储器形成。为了存储训练数据，存储器58是数据库。到患者、用户和/或位置数据的链接和/或这类数据集合可以存储在数据库中。数据库存储诸如来自不同患者的样本和针对样本确定的地面真值之类的训练数据。

存储器58或其他存储器可替代地或附加地是存储数据的非暂时性计算机可读存储介质，所述数据表示由编程图像处理器52可执行的用于学习或应用机器学习模型的指令。在非暂时性计算机可读存储介质或存储器上提供用于实现本文中讨论的过程、方法和/或技术的指令，所述非暂时性计算机可读存储介质或存储器诸如高速缓存、缓冲器、RAM、可移除介质、硬驱动器或其他计算机可读存储介质。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一个或多个指令集，执行附图中图示或本文中描述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类来执行。同样地，处理策略可以包括多处理、多任务、并行处理以及诸如此类。

在一个实施例中，指令存储在可移除介质设备上以供本地或远程系统读取。在其他实施例中，指令存储在远程位置中以供通过计算机网络或通过电话线传送。在又其他实施例中，指令存储在给定的计算机、CPU、GPU或系统内。

图像处理器52是被配置为确定地面真值、应用机器学习、应用机器学习模型、测试机器学习模型和/或对患者进行成像的计算机、工作站、服务器、处理器或其他设备。由软件、硬件和/或固件配置图像处理器52。为了学习，图像处理器52由一个或多个机器学习算法配置为学习基于输入图像和其他信息输出成像参数的值。为了应用学习模型，图像处理器52部分地由将输入数据关联到输出值的学习矩阵或其他数据（例如，卷积核、池化连接和权重）配置。

图像处理器52被配置为确定成像参数的值。机器训练网络响应于患者的图像、用于该图像的成像参数的值和/或针对患者的患者信息的输入来输出值。给定患者信息和当前图像以及值，网络输出对于患者而言适当的值。可以包括其他输入，诸如医学扫描仪50的位置（例如，区域指定）和/或针对医学扫描仪50的一个或多个用户的用户信息。网络输出适当的值，或基于位置、患者和/或用户信息输出值。可以根据区域成像实践来调谐值以提供用户优选的图像，和/或可以将值适配到患者（例如，患者的信息和/或被成像的解剖结构）。

对于训练，利用训练数据来训练机器训练网络，所述训练数据具有从其他患者的扫描中针对其他患者对图像的使用而推断的地面真值。扫描仪50用于患者的定期或正在进行的使用被用于在不具有地面真值的手动专家录入的情况下建立地面真值。一旦被训练，图像处理器52就被配置为将网络应用于其他患者。

图像处理器52被配置为控制超声扫描仪50。可以向用户通知推荐值，并且在用户接受后利用新值重新配置扫描仪50。可替代地，在不要求用户通知的情况下重新配置扫描仪50，或者重新配置扫描仪50但在来自用户的确认之前不使用所述值。如由网络输出的成像参数的值和/或在用户的任何修改之后的值被扫描仪50用于生成图像或图像序列。

可以重复值的输出和在成像中的使用。用户可以基于输出或在不具有网络的输出的情况下修改一个或多个值，并且然后扫描仪50生成一个图像或多个图像。捕获对于诊断期望的图像。可以丢弃其他图像。用户继续检查。归因于网络输出值，可以更快速地或者利用用户更少的手动调整来聚集期望的图像。这增加用户效率和扫描仪周转量，同时减小患者检查时间。扫描仪50以改进的方式操作来为诊断提供更有用的图像。

显示器54是用于显示一个图像或多个图像的监视器、LCD、投影仪、等离子显示器、CRT、打印机或其他现在已知或以后开发的设备。由显示平面存储器或缓冲器配置显示器54，从所述显示平面存储器或缓冲器读取数据以在显示屏上生成图像。显示器54从存储器58、图像处理器52或医学扫描仪50接收图像。显示由医学扫描仪50捕获的组织的图像。也可以显示其他信息，诸如将生成的图形、文本或数量显示为虚拟叠加。

图像和/或其他信息可以响应于机器学习模型。例如，显示来自患者的扫描的图像。这些图像响应于来自所训练的机器学习模型的输出值。一个或多个图像可以代替地响应于手动设置值和/或默认值。贯穿检查示出不同的图像以捕获用于患者的诊断、预后和/或治疗的图像子集。

当检查给定患者时，应用当前现有的机器学习模型。结果是响应于在那时的机器学习模型的患者数据或输出。由于可以基于患者检查提供的训练数据来重新训练模型，因此可以将不同的模型用于以后的患者。例如，针对不同患者的图像响应于不同版本的机器学习模型。

虽然上面已经通过参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下可以做出许多改变和修改。因此，旨在将前述详细描述视为是说明性的而不是限制性的，并且应理解，旨在所附权利要求（包括所有等同物）限定本发明的精神和范围。

Claims (15)

1.一种用于利用医学超声扫描仪（50）的机器学习图像优化的方法，所述方法包括：

由所述医学超声扫描仪（50）对患者进行成像（10），所述成像（10）提供第一图像并且提供第二图像，其中在所述第一图像的显示之后改变一个或多个设置，所述第二图像是从所述一个或多个设置的所述改变而得到的；

由机器来机器训练（14）第一神经网络，以基于输入图像和患者信息来输出设置值，所述训练（14）包括训练数据中分别作为否定示例和肯定示例的所述第一图像和所述第二图像；以及

存储（15）所训练的所述第一神经网络。

2.根据权利要求1所述的方法，进一步包括：

对另一患者进行成像（16），所述成像（16）提供第三图像；

将针对所述另一患者的患者信息和所述第三图像输入（17）到所训练的所述第一神经网络中；

响应于所述输入（17）而输出（18）所述设置值；以及

使用所述设置值对所述另一患者进行成像（20）。

3.根据权利要求1所述的方法，其中，对于所述第一图像的成像（10）包括使用针对所述设置的默认值来成像（10），并且其中，对于所述第二图像的成像（10）包括在用户对所述一个或多个设置做出所述改变之后的成像（10）。

4.根据权利要求1所述的方法，其中成像（10）包括基于未能捕获针对所述患者的所述第一图像来选择用于所述训练（14）的所述第一图像，以及基于捕获针对所述患者的所述第二图像来选择用于所述训练（14）的所述第二图像。

5.根据权利要求1所述的方法，其中成像（10）包括基于所述患者的成像（10）的工作流程确定地面真值。

6.根据权利要求1所述的方法，其中机器训练（14）包括利用包括针对所述医学超声扫描仪（50）的区域位置的所述训练数据来机器训练（14）。

7.根据权利要求1所述的方法，其中成像（10）包括通过由用户操作的所述医学超声扫描仪（50）来成像（10），并且其中机器训练（14）包括利用包括关于所述用户的信息的所述训练数据来机器训练（14）。

8.一种用于利用医学超声扫描仪（50）的图像优化的方法，所述方法包括：

由医学超声扫描仪（50）使用第一设置对患者进行成像（16）；

将来自使用所述第一设置的所述成像（16）的第一图像和针对所述患者的患者信息输入（17）到机器学习网络；

由所述机器学习网络响应于所述第一图像和所述患者信息的所述输入（17）而输出（18）第二设置；

由所述医学超声扫描仪（50）使用所述第二设置对所述患者进行重新成像（20）；以及

显示（21）来自所述重新成像（20）的第二图像。

9.根据权利要求8所述的方法，其中成像（16）包括通过由用户操作的所述医学超声扫描仪（50）来成像（16），其中输入（17）包括输入（17）针对所述用户的用户信息，并且其中输出（18）包括响应于所述用户信息的所述输入（17）来输出（18）。

10.根据权利要求8所述的方法，其中输入（17）包括输入（17）所述第一图像、所述患者信息和所述医学超声扫描仪（50）的位置，并且其中输出（18）包括响应于所述位置的所述输入（17）来输出（18）。

11.根据权利要求8所述的方法，其中输入（17）包括输入（17）到所述机器学习网络，已经基于以下内容训练所述机器学习网络：在未针对其他患者存储时作为否定示例的针对所述其他患者的图像和对应的设置，以及在针对所述其他患者存储时作为肯定示例的针对所述其他患者的图像和对应的设置。

12.一种用于调谐的超声成像的系统，所述系统包括：

超声扫描仪（50），其基于成像参数的第一值和第二值可配置；

处理器（52），其被配置为响应于患者的第一图像、用于所述第一图像的所述成像参数的所述第一值以及针对所述患者的患者信息的输入，利用机器训练网络确定所述成像参数的所述第二值；以及

显示器（54），其被配置为显示由所述第二值配置的所述超声扫描仪（50）生成的所述患者的第二图像。

13.根据权利要求12所述的系统，其中利用训练数据来训练所述机器训练网络，所述训练数据具有从其他患者的扫描中针对所述其他患者对图像的使用而推断的地面真值。

14.根据权利要求12所述的系统，其中所述处理器（52）被配置为响应于所述第一图像、所述第一值、所述患者信息和所述超声扫描仪（50）的位置的所述输入来确定所述第二值。

15.根据权利要求12所述的系统，其中所述处理器（52）被配置为响应于所述第一图像、所述第一值、所述患者信息和针对所述超声扫描仪（50）的用户的用户信息的所述输入来确定所述第二值。