CN111053573A - 用于使用探头位置反馈来检测医疗成像扫描平面的方法和系统 - Google Patents

Abstract

本发明题为“用于使用探头位置反馈来检测医疗成像扫描平面的方法和系统”。本发明提供了用于自动地检测解剖结构的扫描平面并提供用于在成像过程期间获得目标视图的指导的各种方法和系统。作为一个示例，一种方法包括：在接收图像数据期间向用户输出用于将医疗成像探头从当前扫描位置导航到下一个扫描位置以基于目标解剖结构的所接收的图像数据以及位置数据来获得目标解剖结构的期望扫描平面的指令，位置数据从探头上的位置传感器获得。

Description

用于使用探头位置反馈来检测医疗成像扫描平面的方法和 系统

技术领域

本文公开的主题的实施方案涉及医疗成像和对所采集的图像内的目标扫描平面和/或解剖结构的自动检测。

背景技术

医疗成像过程诸如超声成像过程涉及用户在患者上方或体内移动成像探头(例如，超声换能器)，以便获得目标解剖结构(诸如器官)的图像。对患者进行正确医疗诊断可能需要从目标解剖结构处的特定扫描平面获得的多个图像视图。另外，在不同图像视图处可能需要不同测量。在不同图像视图处采集的图像数据可以用来生成医疗专业人员用来进行医疗诊断的图像。用于分析所生成的图像的一些系统包括机器学习和/或深度学习框架，其涉及基于训练数据限定初始模型的各种算法。框架基于用户反馈而自动地调整初始模型。常规框架覆盖广泛应用，诸如器官检测、扫描平面选择、细分和组织分类。

发明内容

在一个实施方案中，方法包括：在接收图像数据期间向用户输出用于将医疗成像探头从当前扫描位置导航到下一个扫描位置以基于目标解剖结构的所接收的图像数据和位置数据来获得该目标解剖结构的期望扫描平面的指令，位置数据从探头上的位置传感器获得。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：

图1A至图1B示出了根据本发明的实施方案的医疗诊断系统的示意图。

图2A至图2B示出了根据本发明的实施方案的用于基于由医疗成像探头采集的成像数据和位置数据在成像过程期间对诊断医疗图像进行分类并指导成像系统的用户的方法。

图3示出了根据本发明的实施方案的扫描平面和/或解剖结构检测框架的示例性框图。

图4A至图4D示出了根据本发明的实施方案的在成像过程和图2A至图2B处呈现的方法期间向超声成像系统的用户显示的不同提示的示例。

具体实施方式

以下描述涉及对所采集的诊断医疗图像进行分类并指导成像系统的用户基于由成像探头采集的图像数据和位置数据来采集解剖结构的目标扫描平面的图像的各种实施方案。在一个示例中，医疗诊断系统(MDS)可以包括超声成像系统，诸如图1B中所示的MDS。超声成像系统包括成像探头(例如，超声换能器)，该成像探头经由用户在患者周围被移动和引导。在成像过程期间，当探头在空间中移动时，成像探头采集用来生成患者的图像的图像数据。探头可以附加地包括位置传感器，并且位置数据可以连同所采集的图像数据一起被采集并对应于所采集的图像数据。MDS的控制器可以被配置为使用存储在MDS的存储器(诸如图1A至图1B中所示的MDS系统的存储器)中的一个或多个模型和算法来分析所采集的图像和位置数据以对图像进行分类并识别示出解剖结构(作为一个示例，器官)的目标扫描平面和/或目标解剖结构的图像。该算法和/或模型可以包括机器学习算法、解剖结构模型和解剖特征特定模型，在本文中称为扫描平面和/或解剖结构检测框架，其使控制器能够自动地检测解剖结构的目标扫描平面，从而基于所选择的图像产生提高医疗诊断的准确性的期望图像视图。然而，仅该检测框架可能无法在成像过程期间为更多没有经验的用户提供帮助。例如，没有经验的用户可能在成像过程期间错过期望视图和/或可能在成像过程期间无法找到期望视图。这可能导致诊断不正确或医疗专业人员不能根据所获得的图像视图进行准确诊断。特别地，在成像过程期间，用户可能难以找到目标扫描平面和/或解剖结构(诸如胎心)。因此，来自探头的位置传感器数据可以用来帮助用户在成像过程(例如，超声检查)期间找到目标扫描平面。

如图3所示，来自探头位置传感器的位置数据还可以连同图像数据一起用作扫描平面和/或解剖结构检测框架的输入，并且该框架可以(在一个示例中，经由显示器)向用户输出当基于图像数据的分类与位置数据不匹配时的一个或多个不匹配警告、有关往哪/如何移动探头以获得期望视图或扫描平面的指导、和/或包括目标平面/结构的图像的指示和/或显示。如图2A至图2B处呈现的方法所示，在成像过程期间，经由探头同时地且连续地采集图像数据和位置数据，并且随后将图像数据和位置数据输入检测框架中以识别扫描平面和/或解剖结构。如果基于图像数据检测到的扫描平面或结构与对应位置数据之间存在不匹配，则系统可以输出不匹配警告并要求用户重新校准位置传感器(如图4A至图4D所示)。附加地或另选地，位置数据可以用来更新和/或提高由检测框架识别的目标视图的准确性。该系统还可以指导用户如何/往哪移动探头以得到扫描方案中的下一个期望视图(如图4A至图4B所示)。以此方式，可以使用户更容易地在成像过程期间获得期望图像视图，从而提高所采集的图像的质量并提高基于所得图像的医疗诊断的准确性。

图1A至图1B示出了医疗诊断系统(MDS)100、150的各种实施方案的示意框图。图1A的MDS 100包括可操作地耦接到通信电路104的控制器(例如，控制器电路)102、显示器(例如，显示设备)138、用户界面142和存储器106。

通信电路104可以经由对应双向通信链路通信地耦接到一个或多个另选MDS(例如，诸如图1B中所示的MDS 150)、一个或多个医疗诊断成像系统、远程服务器等。在一个示例中，一个或多个医疗诊断成像系统可以包括超声成像系统或设备。远程服务器可以被配置为存储来自由一个或多个医疗诊断成像系统采集的患者的先前扫描和/或临床医生会话的医疗图像集。

双向通信链路可以是有线(例如，经由物理导体)和/或无线通信(例如，利用射频(RF))链路，以在MDS 100与另选MDS、一个或多个医疗诊断成像系统、远程服务器等之间交换数据(例如，数据分组)。例如，MDS 100可以从来自另选MDS、一个或多个医疗诊断成像系统、远程服务器等的所保存的扫描和/或临床医生会话接收医疗图像集。该医疗图像集可以包括来自用来采集医疗成像数据的探头的用来生成图像的医疗成像数据和对应位置传感器数据，如本文中进一步讨论的。双向通信链路可以基于标准通信协议，诸如以太网、TCP/IP、WiFi、802.11、定制通信协议等。

控制器102被配置为控制MDS 100的操作。控制器102可以包括一个或多个处理器。任选地，控制器102可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)或能够根据存储在控制器的存储器上或与控制器耦接的特定逻辑指令来处理所输入的数据的其他电子部件。任选地，控制器102可以包括和/或表示一个或多个硬件电路或电路系统，其包括、连接、或既包括又连接一个或多个处理器、控制器和/或其他基于硬件逻辑的设备。附加地或另选地，控制器102可以执行存储在有形且非暂态计算机可读介质(例如，存储器106)上的指令。

控制器102可以可操作地耦接到和/或控制通信电路104。通信电路104被配置为与一个或多个医疗诊断成像系统、另选MDS、远程服务器等一起接收和/或传输信息。通信电路104可以表示用来沿着双向通信链路传输和/或接收数据的硬件。通信电路104可以包括收发器、接收器、收发器等，以及用于与一个或多个医疗诊断成像系统、另选MDS、远程服务器等进行有线和/或无线通信(例如，传输和/或接收)的相关联的电路(例如，天线)。例如，协议固件可以存储在存储器106中，该存储器可以由控制器102访问。协议固件为控制器102提供了网络协议语法，以组装数据分组、建立和/或划分沿着双向通信链路接收的数据等。

控制器102可操作地耦接到显示器138和用户界面142。显示器138可以包括一个或多个液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子体显示器、CRT显示器等。显示器138可以显示由显示器138从控制器电路102接收的患者信息、一个或多个医疗图像和/或视频、图形用户界面的部件、来自存储在存储器106中或当前正在采集的超声数据的一个或多个2D、3D或4D超声图像数据集、测量、诊断、治疗信息、警报或指示、方向等。

用户界面142控制控制器102的操作并被配置为接收来自用户的输入。用户界面142可以包括键盘、鼠标、触摸板、一个或多个物理按钮等。任选地，显示器138可以是触摸屏显示器，其包括用户界面142的至少一部分。例如，用户界面142的一部分可以对应于由控制器102生成的图形用户界面(GUI)，该GUI显示在显示器138上。触摸屏显示器可以检测显示器138上来自操作者的触摸的存在，并且还可以识别触摸相对于显示器138的表面区域的位置。例如，用户可以通过触摸或接触显示器138来选择显示器上显示的GUI的一个或多个用户界面图标。可以通过例如个体的手、手套、触笔等中的至少一者来施加触摸。

存储器106包括由控制器102用来执行本文所述的一个或多个操作的指令、参数、算法、模型、数据值等。存储器106可以是有形且非暂态计算机可读介质，诸如闪存存储器、RAM、ROM、EEPROM等。存储器106可以包括一组机器学习算法107(例如，卷积神经网络算法、深度学习算法、决策树学习算法等)，其被配置为限定多个模型109和解剖结构模型108。附加地或另选地，模型109和/或解剖结构模型108可以经由通信电路104沿着双向通信链路中的一个被接收并存储在存储器106中。

例如，解剖结构模型108可以由机器学习算法107限定，以基于在一个或多个医疗图像内的一个或多个解剖结构的特征(例如，边界、厚度等)来识别一个或多个感兴趣的解剖结构。该特征可以表示医疗图像的像素和/或体素的高级特征，诸如直方图定向梯度、斑点特征、协方差特征、二元图案特征等。任选地，机器学习算法107可以通过自动地构建与基于来自一组训练图像、分类模型、监督建模等的特征来识别的每个解剖结构对应的真正和真负的统计模型和/或数据库来限定解剖结构模型108。

例如，解剖结构模型108可以基于多个训练医疗图像进行配置和/或设计。多个训练图像可以被分组为不同解剖结构集，诸如器官(例如，心脏、肾脏、肝脏、膀胱、肺、脑等)、骨骼结构(例如，骨骼、头骨等)、血管结构(例如，动脉、静脉等)、身体区域(例如，头部、躯干等)等。附加地或另选地，每个组内的训练图像可以表示一个或多个解剖结构的不同取向和/或视图。例如，一组训练图像可以包括超过50,000个医疗图像。例如，一组训练图像可以包括对应于心脏的一个或多个不同视图。在另一个示例中，第二组训练图像可以包括对应于脑的一个或多个不同视图。

附加地或另选地，可以基于监督学习方法限定解剖结构模型108。例如，用户(例如，熟练执业医生)可以利用用户界面142来手动地标记多个训练医疗图像内的一个或多个解剖结构。手动标记的医疗图像可以用于构建与限定解剖结构模型108的每个解剖结构对应的真正和真负的统计模型和/或数据库。

多个模型109被配置为限定一个或多个解剖结构的诊断过程。该诊断过程可以表示以下中的至少一者：识别二维平面、细分感兴趣的解剖结构、测量感兴趣的解剖结构的边界厚度、测量感兴趣的解剖结构的体积、识别医疗图像内的解剖结构、对医疗图像内的对象进行注释、测量感兴趣的解剖结构的面积等。例如，可以通过与特定解剖结构对应的机器学习算法107来限定多个模型109。

例如，可以由机器学习算法107限定多个模型109中的至少一个，以限定表示头部(例如，解剖结构)的中间矢状平面的二维平面。至少一个模型109可以被配置为利用图案识别来识别由机器学习算法107限定的头部的中间矢状平面。例如，执行至少一个模型109的控制器电路102被配置为基于医疗图像内的头部的特征(例如，眼窝、内部骨骼结构、厚度、形状等)来识别头部内的结构。该特征可以基于医疗图像的像素和/或体素的高级特征，诸如直方图定向梯度、斑点特征、协方差特征、二元图案特征等。任选地，机器学习算法107可以通过自动地构建于基于特征来识别的至少一个模型109的每个解剖结构对应的真正和真负的统计模型和/或数据库来限定至少一个模型109。执行至少一个模型109的控制器102可以基于依据所识别的结构的对称平面来限定表示中间矢状平面的二维平面。

在另一个示例中，可以由机器学习算法107限定多个模型109中的至少一个，以从医疗图像细分出膀胱(例如，解剖结构)。至少一个模型109可以被配置为利用分类模型(例如，随机森林分类器)来识别由机器学习算法107限定的膀胱。机器学习算法107基于像素级分类器模型限定至少一个模型109以标记医疗图像的每个像素和/或将其分配到多个分类或类别(例如，肌肉、脂肪、背景解剖结构、膀胱)中。执行分类模型的控制器102可以基于医疗图像内的像素的各种强度和空间位置从像素的特征空间来确定类别。执行至少一个模型109的控制器102可以连续地选择医疗图像的像素，并且将选择像素的特征与特征向量进行比较。例如，控制器102可以将选择像素的强度或亮度与分类模型的特征向量进行比较。在另一个示例中，控制器102可以通过将选择像素的强度与在选择像素周围的相邻和/或接近像素进行比较来确定选择像素的方差峰度、偏度或空间分布特性。

由控制器102比较的选择像素的多个特性可以基于特征向量中包括的特征集。每个特征向量可以是n维向量，其包括对应于超声图像内的解剖结构的像素的类别(例如，背景解剖结构、肌肉组织、脂肪、膀胱)的三个或更多个像素特征(例如，均值、方差、峰度、偏度、空间分布)。分类模型的特征向量可以由控制器基于多个测试医疗图像生成和/或限定。例如，控制器102可以从一百个参考超声图像中选择像素块。选择像素块可以具有五个像素的长度和五个像素的宽度。例如，每个选择像素块内的多个像素可以表示和/或对应于类别(诸如膀胱的组织)中的一种。基于选择像素块内的多个像素，控制器102可以生成和/或限定特征向量。控制器102可以确定选择像素块或与同一类别对应的多于一个选择像素块的多个像素内的每个像素的特征集。特征集中的一个可以基于参考超声图像的强度直方图。例如，控制器电路可以计算多个像素的平均强度、多个像素强度的方差、多个像素的强度分布的峰度或形状、多个像素的偏度等。

另外，特征集中的一个可以对应于选择像素块内的像素的位置或空间特征。空间位置是相对于参考图像内的位置(例如，中心位置)的，并且深度是相对于患者体内的采集深度的。控制器102可以对特征集执行k均值聚类和/或随机森林分类以限定与选择像素块的类别对应的特征值。控制器102可以基于分类模型的特征值限定对应于类别的特征向量。控制器102可以基于对应特征向量向选择像素分配类别。当选择像素被分配了类别时，控制器102可以对医疗图像的其余像素重复分类模型，从而细分出医疗图像内的膀胱。

以此方式，学习算法107、解剖结构模型108和模型109可以一起形成分类模型(在本文中也被称为扫描平面和/或解剖结构检测框架)，该分类模型被控制器102用来对所存储的超声图像和/或从实时(例如，在超声扫描过程或会话期间)采集的成像数据(例如，成像数据集)生成的超声图像进行分类。图像和/或图像数据可以按解剖结构的扫描平面和/或按解剖标志/结构进行分类，使得目标或期望扫描平面或解剖结构由控制器使用所存储的模型和/或算法进行识别。然后，解剖结构的所识别的一个或多个目标扫描平面和/或解剖结构可以经由显示器138显示给用户。如下面进一步讨论的，对应于所采集的成像数据和所生成的图像的位置数据可以在控制器102处接收并馈送到存储器106中的模型和/或算法中以增强和/或检查分类模型和输出。如下面进一步讨论的，对应的位置数据和成像数据(或图像)可以被输入到模型109、解剖结构模型108和/或学习算法107中。

可能需注意，用来限定多个模型109和/或解剖结构模型108的机器学习算法是示例，对于本领域的技术人员而言，可用附加方法。

转到图1B，MDS 150可以与医疗诊断成像系统集成和/或作为医疗诊断成像系统的一部分。例如，MDS 150包括超声成像系统。MDS 150包括超声探头126，该超声探头具有发射器122、发射波束形成器121、探头/SAP电子器件110和位置传感器112。探头/SAP电子器件110可以用来控制换能器元件124的切换。探头/SAP电子器件110还可以用来将换能器元件124分组到一个或多个子孔中。

超声探头126可以被配置为基于预先确定的设置而从患者的解剖结构(例如，器官、血管、心脏)采集超声数据或信息。另外，超声探头126可以经由位置传感器112采集位置信息(例如，数据)，该位置信息包括探头126的相对于坐标系和可以由控制器预限定的参考点的空间位置。位置数据可以对应于所采集的超声图像数据，使得每个图像(或所扫描的图像平面或框架)包括在采集图像数据时探头的对应位置。超声探头126经由发射器122通信地耦接到控制器102。发射器122基于由控制器102接收的采集设置而将信号发射到发射波束形成器121。采集设置可以限定由换能器元件124发射的超声脉冲的幅度、脉冲宽度、频率、增益设置、扫描角、功率、时间增益补偿(TGC)、分辨率等。探头126可以包括用于发射由发射波束形成器121形成的信号的附加发射器。换能器元件124将脉冲超声信号发射到患者(例如，身体)体内。采集设置可以由用户利用用户界面142进行限定。由发射器122发射的信号继而又驱动换能器阵列112内的多个换能器元件124。

换能器元件124沿着一个或多个扫描平面将脉冲超声信号发射到与采集设置对应的身体(例如，患者)或体积中。超声信号可以包括例如一个或多个参考脉冲、一个或多个推动脉冲(例如，剪切波)和/或一个或多个脉冲波多普勒脉冲。脉冲超声信号的至少一部分从解剖结构(例如，心脏、左心室流出道、乳腺组织、肝脏组织、心脏组织、前列腺组织、新生儿脑、胚胎、腹腔等)背散射以产生回波。回波根据深度或移动而在时间和/或频率上延迟，并且由探头126的换能器阵列内的换能器元件124接收。超声信号除其他用途外还可以用于成像，用于生成和/或跟踪剪切波，用于测量解剖结构内的位置或速度的变化、组织的压缩位移(例如，应变)的差异，和/或用于治疗。例如，探头126可以在成像和跟踪期间传递低能量脉冲，为生成剪切波而传递中等到高能量脉冲，并且在治疗期间传递高能量脉冲。

换能器元件124将所接收的回波信号转换为可以由接收器128接收的电信号。接收器128可以包括一个或多个放大器、模数转换器(ADC)等。接收器128可以被配置为在适当的增益补偿之后放大所接收的回波信号并将来自每个换能器元件124的这些所接收的模拟信号转换为时间上均匀地采样的数字化信号。表示所接收的回波的数字化信号暂时地存储在存储器106中。数字化信号对应于在各个时间上由每个换能器元件124接收的背散射波。在数字化之后，信号仍然可以保留背散射波的幅度、频率、相位信息。接收器128还可以将从位置传感器112接收的位置数据传输到控制器102和/或存储器106。

任选地，控制器102可以检索存储在存储器106中的数字化信号，以为波束形成器处理器130做准备。例如，控制器102可以将数字化信号转换为基带信号或压缩数字化信号。

波束形成器处理器130可以包括一个或多个处理器。任选地，波束形成器处理器130可以包括中央控制器电路(CPU)、一个或多个微处理器或能够根据特定逻辑指令处理所输入的数据的任何其他电子部件。附加地或另选地，波束形成器处理器130可以执行存储在有形且非暂态计算机可读介质(例如，存储器106)上的指令，以使用任何合适的波束形成方法(诸如自适应波束形成、合成发射焦点、像差校正、合成孔径、杂波减少和/或自适应噪声控制等)来进行波束形成计算。任选地，波束形成器处理器130可以与控制器集成和/或分开。例如，被描述为由波束形成器处理器130执行的操作可以被配置为由控制器102执行。

波束形成器处理器130对换能器元件的数字化信号执行波束形成并输出射频(RF)信号。然后，RF信号被提供给处理RF信号的RF处理器132。RF处理器132可以包括一个或多个处理器。任选地，RF处理器132可以包括中央控制器电路(CPU)、一个或多个微处理器或能够根据特定逻辑指令处理所输入的数据的任何其他电子部件。附加地或另选地，RF处理器132可以执行存储在有形且非暂态计算机可读介质(例如，存储器106)上的指令。任选地，RF处理器132可以与控制器102集成和/或分开。例如，被描述为由RF处理器132执行的操作可以被配置为由控制器102执行。

RF处理器132可以基于第一模型的预先确定的设置而针对多个扫描平面或不同扫描图案生成不同超声图像数据类型，例如B模式、彩色多普勒(速度/功率/方差)、组织多普勒(速度)和多普勒能量。例如，RF处理器132可以针对多扫描平面生成组织多普勒数据。RF处理器132收集与多个数据切片有关的信息(例如，I/Q、B模式、彩色多普勒、组织多普勒和多普勒能量信息)并将该数据信息存储在存储器106中，该数据信息可以包括时间戳和取向/旋转信息。

另选地，RF处理器132可以包括复合解调器(未示出)，该复合解调器对RF信号进行解调以形成代表回波信号的IQ数据对。然后，RF或IQ信号数据可以直接地提供给存储器106以进行存储(例如，暂时地存储)。任选地，波束形成器处理器130的输出可以直接地传送到控制器102。

控制器102可以被配置为调整系统设置、图像呈现设置和/或由MDS150采集的超声数据和/或超声图像所表示的解剖结构。例如，控制器102可以被配置为处理所采集的超声数据(例如，RF信号数据或IQ数据对)并准备和/或生成表示解剖结构的超声图像数据的帧以在显示器138上显示。当接收到回波信号时，在扫描或治疗会话期间，控制器102可以实时处理所采集的超声数据。附加地或另选地，超声数据可以在扫描会话期间暂时地存储在存储器106中并在在线或离线操作中以不太实时的方式处理。

为了本公开的目的，术语“实时”被限定为包括无任何故意延迟地执行的过程。例如，实施方案可以以7帧/秒至20帧/秒的实时速率采集图像。超声成像系统100可以以显著更快的速率采集一个或多个平面的2D数据。然而，应当理解，实时帧速率可取决于采集每个数据帧进行显示所花费的时间长度。因此，当采集相对大量的数据时，实时帧速率可能更慢。因此，一些实施方案可以具有比20帧/秒快得多的实时帧速率，而其他实施方案可以具有比7帧/秒慢的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。

存储器106可以用来存储所采集的超声数据的未计划即刻显示的所处理的帧，或用来存储后处理的图像(例如，剪切波图像、应变图像)、对应于例如图形用户界面、一个或多个默认图像显示设定、所编程的指令等的固件或软件。存储器106可以存储超声数据的2D和/或3D超声图像数据集，其中此类2D和/或3D超声图像数据集被访问以呈现2D和3D图像。例如，2D或3D超声图像数据集可以映射到对应存储器106中，一个或多个参考平面也是如此。包括超声图像数据集的超声数据的处理可以部分地基于用户输入，例如，在用户界面142处接收的用户选择。

MDS 150的超声成像系统可以以例如10Hz至30Hz(例如，每秒10帧至30帧)的帧速率连续地采集数据。从数据生成的图像可以在显示设备118上以类似的帧速率刷新。其他实施方案可以不同速率采集并显示数据。例如，一些实施方案可以根据帧的大小和预期应用以小于10Hz或大于30Hz的帧速率采集数据。存储器120被包括以用于存储所采集的数据的所处理的帧。在一个示例性实施方案中，存储器106具有足够的容量来存储超声数据的至少几秒钟的帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器106可以包括任何已知的数据存储介质。

在本发明的各种实施方案中，MDS 150的一个或多个部件可以包括在便携手持式超声成像设备中。例如，显示器138和用户界面142可以集成到手持式超声成像设备的外部表面中，该手持式超声成像设备还可以包含控制器102、波束形成器处理器130、RF处理器132和存储器106。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器121、发射器122和接收器128可以包括在超声成像系统100的相同或不同部分中。例如，发射波束形成器121、发射器122和接收器128可以包括在手持式超声成像设备、探头及其组合中。

现在转到图2A至图2B，示出了用于在成像过程期间基于医疗成像探头的图像数据和位置数据而对诊断医疗图像进行分类并指导成像系统的用户的方法200的流程图。方法200可以用医疗诊断系统(MDS)诸如分别在图1A和图1B中示出的MDS 100和/或150实现。在一个实施方案中，MDS包括超声成像系统，诸如图1B中所示的超声成像系统。用于执行方法200的指令可以由MDS的控制器或处理器(例如，控制器102)基于存储在控制器或处理器的存储器上的指令并结合从成像系统的传感器接收的信号(诸如由接收器接收的回波、由接收器接收的探头位置数据、以及从上面参考图1A至图1B所述的用户界面接收的信号)来执行。在一个实施方案中，控制器可以包括多个控制器和/或处理器和存储器，诸如图1B中所示的控制器102、波束形成器处理器130、存储器106和RF处理器132中的一者或多者。根据以下所述的方法，控制器或处理器可以采用成像系统的致动器(诸如发射器、发射波束形成器、显示器和探头)来调整成像系统的操作。

方法200在202处通过确定MDS的操作状况并接收用户输入开始。接收用户输入可以包括从用户界面(例如，图1A至图1B中所示的用户界面142)接收由用户诸如医疗技术人员、医师或其他医疗专业人员输入的输入。用户输入可以包括患者的胎龄、胎位、胎重、臀位/头位信息、目标器官或解剖标志/结构(诸如胎儿、胎头、胎心、肝脏、肾脏等)、目标扫描平面(诸如轴向、冠状、横向等)、期望扫描方案等。在一些实施方案中，该方法在202处可以包括基于在控制器处从用户界面接收的初始输入而经由MDS的显示器(例如，显示器138)提示用户输入一个或多个用户输入。例如，如果选择某个扫描方案(作为一个示例，包括要成像的患者身体的区域，或特定类型的超声检查，诸如胎儿超声)，或输入目标器官和/或扫描平面时，如果所选择的成像过程是胎儿超声，则控制器可以向显示器发送关于用户输入的其他提示，诸如胎龄、胎位和/或胎重。

该方法进行到204以确定用户是否已经经由探头(例如，图1B中所示的探头126)导航到目标器官或解剖结构(例如，要成像以用于医疗诊断的期望器官或解剖特征)。例如，一些成像扫描方案可以从特定解剖结构或器官开始。在其他示例中，其他成像扫描方案可以从相同的预先确定的参考位置开始。在又一个示例中，用户可能能够将探头导航到目标器官，但是之后难以在目标器官内找到包含期望视图(例如，用于扫描方案或期望成像过程)的特定扫描平面。在又一个示例中，用户可能需要帮助以导航到目标器官从而开始成像过程或扫描方案。该方法在204处可以包括基于来自存储在控制器的存储器中的一个或多个图像识别模型(诸如图1A中所示的解剖结构模型108和/或模型109)的反馈来确定用户已经导航到目标器官或解剖结构。例如，可以将在患者身上的当前位置处用成像探头采集的图像数据发送到控制器以形成一个或多个图像并随后通过存储在该控制器处的一个或多个图像识别算法或模型来分析一个或多个图像。算法和/或模型的输出可以是对期望成像过程或扫描方案的目标器官或解剖结构是否已经通过探头成像的指示。在另一个示例中，控制器可以基于确认探头在目标器官或解剖结构处的所接收的用户输入而确定用户已经导航到目标器官或解剖结构。在该示例中，控制器可以基于来自一个或多个所存储的图像识别模型的反馈而确认探头正在对目标器官或解剖结构进行成像。

如果该方法确定用户尚未导航到目标器官或解剖结构，则该方法进行到206以经由显示器提示用户将探头导航到预先确定的参考位置。例如，用于成像过程的预先确定的参考位置可以存储在控制器的存储器中，并且警报或提示可以经由显示器显示，以要求用户导航到预先确定的参考位置。作为一个示例，在胎儿超声过程期间，预先确定的参考位置可以是胎头中的BPD平面(例如，作为胎头的最宽横径的双顶径的平面，该平面可以是穿过胎头的轴向扫描平面)。预先确定的参考位置可以是即使是没有经验的用户也相对容易找到的位置和/或扫描平面。在一些实施方案中，该方法在206处可以附加地包括提供关于如何将探头移动到预先确定的参考位置和/或解剖结构以在预先确定的参考位置中进行寻找的方向或指导。在一个示例中，可以经由显示器以对话框或弹出屏的形式向用户显示该指导和/或方向。

另选地，在204处，如果用户已经导航到目标器官或解剖结构，则方法进行到208以确定目标器官或解剖结构的期望参考位置并随后提示用户导航到所确定的参考位置。例如，用于每个目标器官或解剖结构或用于特定成像过程或扫描方案的预先确定的参考位置可以存储在控制器的存储器中(例如，以查找表的形式)。以此方式，在用户扫描患者时，不同目标器官可以具有不同的、预先确定的且所存储的参考位置，这些参考位置可以在成像过程期间进行查找。然后，控制器可以将信号发送到显示器以经由弹出窗口或对话框(作为一个示例)将指令显示给用户以导航到目标器官的所确定的参考位置。作为一个示例，在胎儿超声过程期间，该探头的所确定的参考位置可以是胎头中的经心室(TV)平面。在一些实施方案中，该方法在208处可以附加地包括关于如何将探头移动到所确定的参考位置和/或解剖标志以在所确定的参考位置中进行寻找的方向或指导。在一个示例中，可以经由显示器以对话框或弹出屏的形式向用户显示该指导和/或方向。

在210处，该方法包括：接收关于用户已经将探头定位在参考位置处的确认；在参考位置处从探头采集图像数据和位置信息；以及校准探头的位置传感器。在一个示例中，该方法在210处可以包括从用户(例如，经由用户界面)接收关于探头已经定位在期望参考位置(例如，由控制器请求并向用户指示的预先确定的参考位置)处的输入。附加地或另选地，该方法可以包括在一个或多个图像分析模型或框架(如以上参考存储在图1A的存储器106中的模型所讨论)处，通过从探头采集图像数据和位置信息(例如，分别经由探头上的换能器元件和位置传感器)并分析所采集的图像数据来确认探头在参考位置处。例如，当探头定位在期望参考位置处时，图像数据和/或从所采集的图像数据生成的图像可以馈送到一个或多个解剖结构模型、图像识别模型、扫描平面检测框架(例如，算法)等中。存储在控制器的存储器中的这些模型、框架和/或算法可以将所采集的图像或图像数据与所存储的图像或图像数据进行比较并确定所采集的图像是否与在参考位置处所存储的图像的解剖标志/特征匹配。如果控制器基于这些模型和/或算法而确定超声探头在期望参考位置处，则控制器可以存储来自在参考位置处的探头的对应的图像数据(和/或所生成的图像)和位置数据。然后，可以存储该位置作为坐标系的原点，并且可以相对于该原点确定探头的所有其他位置(例如，由探头上的位置传感器输出的位置数据)。在一些实施方案中，参考位置可以附加地基于先验信息诸如在202处从用户接收的一个或多个输入而确定/确认。例如，可以基于探头的输出、在参考位置处采集的图像数据以及一个或多个用户输入来确定参考位置。以此方式，基于预先确定的参考位置和在该位置处采集的图像数据以及在一些实施方案中还有用户输入来校准探头的位置传感器以及传感器的位置输出。上述参考位置用作用于校准本文描述的算法、模型和框架的标志。在一些实施方案中，附加标志位置可能是有益的并提供了附加信息以提高模型/算法/框架的准确性。例如，在208处，该方法可以包括提示用户导航到若干参考位置并采集和存储在该参考位置中的每个参考位置处的图像数据(例如，胎头、脚部和腹腔)。头位可以用作初始参考位置(原点)，并且随后相对于参考位置和这些标志的解剖模型可以连同输入头位/臀位信息一起进行校准。然后，该模型描述胎儿的空间取向如何，这将有助于向用户指示接下来将探头移动到何处。

该方法进行到211以根据所选择的扫描方案来初始化算法和模型。扫描方案可以包括在指定超声检查(例如，过程)期间应当采集的图像和测量的列表。图像列表可以包括在某些器官或解剖标志处的指定扫描平面。例如，该列表可以包括器官或解剖特征内的包含期望视图的特定平面(例如，扫描平面)。每个方案可以包括多个这些期望视图或图像以及要进行的对应测量。扫描方案中的每一项都可以利用单独的模型和算法(例如，第一项头部，第二项心脏)。因此，在开始扫描方案项之前，方法在211处可以包括为下一个扫描方案项选择适当的模型和算法(例如，对应于在扫描方案项中要扫描的解剖部位的模型和算法)。

在212处，该方法包括确定是否正在使用或请求(由用户进行)针对当前成像过程和扫描方案的指导。如上所述，更多没有经验的用户可能难以找到期望视图的目标平面。因此，如以下进一步所述，使用所采集的位置传感器数据和对应图像数据作为输入的扫描平面检测框架可以帮助用户找到正确平面和/或自动地从由用户拍摄的多个图像为设定的扫描方案选择期望平面和/或视图。控制器可以基于在控制器处从用户界面接收的一个或多个用户输入(诸如从期望扫描方案的菜单、经由键盘的输入对设定的扫描方案的选择，和/或对可在MDS和/或控制器的存储器中存储对应设定的扫描方案的特定超声过程的选择)而确定正在使用设定的扫描方案。

如果该方法确定正在使用或请求指导，则该方法继续到214以经由显示器向用户指示将探头在患者身上移动到哪个位置。例如，该方法在214处可以包括确定设定的扫描方案中的下一个期望视图和扫描平面以及相对于所校准的参考位置的下一个期望视图和扫描平面的位置。假设探头在参考位置处，控制器可以确定下一个期望视图和扫描平面的坐标、到该下一个期望视图和扫描平面的方向、距该下一个期望视图和扫描平面的距离、和/或在该下一个期望视图和扫描平面处的解剖标志，并且经由显示器(例如，经由对话框、弹出菜单等)将这些方向、坐标和/或标志转发给用户。作为一个示例，向用户显示的关于如何/往哪移动探头的方向可以包括相对于当前探头位置向上/向下/向左/向右、和/或朝向患者的头部/右臂/左臂/脚部，和/或将探头顺时针地或逆时针地旋转X度。在又一个示例中，方向可以附加地包括移动探头的大致距离(例如，朝向患者的头部移动3英寸)。作为另一个示例，该方法在214处可以包括显示婴儿(例如，患者)的解剖模型；在所显示的解剖模型上突出显示探头的当前扫描平面/位置和目标扫描平面/位置；以及在用户正在移动探头并进行扫描时更新突出显示的显示。在该实施方案中，用户可以看到他/她是正在朝向目标位置移动还是远离目标位置移动。在又一个实施方案中，该方法在214处可以附加地或另选地包括以图形方式显示朝向目标扫描平面/位置的距离(例如，当前位置为距离条上的滑块)。因此，该方法在214处可以包括将关于相对于探头的当前位置如何和/或往哪移动探头的文本和/或视觉指令输出到显示器。在经由所显示的指示指导用户往哪移动探头之后，和/或如果未使用指导，则该方法继续到216。

在216处，该方法包括当用户在患者身上或体内移动探头时，在成像过程期间连续地监测所接收的图像数据和位置数据(从探头接收的)。例如，该方法在216处可以包括经由探头的换能器元件采集图像数据并从所采集的图像数据生成图像。在216处，该方法可以附加地包括当采集所生成的图像时，(经由显示器)实时向用户显示所生成的图像。图像数据可以包括2D或3D图像数据。该方法在216处还包括与采集图像数据同时从探头上的位置传感器采集位置数据。位置数据对应于所采集的图像数据。例如，在探头的任何给定时间和位置，采集一组图像数据和位置数据并使其彼此链接。在214处，该方法包括将所采集且链接的图像数据(和/或从图像数据生成的图像)和位置数据输入到扫描平面和/或解剖结构检测框架中。这可以包括在218处使用检测框架和输入图像数据来识别解剖结构和/或检测扫描平面。该方法在214处还可以包括将所识别的解剖结构和/或扫描平面与对应的输入位置数据进行比较。

图3示出了扫描平面和/或解剖结构检测框架302的示例性框图。检测框架302可以是人工智能和机器学习框架，其包括一个或多个算法和模型，诸如以上参考图1A讨论的学习算法107、解剖结构模型108和模型109中的一者或多者。检测框架302的一个或多个算法和模型存储在MDS的存储器(例如，存储器106)中，该存储器可以包括在控制器中或可操作地耦接到控制器，并可以包括根据所存储的数据以及算法和/或模型将所接收的图像数据和/或所生成的图像分类为某些扫描平面和/或图像视图的分类模型/框架。例如，如图3所示，检测框架302的输入304可以包括所采集的位置数据和图像数据。由于在成像过程期间连续地采集图像数据和位置数据，因此可以将输入304连续地馈送到检测框架302中。然后，检测框架302将所采集的图像分类为特定解剖结构的特定扫描平面或视图(例如，胎头中的TV平面)。同时，检测框架302可以基于输入位置数据来确定所采集的图像的位置，该所采集的图像可以包括扫描平面和/或解剖结构。然后，检测框架302可以将来自所采集的图像的所分类的扫描平面与来自所采集的位置数据的所确定的位置进行比较，以查看所分类的平面和位置是否匹配。例如，检测框架302可以确定位置传感器数据和图像数据是否都指示探头在相同的位置和扫描平面处，或在两个输入之间是否存在不匹配(例如，位置数据表明探头不能在由所分类的图像指示的扫描平面/解剖结构处)。因此，检测框架的输出306可以包括以下中的一者或多者：不匹配警告(例如，从图像数据检测到的扫描平面或位置与从对应位置数据检测到的扫描平面或位置不匹配)、关于往哪/如何移动探头的指导(例如，关于往哪移动探头以获得所要求的视图或扫描平面以及如何到达设定方案中的下一个视图或扫描平面的指导或方向)、和/或关于目标扫描平面和/或解剖结构被成像的指示和目标扫描平面和/或解剖结构的显示。这些警告、指导/方向和/或目标扫描平面或视图都可以经由MDS的显示器、经由图像、弹出对话框、指示灯等向用户显示。附加地或另选地，向用户显示的所识别的目标扫描平面和所得图像(输出306中的一个)可以基于图像数据和位置数据两者。例如，位置数据可以在扫描平面检测框架302内使用，以仅从图像数据来更新或修改在框架302中检测到的所得扫描平面。以此方式，位置数据可以用来校正或更新经由扫描平面检测框架302检测到的最终扫描平面。因此，位置数据可以增强并提高在306处输出的扫描平面分类和识别的准确性。

返回图2A，方法200继续到222以基于图像和位置数据来确定在所分类和检测的平面之间是否存在不匹配，如以上参考图3所述。例如，如果平面检测框架(例如，图3中所示的扫描平面检测框架302)基于输入图像数据和输入位置数据来识别不同扫描平面和/或目标器官，则在这两个数据源之间可能存在不匹配。在另一个示例中，如果检测框架基于输入图像数据来识别第一解剖结构并基于输入位置数据来识别第二位置，则检测框架可以确定图像数据与位置数据之间存在不匹配，其中探头物理上不可能(基于解剖结构)在第二位置处对第一解剖结构进行成像。以此方式，即使尚未识别出目标扫描计划(因为其尚未被用户找到并进行成像)，检测框架仍然可以连续地检测位置数据和图像数据是否彼此对应或所检测到的解剖结构和图像的位置与位置数据流之间是否存在不匹配。在又一个示例中，如果使用图像数据和位置数据所检测到的平面或解剖结构的不匹配大于阈值百分比(例如40％、50％等)，则系统可以确定存在不匹配。以此方式，仅在基于图像数据的所检测到的平面(或解剖结构)与基于位置的所检测到的平面(或解剖特征)的差异超出阈值百分比时才可以指示导致重新校准的不匹配(如以下参考224进一步描述的)。

在222处，如果确定在所检测到的扫描平面或所检测到的解剖结构与图像数据和位置数据的该解剖特征的位置之间存在不匹配，则该方法继续到224以指导用户重新校准探头位置。换句话说，如果框架基于图像数据和位置数据来确定所检测到的平面或解剖结构不可能在由位置传感器数据指示的位置处，则该系统确定在数据源之间存在不匹配，并且该方法继续到224。该方法在224处可以包括将警报发送到MDS的显示器并显示该警报，该警报向用户指示他们应当将探头导航到预先确定且所指示的参考位置并在该参考位置处采集成像数据。预先确定的参考位置可以如以上参考206和/或208处的方法所述的那样确定。警报可以包括显示器上的指示灯、弹出对话框和/或显示器的屏幕上的文本。然后，该方法返回到210以校准探头的位置。

返回到222，如果在针对图像数据和位置数据所检测到的扫描平面之间不存在不匹配，则该方法继续到226，如图2B所示，以确定解剖结构的目标扫描平面是否已经被检测框架识别出。例如，对于当前扫描方案，用户可能正在尝试找到解剖结构的特定扫描平面。如以上参考图3所述，检测框架可以基于输入到框架的模型和/或算法中的图像数据和位置数据来确定已经找到目标扫描平面。图像和位置数据的连续流可以馈送到检测框架中，并且一旦框架识别了所采集的图像(从图像数据生成)内的目标扫描平面和/或解剖结构，框架就可以输出关于目标平面已经被识别出的指示并经由显示器显示对应图像(从图像数据生成)，如该方法在228处所示。该方法在228处可以附加地包括要求用户确认所识别的解剖结构的目标平面。例如，该方法在228处可以包括显示目标平面、结构和/或器官的所识别的图像并随后经由对话框、弹出菜单和/或显示器上的文本提示用户确认图像是包括解剖结构的目标扫描平面的期望视图。

如果控制器经由检测框架确定没有(尚未)找到目标扫描平面或解剖结构，则该方法进行到227并包括向用户提供关于如何/往哪移动探头以获得包括解剖结构的目标扫描平面(类似于以上参考该方法在214处所述的那样)的期望视图的指导。例如，基于由检测框架依据图像数据和位置数据检测的扫描平面或解剖结构，控制器可以确定将探头从其当前位置(例如，采集所分析的图像数据和位置数据的当前位置)沿哪个方向(例如，朝向患者的头部、左臂、腿部等)移动以及移动了多远(例如，2英寸、3英寸、1毫米等)。该方法可以包括经由显示器向用户显示这些方向。然后，该方法可以返回到216以当用户在患者身上/体内移动探头的位置时继续从探头连续地接收图像数据和位置数据。以此方式，通过检测框架连续地采集和分析成像数据和对应位置数据，并且可以继续向用户提供关于如何移动探头的指导，直到识别出期望解剖结构的目标扫描平面为止。在进行这种连续监测时，从成像数据生成的图像经由显示器连续地显示给用户。

从在228处的方法，该方法继续到230以确定所显示的图像是否被确认为示出解剖结构的目标扫描平面。作为一个示例，控制器可以经由用户界面接收指示用户是确认还是拒绝所显示的图像的用户输入信号。如果控制器接收到表示用户未确认或拒绝图像的信号指示，则该方法进行到232以更新检测框架并随后进行到227以提供关于如何/往哪移动探头的指导，并且随后返回到图2A中的该方法的216处，如上所述。更新检测框架可以包括使用所识别的图像来更新机器学习算法107、解剖结构模型108和/或模型109，如以上参考图1A所述。以此方式，检测框架可以基于原始识别的图像不是正确图像而学习目标扫描平面或解剖特征是什么样的。以此方式，检测框架的算法和/或模型可以连续地更新，以便增加框架的检测准确性和输出。

另选地，在230处，如果确认所识别的图像，则该方法继续到234以存储所识别的图像并将扫描方案设定到下一个目标平面。存储图像可以包括存储所分类的图像(例如，包括目标平面和/或解剖结构的名称)以及对该图像进行的任何相关联的测量。然后，控制器可以设定扫描方案中的下一个目标扫描平面并返回到图2A中的方法的211处，如上所述。以此方式，方法200可以重复，直到设定的扫描方案完成和/或直到用户指示成像过程完成(例如，经由用户界面处的用户输入)为止。

任选地，方法200可以从234继续到236，然后返回到211。在236处，该方法包括在检测框架内调用附加的器官特定模型。例如，检测框架(图3中所示的检测框架302)可以包括一个或多个解剖结构特定图像和/或扫描平面检测模型，该解剖结构特定图像和/或扫描平面检测模型被配置为识别特定解剖结构中的扫描平面和/或解剖结构(例如，用于胎心检测)。解剖结构可以是器官(例如，心脏、肾脏、膀胱、肺、脑等)、骨骼结构(例如，骨头、头骨等)、血管结构(例如，动脉、静脉等)、身体区域(例如，头部、躯干等)等。检测框架可以例如利用一种或多种机器学习算法和模型(诸如以上讨论的算法和模型)来识别解剖结构。然后，基于所识别的解剖结构(其可以是特定器官)，手动地和/或自动地选择表示专业诊断过程的多个模型中的一个或多个模型，以用于随后分析所采集的医疗图像内的解剖结构。例如，多个模型可以是图1A中所示的模型109，如上所述。可以根据与由多个模型执行的诊断过程对应的解剖结构将多个模型分组。基于所识别的图像的解剖结构，如由图1A中所示的解剖结构模型108所识别，在一个示例中，控制器可以选择对应解剖结构模型(例如，多个模型中的一个)。然后，控制器可以对所识别的解剖结构执行诊断过程，该诊断过程可以包括计算图像中的结构的尺寸、对图像内的附加特征进行分类(例如，识别)(例如，诸如当解剖结构是心脏时识别右心室)、确定附加特征中的一个或多个的边界等。以此方式，可以根据存储在控制器的存储器(或可操作地耦接到控制器的存储器)中的解剖结构(例如，器官)特定模型来执行所生成的图像的进一步分类和处理。如以下进一步所述，该方法在236处可以在线(例如，在成像过程期间，当用户正在患者身上主动地移动探头并采集图像数据时)或离线(在对所存储的图像和位置数据的成像过程结束之后)执行。

在一个实施方案中，方法200是在用户正在用探头主动地扫描患者(例如，在线模式)时在成像过程期间执行。在另一个实施方案中，方法200的一部分可以在成像过程之后、在已经采集一组成像数据(例如，图像)和对应探头位置数据并将其存储在MDS的存储器中之后执行。在该实施方案中，方法200包括在202处检索所存储的图像和位置数据，在216处用所存储的图像和位置数据来执行该方法，以及在226处继续执行该方法，其中该方法可以包括继续经由检测框架分析所存储的图像和位置数据，直到找到目标平面和/或解剖结构。该方法然后可以进行到228，其可以包括经由显示器向用户显示所识别的一个或多个目标平面或解剖结构/标志和/或为用户(诸如放射科医生)保存所识别的目标平面和/或解剖结构/标志以(稍后)进行审查和使用来进行医疗诊断。

以上参考图1A至图1B描述的医疗诊断系统(MDS)可以被配置为在扫描和/或离线期间(例如，在利用所存储的一个或多个医疗图像进行扫描之后)执行本文参考图2A至图2B和图3描述的操作。

图4A至图4D示出了根据以上参考图2A至图2B描述的指导和图像分类方法在成像过程期间向超声成像系统的用户显示的不同提示的示例。具体地，图4A至图4D各自示出超声成像系统400，其可以包括在图1A至图1B中所示的MDS中的一个中。超声成像系统包括显示器402(类似于图1B中所示的显示器138)、成像探头404(类似于图1B中所示的探头126)、患者406和用户(例如，超声技术人员)408。当用户408在患者406的身体上移动探头404时，从探头采集图像数据和位置数据并在显示器402的屏幕上连续地显示从所采集的图像数据生成的图像410。

如图4A所示，在成像过程开始时，用户可能已经导航到胎头。然而，经由图4A中的图像410显示的扫描平面可能不是用于获得位置传感器的参考位置的正确平面。因此，显示器402可以显示对话框412，同时仍然显示图像410，这提示用户导航到胎头中的TV平面以进行探头校准，如以上参考图2A中的208所讨论。然后，用户可以将探头移动到期望参考位置，如图4B所示。现在所显示的图像在胎头的TV平面上。在图4B中，对话框412询问用户其是否在参考位置(胎头中的TV平面)并询问用户输入是(Y)还是否(N)。然后，用户可以使用超声成像系统400的用户接口(例如，键盘)来输入“Y”，以指示探头在期望参考位置。然后，系统可以校准探头的位置，如以上参考图2A中的210所讨论。

在图4C处，用户可以继续移动探头并采集图像和位置数据。如以上参考图2A至图2B和图3所讨论的检测框架可以从所采集的图像数据和位置数据确定所显示的图像410是胎头中的中间矢状平面，而位置数据指示探头应当正在对经小脑的平面成像。因此，位置数据和图像数据之间可能存在不匹配。因此，如以上参考图2A中的222和224所讨论，显示器402的对话框412提示用户将探头导航到参考位置(TV平面)并在该参考位置处采集成像数据，以便重新校准探头的位置传感器。

在图4D处，系统可以确定尚未找到目标平面(类似于以上参考图2B中的226和227所述的)。例如，如图4D所示，用户可能正在对胎头中的中间矢状平面成像，如所显示的图像410所示，但是目标平面可能是胎头中的经丘脑的平面。因此，如以上在图2B中的227处所述，系统可以在对话框412处显示关于用户应当如何移动探头以采集胎头的目标扫描平面的指导。例如，如图4D所示，对话框412显示的是“未采集目标平面：将探头1”朝患者头部向上移动”。在一些实施方案中，如图4D所示，向用户提供关于如何移动探头的指导可以附加地或另选地包括显示婴儿(例如，患者)422的解剖模型、突出显示在所显示的解剖模型上探头的当前扫描平面/位置(如圆圈424处所示)和目标扫描平面/位置(如圆圈426处所示)，以及当用户移动探头和进行扫描时更新突出显示的显示(如以上参考该方法在214处所述的那样)。解剖模型422可以是婴儿/患者的视觉表示，并且也可以是特定于患者的，如在成像过程开始时采用的解剖模型/算法和参考点数据所限定。然后，用户可以按对话框412的指引或按解剖模型422的指引移动探头。应当注意，在图4A至图4D的对话框412中给出的示例性指令本质上是示例性的，并且取决于成像过程和特定患者情况，其他提示和方向也是可能的。

以此方式，可以采集来自医疗成像探头(诸如超声换能器探头)上的位置传感器的位置传感器数据以及图像数据，并且将其用来对从图像数据生成的图像进行分类并在成像过程期间向操作该探头的用户提供指导。可以在成像过程期间同时采集位置传感器数据和图像数据，并且从所采集的图像数据生成的每个图像可以具有对应位置数据(例如，坐标、相对于参考点的位置和/或在该位置处的解剖结构)。可以将位置数据和图像数据或所生成的图像馈送到由存储在控制器的存储器中的一种或多种机器学习算法、解剖结构模型和解剖结构特定诊断模型组成的扫描平面和/或解剖结构检测框架中。位置数据和对应图像被输入到检测框架中，并且框架的输出可以包括向用户显示的不匹配警告、关于往哪/如何移动探头以获得解剖结构和/或视图的目标扫描平面的指导、和/或对解剖结构的目标扫描平面的分类和选择并向用户显示该结构的目标扫描平面。在在线模式期间，以上参考图2A至图2B和图3描述的方法可以向用户提供实时指导和反馈，从而使他们能够更容易地找到并获得用于扫描方案和/或目标解剖特征的目标扫描平面。这可以使医疗保健提供方能够查看所得的图像以做出更准确的医疗诊断。另外，在在线或离线模式下，位置传感器数据可以提高检测框架的准确性，从而允许以提高的准确性识别具有目标扫描平面和/或解剖特征的图像，并且提高基于所检测到的图像的所得医疗诊断的准确性。

在接收图像数据期间向用户输出用于将医疗成像探头从当前扫描位置导航到下一个扫描位置以基于目标解剖结构的所接收的图像数据以及位置数据获得该目标解剖结构的期望扫描平面的指令，位置数据从探头上的位置传感器获得，这样做的技术效果是提高找到期望扫描平面的容易度并提高基于示出期望扫描平面的图像而进行医疗诊断的准确性。

作为一个实施方案，方法包括：在接收图像数据期间向用户输出用于将医疗成像探头从当前扫描位置导航到下一个扫描位置以基于目标解剖结构的所接收的图像数据以及位置数据获得该目标解剖结构的期望扫描平面的指令，位置数据从探头上的位置传感器获得。在该方法的第一实施例中，目标解剖结构包括目标器官，并且位置数据包括探头相对于用于成像过程的所校准的参考位置在患者身上或体内的位置。该方法的第二实施例任选地包括第一实施例并还包括其中输出在成像过程期间发生，并且其中下一个扫描位置对应于在成像过程的设定的扫描方案内的下一个视图。该方法的第三实施例任选地包括第一实施例和第二实施例中的一个或多个，并还包括其中所述输出包括经由包括探头的成像系统的显示器显示以下内容：患者的视觉表示，该视觉表示包括探头的当前位置和探头的目标位置的指示以获得目标解剖结构的期望扫描平面，和/或指令，该指令包括相对于探头的当前位置和/或相对于患者的身体上的解剖标志移动探头的方向和/或距离。该方法的第四实施例任选地包括第一实施例至第三实施例中的一个或多个，并还包括从所接收的图像数据生成图像，并且针对所生成的图像，基于与图像数据同时接收到的位置数据来确定对应位置。该方法的第五实施例任选地包括第一实施例至第四实施例中的一个或多个，并还包括使用存储在控制器的存储器中的扫描平面检测算法检测所生成的图像的当前扫描平面，其中将位置数据和所生成的图像输入到扫描平面检测算法中，以及确定用于基于所检测到的当前扫描平面和期望扫描平面来导航探头的指令。该方法的第六实施例任选地包括第一实施例至第五实施例中的一个或多个，并还包括在输出用于导航探头的指令期间经由显示器显示所生成的图像。该方法的第七实施例任选地包括第一实施例至第六实施例中的一个或多个，并还包括向探头的用户指示已经获得目标解剖特征的期望扫描平面，以及经由显示器显示包括目标解剖特征的期望扫描平面的所生成的图像。该方法的第八实施例任选地包括第一实施例至第七实施例中的一个或多个，并还包括向探头的用户指示在所检测到的当前扫描平面与所确定的对应位置之间存在不匹配，以及显示对将探头移动到预先确定的参考位置以重新校准位置传感器的请求。

作为另一个实施方案，方法包括：接收用成像探头采集的医疗成像数据；从成像探头的位置传感器接收对应位置数据，该位置数据与医疗成像数据同时采集；从用所接收的医疗成像数据生成的图像并基于对应位置数据和图像检测框架来识别目标解剖结构和该目标解剖结构的目标扫描平面；以及经由显示器显示目标解剖结构的所识别的目标扫描平面。在该方法的第一实施例中，接收医疗成像数据和对应位置数据在其中用户正在将成像探头在患者的身体上或在患者的身体内移动的成像过程期间发生。该方法的第二实施例任选地包括第一实施例，并还包括在成像过程的开始时，在开始设定的扫描方案之前，指引用户将成像探头移动到预先确定的参考位置并同时采集在预先确定的参考位置处的成像数据和位置数据，并且还包括基于在预先确定的参考位置处的所采集的成像数据和位置数据来校准位置传感器。该方法的第三实施例任选地包括第一实施例和第二实施例中的一个或多个，并还包括经由显示器显示基于由图像检测框架依据所生成的图像和对应位置数据识别的当前扫描平面和/或解剖结构的关于往哪和如何移动成像探头以找到目标解剖结构的目标扫描平面的指令。该方法的第四实施例任选地包括第一实施例至第三实施例中的一个或多个，并还包括当成像探头移动时连续地接收医疗成像数据和对应位置数据，以及基于新接收的医疗成像数据和位置数据来更新所显示的指令。该方法的第五实施例任选地包括第一实施例至第四实施例中的一个或多个，并还包括在显示指令时显示所生成的图像。该方法的第六实施例任选地包括第一实施例至第五实施例中的一个或多个，并还包括其中图像检测框架包括存储在包括成像探头的成像系统的控制器的存储器内的一种或多种机器学习算法和解剖结构模型。

作为又一个实施方案，医疗成像系统包括：超声探头，该超声探头包括位置传感器；显示器；和控制器，该控制器包括存储在存储器中的非暂态指令，该非暂态指令当在医疗成像系统的操作期间执行时使控制器进行以下操作：当超声探头在成像过程期间移动时用超声探头采集对应图像数据和位置传感器数据；基于从所采集的图像数据生成的图像来自动地检测包括位于目标解剖结构内的目标扫描平面的期望视图；用所采集的位置传感器数据验证所检测到的期望视图；以及如果所采集的对应图像数据和位置传感器数据之间不存在不匹配，则经由显示器显示所检测到的期望视图。在该系统的第一实施例中，指令还使控制器进行以下操作：基于所生成的图像和所采集的位置传感器数据来确定尚未检测到期望视图，并且响应于未检测到期望视图，经由显示器显示关于如何和往哪移动超声探头以找到期望视图的指令。该系统的第二实施例任选地包括第一实施例，并还包括其中指令还使控制器进行以下操作：如果在所采集的对应图像数据和位置传感器数据之间存在不匹配，则经由显示器显示医疗成像系统的用户将超声探头移动到预先确定的参考位置并随后重新校准位置传感器的请求。该系统的第三实施例任选地包括第一实施例和第二实施例中的一个或多个，并还包括其中自动地检测期望视图包括将所采集的对应图像数据和位置数据输入到包括一种或多种机器学习算法和解剖结构模型的扫描平面检测框架中，其中框架存储在存储器中。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在……中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种方法，包括：

在接收图像数据期间向用户输出用于将医疗成像探头从当前扫描位置导航到下一个扫描位置以基于目标解剖结构的所接收的图像数据和位置数据而获得所述目标解剖结构的期望扫描平面的指令，所述位置数据从所述探头上的位置传感器获得。

2.根据权利要求1所述的方法，其中所述目标解剖结构包括目标器官，并且所述位置数据包括所述探头相对于用于成像过程的所校准的参考位置在患者身上或体内的位置。

3.根据权利要求1所述的方法，其中所述输出在成像过程期间发生，并且其中所述下一个扫描位置对应于在所述成像过程的设定的扫描方案内的下一个视图。

4.根据权利要求1所述的方法，其中所述输出包括经由包括所述探头的成像系统的显示器显示以下内容：患者的视觉表示，所述视觉表示包括所述探头的当前位置和所述探头的目标位置的指示以获得所述目标解剖结构的所述期望扫描平面，和/或指令，所述指令包括相对于所述探头的所述当前位置和/或相对于所述患者的身体上的解剖标志移动所述探头的方向和/或距离。

5.根据权利要求1所述的方法，还包括从所接收的图像数据生成图像，并且针对所生成的图像，基于与所述图像数据同时接收到的所述位置数据来确定对应位置。

6.根据权利要求5所述的方法，还包括使用存储在控制器的存储器中的扫描平面检测算法检测所生成的图像的当前扫描平面，其中将所述位置数据和所生成的图像输入所述扫描平面检测算法中，以及确定用于基于所检测到的当前扫描平面和所述期望扫描平面来导航所述探头的所述指令。

7.根据权利要求6所述的方法，还包括在所述输出用于导航所述探头的指令期间经由显示器显示所生成的图像。

8.根据权利要求6所述的方法，还包括向所述探头的用户指示已经获得所述目标解剖特征的所述期望扫描平面，以及经由所述显示器显示包括所述目标解剖特征的所述期望扫描平面的所生成的图像。

9.根据权利要求6所述的方法，还包括向所述探头的用户指示在所检测到的当前扫描平面与所确定的对应位置之间存在不匹配，以及显示对将所述探头移动到预先确定的参考位置以重新校准所述位置传感器的请求。

10.一种方法，包括：

接收用成像探头采集的医疗成像数据；

从所述成像探头的位置传感器接收对应位置数据，所述位置数据与所述医疗成像数据同时采集；

从用所接收的医疗成像数据生成的图像并基于所述对应位置数据和图像检测框架来识别目标解剖结构和所述目标解剖结构的目标扫描平面；以及

经由显示器显示所述目标解剖结构的所识别的目标扫描平面。

11.根据权利要求10所述的方法，其中所述接收所述医疗成像数据和对应位置数据在其中用户正在将所述成像探头在患者的身体上或在所述患者的所述身体内移动的成像过程期间发生。

12.根据权利要求11所述的方法，还包括在所述成像过程的开始时，在开始设定的扫描方案之前，指引用户将所述成像探头移动到预先确定的参考位置并同时采集在所述预先确定的参考位置处的成像数据和位置数据，并且还包括基于在所述预先确定的参考位置处的所采集的成像数据和位置数据来校准所述位置传感器。

13.根据权利要求10所述的方法，还包括基于由所述图像检测框架依据所生成的图像和对应位置数据识别的当前扫描平面和/或解剖结构，经由所述显示器显示关于往哪和如何移动所述成像探头以找到所述目标解剖结构的所述目标扫描平面的指令。

14.根据权利要求13所述的方法，还包括当所述成像探头移动时连续地接收医疗成像数据和对应位置数据，以及基于新接收的医疗成像数据和位置数据来更新所显示的指令。

15.根据权利要求13所述的方法，还包括在显示所述指令时显示所生成的图像。

16.根据权利要求10所述的方法，其中所述图像检测框架包括存储在包括所述成像探头的成像系统的控制器的存储器内的一种或多种机器学习算法和解剖结构模型。

17.一种医疗成像系统，包括：

超声探头，所述超声探头包括位置传感器；

显示器；和

控制器，所述控制器包括存储在存储器中的非暂态指令，所述非暂态指令当在所述医疗成像系统的操作期间执行时使所述控制器进行以下操作：

当所述超声探头在成像过程期间移动时，用所述超声探头采集对应图像数据和位置传感器数据；

基于从所采集的图像数据生成的图像来自动地检测包括位于目标解剖结构内的目标扫描平面的期望视图；

用所采集的位置传感器数据验证所检测到的期望视图；以及

如果所采集的对应图像数据和位置传感器数据之间不存在不匹配，则经由所述显示器显示所检测到的期望视图。

18.根据权利要求17所述的系统，其中所述指令还使所述控制器进行以下操作：基于所生成的图像和所采集的位置传感器数据来确定尚未检测到所述期望视图，并且响应于未检测到所述期望视图，经由所述显示器显示关于如何和往哪移动所述超声探头以找到所述期望视图的指令。

19.根据权利要求17所述的系统，其中所述指令还使所述控制器进行以下操作：如果在所采集的对应图像数据和位置传感器数据之间存在不匹配，则经由所述显示器显示所述医疗成像系统的用户将所述超声探头移动到预先确定的参考位置并随后重新校准所述位置传感器的请求。

20.根据权利要求17所述的系统，其中自动地检测所述期望视图包括将所采集的对应图像数据和位置数据输入包括一种或多种机器学习算法和解剖结构模型的扫描平面检测框架中，其中所述框架存储在所述存储器中。

Images