CN116529765A - 预测个体具有一个或多个病变的可能性 - Google Patents

Abstract

一种用于识别多幅超声图像中是否存在一个或多个病变的机制。超声图像被处理以识别每幅图像中的感兴趣区域，每个感兴趣区域表示超声图像中被怀疑描绘病变的部分。将相似的感兴趣区域的组合在一起，并且然后使用机器学习方法对相似区域组进行处理，以预测它们是否包含感兴趣病变。因此，执行了用于识别感兴趣的病变的两步处理。

Description

预测个体具有一个或多个病变的可能性

技术领域

本发明涉及超声成像领域，并且具体而言涉及对超声图像中表示的病变的识别。

背景技术

超声越来越多地应用于对各种癌症的检测和诊断，如乳腺癌、甲状腺癌和肝癌等。特别是，通常通过识别超声图像中的病变来使用超声对癌症进行早期检测。遗憾的是，早期癌症的检出率由于多种因素而相对较低，例如缺乏经验丰富的超声医师和进行超声成像筛查的时间压力。

临床决策支持(CDS)系统采用计算机实现的基于超声的病变检测技术，正被用于辅助临床医师进行超声图像筛查。这样的系统可以通过预测一个或多个病变的存在或不存在来支持临床医师，从而帮助减少漏检的可能性，并作为双重阅读/确认来提高诊断置信度。

通常，有两种(自动或计算机实现的)基于超声的病变检测方法：基于图像处理步骤的传统病变检测方法和深度学习方法。对于大部分人来说，传统方法通常被认为不够鲁棒和/或灵活，因为它依赖于基于规则的方法和特定假设。深度学习方法在对象/病变检测方面表现出更高的准确性，因为它们不太依赖于如此强的假设，但具有计算复杂度高且处理时间长的弊端。

在LI YANFENG等人发表于Medical Physics(vol.47,no,11)的论文“3D tumordetection in automated breast ultrasound using deep convolutional neutralnetwork”中提出了一种用于自动乳腺超声(ABUS)的肿瘤检测方法。ABUS被称为用于乳房筛查的自动超声设备。ABUS使用3D超声技术并采集不依赖于操作者的乳房体积图像，并根据采集的3D体积来生成冠状视图切片并显示此类切片。

因此，一直期望改进用于预测个体具有一种或多种病变的可能性的机制。

发明内容

本发明由权利要求所限定。

根据本发明的一个方面的示例，提供了一种用于预测个体具有一个或多个病变的可能性的处理系统，所述处理系统被配置为：获得所述个体的多幅超声图像；识别所述多幅超声图像中的感兴趣区域，每个感兴趣区域是所述多幅超声图像中的超声图像中的表示所述个体中具有潜在病变的区的部分；基于感兴趣区域的相似性，将来自多幅超声图像的不同超声图像的感兴趣区域分组在一起；并且使用机器学习方法处理每组感兴趣区域，以生成预测指示符，所述预测指示符指示所述个体中的所述一组感兴趣区域包含病变的可能性。所述多幅超声图像包括超声图像的时间序列。在一些实施例中，超声图像的所述时间序列是超声图像的视频，例如电影回放。识别表示具有潜在病变的区域的感兴趣区域包括识别一个或多个感兴趣区域的存在或不存在。对于一些超声图像，可能不能在每幅超声图像中识别出感兴趣区域；对于一些超声图像，可以在每幅超声图像中识别出一个或多个感兴趣区域。

本公开提出了一种方法，用于识别个体中一个或多个病变的存在或不存在，并且特别是用于生成指示病变存在的可能性的一个或多个预测指示符。处理患者的超声图像以识别包含潜在病变的感兴趣区域(即每幅超声图像的部分)——即被预测为描绘病变的候选区域。因此，感兴趣区域是超声图像的部分，并且因此本身就是图像(尽管尺寸小于超声图像)。如果预测了由感兴趣区域表示的个体的区域包含潜在病变——即可能包含病变，则感兴趣区域包含潜在病变。用于识别包含潜在病变的感兴趣区域的机制是本领域技术人员公知的，例如并且可以采用机器学习方法、边缘检测算法、图像分割技术等。

然后根据感兴趣区域的相似性对感兴趣区域进行分组或聚类，以产生感兴趣区域的组。以此方式，将彼此对应的不同超声图像的部分(即包含相同的潜在病变)分组在一起。因此，如果预测感兴趣区域在个体中包含相同的潜在病变，则可以认为感兴趣区域彼此相似(并且相应地分组)。此外，分组或聚类是基于感兴趣区域的相似性进行的，而不需要感兴趣区域之间的相关空间关系。以此方式，可以在无需空间对齐多幅超声图像的情况下执行分组或聚类。这对于多幅超声图像在空间上未对齐的情况特别有利.例如，在手持式超声探头手动采集多幅二维超声图像的情况下，这些二维超声图像之间的相对空间关系与ABUS(自动乳房超声)采集的图像不同，是未知的。传统上，首先可以通过各种空间对齐技术(例如空间配准、3D构造)将这样的多幅超声图像组合成三维(3D)体积，并且然后可以基于空间对齐的图像或切片来进行进一步的信号处理(例如病变检测)。然而，在一些场景下，空间对齐或3D可能具有挑战性。相反，这里提出了基于多个感兴趣区域之间的相似性来对多个感兴趣区域进行分组，而不依赖于跨多幅图像的任何预空间配准或对齐，或者换句话说，不依赖于对多幅图像或在多幅图像中识别的感兴趣区域中的相对空间关系的任何了解。

然后使用机器学习方法处理这些组以生成预测指示符，所述指示符指示所述组包含所述个体的病变的可能性。因此，机器学习方法有效地预测感兴趣区域的组中是否存在病变。以此方式，机器学习方法(例如分类器)通过处理一组包含相同潜在病变的感兴趣区域来生成预测指示符。

在本发明的上下文中，预测指示符是响应于病变组包含病变的预测可能性(由机器学习方法确定)的变化而变化的任何数据。预测指示符可以包括二进制、分类或数值数据。二进制数据可以指示关于该组是否包含病变的预测(例如，“0”表示预测不存在，“1”表示预测存在，反之亦然)。分类数据可以指示该组包含病变的可能性类别(例如“可能”、“非常可能”、“不太可能”等)。数值数据可以指示一组感兴趣区域包含病变的数值概率，例如在0到1或0到100的范围内。

所提出的方法通过使用多幅超声图像(例如在一段时间内拍摄)来降低识别个体病变(例如仅从静止图像)的假阳性率，从而利用额外的上下文信息来识别个体的(一个或多个)病变。通过首先识别感兴趣区域，例如与在没有进一步处理的情况下对全部多幅超声图像执行机器学习过程相比，减少了被执行来识别病变的处理量。因此，所提出的方法提供了一种机制，用于执行高质量和高精度的病变识别，同时减少计算量。

优选地，每幅超声图像都是二维超声图像。本发明在用于处理二维超声图像时特别有利，因为用于生成2D超声图像的超声系统具有广泛的用途和采用范围，并且越来越多地用于资源受限的环境中，例如低功率环境(例如电池供电的或电力不稳定的地区)。因此，减少计算负担(以最小化功率使用要求)同时仍然获得此类系统的病变可能性的准确指示将是特别有益的。

在一些实施例中，处理系统被配置为通过执行以下过程来处理每组感兴趣区域，所述过程包括：针对每组感兴趣区域：使用感兴趣区域的组中的感兴趣区域来生成感兴趣区域的序列；使用机器学习方法处理区域的序列以预测区域的序列是否包含个体的病变。

感兴趣区域的序列可以有效地形成包含来自组中所有感兴趣区域的数据的单一数据结构。

处理系统可以被配置为通过执行包括堆叠感兴趣区域的步骤来生成区域的序列。如果感兴趣区域是二维图像，例如从二维超声图像提取的，则该过程有效地形成伪3D体积。

处理系统可以被配置为通过执行包括使用第二机器学习方法来处理每幅超声图像以识别感兴趣区域的过程来识别超声图像中的感兴趣区域。因此，至少可以使用两种机器学习方法来预测病变是否存在。这种方法提高了识别潜在病变的可能性，并且促进了用于识别潜在病变的全自动机制，以及采用现有和完善的机制来识别超声图像中的潜在病变以提高可靠性。

在一些示例中，使用第三机器学习方法对感兴趣区域进行分组，例如使用每个感兴趣区域的特性和/或其他元数据(例如位置、尺寸、形状等)对感兴趣区域进行分组。当然，即使没有使用机器学习方法来识别感兴趣区域，也可以使用机器学习方法来对感兴趣区域进行分组。

在一些优选的示例中，所述多幅超声图像包括超声图像的序列。超声图像的序列优选地是时间序列，使得序列中较晚的超声图像由成像系统在时间上晚于较早的超声图像获得。这有效地导致时间相关信息被并入到感兴趣区域的组中。本公开认识到基于时间的信息的使用增加了准确识别一个或多个病变的存在或不存在的变化。

优选地，多幅超声图像由相同的超声成像系统获得，例如使用相同的超声成像探头。更加优选地，在超声成像探头(用于获得超声图像)静止时获得多幅图像。这增加了识别链接的感兴趣区域的组的容易性和准确性。

在一些实施例中，超声图像的序列的顺序取决于捕获每幅超声图像的时间。例如，超声图像的序列可以包括超声视频的顺续帧。由时间顺序的超声图像的序列(例如超声视频)提供的上下文允许在预测兴趣区域的所述组中的一个或多个病变的存在或不存在时，机器学习方法考虑基于时间的信息。本公开确定该信息特别有利于降低超声图像中一个或多个病变的假阳性检测率。

在一些示例中，每组感兴趣区域，每个感兴趣区域来自与针对同一组感兴趣区域中的另一感兴趣区域的超声图像顺序相邻的超声图像。

优选地，每个感兴趣区域不大于超声图像尺寸的0.4倍，例如不大于超声图像尺寸的0.25倍。感兴趣区域的尺寸越小，降低处理一组感兴趣区域(而不是整幅超声图像)的计算复杂度的效果就越大。

在一些示例中，处理系统被配置为响应于每个预测指示符而在显示设备处显示视觉上可感知的输出。因此，响应于预测指示符的信息可以被输出给用户(例如临床医师)。

处理系统可以被配置为，如果至少一个预测指示符指示至少一组感兴趣区域可能包含病变：则识别所识别的病变相对于患者的显示的超声图像的位置；并且响应于所述病变的所识别的位置，将视觉可感知的输出叠加在所显示的超声图像上。

处理系统可以被配置为通过执行包括以下操作的过程来对感兴趣区域进行分组：确定来自不同超声图像的不同感兴趣区域之间的相似性度量，所述相似性度量表示在一幅超声图像内由一个感兴趣区域占据的相对区与由另一幅超声图像的另一个感兴趣区域所占据的相对区之间的交叠的尺寸；并且响应于两个不同感兴趣区域之间的相似性度量超过预定阈值，将两个不同感兴趣区域分组到同一组中。

因此，相似性测量可以基于交叠的尺寸，例如来自不同超声图像的感兴趣区域之间的交并比(Intersection over Union，IoU)度量。这促进了用于识别是否正在识别相同的潜在病变的简单机制，例如，因为相同的潜在病变将可能在每幅超声图像的相同相对位置处。如果多幅超声图像包括来自超声视频的帧，则该方法特别有利，因为该实施例增加了在超声视频的不同帧之间潜在病变将处于相同位置的可能性。

处理系统可以被配置为通过执行包括以下操作的过程来对感兴趣区域进行分组：识别所述感兴趣区域的元数据，所述元数据提供关于所述感兴趣区域的尺寸、位置、置信度和/或外观的信息；并且基于感兴趣区域的元数据来对所述感兴趣区域进行分组。因此，附加信息可用于决定不同感兴趣区域之间的相似性。在一些实施例中，机器学习方法用于对感兴趣区域进行分组，例如基于感兴趣区域的元数据。

还提出了一种用于预测个体具有一个或多个病变的可能性的计算机实现的方法。

该计算机实现的方法包括：获得个体的多幅超声图像；识别所述多幅超声图像中的感兴趣区域，每个感兴趣区域是所述多幅超声图像中的超声图像中的表示所述个体中具有潜在病变的区的部分；基于所述感兴趣区域的相似性，将来自所述多幅超声图像的不同超声图像的感兴趣区域分组在一起；并且使用机器学习方法处理每组感兴趣区域，以生成预测指示符，所述预测指示符指示所述个体中的所述一组感兴趣区域包含病变的可能性。

还提出了一种处理系统，其包括存储器和耦合到所述存储器并且被配置为执行这样的计算机实现的方法的处理器。

还提出了一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元在具有处理系统的计算设备上运行时使所述处理系统执行本文中描述的任何计算机实现方法的所有步骤。

本领域技术人员将能够容易地采用本文中描述的任何处理系统来执行本文中描述的任何方法，并且反之亦然。

参考下文描述的(一个或多个)实施例，本发明的这些和其他方面将变得显而易见并将得以阐述。

附图说明

为了更好地理解本发明，并且更清楚地示出其如何被付诸实践，现在将仅通过示例的方式参考附图，其中，

图1图示了与一个实施例一起使用的超声系统；

图2图示了用于结合上下文理解实施例的工作流程；

图3图示了根据实施例的方法；

图4图示了根据实施例的方法；

图5图示了用于对感兴趣区域进行分组的方法；

图6图示了根据实施例的处理系统；

图7图示实施例的效果；并且

图8图示了处理系统。

具体实施方式

将参考附图来描述本发明。

应当理解，详细说明和具体示例虽然指示了设备、系统和方法的示例性实施例，但是仅旨在用于说明的目的，而并不旨在限制本发明的范围。根据以下说明、所附权利要求书和附图，将更好地理解本发明的设备、系统和方法的这些和其他特征、方面和优点。应该理解，附图仅是示意性的，并且未按比例绘制。还应该理解，贯穿附图，使用相同的附图标记来表示相同或相似的部分。

本发明提供了一种用于通过处理个体的多幅超声图像来确定个体中存在/不存在一个或多个病变的概率/可能性的机制。超声图像被处理以识别每幅图像中的感兴趣区域，每个感兴趣区域表示超声图像中被怀疑描绘病变的部分。相似的感兴趣区域被组合在一起，并且然后使用机器学习方法处理相似区域的组，以生成对它们是否可能包含感兴趣的病变的预测。因此，执行用于识别病变可能性的两步过程。

本发明的实施例基于以下认识：如果仅使用单幅超声图像来识别潜在病变，则重要信息丢失或不存在，但是同时处理多幅超声图像显著增加了图像分析过程的处理负担。相反，提出了一种用于评估存在和/或不存在潜在病变的可能性的新方法，其中，来自不同超声图像的感兴趣区域的组被形成并一起处理以预测存在病变的可能性。

实施例可以在任何合适的超声分析系统中被采用，例如，在用于癌症筛查和浅表器官诊断的超声分析中。所提出的实施例有可能在任何合适的临床环境中被采用，例如在用于癌症筛查的健康检查期间，或者在用于癌症筛查和诊断的医院超声科。本发明适用于所有具有在线或离线使用的高级病变识别软件的超声成像系统，即，处理来自存储器的数据或直接从超声系统产生的数据。

现在将首参考图1描述示例性超声系统的一般操作。本发明利用由这样的超声系统生成的超声图像，但是用于生成超声图像的其他方法和系统对于本领域技术人员而言将是显而易见的。

所述系统包括阵列换能器探头4，所述阵列换能器探头具有用于发射超声和接收回波信息的换能器阵列6。换能器阵列6可以包括：CMUT换能器；压电换能器，其由PZT或PVDF等材料制成；或任何其他合适的换能器技术。在该示例中，换能器阵列6是能够扫描感兴趣区域的2D平面或三维体积的换能器8的二维阵列。在另一个示例中，换能器阵列可以是1D阵列。

换能器阵列6被耦合到微波束形成器12，微波束形成器控制换能器元件的信号接收。如美国专利US 5997479(Savord等)，US 6013032(Savord)和US 6623432(Powers等)中所述，微波束形成器能够对换能器的子阵列(一般称为“组”或“贴片”)接收的信号进行至少部分波束形成。

应当指出，微波束形成器是完全任选的。此外，系统包括发射/接收(T/R)开关16，微波束形成器12可以被耦合到括发射/接收开关16并且在发射和接收模式之间对阵列进行切换，并且在没有使用微波束形成器并且换能器阵列由主系统波束形成器直接操作的情况下保护主波束形成器20免受高能量发射信号的影响。从换能器阵列6的超声束的发射通过T/R开关16耦合到微波束形成器和主发射波束形成器(未示出)的换能器控制器18指示，其可以从用户对用户接口或控制面板38的操作接收输入。控制器18可以包括发射电路，所述发射电路被布置为在发射模式期间(直接地或经由微波束形成器)驱动阵列6的换能器元件。

在典型的逐线成像序列中，探头内的波束形成系统可以如下地操作。在发射期间，波束形成器(取决于实现方式可以是微波束形成器或主系统波束形成器)激活换能器阵列或换能器阵列的子孔径。子孔径可以是较大阵列内的换能器的一维线或换能器的二维片。在发射模式下，如下所述地控制由阵列或阵列的子孔径产生的超声束的聚焦和转向。

在接收到来自对象的反向散射回波信号后，接收到的信号将进行接收波束形成(如下所述)，从而将接收到的信号对齐，并且在使用子孔径的情况下，例如通过一个换能器元件来对子孔径进行移位。然后激活经移位的子孔径，并且重复该过程，直到激活了换能器阵列的所有换能器元件。

对于每条线(或子孔径)，用于形成最终超声图像相关联的线的总接收信号将是在接收时段期间由给定子孔径的换能器元件测得的电压信号的总和。在下面的波束形成过程之后，所得的线路信号通常称为射频(RF)数据。然后，由各个子孔径生成的每个线信号(RF数据集)都经过额外处理，以生成最终超声图像的线。线信号的幅值随时间的变化将有助于超声图像的亮度随深度的变化，其中，高幅值峰将对应于最终图像中的亮像素(或像素的集合)。出现在线信号开始附近的峰值将表示来自浅层结构的回波，而出现在线路信号后期的峰值将表示来自对象内深度不断增加的结构的回波。

由换能器控制器18控制的功能之一是波束被转向和聚焦的方向。波束可以被转向为从换能器阵列垂直向前(垂直于换能器阵列)，或者以不同的角度用于更宽的视场。可以根据换能器元件致动时间来控制发射束的转向和聚焦。

在一般超声数据采集中可以区分两种方法：平面波成像和“波束转向”成像。两种方法的区别在于在发射模式(“波束转向”成像)和/或接收模式(平面波成像和“波束转向”成像)中存在波束形成。

首先来看聚焦功能，通过同时激活所有换能器元件，换能器阵列生成平面波，所述平面波在穿过对象时发散。在这种情况下，超声波的波束保持不聚焦。通过将取决于位置的时间延迟引入换能器的激活，可以使波束的波前会聚在期望的点上，所述点称为聚焦区。聚焦区定义为横向波束宽度小于发射波束宽度一半的点。以此方式，提高了最终超声图像的横向分辨率。

例如，如果时间延迟导致换能器元件从最外面的元件开始并在换能器阵列的(一个或多个)中心元件结束处系列地激活，则将在距探头给定距离处形成焦点区域，与(一个或多个)中心元件成一条线。焦点区域与探头的距离将根据换能器元件激活的每个后续一轮之间的时间延迟而变化。在波束通过聚焦区后，它将开始发散，形成远场成像区域。应当注意，对于位于靠近换能器阵列的聚焦区，超声束将在远场中迅速发散，从而导致最终图像中的波束宽度伪影。通常，由于超声波束中的大的交叠，位于换能器阵列与聚焦区之间的近场显示的细节很少。因此，改变聚焦区的位置能够导致最终图像质量的显著变化。

应当注意，在发射模式下，除非将超声图像划分为多个焦点区域(每个焦点区域可能具有不同的发射焦点)，否则只能定义一个焦点。

另外，在从对象内部接收到回波信号时，可以执行上述处理的逆过程以执行接收聚焦。换句话说，进入的信号可以被换能器元件接收并且在被传递到系统中用于信号处理之前经历电子时间延迟。最简单的示例称为延迟和求和波束形成。可以根据时间动态地调整换能器阵列的接收聚焦。

现在来看波束转向的功能，通过对换能器元件正确地施加时间延迟，可以在超声束离开换能器阵列时在超声束上赋予期望的角度。例如，通过激活换能器阵列的第一侧上的换能器，然后以在阵列的相对侧上结束的顺序激活其余的换能器，波束的波前将朝向第二侧倾斜。相对于换能器阵列的法线的转向角的尺寸取决于随后的换能器元件激活之间的时间延迟的尺寸。

此外，可以对转向波束进行聚焦，其中，应用于每个换能器元件的总时间延迟是聚焦和转向时间延迟之和。在这种情况下，换能器阵列称为相控阵列。

在CMUT换能器需要激活直流偏压的情况下，换能器控制器18可以被耦合以控制换能器阵列的DC偏置控制器45。DC偏置控制器45设置被应用到CMUT换能器元件的(一个或多个)偏压。

对于换能器阵列的每个换能器元件，模拟超声信号(通常称为通道数据)通过接收通道进入系统。在接收通道中，通过微波束形成器12从通道数据中产生部分波束形成的信号，并且然后被传送到主接收波束形成器20，在主接收波束形成器20中，来自个体换能器片的部分波束形成的信号被组合成完全波束形成的信号，称为射频(RF)数据。可以如上所述执行在每个阶段执行的波束形成，或者可以包括额外的功能。例如，主波束形成器20可以具有128个通道，其中的每个接收来自换能器元件的数十或者数百的部分波束形成的信号。以此方式，由换能器阵列的数千个换能器接收到的信号可以有效地贡献于单个波束形成的信号。

波束形成的接收信号被耦合到信号处理器22。信号处理器22可以以各种方式处理接收到的回声信号，例如：带通滤波；抽取；I和Q分量分离；以及谐波信号分离，用于分离线性和非线性信号，以便识别从组织和微泡返回的非线性(基频的高次谐波)回波信号。处理器还可以执行的信号增强，例如纹波降低、信号复合以及噪声消除。信号处理器中的带通滤波器可以是跟踪滤波器，其中，其通带随着回波信号从增加的深度被接收而从较高的频带滑落到较低的频带，从而拒绝来自更大深度的较高频率处的噪声，所述噪声通常没有解剖信息。

用于发射和用于接收的波束形成器以不同的硬件实现并且可以具有不同的功能。当然，接收器波束形成器被设计为考虑到发射波束形成器的特性。简单起见，在图1中仅示出了接收器波束形成器12、20。在整个系统中，还将有具有发射微波束形成器和主发射波束形成器的发射链。

微波束形成器12的功能是提供信号的初始组合，以便减少模拟信号路径的数量。这通常在模拟域中执行。

最终的波束形成在主波束形成器20中完成，并且通常在数字化之后。

发射和接收信道使用具有固定频带的同一换能器阵列6。但是，发射脉冲占用的带宽可以根据使用的发射波束形成而变化。接收通道可以捕获整个换能器带宽(这是经典方法)，或者通过使用带通处理，它可以只提取包含期望的信息(例如主谐波的谐波)的带宽。

RF信号可以然后被耦合到B模式(即，亮度模式或2D成像模式)处理器26和多普勒处理器28。B模式处理器26对接收到的超声信号执行幅值检测，以对身体中的结构(例如，器官组织和血管)进行成像。在逐线成像的情况下，每条线(波束)由关联的RF信号表示，其幅值用于生成要分配给B模式图像中像素的亮度值。图像内像素的确切位置由沿RF信号的相关幅度测量值的位置以及RF信号的线(束)数确定。这种结构的B模式图像可以以谐波或基本图像模式或两者的组合形成，如美国专利US 6283919(Roundhill等人)和美国专利US6458083(Jago等人)中所描述。多普勒处理器28可以处理源自组织运动和血液流动的时间上分立的信号，用于检测运动的物质，例如图像场中的血细胞的流动。多普勒处理器28通常包括壁滤波器，其具有被设置为使从身体中的选定类型的材料返回的回波通过或拒绝其的参数。

将由B模式和多普勒处理器生成的结构和运动信号耦合到扫描转换器32和多平面重新格式化器44。扫描转换器32以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。换句话说，扫描转换器的作用是将RF数据从圆柱坐标系转换为适于在图像显示器40上显示超声图像在的笛卡尔坐标系。在B模式成像的情况下，给定坐标处像素的亮度与从该位置接收的RF信号的幅值成比例。例如，扫描转换器可以将回波信号布置为二维(2D)扇区形格式，或者锥体三维(3D)图像。扫描转换器可以在B模式结构图像上叠加与图像场中各个点的运动相对应的颜色，在这些点处多普勒估计的速度可产生给定的颜色。组合的B模式结构图像和彩色多普勒图像描述了结构图像场内组织和血流的运动。多平面重新格式化器将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在美国专利US 6443896(Detmer)中所描述。体积绘制器42将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像，如在美国专利US 6530885(Entrekin等人)中所描述。

2D或3D图像被从扫描转换器82、多平面重新格式化器44、以及体积绘制器42耦合到图像处理器30用于进一步增强、缓存和临时存储，以在图像显示器40上显示。成像处理器可以适用于从最终超声图像中去除某些成像伪影，例如：声学阴影，例如由强衰减物或折射引起的；后增强，例如由弱衰减物引起的；混响伪影，例如，高度反射的组织界面的紧邻定位之处；等等。另外，图像处理器可以适于处理特定纹波减少功能，以便改善最终超声图像的对比度。

除了用于成像外，由多普勒处理器28生成的血流值以及由B模式处理器26生成的组织结构信息被耦合到量化处理器34。所述量化处理器生成不同流动状况的量度(例如，血流的体积率)以及结构测量结果(例如，器官的尺寸和孕龄)。量化处理器46可以接收来自用户控制面板38的输出，例如，要进行测量的图像的解剖结构中的点。

来自量化处理器的输出数据被耦合到图形处理器36，用于在显示器40上与图像一起再现测量图形和值，以及从显示设备40输出音频。图形处理器36也可以生成图形叠加以用于与超声图像一起显示。这些图形叠加可以包括标准识别信息，例如图像的患者姓名、日期和时间、成像参数等等。出于这些目的，图形处理器从用户接口38接收输入，例如患者姓名。所述用户接口还被耦合到发射控制器18以控制来自换能器阵列6的超声信号生成，并因此控制由换能器阵列和超声系统生成的图像。控制器18的发射控制功能仅仅是所执行的功能之一。控制器18还考虑了操作模式(由用户给定)以及接收器模数转换器中的相应所需的发射器配置和带通配置。控制器18可以是具有固定状态的状态机。

用户接口也可以被耦合到多平面重新格式化器44以选择和控制多个经多平面重新格式化的(MPR)的图像的平面，其可以被用于执行MPR图像的图像场中的量化的度量。

本公开涉及用于分析多幅超声图像的处理，例如通过先前描述的超声图像生成的那些图像。该过程可以由超声图像处理器执行，例如图形处理器36、图像处理器30和/或单独/专用处理系统(未示出)。

图2示意性地图示了用于理解本发明实施例所采用的方法的工作流程200。工作流表示由处理系统执行的过程。

该工作流程包括处理多幅超声图像210，它们都具有相同的分辨率。所述多幅超声图像是个体的超声图像，并且具体地，个体的相同解剖区域的超声图像(并且优选地从相同或相似的视点采集，例如使用基本静止的成像探头)。优选地，每幅超声图像是二维图像，但是这不是必需的(例如可以使用3D超声图像)。

超声图像是已经使用超声成像过程获得的任何图像，例如使用诸如先前描述的超声成像系统。在一些示例中，“原始”超声图像在被用作超声图像用于方法/工作流程的目的之前经历额外的处理(例如，使用一个或多个滤波器和/或神经网络的一个或多个层)。因此，超声图像可以是特征空间图像或图像空间超声图像。

在特别优选的示例中，所述多幅超声图像包括超声图像的序列，例如由同一超声成像探头在不同时间捕获的超声图像的序列。优选地，超声图像的序列的顺序取决于捕获每幅超声图像的时间。例如，所述序列可以包括超声视频的顺续帧。

在过程220中，处理多幅超声图像中的每幅超声图像以识别每幅超声图像内的感兴趣区域。感兴趣区域是超声图像的部分或分区(即，不是整幅超声图像)，其表示具有/包含个体的潜在病变的区域。

病变可能包括以下一项或多项；增生、肿瘤、脓肿、结节、肿胀、隆起、溃疡或任何其他由个体内的损伤、疾病或伤害引起的合适特征。用于识别超声图像内的感兴趣区域的机制是本领域技术人员众所周知的，并且可以采用例如机器学习方法、边缘检测算法、图像分割技术等。

感兴趣区域230然后经历分组或聚类过程240，其中，相似的感兴趣区域被分组在一起。换句话说，基于感兴趣区域之间的相似性对感兴趣区域进行分组(例如，分成一组或多组感兴趣区域)。可以基于感兴趣区域的内容的相似度来定义感兴趣区域之间的相似度。具体而言，如果预测感兴趣区域识别个体的相同潜在病变，则可以将它们分组在一起。

然后在过程260中使用机器学习方法处理每组感兴趣区域250(其中仅示出了一个示例)以生成预测指示符270，所述预测指示符270指示感兴趣区域的组包含所述个体中的病变的可能性。

预测指示符270可包括表示所述组包含病变的可能性的二进制、分类或数值数据。作为一个示例，预测指示符可以是二元指示符(例如“0”或“1”)，其指示对感兴趣区域的组是否包含病变的预测。作为另一个示例，预测指示符可以是感兴趣区域的组包含病变的概率(即数值指示符)。数值指示符可以在0到1、0到10、1到10、0到100或1到100的范围内(但是可以使用其他示例)。作为又一示例，预测指示符可以是分类指示符，分类指示符指示感兴趣区域的组包含病变的可能性的分类指示符(例如，“可能”、“不太可能”、“极有可能”、“既非可能也非不太可能”，等等)。

因此，所提出的方法执行两步过程，用于使用多幅超声图像来预测个体中存在病变的可能性。每幅超声图像被单独/单独地处理以识别感兴趣区域，所述感兴趣区域是超声图像的可能描绘病变的区域/部分(即，作为包含病变的候选区域)。然后将相似的感兴趣区域的组合在一起，然后使用机器学习方法进行处理，以响应于所述组描绘病变的可能性而生成预测指示符。使用所述组的处理有效地确认或拒绝所述组中的每个感兴趣区域描绘病变的建议(该建议由每个单独的超声图像的处理所提议)。

所提出的方法通过在处理超声图像的部分组之前分别处理每个个体超声图像而避免了需要同时对所有超声图像执行复杂的高强度处理。发明人已经认识到，所提出的方法可以显著降低假阳性率，同时保持预测病变可能性的高准确度/精确度。

现在已经描述了工作流的一般概述，下文将提供如何执行示例性工作流的更完整的示例。

图3图示了根据实施例的方法300。方法300可以由根据实施例的处理系统执行。

方法300包括获得个体的多幅超声图像的步骤310。所述多幅超声图像可以如先前参考图2所描述的那样。为了便于解释，图示的超声图像是图像空间超声图像(即每个像素直接表示个体解剖结构的部分)。

特别地，所述超声图像优选地是二维超声图像，但是使用3D超声图像也是可能的。优选地，所述多幅超声图像包括一系列超声图像，例如，其中，一幅超声图像在比另一超声图像更晚的时间点顺序地在另一超声图像之后或更晚捕获。在一些示例中，多幅超声图像包括来自超声视频的(顺续的)帧。

然后在步骤320中处理超声图像，所述步骤包括识别超声图像中的一个或多个感兴趣区域，每个感兴趣区域是超声图像的表示个体中具有潜在病变的区域的部分。因此，感兴趣区域本身是超声图像，其是较大超声图像的部分。

用于识别超声图像中的感兴趣区域的处理对技术人员而言将是显而易见的，并且可以使用机器学习方法(例如神经网络或朴素贝叶斯分类器)来识别超声图像中包含或表示个体潜在病变的任何部分。通常，感兴趣区域是通过识别框或体积(的坐标)来定义的，所述框或体积定义了包含个体潜在病变的区域或体积的外边界。因此，每个感兴趣区域是超声图像的特定部分。

优选地，每个感兴趣区域不大于超声图像尺寸的0.4倍，例如不大于超声图像尺寸的0.25倍。感兴趣区域越小，处理一组感兴趣区域(与整幅超声图像相比)的计算复杂度的降低就越大。

可以处理感兴趣区域以去除或删除任何重复的感兴趣区域(例如，识别相同潜在病变的相同超声图像中的感兴趣区域)。这可以例如通过处理每幅超声图像以识别该超声图像中彼此交叠超过预定量(例如具有超过预定值的交集值)的任何感兴趣区域并删除交叠的感兴趣区域中的一个或多个来执行。删除的感兴趣区域可以是与它识别潜在病变的最低置信度/概率相关联的感兴趣区域。如果使用机器学习方法识别感兴趣区域，则可以生成此类置信度/概率值，但是其他技术也会生成此类置信度/概率度量。

方法300然后执行步骤330，将所识别的感兴趣区域分组或聚类以形成感兴趣区域的组。该分组是基于所识别的感兴趣区域彼此之间的相似性来执行的。每个组可以被修改/配置为包含描绘/具有相同潜在病变的感兴趣区域。

可以通过将不同超声图像的感兴趣区域链接或关联在一起来执行步骤330。链接的感兴趣区域是那些被认为包含相同潜在病变的区域。然后步骤330可以通过将链接的感兴趣区域分组或聚类成单个组来创建或形成一组感兴趣区域，例如，如果它们满足某些要求的话。

优选地，每个组包含来自任何给定超声图像的不超过一个感兴趣区域(即每幅超声图像最多只能对一组超声图像贡献一个感兴趣区域)。

在特别优选的示例中，在多幅超声图像包括超声图像的序列的情况下，每组感兴趣区域仅包括来自顺序相邻的超声图像的感兴趣区域。换句话说，每个感兴趣区域(在一组特定的感兴趣区域中)可以来自与包含另一个感兴趣区域(特别是兴趣区域的组)的超声图像(在超声图像的序列中)顺序相邻的超声图像。

这种方法意味着可以通过仅将来自顺序相邻(即紧接之前或紧接之后)的超声图像的感兴趣区域彼此进行比较来构建感兴趣区域的组，以有效地构建感兴趣区域的序列。这产生了彼此顺序相关(例如，时间相关)的感兴趣区域的组，提供额外信息以帮助后续分析感兴趣区域的组。

该方法的优点是提供了彼此顺续的感兴趣区域的组，为以后的分析提供了有用的上下文信息(例如，因为序列信息可以提供关于是否存在病变的重要指示符)，并且减少了需要进行的比较次数(因为只有顺序相邻的超声图像中的感兴趣区域需要被相互比较)。

换言之，在通过将链接的感兴趣区域分组为单个组来创建感兴趣区域的组之前，可以通过将顺序相邻的超声图像的感兴趣区域链接或关联在一起来执行步骤330。

在第一种情况下，步骤330可以包括基于每个感兴趣区域在它们各自的超声图像中占据的区域之间的相对交叠来确定不同感兴趣区域之间的相似性度量。如果此相似性度量超过某个预定阈值，则可以将感兴趣区域组合在一起(或彼此链接/关联)。

例如，由超声图像中的一个感兴趣区域所占据的区域与另一超声图像中另一区域所占据的区域之间的交叠的尺寸可以用作相似性度量。交叠的尺寸可以使用并交比(IoU)评估度量来确定。该流程可以在不同超声图像的感兴趣区域之间建立联系。

仅作为示例，考虑这样一种场景，其中，第一超声图像的感兴趣区域是由坐标(X₁，Y₁，X₂，Y_X)定义的框，并且第二超声图像的感兴趣区域是由坐标(X₃,Y₃,X₄,Y₄)定义的框。该坐标信息可用于识别两个感兴趣区域之间的相对交叠尺寸，并可用于计算IoU度量，因为坐标信息定义了每个感兴趣区域的覆盖范围或范围。

在一些示例中，如果IoU度量大于某个预定值，则可以认为感兴趣区域足够相似(即放置在同一组中)，所述值优选不小于0.4，例如不小于0.5，例如不小于0.6。

在第二场景中，步骤330包括基于与每个感兴趣区域相关联的元数据来对感兴趣区域进行分组。

例如，所述元数据可以表示感兴趣区域的特征。感兴趣区域的示例元数据包括感兴趣区域的位置(例如感兴趣区域中心的位置)、感兴趣区域的几何形状(例如形状)和/或尺寸、感兴趣区域(例如，表示感兴趣区域包含潜在病变的置信度或概率的值——如可以由机器学习方法提供)和/或感兴趣区域的特征图。

感兴趣区域的特征图是通过将一个或多个滤波器应用于感兴趣区域而生成的图，例如卷积滤波器等。具体而言，特征图是通过将神经网络的一个或多个层应用于感兴趣区域而生成的图。术语特征图的含义在机器学习领域很容易理解。

在一些示例中，分类器，例如机器学习方法，可以处理每个感兴趣区域以将感兴趣区域分类到多个分类中的一个。例如，一组感兴趣区域可能仅包含具有相同分类的感兴趣区域。

优选地，使用上述方法的组合。特别地，对于由多幅图像的序列形成的多幅图像，每组感兴趣区域可以仅包含来自顺序地邻近提供针对感兴趣区域的组的一个或多个其他区域的一幅或两幅其他超声图像的超声图像的感兴趣区域，并且彼此交叠超过预定量。

方法300包括使用机器学习方法处理感兴趣区域的组以生成预测指示符的步骤340，所述预测指示符指示感兴趣区域的组包含个体中的病变的可能性。

在特别优选的示例中，机器学习方法的输出是响应于区域组包含病变的预测可能性而改变的数据，例如以二元指示符、分类指示符和/或数值指示符的形式。

该过程利用多个相似的感兴趣区域来预测它们是否包含或描绘个体的病变。这提供了额外的、上下文相关的信息用于生成预测指示符，例如与单独简单地处理单幅超声图像相比。由于提供了额外的上下文信息，因此该方法可以提供更准确的机制来确定病变存在的可能性(在每组感兴趣区域中)。

通过使用感兴趣区域的组，所提出的方法还避免了处理全尺寸超声图像组的需要，这在计算上会很昂贵和/或需要大量额外的存储空间。

还应注意，所提出的方法还提高了识别个体病变的准确性，因为它使用两步过程来识别或预测可能存在的病变。

步骤340可以包括，对于每组感兴趣区域，处理感兴趣区域以生成感兴趣区域的序列。该序列可以是时间序列，使得感兴趣区域基于原始超声图像(对于每个感兴趣区域)最初被捕获的时间顺序排序。然后可以使用机器学习方法处理区域序列以生成预测指示符。

如果从超声图像的序列获得，则感兴趣区域的序列的顺序可以匹配从中获得感兴趣区域的超声图像的序列的顺序。

该感兴趣区域的序列可称为“管”或“小管”，并且有效地表示描绘相同潜在病变的(图像的部分)序列。例如，“管”可以有效地表示潜在病变的视频，其尺寸/形状适合围绕潜在病变(而不是超声成像探头成像的整个区域的视频)。

在一些示例中，感兴趣区域的序列可以包括感兴趣区域的组中感兴趣区域的堆叠。例如，在每个感兴趣区域是二维图像的情况下，感兴趣区域的序列可以包括表示二维图像在彼此之上的简单堆叠的3D体积。

换句话说，感兴趣区域的组可以有效地视为一个“体积”，可以使用机器学习方法对其进行分类或处理。也就是说，感兴趣区域的序列可以是包含堆叠的感兴趣区域的单个数据结构，即所有感兴趣区域的组合。

机器学习方法的输入可以是区域的组本身、感兴趣区域的序列和/或例如通过处理感兴趣区域(例如使用一个或多个滤波器或神经网络层)而从感兴趣区域的组导出的其他数据。

机器学习算法是任何处理输入数据以生成或预测输出数据的自训练算法。出于步骤340的目的，输入数据包括从感兴趣区域的组导出的数据，并且输出数据包括指示感兴趣区域的组包含个体中的病变的可能性的预测指示符。

用于本发明的合适的机器学习算法对于技术人员来说将是显而易见的。合适的机器学习算法的示例包括决策树算法和人工神经网络(例如CNN、RNNS和/或LSTM)。逻辑回归、支持向量机或朴素贝叶斯模型等其他机器学习算法都是合适的替代方案。

人工神经网络(或简称为神经网络)的结构受到人脑的启发。神经网络由层组成，每一层包含多个神经元。每个神经元包括数学运算。特别地，每个神经元可以包括单一类型的变换的不同加权组合(例如，相同类型的变换、sigmoid等，但具有不同的权重)。在处理输入数据的过程中，每个神经元对输入数据进行数学运算，产生数值输出，神经网络中每一层的输出顺序地馈入下一层。最后一层提供输出。

训练机器学习算法的方法是众所周知的。通常，此类方法包括获得训练数据集，训练数据集包括训练输入数据条目和相应的训练输出数据条目(通常标记为“真实情况”数据)。将初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目和对应的训练输出数据条目之间的误差用于修改机器学习算法。可以重复该过程，直到误差收敛，并且预测的输出数据条目与训练输出数据条目足够相似(例如±1％)。这通常被称为监督学习技术。

例如，在机器学习算法由神经网络形成的情况下，可以修改每个神经元的数学运算(的权重)直到误差收敛。已知的修改神经网络的方法包括梯度下降、反向传播算法等。

训练输入数据条目对应于从感兴趣区域的组(例如组本身)导出的示例数据。训练输出数据条目对应于关于组中存在病变的可能性的示例预测(以二进制、分类或数字数据的形式)。

方法300还可以包括响应于预测指示符在显示设备处显示视觉上可感知的输出的步骤350。

因此，步骤350可以包括控制显示设备以提供视觉上可感知的输出，其响应于预测指示符(对于每组区域)，即指示个体中存在病变的预测可能性。该指示符可以例如提供个体中存在病变的预测概率和/或二元指示符(例如指示“存在病变”或“不存在病变”)。

作为另一示例，如果预测指示符是指示预测概率的数值，并且预测指示符之一具有超过预定值的值，则步骤350可以包括控制显示设备以指示存在病变。

在一些示例中，视觉上可感知的输出指示感兴趣区域的组中的哪个组(如果有的话)被预测包含或描绘病变。这可以是概率和/或二元指示符的形式，例如，针对每组区域，或仅针对那些被认为可能包含病变(例如，具有超过某个预定阈值的可能性)的区域。

在一些示例中，响应于确定感兴趣区域的组中的至少一组包含病变，例如，如果预测的可能性超过某个阈值，步骤350可以包括识别所识别的病变相对于所显示的患者的超声图像的位置；并且响应于病变的所识别位置，将视觉上可感知的输出(例如注释、框等)叠加在所显示的超声图像上。所识别的病变的位置可以是所显示的超声图像内的(被预测为包含病变的感兴趣区域的组中的)感兴趣区域的位置。特别地，视觉上可感知的输出可以被叠加超声图像中的病变位置，例如在预测包含病变的感兴趣区域的位置处。超声图像可以是包含感兴趣区域的多幅超声图像之一，所述感兴趣区域形成已经识别出病变存在的感兴趣区域的组的部分。

在一些示例中，识别所有感兴趣区域(例如，使用各自的标记)，其中，感兴趣区域的组中的感兴趣区域被预测为包含病变(例如，具有大于某个预定值的概率)被突出显示或以其他方式强调，例如具有特定的颜色、图案等。这便于提高在识别可能发现病变的潜在区域的的容易性(例如，用于诊断目的)，同时还提供关于区域包含病变的可能性的自动预测的信息。

在一些示例中，例如使用阴影或透明度调整技术显示关于该区域包含感兴趣病变的预测可能性的信息。

在一些示例中，显示设备可以被配置为顺序地显示多幅超声图像中的每幅超声图像(例如，播放超声视频)。步骤350可以包括，响应于确定感兴趣区域的组中的至少一个组可能包含病变(例如，通过处理预测指示符)，控制显示设备提供关于当前显示的超声图像与当前显示的超声图像相关联的(来自感兴趣区域的组的)感兴趣区域的位置的视觉可感知输出。以此方式，可以随时间跟踪或显示与感兴趣区域的组相关联的病变的相对位置。

图2和图3用于描述相对简单的实施例，其中多幅超声图像中的每一幅包括图像空间超声图像。

然而，如前所述，在一些示例中，多幅超声图像中的每幅可以包括特征空间超声图像，即特征空间图像。特征空间图像可以是已经经历进一步处理的“传统”超声图像(“图像空间图像”)，例如使用神经网络的一个或多个滤波器和/或层来生成特征空间图像。

在一些示例中，这些特征空间图像以与先前描述的超声图像相同的方式被处理。然而，在其他示例中，可以执行一些附加处理来识别(一组)感兴趣区域。

图4图示其中了多幅超声图像包括多个特征空间图像410的过程，每个特征空间图像是从相应的图像空间(超声)图像420导出的(例如作为特征提取过程430的结果)。

因此，获得多幅超声图像的步骤可以包括获得多个特征空间超声图像。这可以通过在特征提取过程430中处理多幅图像空间超声图像以生成特征空间超声图像来执行。

识别超声图像中的感兴趣区域的过程可以包括独立处理特征空间超声图像以识别特征空间超声图像中的感兴趣区域。

在替代的实施例中，所述过程包括识别图像空间超声图像420中的感兴趣区域的过程435。这可以使用任何先前描述的机制来执行，例如使用机器学习方法。然后可以基于图像空间超声图像中的感兴趣区域来确定特征空间超声图像中的感兴趣区域，如使用虚线示意性所示。具体地，特征空间超声图像和图像空间超声图像的不同区域之间的空间关系是已知的，并且因此可以用于识别特征空间超声图像中的相关感兴趣区域。

因此，识别超声图像中的感兴趣区域的步骤可以包括通过在识别多幅超声图像中的感兴趣区域之前首先识别原始超声图像(用于导出多幅超声图像)中的感兴趣区域来基于原始超声图像中已识别的感兴趣区域识别感兴趣区域。

然后在过程440中将多个(特征空间)超声图像中的感兴趣区域分组以生成一个或多个感兴趣区域的组460。

使用机器学习方法处理每组感兴趣区域450以生成指示该组感兴趣区域包含病变的可能性的预测指示符470。这可以使用任何先前描述的方法来执行。

图5图示了用于对感兴趣区域进行分组的示例性过程。

特别地，图5图示了用于对来自超声图像的序列(例如，超声视频的连续帧)内的连续超声图像的感兴趣区域进行分组的过程。

图5图示了三幅超声图像，都是二维的并且具有相同的分辨率。具体而言，存在第一超声图像510、第二超声图像520和第三超声图像530。超声图像形成超声图像的(时间)序列，例如表示超声视频的帧。

每幅超声图像都已经被处理以识别感兴趣区域，例如使用机器学习方法。这些感兴趣区域在图5中使用方框示意性地说明。

然后对感兴趣区域进行分组。如果感兴趣区域(在相邻帧中)之间的相似性度量超过某个预定阈值，则通过链接或关联相邻帧中的感兴趣区域来执行此操作。相似性的度量可以是交并比(IoU)值，它是通过将区域之间交叠的尺寸(即，如果区域位于同一超声图像中，则交叠的尺寸)除以区域之间的并集。

然后通过选择不同超声图像的链接感兴趣区域来获得感兴趣区域的序列。特别地，获得的感兴趣区域的序列可以是包括来自每幅超声图像的最多一个感兴趣区域的序列，其中，序列中的每个感兴趣区域与序列中的另一个感兴趣区域链接或关联。感兴趣区域的序列的顺序可以匹配从中获得它们的超声图像的序列的顺序。

然后可以删除已放入感兴趣区域的序列中的区域(保留感兴趣区域的序列)并重复该过程。使用图5中的箭头示意性地说明了该过程。

图6图示了根据一个实施例的处理系统600。该处理系统在整个超声成像系统60的上下文中被图示。

处理系统600被配置为获得个体的多幅超声图像。所述多幅超声图像可以例如从存储器610和/或被配置为生成超声图像的超声扫描器620获得。

处理系统600还被配置为识别超声图像中的感兴趣区域，每个感兴趣区域是超声图像的部分，其表示个体中具有潜在病变的区域。

处理系统600还被配置为基于感兴趣区域的相似性将来自不同超声图像的感兴趣区域分组在一起；并且使用机器学习方法处理每组感兴趣区域，以预测该组感兴趣区域是否包含所述个体中的病变。

处理系统600还可以被配置为响应于每个预测指示符而在显示设备处显示视觉上可感知的输出。

如前所述，处理系统600可以适当地适用于执行此处描述的任何方法，经过必要的必要修改，并且本领域技术人员将能够容易地适当地适用于处理系统600。

图7图示了所提出的方法在预测个体是否有一个或多个病变方面的效果。

第一曲线图710图示了使用已知的二维神经网络分析方法正确识别二维超声图像内的病变的召回精度曲线(x轴为召回率，y轴为精度)。该图是使用基准数据生成的。特别地，第一曲线图710图示了使用Faster RCNN的病变检测算法的使用所产生的召回精度曲线。

第二曲线图720图示了用于通过执行本文公开的方法正确识别多幅超声图像内的病变的召回精度曲线。使用用于产生第一图710的相同基准数据产生第二曲线图720。

第一曲线图710和第二曲线图720具有相同的尺度(例如，x轴上为0.0到1.0，并且y轴上为0.0到1.0)。

使用所提出的方法，可以针对更高水平的召回获得更高的精度值，反之亦然。换句话说，我们的发明的改进表明以所公开的方式使用在多幅超声图像中提供的附加上下文(例如，利用超声视频)，所述上下文不存在于简单的静止图像中，可以减少病变的假阳性检测和/或漏检。

图8是根据本公开实施例的处理系统600的示意图。如图所示，处理系统600可以包括(数据)处理器860、存储器864和通信模块868。这些元件可以彼此直接或间接通信，例如，经由一条或多条总线。

处理器860可以包括被配置为执行本文中所描述的操作的中央处理单元(CPU)、数字信号处理器(DSP)、ASIC、控制器、FPGA、另一硬件设备、固件设备或其任何组合。处理器860也可以被实施为计算设备的组合，例如，DSP与微处理器的组合，多个微处理器，与DSP结合一个或多个微处理器内核，或者任何其它这样的配置。在一些实施例中，处理器是分布式处理系统，例如由一组分布式处理器形成。

存储器864可以包括高速缓存存储器(例如，处理器860的高速缓存存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储设备、硬盘驱动器、其他形式的易失性和非易失性存储器，或不同类型存储器的组合。在一个实施例中，存储器864包括非瞬态计算机可读介质。非瞬态计算机可读介质可以存储指令。例如，存储器864或非瞬态计算机可读介质可具有记录在其上的程序代码，所述程序代码包括用于使处理器系统600或处理器系统600的一个或多个部件，特别是处理器860，执行本文中描述的操作的指令。例如，处理系统600可以执行方法700的操作。指令866也可称为代码或程序代码。术语“指令”和“代码”应被广义地解读为包括任何类型的(一个或多个)计算机可读语句。例如，术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或多个计算机可读语句。记录有代码的存储器864可以被称为计算机程序产品。

通信模块868可以包括任何电子电路和/或逻辑电路以促进处理系统600、穿透设备和/或用户接口(或其他进一步的设备)之间的数据的直接或间接通信。在这方面，通信模块868可以是输入/输出(I/O)设备。在一些情况下，通信模块868便于处理器电路600和/或系统600(图6)的各种元件之间的直接或间接通信。

应当理解，公开的方法优选地是计算机实施的方法。因此，还提出了包括计算机程序代码的计算机程序的概念，当所述程序在诸如计算机或一组分布式处理器的处理系统上运行时，所述计算机程序代码用于实施任何所描述的方法。

根据实施例的计算机程序的不同部分、行或代码块可由处理系统或计算机执行以执行本文中描述的任何方法。在一些替代的实施方式中，(一个或多个)框图或(一个或多个)流程图中标注的功能可以不按图中标注的顺序出现。例如，取决于所涉及的功能，相继地示出的两个块实际上可以基本上同时执行，或者块有时可以以相反的顺序执行。

本公开提出了一种包括指令的计算机程序(产品)，当所述程序由计算机或处理系统运行时，所述指令使计算机或处理系统执行本文中描述的任何方法(的步骤)。计算机程序(产品)可以存储在非瞬态计算机可读介质上。

类似地，还提出了一种包括指令的计算机可读(存储)介质，当由计算机或处理系统执行时，这些指令使计算机或处理系统执行本文中描述的任何方法(的步骤)。还提出了其上存储有先前描述的计算机程序(产品)的计算机可读数据载体。还提出了一种承载有先前描述的计算机程序(产品)的数据载体信号。

本领域技术人员通过研究附图、公开内容以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。

所公开的方法优选地是计算机实现的方法，并且可以由合适的处理系统来执行。本文中描述的任何处理系统可以适当地适于执行本文中描述的任何方法，正如本文中描述的任何方法可以适于执行由本文中描述的任何处理系统执行的过程。

还提供了一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元在具有处理系统的计算设备上运行时使所述处理系统执行本文中描述的任何方法的所有步骤。

单个处理器或其他单元可以完成权利要求书中所记载的若干个项目的功能。可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上，但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。

尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。

如果在权利要求书或说明书中使用术语“适于”，则应注意，术语“适于”旨在等同于术语“被配置为”。权利要求书中的任何附图标记不应被解读为对范围的限制。

Claims (15)

1.一种用于预测个体具有一个或多个病变的可能性的处理系统(600)，所述处理系统被配置为：

获得(310)所述个体的多幅超声图像(210、410)，所述多幅超声图像包括超声图像的时间序列；

识别(220、320、430、435)所述多幅超声图像中的感兴趣区域(230)，每个感兴趣区域是所述多幅超声图像中的超声图像中的表示所述个体中具有潜在病变的区的部分；

基于所述感兴趣区域的相似性，将来自所述多幅超声图像的不同超声图像的感兴趣区域分组(240、330、440)在一起；并且

使用机器学习方法处理(340)每组感兴趣区域(250、450)以生成预测指示符(270、470)，所述预测指示符指示所述一组感兴趣区域包含所述个体中的病变的可能性。

2.根据权利要求1所述的处理系统(600)，其中，每幅超声图像是二维超声图像。

3.根据权利要求1或2中的任一项所述的处理系统(600)，其中，所述处理系统被配置为通过针对每组感兴趣区域执行包括以下操作的过程来处理每组感兴趣区域：

使用所述一组感兴趣区域的中的感兴趣区域来生成所述感兴趣区域的序列；并且

使用机器学习方法处理区域的所述序列以生成预测指示符，所述指示符指示区域的所述序列包含所述个体中的病变的可能性。

4.根据权利要求3所述的处理系统(600)，其中，所述处理系统被配置为通过执行包括堆叠所述感兴趣区域的步骤来生成区域的序列。

5.根据权利要求1至4中的任一项所述的处理系统(600)，其中，所述处理系统被配置为通过执行包括使用第二机器学习方法来处理每幅超声图像以识别感兴趣区域的过程来识别所述超声图像中的感兴趣区域。

6.根据权利要求1至5中的任一项所述的处理系统(600)，其中，所述多幅超声图像包括超声图像的视频。

7.根据权利要求6所述的处理系统(600)，其中，超声图像的所述序列的顺序取决于捕获每幅超声图像的时间。

8.根据权利要求6或7所述的处理系统(600)，其中，在每组感兴趣区域中，每个感兴趣区域来自与针对同一组感兴趣区域中的另一感兴趣区域的超声图像顺序相邻的超声图像。

9.根据权利要求1至8中的任一项所述的处理系统(600)，其中，每个感兴趣区域不大于所述超声图像的尺寸的0.25倍。

10.根据权利要求1至9中的任一项所述的处理系统(600)，其中，所述处理系统被配置为响应于每个预测指示符而在显示设备处显示(350)视觉上可感知的输出。

11.根据权利要求10所述的处理系统(600)，其中，所述处理系统被配置为：如果至少一个预测指示符指示至少一组感兴趣区域可能包含病变，则：

识别所识别的病变相对于所显示的所述患者的超声图像的位置；并且

响应于所述病变的所识别的位置，将所述视觉上可感知的输出叠加在所显示的超声图像上。

12.根据权利要求1至11中的任一项所述的处理系统(600)，其中，所述处理系统被配置为通过执行包括以下操作的过程来对感兴趣区域进行分组：

确定来自不同超声图像的不同感兴趣区域之间的相似性度量，相似性度量表示由超声图像内的一个感兴趣区域所占据的相对区与由另一超声图像中的另一感兴趣区域所占据的相对区之间的交叠的尺寸；并且

响应于两个不同感兴趣区域之间的所述相似性度量超过预定阈值，将所述两个不同感兴趣区域分组到同一组中。

13.根据权利要求1至11中的任一项所述的处理系统(600)，其中，所述处理系统被配置为通过执行包括以下操作的过程来对感兴趣区域进行分组：

识别所述感兴趣区域的元数据，所述元数据提供关于所述感兴趣区域的尺寸、位置、置信度和/或外观的信息；并且

基于所述感兴趣区域的元数据来对所述感兴趣区域进行分组。

14.一种用于预测个体具有一个或多个病变的可能性的计算机实施的方法(300)，所述计算机实施的方法包括：

获得(310)所述个体的多幅超声图像(210、410)，所述多幅超声图像包括超声图像的时间序列；

识别(320)所述多幅超声图像中的感兴趣区域(230)，每个感兴趣区域是所述多幅超声图像中的超声图像中的表示所述个体中具有潜在病变的区的部分；

基于所述感兴趣区域的相似性，将来自所述多幅超声图像的不同超声图像的感兴趣区域分组(330)在一起；并且

使用机器学习方法处理(340)每组感兴趣区域(250、450)，以生成预测指示符(270、470)，所述预测指示符指示所述一组感兴趣区域包含所述个体中的病变的可能性。

15.一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上运行时，使所述处理系统执行根据权利要求14所述的计算机实施的方法的所有步骤。