CN110945560B - 胎儿超声图像处理 - Google Patents

Abstract

提供了一种用于处理3D胎儿超声图像的计算机实现的方法。获取(采集或从存储器中接收)3D胎儿超声图像，并在图像中检测脊柱。这使得能够定义第一参考轴。定义垂直于第一参考轴的第二参考轴，并且使用所述第一参考轴和所述第二参考轴以及上/下(仰角)取向检测来更新(例如，在3D空间中旋转)所述3D胎儿超声图像。这提供了图像取向的标准化，因此机器学习方法可以更好地识别新图像内的标志。

Description

胎儿超声图像处理

技术领域

本发明涉及胎儿超声图像的处理。

背景技术

在临床环境中，2D超声(US)是怀孕期间进行生物测量、生长监测和解剖评估的首选扫描方案。要获得可再现且准确的值，必须遵循严格的准则，尤其是关于用于搜索异常或执行生物测量(例如头和腹部围或股骨长度)的标准2D观察平面的选择。由于多种因素，例如母体形态、胎儿的未知且高度可变的取向以及众所周知的US伪影，尤其是阴影效应，该任务可能非常困难。

3D US是一种较新的成像技术，具有克服上述困难中的一些的潜力。特别地，单个3D体积的采集使得可以选择所需的观察平面。另外，临床医师可以执行离线读取，并且如果需要，可以在标准测量之前调整所提取的平面(称为“临床平面”)的位置。

期望的是自动处理3D US体积以实现目标临床平面的提取。但是，由于采集时胎儿取向的高度可变性，该任务具有挑战性。已经提出了各种策略来以二维方式自动提取视平面。通过使用径向分量模型或预训练的递归神经网络对每个帧的内容进行分类，以确定其是否对应于标准平面，可以从2D US序列中选择感兴趣视图。

文献US 2010/099987 A1描述了一种超声图像采集和诊断显示技术，其中将3D体积扫描中包括的胎儿的脊柱用作标志，以高精度地识别心脏在胎儿的胸部中的位置。

另一种2D方法是拟合以多种分辨率和取向构建的几何模板，从而对解剖内容进行标记。

仍然需要一种更可靠的自动化方法，以从3D胎儿US图像中提取感兴趣信息。

发明内容

根据本发明的一个方面的示例，提供了一种用于处理3D胎儿超声图像的方法，所述方法包括：

获取3D胎儿超声图像；

检测图像内的脊椎；

基于图像内的脊柱取向和位置来确定第一参考轴；

基于相对于检测到的脊柱的胎儿躯干取向，确定垂直于第一参考轴的第二参考轴；并且

使用所述第一参考轴和所述第二参考轴来更新3D胎儿超声图像。

此方法可以使用两个参考轴来对齐3D体积图像，以便提供标准化的表示，所述表示去除了由于胎儿取向不同而引起的变化。第一参考轴是基于脊柱的，并且它可以例如是在脊柱的中间的脊柱的取向，或者其可以是连接脊柱的已识别的端点的向量的取向。脊柱是胎儿内定义明确的独特结构，超声系统可以容易地识别它，特别是在使用图像识别技术时。

所述第二参考轴使得体积能够围绕脊柱旋转(即，围绕第一参考轴)，使得可以识别胎儿的3D取向。

更新的图像可以是图像的旋转版本，或者其可以是具有识别参考轴的额外数据注释的图像。

该方法可以实时实现，使得作为方法的一部分，通过超声扫描获得3D超声图像。替代地，所述方法可以应用于先前捕获的图像。

通过提供标准化的体积取向，可以通过自动机器学习方法来识别图像中的标志点(例如器官)。例如，所述方法可用于处理训练数据库的样本以提供机器学习操作，然后机器学习算法可用于处理未看到的捕获图像(即未包括在内的已被处理以创建训练数据库的图像)提供自动识别。

可以认为本发明提供了一种图像过滤或标准化处理，其可以在应用机器学习方法之前被应用，以执行对感兴趣临床平面的自动提取。

第二参考轴的确定包括：

提取平面的集合，每个平面与第一参考轴正交或局部地与脊柱正交；

在每个平面中检测胎儿的腹部或胸部的椭圆或圆形形式；并且

基于脊柱和椭圆形式的中心之间的每个平面中的取向向量来确定所述第二参考轴。

脊柱位于腹部/胸部的一个边缘，因此脊柱与椭圆中心(或圆形)之间的向量表示旋转取向。以此方式，可以基于胎儿的躯干/腹部形状来标准化3D体积图像的取向。由于躯干/腹部是胎儿的最大部分，因此其容易测量，从而提高了对齐的准确性。

椭圆或圆形形式例如是通过在平面上执行汉克尔变换而获得的。

第二参考轴的生成可以包括：

将取向向量投影到位于脊柱中间的中心平面上；取投影的取向向量的平均；并且

使用投影的取向向量的平均来形成第二参考轴。

通过基于投影的取向值的平均来生成横轴，获得了第二参考轴，所述第二参考轴在不同图像之间可靠地保持一致。

取平均可以包括计算加权平均，其中在脊柱的中间比在脊柱的两端具有更大的权重。

所述方法可以还包括：

确定3D胎儿超声图像的头/趾取向；并且

使用所述头/趾取向来更新所述3D胎儿超声图像。

这涉及确定3D图像相对于上下胎儿位置的取向，即确定脊柱的哪一端是头部脊柱的哪一端是臀部(并且然后是腿，向下至脚趾)。这可以被认为是仰角取向。更新可以再次包括图像操作或具有上/下指示的图像注释。

所述方法可以还包括：

对3D胎儿超声图像执行强度标准化；和/或

根据胎儿的胎龄来缩放3D胎儿超声图像。

以此方式，减小了由于胎龄引起的3D胎儿超声图像之间的比例变化，和/或可以减小由于变化的图像采集增益和成像条件引起的强度变化。缩放和强度标准化可以在参考轴确定和重新定向之前或之后进行。

例如，在3D胎儿超声图像中检测脊柱包括：

用适于检测细长的明亮结构的形态滤波器来分析图像；

使用基于深度学习的脊椎检测器来分析图像；并且

根据形态滤波器和基于深度学习的椎骨检测器的响应来获得脊柱掩膜。

脊柱掩膜优选地是二元掩膜。

以此方式，脊柱的检测利用了两种方法的优势，从而可以更可靠地确定3D胎儿超声图像中脊柱的位置。

本发明还提供了一种基于3D胎儿超声图像生成训练数据库并生成算法的方法，包括：

接收3D胎儿超声图像的训练集；

接收所述训练集中的每个3D胎儿超声图像内的标志的识别；

使用如上所述的方法来处理所述训练集中的每个3D胎儿超声图像；

使用相应的第一参考轴和第二参考轴以及头/趾取向来定位所述训练集中的每个3D胎儿超声图像；并且

使用针对定向训练集的机器学习来提供一种算法，所述算法可以确定3D胎儿超声图像的标志位置，而无需对标志进行相应的识别。

所接收的训练集中的标志识别例如由临床医师手动提供。这些为机器学习算法提供了信息，以便能够识别新图像中的标志。所述标志是例如器官，例如心脏、膀胱、肾脏和脐带。

在训练数据库生成期间，所述方法可以包括通过以下步骤业确定胎儿的头/趾取向：

提取由第一参考轴和第二参考轴定义的感兴趣平面；

对所提取的感兴趣平面的具有确定的面片尺寸的面片进行随机采样；并且

基于所述面片来生成分类器，其中，所述分类器指示胎儿的头/趾取向。

通过基于对所提取的平面的随机采样的面片来生成针对3D体积图像的分类器，可以有效地表示3D体积图像的取向，例如作为二进制指示符。面片大小例如基于胎儿的胎龄和3D胎儿超声图像的分辨率。

本发明还提供了一种在3D胎儿超声图像内识别标志的方法，包括：

接收3D胎儿超声图像；

使用如上所述的方法处理所述3D胎儿超声图像；

使用所述第一参考轴和所述第二参考轴来对所述3D胎儿超声图像进行定向；并且

使用从训练数据库导出的机器学习算法对经定向的3D胎儿超声图像进行分析，所述训练数据库包括标志信息，从而为3D胎儿超声图像定位相应的标志信息。

该方法使用先前从测试数据库中进行的机器学习来提供对标志的识别，使得能够以自动的方式来定位标志。3D取向处理可消除或减少由未知胎儿位置引起的不确定性。

然后，可以将识别出的标志用于控制感兴趣2D图像平面的生成，即穿过器官或其他感兴趣标志或相对于此类器官或其他标志的位置定义的平面。

使用如上所述的方法来生成此方法中使用的训练数据库。

本发明还提供了用于控制处理3D胎儿超声图像的计算机程序和控制器，其中，所述控制器在其上包括指令，所述指令在被运行时使控制器实现如上所述的方法。

本发明还提供了一种超声系统，所述系统包括：

超声探头，所述超声探头包括换能器元件的阵列，其中，所述超声探头适于获得感兴趣区域的3D胎儿超声图像；

如上所述的控制器；以及

用于显示对齐的3D胎儿超声图像的显示设备，

其中，所述控制器适于使用从训练数据库导出的机器学习算法来分析经更新的3D胎儿超声图像，从而导出3D胎儿超声图像内的标志位置。

附图说明

现在将参考附图详细描述本发明的范例，其中：

图1示出了如本发明所提出的具有分配给胎儿的xyz参考轴的胎儿的示意图；

图2示出了随机定向的脊柱和针对定义的垂直取向的旋转版本；

图3示出了带有四个xy成像平面的脊柱；

图4示出了沿脊柱平面定位的一组圆形或椭圆形及其中心点；

图5示出了总体体积内的xz平面；

图6示出了在xz平面上具有胎儿的相反取向的两幅图像；

图7以图形方式示出了缩放功能；

图8是强度标准化查找表的图示；

图9示出了3D US腹部采集的大的集合，其中线条示出了已识别的脊柱取向并且点作为标志位置；

图10示出了经重新定向和缩放的3D US腹部采集；

图11示出了根据本发明的方法；并且

图12示出了示例性超声诊断成像系统。

具体实施方式

本发明提供了一种用于处理3D胎儿超声图像的计算机实现的方法。获取(采集或从存储器中接收)3D胎儿超声图像，并在图像中检测脊柱。这使得能够定义第一参考轴。定义垂直于第一参考轴的第二参考轴，并且使用所述第一参考轴和所述第二参考轴以及上/下(仰角)取向检测来更新(例如，在3D空间中旋转)所述3D胎儿超声图像。这提供了图像取向的标准化，因此机器学习方法可以更好地识别新图像内的标志。

图1示出了包括头部10和脊柱12的胎儿的图示。胎儿位于x，y，z轴定义的3D空间内，其原点位于脊柱的中心。

当从3D超声扫描中选择2D超声图像平面时，平面被选择为穿过感兴趣标志。这些标志通常是器官或其他解剖特征，例如胃14、心脏16或脐带18。

本发明涉及一种对齐流程，通过该流程在进一步的图像分析之前，以一致的方式在3D空间中将图像对齐。进一步的图像分析可以用于定位标志，以便可以自动生成所需的成像平面，或者可以用于填充训练数据库。

因此，本发明的方法可以用于个体图像分析和/或用于图像分析以填充训练数据库。

该方法的第一步是检测脊柱并导出第一参考(定向)轴。

通过组合形态滤波器(可检测细长的明亮结构)和基于深度学习(DL)的椎骨检测器，可以在3D超声图像中自动检测到脊柱，以利用两种方法的优势。

可以针对给定球形邻域中US体积中的每个体素x使用形态滤波器，将沿u取向的体素强度与其他体素的强度进行比较。针对各种邻域半径和取向u计算滤波器响应，并将其组合以获得全局响应。聚合邻近体素的全局响应，以定义与最佳滤波器响应相对应的连接的分量。

尽管使用此方法可以将某些响应准确地定位在脊柱上，但是也可以存在其他异常值，例如可以位于肋骨或其他细长结构(如长骨头)上。

基于深度学习的椎骨检测器是2D全卷积网络，其输入由与原始识别的z轴正交提取的2D切片组成。体积切片产生大量具有相似特征的数据，适用于深度学习方法。网络输出是下采样的概率图，在脊柱可能定位的位置其值可能接近于1。通过堆叠针对一个体积的所有获得的2D概率图来形成基于3D深度学习的椎骨检测器。该输出的热图比形态滤波器的输出更粗糙，但更鲁棒地位于脊椎周围。

通过将深度学习椎骨检测器与形态学滤波器响应相结合，可以细化网络输出，并拒绝脊椎外部的滤波器响应，从而最终获得鲁棒的脊椎二元掩膜。

这是识别脊柱位置的一种方法，但是可以采用任何其他合适的图像处理技术来检测独特的脊柱形状。

图2在左侧显示了随机取向的脊柱12。脊柱检测主要涉及识别脊柱，并使用脊柱二元掩膜的质心来定义参考坐标系的原点O。如果检测到的脊柱高度弯曲，则其质心可能不属于二进制蒙版。这是因为所谓的脊柱重心可能位于脊柱本身之外，因此未与掩膜对齐。在这种情况下，将使用最接近质心的二元掩码点。然后，使用脊柱二进制蒙版的末端20来定义垂直的z轴。替代地，可以使用与脊柱的中心点相切的法线取向。得到的z轴在图1中示出。

通过定义z轴，可以更新图像以包括z轴信息，例如，通过旋转图像以将z轴定位在定义的(例如，垂直)取向上，如图2的右边部分所示。

该方法的第二步是检测第二正交参考轴。这基于检测腹部以定义横轴。

搜索平面的集合，每个平面正交于第一参考轴z(或局部地正交于脊柱)。搜索取向轴是在xy平面的集合中进行的，每个平面都经过一个局部原点，并且这些局部原点是沿着脊柱均匀间隔的点。

图3示出了带有四个xy成像平面的脊柱12。图像在右侧示出。

在每个这些2D图像中，例如使用霍夫变换的变体进行腹部检测，所述变体适合于检测圆形或椭圆形。在实践中，在半径范围内搜索具有径向对称核的最佳卷积图像，所述核模拟具有所需边界轮廓的圆盘。

在每幅图像中示出了得到的定位的圆。

图4示出了沿脊柱平面定位的一组圆形或椭圆形40及其中心点42；定义腹部的凸起包。

对于每个平面，都计算从脊椎与平面的相交处到检测到的圆心的向量。这些向量箭头在图3中示出，并且一个这样的向量44在图4中示出。

腹部检测因此涉及在每个平面中检测胎儿的腹部或胸部的椭圆形或圆形形式，并识别每个平面内与胎儿在该平面中的旋转取向有关的向量。

然后将所有这些向量通过中心原点O投影到横向平面上。然后将x轴参考取向定义为在此参考xy平面中的平均投影向量。所得的x轴如图1所示，并且它定义了第二参考轴。从这两个轴中，可以选择第三坐标轴y与右手取向正交。

平均向量可以包括加权平均，在脊柱的中间比在脊柱的末端具有更大的权重。

因此，通过测量两个参考轴，然后以确定性的方式定义第三个轴，可以定义3D空间中的标准化取向。

接下来需要确定体积的从头到脚的取向，并在z轴的两个可能取向之间进行选择。

这可以通过训练分类器来区分xz平面中体积的2D切片中的两种配置来实现。

图5示出了总体体积52中的xz平面50，所述平面穿过原点0。该平面沿着脊柱穿过。

图6示出了在xz平面上具有胎儿的相反取向的两幅图像。使用图像识别方法，可以基于先前从测试集中进行的机器学习来识别取向。卷积神经网络可用于此目的。

对于机器学习步骤(为图像识别提供参考)，为了对脊柱检测步骤中可能出现的不准确情况具有鲁棒性，可以在xz切片提取期间添加随机噪声，使得在训练期间向网络馈送有损坏的数据。然后，在切片中选择随机面片以训练分类器。可以基于胎龄和图像分辨率来选择面片大小，以使所有结构都具有标准化大小。当胎儿头部位于图像顶部时，输出为二进制1；如果位于图像底部，则输出为二进制0。

当分析单幅图像时，最终的使用取向检测可以通过类似的过程实现，而无需添加随机噪声。

上面说明的方法步骤使胎儿图像可以映射到3D空间中的已知取向。

为了减少由于变化的胎龄(GA)而导致的比例可变性，还可以基于现有的生长表，例如在定向映射之前，将比例因子应用于所有体积。

例如，下表示出了针对不同胎龄(“GA”)范围(以周为单位)的比例因子。

图7以图形方式示出了此缩放功能。y轴绘制缩放比例，并且x轴绘制胎龄范围。这些点显示了不同解剖特征(H心脏、S胃、B膀胱、UV脐静脉、K1肾1、K2肾2、UI脐插入)到原点的距离。

对于每个体积，测量器官(例如心脏)(H)与原点O(如上定义)之间的距离。每个GA范围将检查分为所示的五组。在每个组中，计算针对每个器官的平均距离。GA_25_30组用作参考(因此，GA_25_30组的所有器官均与该图完美对齐，比率值为1)，并且每个组中的每个平均距离被除以在GA_25_30组中获得的值。将结果绘制为图中的点。连续曲线表示上表中显示的理论比率。测量值与理论比率之间的差异是由所使用的样本组引起的，尤其是每个GA范围内样品的分布。

该方法还可以提供强度标准化。由于采集增益和成像条件的变化，各种器官的相对强度可能会发生显著变化。强度标准化是理想的，以帮助机器学习方法中的特征提取。一种方法是使用平均和标准偏差，并使用通用的标准化查找表。

图8是用于执行超声采集的强度标准化的数据库查找表的图示。x轴示出了针对特定图像的强度范围，具有像素强度值的平均强度μ_i和标准偏差σ_i。数据库提供强度映射，使得将每幅图像转换为具有参考标准偏差σ和参考均值μ。参考强度特性由y轴表示。

因此，3D图像体积被旋转、平移、强度缩放和大小缩放，以使关联的胎儿标志相对于公共参考完美对齐。

以上方法可用于处理单个捕获的3D超声图像或创建训练数据库(如上所述)。现在将说明该方法的这两种用途。

图9示出了3D US腹部采集的大的集合。线条示出了确定的脊柱取向。每幅图像均由临床医师注释，以识别标志(例如心脏和胃)的位置，并且将其显示为点。这些带有标志注释的图像用于创建实现机器学习的训练数据库。

图9示出了胎儿位置和取向的高度变化性，并证实了在这种数据库上的学习将包括由于空间定位而引起的变化性，而不是关注实际的解剖变化性。

上面说明的3D取向(和缩放)过程产生了图10中所示的图像。心脏位置通常大约在区域80中，而胃位置通常大约在区域82中。

这些对齐的图像替代地针对基于学习的方法使用，然后可以更可靠地检测胎儿标志位置。

训练数据库基于注释图像使用机器学习，以学习标志(例如器官)位置。机器学习可以基于随机森林算法(例如在以下文章中公开的算法：Criminisi，A.，J.，S.，Konukoglu，E.：Decision forests:A unified framework for classification,regression,densityestimation,manifold learning and semi-supervised learning.Foundations andTrends in Computer Graphics and Vision(2012)。可以使用在下文中公开的方法：Cuingnet，R.，Prevost，R.，Lesage，D.，Cohen，LD，Mory，B.，Ardon，R.：AutomaticDetection and Segmentation of Kidneys in 3D CT Images using RandomForests.In:Proceedings of MICCAI’12.vol.7512,pp.66–74(2012).

原理是针对体积中的给定点学习到目标标志的相对取向。在下面的描述中，这样的相对取向被称为投票向量。

为了训练随机森林算法，有必要设置若干参数的值。最具影响力的是：树的数目NT，树的深度DT，每幅图像的训练点NP的数目以及节点中投票向量的方差的阈值α。该算法还取决于基于图像的特征(f)。例如，这些特征主要来自局部梯度，例如局部标准化的梯度和到梯度的距离。

针对所有节点定义分裂准则。它旨在找到训练点的两个子集，以使两个子集的熵之和最小。分割准则是通过在每个节点上测试大量随机特征而获得的。在该集合内，选择提供最佳子集分离的特征以及相应的分割阈值(θ)，并将其存储在节点中。熵准则被定义为投票向量针对每个标志的方差。

为所有叶子定义了多个停止准则：(i)当达到树的给定深度DT时，(ii)当子集内方差低于给定阈值α时，(iii)当子集太小时。投票向量的平均被存储在每个叶子中。这将是该叶子中分类的每个点的投票向量。

这只是关于如何使用机器学习来训练具有相对于所识别结构的位置的标志识别的数据库的一个通用描述。当然，可以使用其他模式识别方法。

训练数据库的目的是实现在未注释的3D图像体积中自动识别标志。

为此，对扫描图像进行如上所述的相同取向、缩放和强度标准化。

实际的标志定位过程仅限于位于腹部凸起包内部的体积区域。对于给定的输入体积，执行以下步骤：

选择P个随机测试点；

使用(f，θ)分裂和特征准则将测试点传播到整个树上，直到到达叶子为止；

每个点提供一个投票向量；并且

所有投票向量都被转换为标志预测。

为了提供单个预测，所有预测都通过高斯估计进行组合，以将所有预测的集合转换为单个提取的预测。

识别出标志后，可以将其用于临床平面的自动提取。每个临床平面可以由三个标志定义。

图11示出了根据本发明的方法。

右侧示出了生成训练数据库的方法。其包括：

在步骤110中，接收N个3D胎儿超声图像的训练集。这些包括来自临床医师的注释。因此，在步骤112中，接收训练集的每个3D胎儿超声图像内的标志的识别。

在步骤114中，使用如上所述的方法处理所述训练集中的每个3D胎儿超声图像，以提供至少3D重新定向。

这涉及在步骤114a中检测图像内的脊柱，在步骤114b中基于图像内的脊柱(12)取向和位置确定第一参考轴(z)。在步骤114c中，基于相对于检测到的脊柱的胎儿躯干取向，确定垂直于第一参考轴(z)的第二参考轴(x)。

优选地，在标准化步骤115中还执行强度标准化和缩放。该处理导致使用相应的所述第一参考轴和所述第二参考轴来对训练组的每个3D胎儿超声图像进行定向。

在步骤116中，将机器学习应用于定向训练集以提供一种算法，所述算法可以确定3D胎儿超声图像的标志位置，而无需对标志进行相应的识别。

如上所述，当生成训练数据库时，使用特定的方法来确定胎儿的头/趾取向(在步骤114期间)。提取由第一参考轴和第二参考轴定义的感兴趣平面，特别是xz平面，并随机采样已确定面片大小的面片。然后，基于面片进行分类，其中，所述分类器指示胎儿的头/趾取向。

图11的左侧显示了在新的3D胎儿超声图像(不包括在训练数据库中)中识别标志的方法。

该方法包括在步骤118中接收3D胎儿超声图像。这可以是实时的，但是同样地，所述方法可以应用于存储的图像。

在步骤120中，使用如上所述的方法，将3D胎儿超声图像重新定向，然后优选地在步骤121中重新缩放比例和强度标准化。在步骤120c中，再次有检测脊柱120a，确定第一参考轴(z)120b和确定第二参考轴(x)的步骤。使用通过上述方法生成的所述第一参考轴和所述第二参考轴来重新定向3D胎儿超声图像。

在步骤122中，使用从训练数据库导出的机器学习算法(从步骤116)来分析经重新定向的3D胎儿超声图像，所述机器学习算法包括标志信息，从而为3D胎儿超声图像定位相应的标志信息。

任选地，在步骤124中输出标志位置。

在步骤126中，标志位置用于自动定义要从3D超声体积生成的图像切片。

本发明用于使用诊断成像系统来处理3D胎儿超声图像。

出于完整性，首先将参考图12描述示例性超声诊断成像系统的一般操作，并且重点在于系统的信号处理功能，因为本发明涉及由换能器阵列测量的信号的处理。

所述系统包括阵列换能器探头210，其具有CMUT换能器阵列200，用于发射超声和接收回波信息。换能器阵列200可以替代包括由诸如PZT或PVDF的材料形成的压电换能器。换能器阵列200是换能器201的二维阵列，其能够在三维中进行扫描以进行3D成像。

换能器阵形例200被耦合到探头中的微波束形成器212，其控制由CMUT阵列单元或压电元件进行的对信号的接收。微波束能够至少部分波束形成由换能器的子阵列(或“组”或“贴片”)接收的信号，如US 5997479(Savord等人)，6013032(Savord)和6623432(Powers等人)中所述。

请注意，微波束形成器完全是任选的。以下示例假设没有模拟波束形成。

微波束形成器212由探头线缆耦合到发射/接收(T/R)开关216，其在发射和接收之间进行切换并且在微波束形成器不被使用并且换能器阵列由主系统波束形成器直接操作时保护微波束形成器220免受高能量发射信号损坏。从换能器阵列210的超声束的发射由通过T/R开关216耦合到微波束形成器和主发射波束形成器(未示出)的换能器控制器218指示，其从用户对用户接口或控制面板238的操作接收输入。

由换能器控制器218控制的功能之一是波束被转向和聚焦的取向。波束可以被操纵为从换能器阵列垂直向前(垂直于换能器阵列)，或者以不同的角度用于更宽的视场。换能器阵列218可以被耦合以控制针对CMUT阵列的DC偏置控制器245。DC偏置控制器245设置被应用到CMUT单元的(一个或多个)偏置电压。

在接收通道中，部分波束形成的信号由微波束形成器212产生并且被耦合到主接收波束形成器220，其中来自各个换能器贴片的部分波束形成的信号被组合成完全波束形成的信号。例如，主波束形成器220可以具有128个通道，其中的每个接收来自CMUT换能器单元或压电元件的数十或者数百的部分波束形成的信号。以此方式，由换能器阵列的数千个换能器接收到的信号可以有效地贡献于单个波束形成的信号。

波束形成的接收信号被耦合到信号处理器222。信号处理器222可以以各种方式处理接收到的回波信号，诸如带通滤波，抽取，I和Q分量分离以及用于分离线性和非线性信号的谐波信号分离，以便能够识别从组织和微泡返回的非线性(基频的高次谐波)回波信号。处理器还可以执行的信号增强，例如纹波降低、信号复合以及噪声消除。信号处理器中的带通滤波器可以是跟踪滤波器，其中，其通带随着回波信号从增加的深度被接收而从较高的频带滑落到较低的频带，从而拒绝来自更大尝试的较高频率处的噪声，其中，这些频率没有解剖信息。

用于发射和接收的波束形成器在不同的硬件中实现，并且可以具有不同的功能。当然，接收器波束形成器被设计成考虑发射波束形成器的特性。在图12中，为了简单起见，仅示出了接收器波束形成器212、220。在整个系统中，还将存在具有发射微波束形成器和主发射波束形成器的发射链。

微波束形成器212的功能是提供信号的初始组合，以减少模拟信号路径的数量。这通常在模拟域中执行。

最终的波束形成在主波束形成器220中完成，并且通常在数字化之后。

发射和接收通道使用具有固定频带的相同换能器阵列210'。然而，发射脉冲占用的带宽可以根据已经使用的传输波束形成而变化。接收通道可以捕获整个传感器带宽(这是经典方法)，或者通过使用带通处理，它只能提取包含有用信息的带宽(例如主谐波的谐波)。

经处理的信号耦合到B模式(即亮度模式或2D成像模式)处理器226和多普勒处理器228。B模式处理器226采用对接收到的超声信号的幅度的检测，用于对身体中的结构(例如身体中的器官的组织和血管)进行成像。身体的结构的B模式处理器可以以谐波图像模式或者基波图像模式或者两者的组合来形成，如在US6283919(Roundhill等人)和US6458083(Jago等人)中所描述。多普勒处理器228可以处理来自组织运动和血液流动的时间上分立的信号，用于检测物质的运动，例如图像场中的血细胞的流动。多普勒处理器228通常包括壁滤波器，其具有可以被设置为和/或拒绝从身体中的选定类型的材料返回的回波的参数。

将由B模式和多普勒处理器生成的结构和运动信号耦合到扫描转换器232和多平面重新格式化器244。扫描转换器232以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器可以将回波信号布置为二维扇区形格式，或者锥体三维(3D)图像。扫描转换器可以将具有对应于图像场中的点的运动的颜色的B模式结构图像与它们的多普勒估计的速度叠加以生成彩色多普勒图像，其描绘图像场中的组织的运动和血液流动。多平面重新格式化器将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在US6443896(Detmer)中所描述。体积绘制器242将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像，如在US6530885(Entrekin等人)中所描述。

2D或3D图像被从扫描转换器232、多平面重新格式化器244、以及体积绘制器242耦合到图像处理器230用于进一步增强、缓存和临时存储，以在图像显示器240上显示。除了用于成像外，由多普勒处理器28生成的血流值以及由B模式处理器226生成的组织结构信息被耦合到量化处理器234。所述量化处理器生成不同流动状况的量度(例如，血流的体积率)以及结构测量结果(例如，器官的大小和孕龄)。量化处理器46可以接收来自用户控制面板238的输出，例如，要进行测量的图像的解剖结构中的点。来自量化处理器的输出数据被耦合到图形处理器236，用于利用显示器240上的图像再现测量图形和值，并且用于从显示设备240输出音频。图形处理器236也可以生成图形叠加以用于与超声图像一起显示。这些图形叠加可以包括标准识别信息，例如图像的患者姓名、日期和时间、成像参数等等。出于这些目的，图形处理器从用户接口238接收输入，例如患者姓名。所述用户接口还耦合到发射控制器218以控制来自换能器阵列210的超声信号生成，并因此控制由换能器阵列和超声系统生成的图像。控制器218的发射控制功能仅是所执行的功能之一。控制器218还考虑操作模式(由用户给出)以及接收器模数转换器中相应的所需发射器配置和带通配置。控制器218可以是具有固定状态的状态机。

用户接口也可以被耦合到多平面重新格式化器244以选择和控制多个经多平面重新格式化的(MPR)的图像的平面，其可以被用于执行MPR图像的图像场中的量化的度量。

上述图像处理功能可以例如由图像处理器230执行。

本领域技术人员通过研究附图、公开内容以及权利要求书，在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于处理3D胎儿超声图像的计算机实现的方法，所述方法包括：

(110；118)获得3D胎儿超声图像；

(114a、120a)检测所述图像内的脊柱；

(114b、120b)基于所述图像内的所述脊柱(12)取向和位置来确定第一参考轴(z)；

(114c、120c)基于关于检测到的脊柱的胎儿躯干取向，确定垂直于所述第一参考轴(z)的第二参考轴(x)；并且

使用所述第一参考轴和所述第二参考轴来更新所述3D胎儿超声图像；

其中，对所述第二参考轴(x)的所述确定包括：

提取平面(40)的集合，每个平面与所述第一参考轴正交或局部地与所述脊柱正交；

在每个平面(40)中检测所述胎儿的腹部或胸部的椭圆或圆形形式；并且

基于所述脊柱和所述椭圆形式的中心之间的每个平面中的取向向量(44)来确定所述第二参考轴(x)。

2.根据权利要求1所述的方法，其中，所述椭圆形式是通过在所述平面上执行汉克尔变换获得的。

3.根据权利要求1或2所述的方法，其中，对所述第二参考轴(x)的所述确定包括：

将所述取向向量(44)投影到位于所述脊柱的中间的中心平面上；

取所投影的取向向量的平均；并且

使用所投影的取向向量的所述平均来形成所述第二参考轴(x)。

4.根据权利要求3所述的方法，其中，取平均包括计算加权平均，其中，在所述脊柱的中间比在所述脊柱的两端具有更大的权重。

5.根据权利要求1或2所述的方法，其中，所述方法还包括：

确定所述3D胎儿超声图像的头/趾取向；并且

使用所述头/趾取向来更新所述3D胎儿超声图像。

6.根据权利要求1或2所述的方法，其中，所述方法还包括：

(121、115)对所述3D胎儿超声图像执行强度标准化；和/或

(121、115)基于胎儿胎龄来缩放所述3D胎儿超声图像。

7.根据权利要求1或2所述的方法，其中，在所述3D胎儿超声图像中检测所述脊柱包括：

用适于检测细长的明亮结构的形态滤波器来分析所述图像；

使用基于深度学习的椎骨检测器来分析所述图像，其中，所述基于深度学习的椎骨检测器是2D全卷积网络，所述2D全卷积网络的输入由与原始识别的z轴正交提取的2D切片组成；并且

基于来自所述形态滤波器和所述基于深度学习的椎骨检测器的响应来获得脊柱掩膜。

8.一种识别3D胎儿超声图像中的标志的方法，包括：

(118)接收3D胎儿超声图像；

(120、121)使用根据权利要求1至7中的任一项所述的方法来处理所述3D胎儿超声图像；

(120、121)使用所述第一参考轴和所述第二参考轴来对所述3D胎儿超声图像进行定向；并且

(122)使用从包括标志信息的训练数据库导出的机器学习算法对经定向的3D胎儿超声图像进行分析，从而为所述3D胎儿超声图像定位相应的标志信息。

9.一种基于3D胎儿超声图像生成训练数据库并生成算法的方法，包括：

(110)接收3D胎儿超声图像的训练集；

(112)接收所述训练集中的每个3D胎儿超声图像内的标志的识别；

(114、115)使用根据任一前述权利要求所述的方法来处理所述训练集中的每个3D胎儿超声图像；

(114、115)使用相应的第一参考轴和第二参考轴以及头/趾取向来定位所述训练集中的每个3D胎儿超声图像；并且

(116)使用针对经定向的训练集的机器学习来提供算法，所述算法能够确定3D胎儿超声图像的标志位置而无需对标志进行相应的识别。

10.根据权利要求9所述的方法，包括通过以下步骤来确定在处理每个3D胎儿超声图像期间胎儿的头/趾取向：

提取由所述第一参考轴(z)和所述第二参考轴(x)定义的感兴趣平面；

对所提取的感兴趣平面的具有确定的面片尺寸的面片进行随机采样；并且

基于所述面片来生成分类器，其中，所述分类器指示胎儿的头/趾取向。

11.根据权利要求10所述的方法，其中，面片大小基于胎儿的胎龄和所述3D胎儿超声图像的分辨率。

12.一种识别3D胎儿超声图像中的标志的方法，包括：

(118)接收3D胎儿超声图像；

(120、121)使用根据权利要求1至7中的任一项所述的方法来处理所述3D胎儿超声图像；

(120、121)使用所述第一参考轴和所述第二参考轴来对所述3D胎儿超声图像进行定向；并且

(122)使用从包括标志信息的训练数据库导出的机器学习算法对经定向的3D胎儿超声图像进行分析，从而为所述3D胎儿超声图像定位相应的标志信息，

其中，所述机器学习算法是使用根据权利要求9、10或11所述的方法生成的。

13.一种包括计算机程序代码模块的计算机程序，当所述计算机程序在计算机上运行时，所述计算机程序代码模块适于实现根据权利要求1至8中的任一项所述的方法。

14.一种用于控制处理3D胎儿超声图像的控制器，所述控制器在其上包括指令，所述指令在被运行时使所述控制器实施根据权利要求1至8中的任一项所述的方法。

15.一种超声系统，所述系统包括：

超声探头(210)，所述超声探头包括换能器元件(201)的阵列(200)，其中，所述超声探头适于获得感兴趣区域的3D胎儿超声图像；

根据权利要求14所述的控制器(230)，以及

显示设备(240)，其用于显示经对齐的3D胎儿超声图像，

其中，所述控制器(230)适于使用从训练数据库导出的机器学习算法来分析经更新的3D胎儿超声图像，从而导出所述3D胎儿超声图像内的标志位置。