CN112074869B - 基于胎儿的超声图像来生成婴儿的模拟图像的方法和系统 - Google Patents

Abstract

基于胎儿的超声图像来生成婴儿的模拟图像的系统和计算机实施的方法。一种方法包括：采集胎儿的超声图像；并且使用机器学习模型以基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。

Description

基于胎儿的超声图像来生成婴儿的模拟图像的方法和系统

技术领域

本文的实施例涉及基于胎儿的超声图像来生成婴儿的模拟图像。

背景技术

本文的公开内容的一般背景是在胎儿的产前成像中。准父母常常对他们生长中的婴儿的外观感兴趣。对在子宫内的胎儿成像的一种方式是通过使用2D、3D或4D中的超声成像。与标准2D胎儿超声检查相比，3D和4D超声波扫描检查允许父母以更深深度看到未出生的婴儿。简言之，可以将3D胎儿扫描视为以不同角度拍摄以形成三维绘制的多幅二维图像。4D超声扫描示出移动并且给出婴儿的实时视频。

3D和4D产前超声为父母和家属提供了令人兴奋的体验，然而，图像可能看起来并不真实，任凭最新的超声检查技术。

发明内容

如上所述，不管超声技术的进步，由超声产生的图像可能不很好地表示胎儿在现实生活中看起来如何，也不能表示胎儿当出生时可能看起来如何。父母自然对他们的胎儿的外观感兴趣，并且因此期望产生更逼真的图像。

因此，根据第一方面，存在一种基于胎儿的超声图像来生成婴儿的模拟图像的计算机实施的方法。所述方法包括：采集胎儿的超声图像；并且使用机器学习模型以基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。

根据第二方面，存在一种训练机器学习模型以基于胎儿的超声图像来产生婴儿的模拟图像的计算机实施的方法。该方法包括提供胎儿的范例超声图像和相同胎儿作为婴儿时的对应范例图像，并且使用范例图像训练机器学习模型，以产生针对胎儿超声图像的婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。

根据第三方面，存在一种包括非瞬态计算机可读介质的计算机程序产品，所述计算机可读介质具有在其中实现的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时使计算机或处理器执行第一方面或第二方面的方法。

根据第四方面，存在一种用于基于胎儿的超声图像来生成婴儿的模拟图像的系统。所述系统包括：存储器，其包括表示一组指令的指令数据；以及处理器，其被配置为与所述存储器通信并执行所述一组指令。所述一组指令在由处理器执行时使处理器采集胎儿的超声图像，并使用机器学习模型以基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。

以这种方式，机器学习模型可以被训练并用于拍摄胎儿的超声图像，并提供预测胎儿当出生时可能看起来如何的模拟图像。这样一来，本文的系统和方法可以为胎儿的父母提供一种改进的方式，以查看和设想其婴儿在出生后的外观。这可能有助于父/母-孩子关系。

参考下文描述的实施例，这些方面和其他方面将显而易见并得到阐述。

附图说明

为了更好地理解本文中的实施例，并且为了更清楚地示出它们是如何实现的，现在将仅通过范例参考附图，其中：

图1示出了根据一些实施例的基于胎儿的超声图像来生成婴儿的模拟图像的范例计算机实施的方法的流程图；

图2示出了胎儿的不同类型的超声图像的范例；

图3示出了可以用于训练机器学习模型以产生模拟图像的范例图像对，所述模拟图像预测胎儿作为婴儿时可能看起来如何；

图4图示了范例机器学习模型，其用于基于胎儿的超声图像来生成婴儿的模拟图像；

图5图示了根据范例实施例的训练机器学习模型以基于胎儿的超声图像产生婴儿的模拟图像的方法；

图6图示了根据范例实施例的训练机器学习模型以基于胎儿的超声图像产生婴儿的模拟图像的范例方法；

图7图示了根据一些实施例的用于基于胎儿的超声图像来生成婴儿的模拟图像的范例系统；并且

图8图示了根据一些实施例的用于基于胎儿的超声图像来生成婴儿的模拟图像的范例系统。

具体实施方式

如上所述，父母自然对未出生胎儿的外观感兴趣。超声图像可以提供关于胎儿的外观的一些线索，然而这些可能是颗粒状的，并且通常具有差质量。本文的实施例的目的是提供婴儿的模拟图像，所述模拟图像预测或提供在超声中成像的胎儿当出生时可能看起来如何的范例说明。

图1图示了根据本文的一些范例实施例的基于胎儿的超声图像来生成婴儿的模拟图像的计算机实施的方法。方法包括在第一框102中采集胎儿的超声图像，并且在第二框104中使用机器学习模型以基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。

如下面将更详细描述的，方法100可以例如由诸如计算机、平板计算机或移动电话的计算设备执行。方法100可以例如由安装在这样的计算设备上的应用程序(或“app”)执行。

在一些实施例中，采集超声图像的框102可以包括从超声图像的数据库采集超声图像。在其他实施例中，采集超声图像的框102可以包括例如使用超声扫描器来获取超声数据(例如进行超声测量)。

超声图像可以具有任何维度。例如，超声图像可以包括2D、3D或4D(例如3个空间维度和时间维度)图像。在一些实施例中，超声图像可以根据三维或四维数据来生成。在一些实施例中，方法100还可以包括处理这样的三维或四维数据以产生超声图像。

在图2中提供了可以作为输入提供给机器学习模型的超声图像的类型中的一些的范例，图2示出了胎儿的范例2D、3D、4D和HD(高清晰度)图像，如由数字202、204、206和208所指代的。本文的实施例的目的是在这些类型的图像上进行改进。本文的一些实施例的目的是提供婴儿210的逼真图像或自然图像。

在框104中，如上所述，所述方法包括使用机器学习模型以基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时看起来如何的预测。

换句话说，在框104中，机器学习模型(例如，经训练的机器学习模型)采取胎儿的超声图像作为输入，并基于胎儿的超声图像来产生婴儿的模拟图像。

机器学习模型可以包括可以采取图像数据(例如，超声图像)作为输入并产生模拟图像作为输出的任何类型的机器学习模型。技术人员通常将熟悉适于图像操纵的机器学习模型。下面详细描述可以在本文的实施例中部署的一些类型的机器学习模型的范例，但是简单地，在一些实施例中，机器学习模型可以包括神经网络，例如卷积神经网络、变分自动编码器(VAE)或神经艺术风格转移网络。技术人员将意识到，这些然而仅仅是范例，并且还可以使用其他机器学习模型。

机器学习模型已经被训练，以将胎儿的超声图像采取为输入并输出婴儿的模拟图像。在一些实施例中(并且如将在下面更详细地描述的)，已经使用胎儿的范例超声图像和与相同胎儿作为婴儿时的对应的范例(摄影)图像来训练机器学习模型。机器学习模型可能已经使用此类范例图像对被训练，以根据胎儿的超声图像预测婴儿的模拟图像。

婴儿的模拟图像包括对胎儿作为婴儿时将(或可能)看起来如何的预测。例如，模拟图像可以包括提供胎儿当出生时能够看起来如何的范例或范例说明的图像。技术人员将意识到，模拟图像可能不一定包括准确的预测，相反，在一些范例中，可以出于说明或娱乐目的提供模拟图像。

模拟图像可以包括提供对胎儿出生后将看起来如何的预测的任何图像。例如，模拟图像可以包括提供对胎儿在以下时间将看起来如何的预测的图像：在出生后立即，在0-3个月的年龄范围内，在3-12个月的年龄范围内或在出生后的任何其他年龄范围内。在这种意义上，“模拟”可以意指，例如，图像被增强，改进，改变或与其他数据或其他图像组合，以便提供胎儿作为婴儿时将看起来如何的预测。

模拟图像可以包括摄影质量的图像。例如，在一些实施例中，模拟图像可以包括模拟摄影图像。这样的模拟摄影图像可以具有由数码相机、胶卷相机(例如，使用摄影胶卷)或类似介质或设备捕获的外观。这样一来，在一些实施例中，模拟图像可以包括婴儿的逼真的摄影风格图像。这样一来，本文的一些实施例可用于从超声图像生成照片。

模拟图像可以是黑白图像(例如，黑白摄影图像)或彩色图像(例如，彩色摄影图像)。

在一些实施例中，其他信息(例如，除了胎儿的超声图像之外)可以被使用或作为输入被提供给机器学习模型，以由机器学习模型用于产生婴儿的模拟图像。例如，方法100还可以包括采集与胎儿的父/母有关的补充数据。使用机器学习模型来生成婴儿的模拟图像的框104还可以基于补充数据(例如，补充数据可以是对机器学习模型的额外输入)。

与胎儿的父/母有关的补充数据可以包括例如父/母的特性。父/母的特性的范例可以包括例如物理特性，例如眼睛颜色、头发颜色或肤色。其他范例包括人口统计数据，例如父/母的种族。以这种方式，可以由机器学习模型使用与胎儿的父/母相关联的特性或特性特征以预测胎儿作为婴儿时的外观。

在一些实施例中，与胎儿的父/母有关的补充数据可以包括父/母作为婴儿时的摄影图像。这样的摄影图像可以包括黑白摄影图像或彩色摄影图像。这样一来，父/母的照片可以被输入到机器学习模型中，使得机器学习模型可以将胎儿的父/母的照片特征并入到婴儿的模拟图像中。

在一些实施例中，机器学习模型可以通过组合胎儿的超声图像的一个或多个特征与根据补充数据导出的一个或多个特征来生成婴儿的模拟图像。

以这种方式，可以将父/母数据或父/母作为婴儿时的图像与胎儿的超声图像组合，以提供对胎儿作为婴儿时可能看起来如何的预测。将意识到，实际上，婴儿的任何特性或图像(例如，兄弟姐妹、其他亲戚或甚至无关的婴儿的特性或图像)可以用作补充数据。然而，为了提供对胎儿作为婴儿时的外观的更准确的预测，补充数据用于表示与胎儿的紧密遗传匹配，例如诸如父/母。

在一些实施例中，机器学习模型可以包括变分自动编码器。技术人员将熟悉变分自动编码器，但是简而言之，变分自动编码器包括两个神经网络。第一神经网络充当编码器，并且第二神经网络充当解码器。变分自动编码器还包括损失函数。编码器将数据(例如28x28图像；784维)压缩到具有低得多维数的“潜在空间”Z中。解码器在给定隐藏表示的情况下重建数据。通常，编码器被训练以学习数据的有效压缩，以便使解码器准确地重新创建原始图像。还可以对解码器进行训练，以应用原始图像中不存在的特征(例如，对象或风格)。这样一来，通常可以在存在诸如照片之前和之后的配对信息的情况下应用变分自动编码器。

在本文的实施例中，已经意识到，如由这样的编码器产生的胎儿的超声图像的压缩版本可以用作最有意义的特征的表示。然后可以增强这些有意义的特征(例如，使用来自父/母的特征)以创建父/母的模拟摄影图像。

因此，在本文的实施例中，可以将胎儿的超声图像提供给编码器，该编码器将超声图像压缩成较低维度的表示。较低维度表示包括少于超声图像的数据。这可以被认为是提取超声图像的特征(例如，最重要或最显著的特征)。解码器然后可以从较低维度表示(例如，特征)和与胎儿的父/母有关的任何补充数据重建新图像。

换句话说，使用机器学习模型来生成婴儿的模拟图像的框104可以包括机器学习模型压缩超声图像以确定超声图像的一个或多个特征，并通过使用(例如并入)补充数据重建超声图像的一个或多个特征来生成婴儿的模拟图像。

压缩超声图像可以包括将超声图像编码到变分自动编码器的一个或多个较低层中的较低维空间中。生成胎儿的增强图像可以包括将补充数据插入变分自动编码器的隐藏层中并解码压缩的超声图像。

以这种方式，父/母的补充数据可以被插入变分自动编码器中，以使得补充数据能够与根据胎儿的超声图像的压缩导出的特征组合，以便产生婴儿的模拟图像。以这种方式，婴儿的模拟图像包括基于超声图像和父/母信息的胎儿作为婴儿时将(或可能)看起来如何的预测。

现在转到图3，在一个范例实施例中，可以使用包括图像对的训练数据来训练变分自动编码器，所述图像对诸如为图3中所示的那些。每个图像对包括胎儿的超声图像302和与相同胎儿作为婴儿(例如，出生后)304时的对应的范例摄影图像。使用范例图像对作为训练数据来训练变分自动编码器。因此，胎儿的范例超声图像是输入数据的范例，并且范例摄影图像是对应的输出的范例，例如标准数据(ground truth)。

在一些实施例中，可以使用训练数据来训练机器学习模型，所述训练数据包括覆盖许多不同婴儿群体(例如，具有带有种族、眼睛颜色、头发颜色等的不同组合的父母的婴儿)的范例图像。

在一些实施例中，可以用父/母的特性注释训练数据，所述特性然后可以用作机器学习模型的输入参数。这样一来，在训练期间，一旦确定了父母的特性(例如白人、日本人等)，机器学习模型就可以分配权重(例如设置权重的值)以使该信息与输出更相关。

在一个范例中，机器学习模型设计包括编码器-解码器网络形式的变分自动编码器。输入包括灰度图像和包括父/母人口统计数据的补充数据。训练模型以根据超声图像302和补充数据预测(产生或生成)婴儿的图像。在该实施例中，使用例如诸如范例图像对302、304的训练数据来执行训练。均值和方差可以从变分自动编码器输出并被优化。

图4提供了范例实施例的概述，其中，机器学习模型包括深度神经网络生成编码器-解码器模型。在该实施例中，超声图像402作为输入404被提供给压缩超声图像的编码器406。父/母408的一个或多个特性可以被插入到模型的隐藏层410中。解码器412对压缩的超声图像进行解码，以产生包括婴儿的模拟图像416的输出414(例如，表示对超声图像中的胎儿作为婴儿时可能看起来如何的预测的模拟图像)。

本文还可以使用其他类型的机器学习模型。例如，在一些实施例中，机器学习模型可以使用神经艺术风格转移来生成婴儿的模拟图像。神经艺术风格转移将是技术人员熟悉的，并在Gatys等人的题为“Image Style Transfer Using Convolution NeuralNetworks”的文章中详细描述。简而言之，神经艺术风格转移包括采取一幅图像的风格(例如纹理)并将其应用于第二图像的内容(例如，形状和结构特征)。以这种方式，例如，如Gatys等人的文章所示，可以将诸如特纳(Turner)的美术画家的艺术风格应用于普通照片，以创建描述特纳可能已经如何绘制相同场景的代表性图像。

通常，当在针对图像的对象识别中训练神经网络时，神经网络中的每层以不同比例产生图像的表示。例如，神经网络的较低层产生背景纹理或特征的表示，而较高水平产生反映较大比例特征的表示(诸如图像中的对象轮廓)。这样一来，可以使用来自神经网络的一个或多个较低层的图像的表示来确定图像的风格，而可以使用来自神经网络的一个或多个较高层的图像的表示来确定内容。

因此，在此，在一些实施例中，补充数据可以包括父/母作为婴儿时的摄影图像，并且使用104机器学习模型来生成婴儿的模拟图像可以包括机器学习模型确定与父/母作为婴儿时的摄影图像有关的风格，确定超声图像的内容，并且通过将与父/母作为婴儿时的图像有关的风格与超声图像的内容进行组合来生成婴儿的模拟图像。技术人员将意识到，尽管通常补充数据将涉及胎儿的父/母或其他亲属(例如，以便产生胎儿当出生时将看起来如何的更准确的表示)，但原则上婴儿的任何图像可以使用，例如以用于娱乐或其他目的。将意识到，以这种方式使用其他图像能够产生胎儿作为婴儿时将看起来如何的不太准确的图像。

在一些实施例中，机器学习模型包括神经网络模型，并且确定与父/母作为婴儿时的图像有关的风格可以包括在神经网络模型的一个或多个较低层中根据父/母作为婴儿时的图像的一种或多种表示确定风格。

确定超声图像的内容可以包括在神经网络模型的一个或多个较高层中根据超声图像的一个或多个表示来确定内容。

以这种方式，可以将诸如肤色、图像的质量和清晰度(例如，摄影质量)的父/母的图像的风格特征应用于胎儿的超声图像，以产生胎儿作为婴儿时的模拟图像。

在机器学习模型使用神经艺术风格转移的实施例中，机器学习模型可以包括两个经训练的卷积神经网络。一个在超声图像上进行训练，并且一个在风格图像上进行训练。可以使用以下形式的损失函数来训练它们：

其中，表示婴儿的超声图像，/>表示婴儿的父/母的图像，并且/>表示表示对胎儿作为婴儿时可能看起来如何的预测的输出的模拟图像。α和β分别表示内容(来自超声图像)和风格(来自父/母作为婴儿时的图像)的加权因子。

在训练过程中可能没有标准数据。例如，梯度可以用于迭代地更新图像，直到其同时(例如，等同地)匹配风格图像的风格特征和内容超声图像的内容特征。内容和风格贡献于输出的模拟图像的相对比例可以通过改变α和β来改变。

在一些实施例中，父/母的特性，诸如上述特性中的任何可以额外地被提供作为输入。

现在转到图5，根据一些实施例，存在一种计算机实施的方法500，其基于胎儿的超声图像来训练机器学习模型以产生(例如能够产生)婴儿的模拟图像。该方法包括在框502中提供胎儿的范例超声图像和相同胎儿作为婴儿时的对应范例图像。在框504中，该方法包括使用范例图像来训练机器学习模型，以产生针对胎儿的超声图像的婴儿的模拟图像，其中，婴儿的模拟图像包括胎儿作为婴儿时将看起来如何的预测。

方法500可以用于训练机器学习模型以能够执行上述方法100。例如，方法500可以用于使机器学习模型能够根据胎儿的新的(例如先前未见的)超声图像产生婴儿的模拟图像。如上所述，这可以使用超声图像和出生后(例如作为婴儿时)的相同胎儿的对应真实(例如摄影)图像的范例图像对来完成。在这样的实施例中，范例图像是用于机器学习模型的训练数据。

技术人员将意识到，训练通常在机器学习模型被现场部署之前发生(例如，机器学习模型在其由诸如临床医师或父/母的用户使用之前被训练)。例如，在一些实施例中，一旦被部署，通常可能没有必要进一步训练模型。

上面相对于方法100提供了机器学习模型的不同范例，并且其中的范例同样适用于方法500。

胎儿的范例超声图像可以包括如与上文关于方法100中的胎儿的超声图像所描述的相同类型的超声图像中的任一种。在一些实施例中，相同胎儿作为婴儿时的对应范例图像可以包括真实的图像，例如出生后相同胎儿的真实照片。可以在任何年龄拍摄相同胎儿作为婴儿时的对应范例图像。例如，刚出生后，0-3个月时，3-12个月时或在任何其他年龄范围期间。

如上所述，胎儿的范例超声图像和相同胎儿作为婴儿时的对应范例(真实)图像表示训练数据，并且这样一来，相同胎儿作为婴儿时的范例图像表示机器学习模型的标准数据。

上面关于方法100描述了婴儿的模拟图像，并且其中的细节将被理解为适用于方法500。例如，模拟图像可以包括模拟摄影图像，该模拟摄影图像包括(或表示)对胎儿作为婴儿时可能看起来如何的预测。以这种方式，可以训练机器学习模型以根据胎儿的超声图像提供婴儿的预测图像。

根据一些实施例，框502还可以包括提供与胎儿的父/母有关的补充数据。框504然后可以包括使用范例图像和补充数据来训练机器学习模型，以产生针对胎儿的超声图像的婴儿的模拟图像。上面相对于方法100描述了不同类型的补充数据以及可以由机器学习模型使用补充数据的方式，并且其中的细节将被理解为等同地应用于方法500。

图6图示了根据一些实施例的训练机器学习模型以基于胎儿的超声图像产生婴儿的模拟图像的方法。该实施例包括生成对抗网络(GAN)，其包括生成模型602和鉴别器模型604。

生成模型602可以包括任何类型的机器学习模型，例如以上关于方法100所描述的类型中的任何。例如，生成器可以包括如上所述的变分自动编码器，其包括压缩和编码器-解码器网络。

鉴别器模型604可以包括任何类型的机器学习模型，例如以上关于方法100所描述的类型中的任何。例如，生成器可以包括神经网络，例如基于卷积神经网络的分类器。

胎儿606的超声图像被提供给生成器模型602，生成器模型602基于输入的超声图像输出婴儿610的模拟图像，如上面关于方法100所描述的。

还有数据库608，其包括真实婴儿的真实图像612(例如，摄影图像)。鉴别器604被馈送真实婴儿的真实图像612或从生成器输出的模拟图像610。鉴别器估计输入图像与真实图像数据库相对来自生成器的概率(例如，鉴别器估计接收的图像包括模拟图像的概率)。生成器的目标是产生这样质量的婴儿610的模拟图像：使其与婴儿612的真实图像无法区分。鉴别器输出614输入是真实的还是假的，并且这更新了损失函数616。

换句话说，生成模型的训练过程是使鉴别器犯错的概率最大化。该框架对应于minimax两人游戏。一旦生成器能够欺骗鉴别器，训练就成功。

更详细地，根据一个实施例，机器学习模型可以包括生成器和鉴别器对。生成器可以包括类似于变分自动编码器的模型(如上所述)，并且鉴别器可以包括基于卷积神经网络的分类器。到生成器的输入可以包括灰度超声图像和父/母的一个或多个特性，例如与父/母有关的人口统计信息。生成器的输出可以包括模拟摄影图像，例如三通道彩色图像。可以使用诸如二进制交叉熵损失函数的损失函数来训练机器学习模型。

更一般地，在生成器和鉴别器由多层感知器限定的实施例中，整个系统可以利用反向传播来训练。这样一来，在一些实施例中，在训练或生成样本期间可能不需要马尔可夫链或展开的近似推理网络。因此，生成对抗网络可以为最大似然技术提供有吸引力的备选。此外，它们的学习过程和缺乏启发式成本函数(诸如逐像素独立均方误差)对表示学习很有吸引力。在诸如本文所描述的那些的医疗保健应用中，可能难以采集标准数据配对图像(例如，诸如胎儿的超声图像和相同胎儿在出生后的对应图像)。生成对抗网络可以克服这样的问题，因为它们仅需要好的范例图像以便进行改进，而无需将范例图像与对应的产前超声图像配对。

现在转到图7，根据一些实施例，存在用于基于胎儿的超声图像来生成婴儿的模拟图像的系统700。系统700包括存储器704，存储器704包括表示一组指令的指令数据。系统700还包括处理器702，处理器702被配置为与存储器704通信并执行一组指令。如上所述，一组指令在由处理器执行时可使处理器执行方法100或500的任何实施例。

在一些实施方式中，指令数据能够包括多个软件和/或硬件模块，其均被配置为执行或用于执行本文中描述的方法的个体步骤或多个步骤。在一些实施例中，存储器704可以是也包括系统700的一个或多个其他部件(例如，系统700的处理器702和/或一个或多个其他部件)的设备的部分。在备选实施例中，存储器704可以是与系统700的其他部件分开的设备的部分。

在一些实施例中，存储器704可以包括多个子存储器，每个子存储器能够存储一条指令数据。在存储器704包括多个子存储器的一些实施例中，表示一组指令的指令数据可以存储在单个子存储器中。在存储器704包括多个子存储器的其他实施例中，表示一组指令的指令数据可以存储在多个子存储器中。因此，根据一些实施例，表示不同指令的指令数据可以存储在系统700中的一个或多个不同位置处。在一些实施例中，存储器704可以用于存储信息，诸如胎儿的超声图像、婴儿的模拟图像和/或由系统700的处理器702使用或来自系统700的任何其他部件的任何其他数据。

处理器702能够包括被配置或编程为以本文中描述的方式控制系统700的一个或多个处理器、处理单元、多核处理器和/或模块。在一些实施方式中，例如，处理器702可以包括被配置用于分布式处理的多个(例如，互操作的)处理器、处理单元、多核处理器和/或模块。本领域技术人员将意识到，这样的处理器、处理单元、多核处理器和/或模块可以被定位于不同的位置中，并且可以执行本文中描述的方法的不同步骤和/或单个步骤的不同部分。

简言之，该一组指令当由处理器702执行时使处理器702采集胎儿的超声图像。该一组指令当由处理器702执行时还使处理器702使用机器学习模型基于胎儿的超声图像来生成婴儿的模拟图像，其中，婴儿的模拟图像包括对胎儿作为婴儿时将看起来如何的预测。上面相对于方法100和500描述了采集胎儿的超声图像并使用机器学习模型来生成婴儿的模拟图像，并且其中的细节将被理解为等同地应用于系统700的操作。

将意识到，系统700可以包括针对图7所图示的那些的额外部件。例如，在一些实施例中，系统700可以包括一个或多个图像捕获设备，例如用于采集胎儿的超声图像和/或用于采集婴儿的范例图像以用于训练机器学习模型，如上所述。这样的图像捕获设备可以包括例如相机或超声扫描器。

系统700还可以包括一个或多个通信接口，以用于例如从数据库接收信息和/或向数据库发送信息。系统700还可以包括一个或多个用户接口，诸如显示屏、鼠标、键盘或任何其他用户接口，其允许向用户显示信息或从用户接收输入(诸如与胎儿的父/母有关的超声图像或补充数据)。例如，这样的显示器可以用于显示机器学习模型的输入，诸如与胎儿的父/母有关的超声图像和/或补充数据和/或机器学习模型的输出，例如婴儿的模拟图像，如上所述。在一些实施例中，系统700还可以包括电源，例如电池或干线电源连接。

现在转向图8，图8图示了根据实施例的用于基于胎儿的超声图像来生成婴儿的模拟图像的系统。该实施例的系统包括图7的系统700的一个实施方式的范例。

在该实施例中，存在用于上传超声图像的用户接口(UI)802。用户接口802可以直接嵌入在超声扫描器中，或者可以是可以访问从这样的超声扫描器获得的超声图像的应用程序的部分。还存在父母或其他用户的应用程序或“app”804(例如移动应用程序)。应用程序804可以例如允许父母或其他用户上传与胎儿的父/母有关的补充数据(如上所述)和/或父/母(或其他相关或非相关人)作为婴儿时的一张或多张照片。

用户接口802可以使超声检查者或其他用户能够使超声采集与深度学习网络同步(例如，由于超声数据采集完成，从而触发机器学习模型以开始预测过程)。在一些实施例中，父母或其他家庭成员可以在排程约会之前将他们的图片上传在私有云平台上。3D超声扫描与DNN的同步是覆盖胎儿的所有视图/轮廓所必需的，因为进入网络的每个输入对实现真实的图像(即示出眉毛、脸颊或其他面部特征的胎儿图像)有贡献。在超声扫描器捕获剧烈的胎儿移动的实施例中，用户接口802还可以建议超声检查者切换到4D成像以捕获期望的图像。

胎儿的超声图像被提供为机器学习模型810的输入806，在该实施例中，机器学习模型810包括压缩(编码)胎儿超声图像的变分自动编码器。由胎儿的父母或其他用户经由应用程序804提供的任何补充数据可以被插入808到变分自动编码器的隐藏层中，此后变分编码器对压缩图像进行解码以产生婴儿812的输出模拟图像。如上所述，婴儿的模拟图像包括对胎儿作为婴儿时可能看起来如何的预测。

所得的模拟图像可以与婴儿的超声图像一起显示在显示器814上。可以根据超声捕获来模拟多个面部表情和/或轮廓视图816。

现在转向其他实施例，根据一些实施例，存在一种包括非瞬态计算机可读介质的计算机程序产品，该计算机可读介质具有在其中实现的计算机可读代码，该计算机可读代码被配置为使得在由合适的计算机或处理器执行时，使计算机或处理器执行方法100或方法500的任何实施例。

这样的计算机程序产品可以包括在一个或多个应用程序(“app”)中。这样的计算机程序产品可以被包括在一个或多个设备(例如，移动设备、计算机、平板电脑或一件或多件医学装备，诸如超声扫描器)中或安装在其上。技术人员将意识到，这些仅仅是范例，并且这样的计算机程序产品可以被包括在其他设备或应用中。

以上述方式，可能能够基于胎儿的超声图像来生成婴儿的模拟图像，该婴儿的图像是对胎儿作为婴儿时可能看起来如何的预测。以上实施例中的一些是基于这样的见解：超声图像包含可以被压缩成类似于照片的低维表示的信息。在一些以上实施例中，生成深度学习模型将超声图像的图像风格、感知外观和纹理转换为看起来更逼真的图像(类似于照片)，同时加强从超声图像采集的真实内容。如上所述，关于父母的其他补充数据(例如，任选信息)也可以用于将灰度超声图像转换成准确彩色图像。这些输入包括关于眼睛颜色、头发颜色、肤色、种族等的信息。由于该方法对超声图像采集策略没有要求，因此其还能够从不同的设备并且甚至不同的制造商学习图像纹理的变化。以这种方式，可以生成胎儿在出生后的可能外观的预测图像。

如本文所使用的，术语“模块”旨在包括诸如被配置为执行特定功能的处理器或处理器的部件的硬件部件，或诸如在由处理器执行时具有特定功能的一组指令数据的软件部件。

将意识到，本文的实施例还适用于适于使实施例付诸实践的计算机程序，特别是在载体上或载体中的计算机程序。该程序可以采取源代码、目标代码、代码中间源和目标代码的形式，诸如部分编译的形式，或者适于使用在根据本文的实施例的方法的实施方式中的任何其他形式。还将意识到，此类程序可以具有许多不同的架构设计。例如，实施根据本文的实施例的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程中间分配功能的许多不同方式对于技术人员而言将是显而易见的。子例程可以一起存储在一个可执行文件中，以形成一个独立的程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解释器指令(例如，Java解释器指令)。备选地，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且静态地或动态地(例如，在运行时)与主程序链接。主程序包含对子例程中至少一个的至少一个调用。子例程还可以包括彼此的函数调用。与计算机程序产品有关的实施例包括与本文阐述的方法中的至少一个方法的每个处理阶段相对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括与本文阐述的系统和/或产品中至少一个的每个模块相对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。

计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储设备，诸如ROM，例如，CD ROM或半导体ROM、或者磁记录介质，例如，硬盘。此外，载体可以是可传输的载体，诸如电或光信号，其可以经由电缆或光缆或通过无线电或其他模块来传达。当程序以此类信号实现时，载体可以由此类线缆或其他设备或模块构成。备选地，载体可以是其中嵌入程序的集成电路，该集成电路适于执行相关方法或在相关方法的执行中使用。

通过研究附图、公开内容和所附权利要求，本领域技术人员可以理解和实现所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中所记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以存储在/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但是计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线电信系统分布。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种基于胎儿的超声图像来生成婴儿的模拟图像的计算机实施的方法，所述方法包括：

采集所述胎儿的超声图像；并且

使用机器学习模型以基于所述胎儿的所述超声图像来生成所述婴儿的所述模拟图像，其中，所述婴儿的所述模拟图像包括对所述胎儿作为婴儿时将看起来如何的预测。

2.根据权利要求1所述的方法，其中，所述模拟图像包括模拟摄影图像。

3.根据权利要求2所述的方法，其中，所述模拟摄影图像具有由数码相机、胶卷相机或类似介质捕获的外观。

4.根据权利要求1至3中的任一项所述的方法，还包括：

采集与所述胎儿的父/母有关的补充数据；并且

其中，使用机器学习模型来生成所述婴儿的所述模拟图像还基于所述补充数据。

5.根据权利要求4所述的方法，其中，所述补充数据包括以下中的一项或多项：

所述父/母的特性；以及

所述父/母作为婴儿时的摄影图像。

6.根据权利要求4或5所述的方法，其中，所述机器学习模型通过将所述胎儿的所述超声图像的一个或多个特征与根据所述补充数据导出的一个或多个特征进行组合来生成所述婴儿的所述模拟图像。

7.根据权利要求6所述的方法，其中，使用机器学习模型来生成所述婴儿的所述模拟图像包括所述机器学习模型：

压缩所述超声图像以确定所述超声图像的所述一个或多个特征；并且

通过使用所述补充数据重建所述超声图像的所述一个或多个特征来生成所述婴儿的所述模拟图像。

8.根据权利要求7所述的方法，其中，所述机器学习模型包括变分自动编码器。

9.根据权利要求4至6中的任一项所述的方法，其中，所述补充数据包括所述父/母作为婴儿时的摄影图像；并且

其中，使用机器学习模型来生成所述婴儿的所述模拟图像包括所述机器学习模型：

确定与所述父/母作为婴儿时的所述摄影图像有关的风格；

确定所述超声图像的内容；并且

通过将与所述父/母作为婴儿时的所述图像有关的所述风格与所述超声图像的所述内容进行组合来生成所述婴儿的所述模拟图像。

10.根据权利要求9所述的方法，其中，所述机器学习模型使用神经艺术风格转移来生成所述婴儿的所述模拟图像。

11.根据权利要求1-3中的任一项所述的方法，其中，所述模拟图像包括以下中的一项：

彩色图像；以及

黑白图像。

12.根据权利要求1-3中的任一项所述的方法，其中，所述超声图像是根据三维或四维数据来生成的。

13.一种训练机器学习模型以基于胎儿的超声图像来产生婴儿的模拟图像的计算机实施的方法，所述方法包括：

提供胎儿的范例超声图像以及与相同胎儿作为婴儿时的对应范例图像；并且

使用所述范例图像对所述机器学习模型进行训练，以产生针对胎儿的超声图像的婴儿的模拟图像，其中，所述婴儿的所述模拟图像包括对所述胎儿作为婴儿时将看起来如何的预测。

14.一种非瞬态计算机可读介质，所述计算机可读介质具有被实现在其中的计算机可读代码，所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时使所述计算机或处理器执行根据权利要求1至13中的任一项所述的方法。

15.一种用于基于胎儿的超声图像来生成婴儿的模拟图像的系统，所述系统包括：

存储器，其包括表示一组指令的指令数据；

处理器，其被配置为与所述存储器通信并且执行所述一组指令，其中，所述一组指令当由所述处理器执行时使所述处理器：

采集所述胎儿的超声图像；并且

使用机器学习模型以基于所述胎儿的所述超声图像来生成所述婴儿的所述模拟图像，其中，所述婴儿的所述模拟图像包括对所述胎儿作为婴儿时将看起来如何的预测。