CN111226258A - 信号转换系统和信号转换方法 - Google Patents

Abstract

根据本申请的实施例，信号转换方法可以包括：接收第一域的源信号的输入；从源信号中识别错误特征和有效特征；生成第二域的第一虚拟信号，从其中已经去除包括在源信号中的至少一个第一错误特征；以及输出第一虚拟信号。因此，本申请的实施例使得能够输出第二域的虚拟信号，从虚拟信号中已经去除第一域的源信号中的错误特征。

Description

信号转换系统和信号转换方法

技术领域

本申请涉及信号转换系统和信号转换方法，并且更具体地涉及用于生成第二域的虚拟信号的信号转换系统，从虚拟信号中去除包含在第一域的输入信号中的错误特征。

背景技术

机器学习是人工智能的一个领域，它是开发并使用算法和技术以使得计算机通过使用多个数据段来学习数据的特征的领域。机器学习被应用于各种领域，而字符识别是机器学习的最有代表性的示例。

机器学习根据学习方法可以被分类为监督学习、非监督学习、以及强化学习。在监督学习中，通过使用预先构建的学习输入和输出数据对来训练模型。在非监督学习中，通过仅使用输入数据分析或聚类数据段本身来训练模型。在强化学习中，通过对学习结果提供适当的补偿的反馈来训练模型。

最近，深度学习技术作为机器学习的一个领域而受到关注，该领域试图通过计算机可以在其中处理数据的各种非线性技术的组合来实现高层次抽象。深度学习技术正在各种领域中使用，诸如车辆的对象识别和障碍物传感器研究。

公开内容

技术问题

本申请旨在提供一种虚拟信号，考虑到包括在源信号中的错误特征，通过不同域中的信号之间的转换来生成虚拟信号。

技术方案

根据本申请的一个方面，信号转换方法可以包括：接收第一域的源信号；从源信号中识别错误特征和有效特征；将第一域的源信号转换为第二域的第一虚拟信号，第一虚拟信号是其中已经去除包括在源信号中的错误特征的信号；以及输出第一虚拟信号。

通过使用预训练的参数来生成第一虚拟信号，以便转换从其中去除源信号中的错误特征的第一虚拟信号。

预训练的参数被持续更新以改善虚拟信号的质量。

方法还可以包括：确定第一虚拟信号的质量是否满足预定水平，其中如果第一虚拟信号的质量被确定为满足预定水平，则输出第一虚拟信号。

方法还可以包括：如果第一虚拟信号的质量被确定为不满足预定水平，将第一虚拟信号逆转换为第一域的第一重构信号；以及从作为输入信号的第一重构信号生成第二虚拟信号，其中重复上述步骤，直到虚拟信号的质量满足预定水平。

第二虚拟信号是其中进一步去除包括在源信号中的至少一个第二错误特征的信号。

通过将第一域的源信号组合到第二域内的目的信号的特征中来生成第一虚拟信号。

有效特征与用户预设的源信号中的感兴趣区域(ROI)相关联。

根据本申请的另一个方面，一种使用至少一个神经网络的转换信号方法可以包括：从第一域的源信号中识别至少一个第一错误特征；计算第二域的第一虚拟信号，已经从第一虚拟信号中去除包括在源信号中的第一错误特征；以及确定第一虚拟信号的质量是否满足预定水平。

方法还包括：当第一虚拟信号的质量不满足预定水平时，将第一虚拟信号逆转换为第一域的第一重构信号；以及通过使用第一重构信号和源信号之间的差来计算第一权重，使得神经网络通过第一权重学习至少一个第一错误特征。

方法还包括：当第一虚拟信号的质量不满足预定水平时，通过使用第一权重来生成包括第一错误特征的第二域的第二虚拟信号；将第二虚拟信号逆转换为第一域的第二重构信号；以及通过使用第二重构信号和源信号之间的差来调整神经网络的参数。

识别步骤可以进一步包括：从源信号获得一个或多个特征；以及将特征分类为与有效特征相关联的第一特征和与错误特征相关联的第二特征。

通过将第一权重应用到从至少一个第一错误特征计算出的第一错误信号以及将第二权重应用到第一虚拟信号来生成第二虚拟信号。

基于第一权重来计算第二权重。

方法可以进一步包括：计算第一虚拟信号和第二域的目的信号之间的相似度，其中学习神经网络以增加第一虚拟信号和目的信号之间的相似度。

根据本申请的另一个方面，一种通过使用至少一个神经网络来执行学习的方法可以包括：从第一域的输入信号获得多个特征；通过仅使用多个特征当中的第一特征来生成第二域的第一虚拟信号，以及通过使用多个特征来生成第二虚拟信号；计算第一虚拟信号和第二域的目的信号之间的相似度；以及通过使用从第二虚拟信号逆转换的第一重构信号和源信号之间的差来调整用于神经网络的参数。

重复执行上述步骤，直到第一虚拟信号的质量达到预定水平。

学习神经网络以增加第一虚拟信号和目的信号之间的相似度。

相似度是第一虚拟信号和目的信号之间的定性特征的相似性。

根据本申请的另一个方面，非暂时性计算机可读介质可以存储使计算机执行根据本申请的实施例的信号处理方法的程序。

有益效果

根据本申请的实施例，可以输出第二域的虚拟信号，从其中已经去除第一域的输入信号中的错误特征。

附图说明

图1是用于描述根据本申请的实施例的信号转换提供系统的整个环境的示意图；

图2是示意性示出根据本申请的实施例的在信号转换提供系统中所提供的信号转换过程的图；

图3是示出根据本申请的实施例的信号转换模块的配置的示例的框图；

图4是用于描述根据本申请的第一实施例的信号转换方法的示例的流程图；

图5是用于描述根据本申请的第二实施例的信号转换方法的示例的流程图；

图6是示出根据本申请的第二实施例的信号转换方法的示例的图；

图7和图8是用于描述根据本申请的实施例的由一个或多个神经网络(NN)执行的信号转换学习过程的示例的图；

图9是用于描述根据本申请的一个实施例的信号转换学习过程的示意图；

图10是用于描述根据本申请的第四实施例的学习方法的示例的流程图；

图11是用于描述根据本申请的第五实施例的学习方法的示意图；以及

图12是用于描述根据本申请的第五实施例的学习方法的示例的流程图。

最佳实施方式

根据本申请的一个方面，信号转换方法可以包括：接收第一域的源信号；从源信号中识别错误特征和有效特征；将第一域的源信号转换为第二域的第一虚拟信号，第一虚拟信号是其中已经去除包括在源信号中的错误特征的信号；输出第一虚拟信号。

发明实施方式

通过以下结合附图的详细描述，本申请的上述目的、特征和优点将是清楚的。然而，尽管本申请易于进行各种修改和可替换形式，但是在附图中通过示例的方式示出其具体实施例，并且在本文中将对其进行详细描述。

在附图中，为了清楚起见，放大层和区域的厚度。另外，将理解的是，当将元件或层称为“布置”在另一元件或另一层上时，可以将其直接布置在另一元件或另一层上或可以存在中间元件。在整个说明书中，相似附图标记原则上指相似元件。另外，在各实施例的附图中示出的相同思想范围内，相同附图标记用于表示具有相同功能的相同组件。

当确定相关的公知功能的详细描述或配置可能不必要地使本申请的要点模糊时，将省略其详细描述。说明书的描述中所使用的数字(例如，第一、第二等)仅用于识别一个元件与另一个元件。

为了便于说明书描述，分配或并入本文中使用的元件的后缀“单元”或“部分”，并且后缀本身没有区别的含义或功能。

在下文中，将描述与不同域中的各种信号之间的信号转换相关的实施例。

根据本申请的实施例的信号转换可以涉及第一域的输入信号与第二域的虚拟信号之间的信号转换。

在本说明书中，信号可以包括例如图像、语音、三维(3D)信息等。另外，在本说明书中，错误特征可以是包括在输入信号中的用户不想要的任何特征。

作为语音信号转换的示例，可以将第一域的男性语音转换为第二域的女性语音。在这种情况下，噪声和其他语音可以包括在第一域的男性语音中，并且转换后的虚拟信号可以是其中去除包括在第一域的信号中的噪声和其他语音的信号。

作为另一个示例，在自然语言信号转换的情况下，可以将第一域的韩语语句转换为第二域的英语语句。在这种情况下，错误键入的单词和错误单词可以包括在第一域的韩语语句中，并且转换后的虚拟信号可以是其中去除包括在第一域的信号中的错误键入的单词和错误单词的信号。

作为声音信号转换的示例，第一域的古典音乐可以被转换为第二域的爵士音乐。在这种情况下，噪声和人类语音(不是声乐)可以包括在第一域的古典音乐中，并且转换后的虚拟信号可以是其中去除包括在第一域的信号中的噪声和人类语音的信号。

作为另一个示例，在3D信号转换的情况下，可以将第一域的3D体素转换为第二域的二维(2D)图像。在这种情况下，错误特征可以包括在第一域的3D体素中，并且转换后的虚拟信号可以是其中去除包括在第一域的信号中的错误特征的信号。

另外，作为图像转换的示例，可以将第一域的超声图像转换为第二域的摄影图像。在这种情况下，用户不想要的错误或特征可以包括在第一域的超声图像中，并且转换后的虚拟信号可以是其中去除包括在第一域的信号中的错误或不想要的特征的信号。

仅出于说明性目的描述上述信号转换的示例，并且本申请不限于此。在不同域中的信号之间的信号转换中，上述示例可以被用于将包括错误信号的第一域的源信号转换为第二域的虚拟信号的所有领域，通过去除第一域的源信号的错误信号来产生第二域的虚拟信号。

在下文中，为了便于描述，将描述用于通过使用第一域的图像作为输入信号来输出第二域的虚拟图像的图像转换。

在这种情况下，输入图像可以是使用各种成像装置获得的图像。

例如，输入图像可以是通过使用X射线装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、超声成像装置等获得的医学图像。可替换地，例如，输入图像可以是通过使用各种类型的相机设备等捕获的摄影图像。

此外，虚拟图像可以是第二域的图像，第二域的图像包括第一域的输入图像中的用户的至少一个感兴趣区域(ROI)。

例如，虚拟图像可以是第二域的图像，通过去除包括在第一域的输入图像中的至少一个伪像来产生第二域的图像。

伪像可以是例如包括在输入图像中的各种类型的成像错误。

可替换地，伪像可以是用户不想要的特征。用户可以将包括在输入图像中的不想要的特征定义为伪像。

1、信号转换提供系统

在下文中，参考图1和图2，将示意性描述用于提供虚拟信号的信号转换提供系统1的整个环境，通过使用上述的各种信号转换方式来转换虚拟信号。

根据本申请的实施例的信号转换提供系统1是将从用户装置30输入的第一域的源信号转换为第二域的虚拟信号、并且将虚拟信号提供给对应用户装置30的系统。

此外，信号转换提供系统1可以是预训练的系统，以便提供通过去除源信号中的错误特征而产生的虚拟信号。

图1是用于描述根据本申请的实施例的信号转换提供系统的整个环境的示意图。

根据本申请的实施例的信号转换提供系统1可以包括服务器10、数据库20、用户装置30等。服务器10、数据库20、用户装置30等可以经由通信网络2彼此连接。此外，信号转换提供系统1可以包括一个或多个服务器10、数据库20和用户装置30。

服务器10可以是用于将从用户装置30接收到的第一域的源信号转换为第二域的虚拟信号、并且将虚拟信号提供给用户装置30的装置。

例如，服务器10可以包括学习模块M和信号转换模块T，学习模块M被训练以生成不包括源信号中的错误特征的虚拟信号，信号转换模块T基于由学习模块M所获得的预定标准执行信号转换操作。

为了便于描述，示例性地描述学习模块M和信号转换模块T。服务器10可以提供学习模块M和信号转换模块T的所有功能作为一个集成模块。此外，服务器10可以提供生成和提供虚拟信号所需的其他功能。在以下相关部分中将描述由学习模块M和信号转换模块T执行的详细操作。

此外，例如，服务器10可以包括存储器以及用于执行信号处理的一个或多个处理器。

存储器(未示出)存储用于信号处理的程序，并且程序可以包括一个或多个模块。

可以在处理器(未示出)中提供用于执行机器学习的一种或多种机器学习算法。特别地，根据本申请的实施例，各种机器学习模型可以用于信号处理，例如可以使用深度学习模型。

深度学习是尝试通过结合几种非线性转换技术来实现高层次抽象的算法集合。深度神经网络(DNN)可以被用作深度学习的主模型。DNN可以在输入层和输出层之间包括几个隐藏层，并且可以根据学习方法或结构被分类为深度信任网络(DBN)、深度自动编码器、卷积神经网络(CNN)、递归神经网络(RNN)、生成对抗网络(GAN)等。这里，学习确定用于给定目的的数据的特征，并且深度学习调整其连接权重。例如，可以被应用于学习2D数据(诸如图像)的CNN可以由一个或多个卷积层和池化层组成，并且可以由全连接层组成，并且可以通过使用反向传播算法进行训练。

例如，通过处理器，可以通过使用上述机器学习算法中的一种或多种将从用户装置30接收到的第一域的输入信号转换为第二域的虚拟信号。

同时，服务器10可以基于通过位于其外部的学习模块M发送的预定标准来仅执行信号转换操作。可替换地，服务器10可以仅执行信号转换学习操作，并且将由于学习而计算出的预定标准提供给外部信号转换模块T。可替换地，服务器10可以仅提供由外部学习模块M和信号转换模块T转换的虚拟信号给用户。

在下文中，为了便于描述，将描述学习模块M和信号转换模块T均位于服务器10中并且服务器10使用上述神经网络NN、其扩展或其他深度学习方法来执行信号转换的示例情况。在这种情况下，转换后的虚拟信号可以是通过去除包括在输入信号中的至少一个错误特征而生成的信号。

数据库20可以包括一个或多个存储器作为用于存储各种类型的数据的组件。

例如，数据库20可以存储从用户装置30接收到的一个或多个信号，以及存储在信号转换过程期间生成的各种类型的数据。

此外，数据库20可以存储从外部服务器或外部数据库获得的一个或多个信号，例如，图像的特征信息、语音或3D信息等。

同时，数据库20可以位于上述服务器10中，或者可以与服务器10分开放置。

用户装置30可以是用于获取特定对象的图像、语音、3D信息等的电子装置。例如，用户装置30可以是相机、X射线装置、MRI装置、超声成像装置、计算机、便携式终端等。

可替换地，用户装置30可以是从外部装置接收信号的电子装置，诸如计算机、便携式终端等。例如，计算机可以包括台式计算机、笔记本计算机等。可替换地，例如，便携式终端可以包括平板计算机、智能电话等。

例如，当外部装置是超声成像装置时，用户装置30可以是医院中使用的终端，其接收由超声成像装置捕获的图像。

用户装置30可以通过安装在用户装置30中的程序、用户装置30上提供的网站、应用程序等来访问服务器10。

例如，用户装置30可以将至少一个先前存储的语音、自然语言、音乐、图像数据等提供给服务器10作为输入信号。此外，例如，用户装置30可以将通过用户装置30实时获取的至少一个语音、自然语言、音乐、图像数据等提供给服务器10作为输入信号。

通信网络2可以是用于将服务器10连接到用户装置30的各种类型的有线或无线通信网络。可替换地，通信网络2可以是局域网或广域网。

例如，通信网络2可以是经由通用串行总线(USB)的有线通信，也可以是无线通信，诸如Wi-Fi、WiBro、蓝牙、无线电频率(RF)通信和红外数据协会(IrDA)通信。通信网络2不限于上述示例。

2、信号转换过程

图2是示意性示出根据本申请的实施例的信号转换提供系统1中提供的信号转换过程的图。

例如，根据本申请的实施例的信号转换过程可以由位于上述服务器10中的信号转换模块T执行。

在这种情况下，可以在信号转换模块T中提供一种或多种机器学习算法。例如，信号转换模块T可以使用至少一个神经网络NN执行信号转换，如图2所示。将参考以下相关示例描述由信号转换模块T执行的详细操作。

参考图2，从上述用户装置30接收到的第一域的源信号X可以作为输入数据被应用于神经网络NN。也就是说，当将从用户装置30接收到的超声图像X输入到神经网络NN时，可以将通过使用神经网络NN转换的第二域的真实摄影图像Yv输出到用户装置30。

例如，真实摄影图像Yv可以是第二域的虚拟图像，通过去除超声图像X中的错误特征，诸如胎儿的手等，产生第二域的虚拟图像。在这种情况下，信号转换模块T可以生成第二域的虚拟图像，通过根据预先指定的标准去除包括在第一域的源图像X中的错误特征来获得该虚拟图像。例如，预先指定的标准可以是由于机器学习而获得的参数，并且参数可以被持续更新。

在下文中，将参考图3-图6详细描述在信号转换模块T中执行的信号转换方法的实施例。

图3是示出根据本申请的实施例的信号转换模块T的配置的示例的框图。例如，信号转换模块T可以包括信号收发器11、特征分析器12、虚拟信号生成器13、信号逆转换器14和控制器15。示例性地描述每个组件，并且信号转换模块T可以包括上述组件当中的一个或多个组件。组件执行的操作可以集成到单个组件的一个操作中。此外，可以根据需要以顺序的方式或以并行的方式执行由组件执行的操作。

在下文中，将描述第一域的源信号是胎儿的超声图像并且第二域的目的信号是新生婴儿的真实摄影图像的示例情况。

在这种情况下，第二域的虚拟信号可以是通过组合胎儿的超声图像和新生婴儿的真实摄影图像的特征而获得的合成图像。此外，虚拟信号可以是其中去除包括在胎儿的超声图像中的至少一个伪像的胎儿的摄影图像。

这里，伪像可以是例如包括在胎儿的超声图像中的各种类型的成像错误以及除了胎儿面部区域以外的任何特征。

在下文中，将胎儿面部区域定义为用户的ROI，并且将包括至少一个伪像(包括在胎儿的超声图像中)的区域定义为错误区域。

此外，胎儿的超声图像可以是由超声成像装置捕获的胎儿的2D或3D图像，并且新生婴儿的真实摄影图像可以是通过实际捕获新生婴儿的图像而获得的2D图像。同时，在根据本申请的实施例的信号处理中，超声图像的胎儿和真实摄影图像的新生婴儿可以彼此不一致。

信号收发器11可以是用于从用户接收第一域的源信号X并发送虚拟信号生成器13中生成的第二域的虚拟信号的组件，这将在下面用户装置30中进行描述。

例如，当第一域的源信号X是胎儿的超声图像时，源信号X可以是从超声成像装置实时接收到的图像。或者，源信号X可以是由用户在存储在用户的便携式终端中的图像当中选择的图像。

特征分析器12可以是用于提取由信号收发器11获得的第一域的源信号X中的多个特征的组件。

例如，特征分析器12可以通过使用至少一个神经网络来提取源信号X中的多个特征。例如，神经网络可以是卷积网络并且可以包括多个层。因此，特征分析器12可以通过使用多个层来提取包括在源信号X中的多个特征。

此外，特征分析器12可以根据预设标准将多个特征分类为与ROI相关联的有效特征和/或与错误区域相关联的错误特征。预设标准可以是例如由用户先前输入的标准，并且可以根据学习模块M先前训练的结果来更新。

例如，特征分析器12可以通过使用一个或多个特征图(FM)来识别源信号中的ROI和错误区域。在这种情况下，FM可以是多个特征的组合。

作为示例，当源信号X是胎儿的超声图像时，ROI可以是胎儿面部区域，以及错误区域可以是除了面部区域之外的胎儿的其他身体区域。例如，面部区域可以包括胎儿的眼睛、鼻子、嘴巴、耳朵等。例如，错误区域可以包括胎儿的手、脚、胎盘、羊水等。

附加地，特征分析器12可以提取第二域的目的信号的特征。在这种情况下，提取目的信号的特征的方法可以对应于提取源信号中的特征的方法。

此外，可选地，信号转换模块T可以通过用户装置30提供由特征分析器12分析的有效特征和/或错误特征的列表。例如，用户可以选择列表的特征中的一个并更改属性信息。例如，属性信息可以包括皮肤颜色、头发颜色等。

虚拟信号生成器13可以是用于通过使用由上述特征分析器12获得的一个或多个特征将第一域的源信号转换为第二域的第一虚拟信号的组件。

例如，虚拟信号生成器13可以通过使用至少一个神经网络将源信号转换为第二域的第一虚拟信号。例如，神经网络可以包括多个层，并且虚拟信号生成器13可以将预训练的参数应用到多个层并生成第一虚拟信号。

预训练的参数可以是由学习模块M先前训练的参数，以便生成具有预定水平或更高水平的质量的第一虚拟信号。下面将关于在学习模块M中执行的学习方法来部分描述计算参数的过程。

此外，例如，虚拟信号生成器13可以基于源信号的有效特征来重组信号转换所需的目的信号的特征，并且可以将源信号的有效特征与重组后的目的信号的特征进行组合，以将第一域的源信号转换为第二域的第一虚拟信号。在这种情况下，由虚拟信号生成器13转换的第一虚拟信号可以是通过去除源信号中的至少一个错误特征而产生的信号。

例如，目的信号的特征可以包括图像的亮度、颜色、反射颜色、纹理、深度、混合、形状或形状的组合。

同时，可以从上述特征分析器12、数据库20、存储器或外部服务器获得目的信号和/或目的信号的特征。可替换地，虚拟信号生成器13可以通过使用神经网络来提取目的信号的特征，并且提取目的信号的特征的过程可以对应于在上述特征分析器12中提取源信号中的特征的方法。

例如，当源信号是胎儿的超声图像时，可以根据预先指定的标准来识别包括在胎儿的超声图像中的错误特征，并且虚拟信号生成器13通过去除错误特征来产生虚拟图像。在这种情况下，由虚拟信号生成器13生成的虚拟图像可以是第二域的真实摄影图像，其中超声图像中的错误特征如胎儿的手、脚、胎盘等被去除。

作为另一个示例，当用户在用户装置30中提供的有效特征列表和/或有效特征中选择特征中的一个并且请求更改属性信息时，虚拟信号生成器13可以通过反映属性信息更改请求来产生虚拟信号。

附加地，虚拟信号生成器13可以通过使用重构信号来生成第二虚拟信号，重构信号由下面描述的信号逆转换器14转换而作为输入信号。通过使用重构信号作为输入信号来生成第二虚拟信号的方法可以对应于上述生成第一虚拟信号的方法。

信号逆转换器14可以是用于将由上述虚拟信号生成器13生成的第二域的第一虚拟信号逆转换为第一域的重构信号的组件。

例如，信号逆转换器14可以通过使用至少一个神经网络将第一虚拟信号逆转换为第一域的重构信号。在这种情况下，将第一虚拟信号逆转换为第一域的重构信号的过程可以对应于在上述虚拟信号生成器13中执行的信号转换操作。

例如，神经网络可以包括两个子网络，并且信号逆转换器14可以通过使用包括在第一子网络中的多个层来提取包括在第一虚拟信号中的多个特征。在这种情况下，由信号逆转换器14执行的使用第一子网提取多个特征的过程可以对应于在上述特征分析器12中执行的操作。在这种情况下，由信号逆转换器14执行的生成重构信号的过程可以对应于在上述虚拟信号生成器13中执行的操作。

也就是说，信号逆转换器14可以通过使用包括在第二子网中的多个层将第一域的源信号的特征映射到多个特征，以生成重构信号。

同时，由于第一虚拟信号是通过去除包括在源信号中的至少一个错误特征而获得的信号，因此由信号逆转换器14生成的重构信号也可以是通过去除至少一个错误特征而获得的信号。

例如，下面将描述的控制器15可以控制信号转换和逆转换过程由上述虚拟信号生成器13和信号逆转换器14重复执行，直到虚拟信号的质量满足预定水平，使得包括在源信号中的错误特征可以以逐步的方式逐渐被去除。将参考以下相关实施例详细描述信号转换和逆转换过程的详细描述。

控制器15可以是用于识别包括在用户输入的源信号中的错误信号并控制在信号转换模块T中执行的所有操作以便生成具有改善质量的第二域的虚拟信号的组件。

例如，控制器15可以获得由学习模块M计算出的最佳参数，并将参数发送到上述特征分析器12、虚拟信号生成器13和/或信号逆转换器14。

此外，例如，控制器15可以进行控制，使得最终由虚拟信号生成器13转换的第二域的虚拟图像通过信号收发器11输出到用户装置30。

此外，例如，控制器15可以进一步确定由虚拟信号生成器13生成的虚拟信号的质量是否满足预定水平。

这里，预定水平可以是用户先前输入的水平。例如，用户可以设置虚拟信号生成器13和信号逆转换器14，使得由此执行的操作重复预定次数或更多次数。可以根据信号的类型由各种标准确定虚拟信号的质量，并且将参考以下实施例详细描述与此相关的详细描述。

作为示例，当确定虚拟信号的质量满足预定水平时，控制器15可以进行控制，以使得通过信号收发器11将虚拟图像输出到用户装置30。

可替换地，当确定虚拟信号的质量不满足预定水平时，控制器15可以将虚拟信号发送到上述信号逆转换器14。

也就是说，控制器15可以控制虚拟信号生成器13和信号逆转换器14的操作，使得信号转换和逆转换过程被重复执行，直到由虚拟信号生成器13生成的虚拟信号的质量满足预定水平，并因此可以去除包括在源信号中的错误特征。

在下文中，将参考图4-图5描述由上述信号转换模块T执行的信号转换方法的各种实施例。

图4是用于描述根据本申请的第一实施例的信号转换方法的示例的流程图。参考图4，根据本申请的第一实施例的信号转换方法可以包括：接收第一域的源信号(S41)，识别包括在源信号中的错误特征和有效特征(S42)，生成第二域的第一虚拟信号，通过去除包括在源信号中的至少一个第一错误特征来获得第一虚拟信号(S43)，以及输出第一虚拟信号(S45)。

在下文中，将详细描述第一域的源信号是胎儿的超声图像X并且第二域的虚拟信号是通过组合胎儿的超声图像和新生婴儿的真实摄影图像的特征而获得的图像Yv的示例情况。

信号转换模块T可以接收第一域的源信号作为输入(S41)。

如参考图3所描述的，信号转换模块T可以通过信号收发器11从用户接收第一域的源信号X。例如，信号转换模块T可以从位于医院的超声成像装置接收胎儿的超声图像。

信号转换模块T可以识别包括在源信号中的错误特征和有效特征(S42)。

例如，信号转换模块T可以如上所述通过使用特征分析器12提取包括在源信号中的多个特征。此外，例如，特征分析器12可以根据预设标准将多个特征分类为有效特征和/或错误特征。

信号转换模块T可以生成第二域的第一虚拟信号，通过去除包括在源信号中的至少一个第一错误特征来获得第一虚拟信号(S43)。

例如，信号转换模块T可以通过反映在步骤S42中识别出的至少一个第一错误特征，将第一域的源信号转换为第二域的第一虚拟信号。例如，至少一个第一错误特征可以是与包括在胎儿的超声图像中的手、脚、胎盘、羊水等相关联的特征。

此外，例如，信号转换模块T可以通过使用预训练的参数来生成第一虚拟信号。在这种情况下，可以持续地更新预训练的参数以提高第一虚拟信号的质量。

例如，虚拟信号生成器13可以基于胎儿的面部区域的特征(例如，胎儿的脸、眼睛、鼻子、嘴巴、耳朵等)来重新组合信号转换所需的新生婴儿的真实摄影图像的特征(例如，图像的亮度、颜色、反射颜色、纹理、深度、混合、形状或形状的组合)，除了步骤S42中在包括在胎儿的超声图像中的多个特征当中识别出的第一错误特征之外。在这种情况下，虚拟信号生成器13可以通过组合与胎儿的面部区域相关联的特征和重新组合后的真实摄影图像的特征来生成第一虚拟信号。

信号转换模块T可以将第一虚拟信号输出到用户装置(S45)。

例如，信号转换模块T可以通过上述信号收发器11发送由虚拟信号生成器13生成的第一虚拟信号。在这种情况下，在用户装置上提供的第一虚拟图像可以是具有改善质量的图像，通过去除包括在胎儿的超声图像中的错误特征来获得该图像。

同时，信号转换模块T可以通过至少两次重复执行上述信号转换过程来向用户提供具有改善质量的虚拟信号。在信号转换模块T中存在多种标准用于重复执行信号转换过程。

根据第二实施例的信号转换方法，重复信号转换过程直到通过执行上述步骤S41-S43而生成的第一虚拟信号的质量满足预先指定的标准，使得可以将具有改善质量的虚拟信号提供给用户。

即，本申请的第二实施例的信号转换方法确定虚拟信号的质量是否达到预先指定的标准，然后仅当确定虚拟信号的质量达到预先指定的标准时通过用户装置30提供第一虚拟信号。

换句话说，在根据本申请的第二实施例的信号转换方法中，在将步骤S43中生成的第一虚拟信号输出到用户装置30之前，确定第一虚拟信号的质量是否满足预设水平的步骤可以进一步被执行，使得可以将具有预定水平或更高水平的质量的虚拟信号提供给用户。

图5是用于描述根据本申请的第二实施例的信号转换方法的示例的流程图。参考图。参考图5，根据本申请第二实施例的信号转换方法可以进一步包括：确定第一虚拟信号的质量是否满足预定水平(S44)，当确定第一虚拟信号的质量不满足预定水平时，将第一虚拟信号逆转换为第一域的第一重构信号(S46)，以及通过使用第一重构信号作为输入信号来生成第二虚拟信号(S48)。

信号转换模块T可以确定第一虚拟信号的质量是否满足预定水平(S44)。

即，上述控制器15可以确定在步骤S43中生成的第一虚拟信号的质量是否满足预定水平。在这种情况下，可以基于第一虚拟信号和第二域的目的信号之间的相似度来确定第一虚拟信号的质量是否满足预定水平。

这里，相似度可以指虚拟信号与目的信号之间的定性特征的相似性。例如，当源信号是胎儿的超声图像时，可以通过由虚拟信号生成器13生成的胎儿的真实摄影图像对应于新生婴儿的真实摄影图像的概率来表达相似度。

例如，控制器15可以计算第一虚拟图像对应于目的图像的概率，并且当第一虚拟图像对应于目的图像的概率大于或等于预定值时，控制器15可以确定第一虚拟信号的质量满足预定水平。因此，控制器15可以进行控制以使得第一虚拟图像被输出到用户装置30。

作为另一个示例，控制器15可以计算第一虚拟图像对应于目的图像的概率，并且当第一虚拟图像对应于目的图像的概率低于预定值时，控制器15可以确定第一虚拟信号的质量不满足预定水平。

在这种情况下，信号转换模块T可以将第一虚拟信号逆转换为第一域的第一重构信号(S46)。

如上所述，信号逆转换器14可以将第一域的源信号的特征映射到包括在第一虚拟信号中的多个特征以生成第一域的第一重构信号。在这种情况下，第一重构信号可以是通过去除上述第一错误特征而获得的信号。

例如，当第一域的源信号是胎儿的超声图像时，胎儿的超声图像可以包括与面部区域相关联的有效特征，诸如胎儿的眼睛、鼻子、嘴巴、耳朵等，以及与错误区域相关的错误特征，诸如手、脚、胎盘、羊水等。在这种情况下，当第一错误特征是与超声图像中的胎盘相关联的特征时，第一虚拟信号可以是第二域的真实摄影图像，通过去除与超声图像中的胎盘相关联的特征来获得第二域的真实摄影图像。因此，在步骤S46中，在由信号逆转换器14逆转换的第一重构信号中，可以去除与超声图像中的胎盘相关联的特征。

可以通过使用第一重构信号作为输入信号来生成第二虚拟信号(S48)。

如上所述，虚拟信号生成器13可以将第二域的目的信号的特征映射到包括在第一重构信号中的多个特征，以生成第二域的第二虚拟信号。

例如，生成第二虚拟信号的过程可以对应于在上述步骤S42和S43中执行的操作。

例如，信号转换模块T可以进一步在第一重构信号中识别至少一个第二错误特征，并通过考虑至少一个第二错误特征，将第一重构信号转换为第二域的第二虚拟信号。

作为另一示例，信号转换模块T可以通过使用预训练的参数来从第一重构信号生成第二虚拟信号。在这种情况下，由虚拟信号生成器13生成的第二虚拟信号也可以不包含第二错误特征。

因此，在根据本申请的第二实施例的信号转换方法中，可以重复执行上述步骤，直到虚拟信号的质量满足预定水平，使得可以将具有一定水平或更高水平的质量的虚拟信号提供给用户。

例如，参考图6，通过将第一域的超声图像x0转换为第二域的真实摄影图像而形成的第一虚拟图像y0可以包括与源图像x0中的错误特征中的胎儿的手相关联的特征。在这种情况下，控制器15可以确定第一虚拟图像y0的质量不满足预定水平，并且将第一虚拟图像y0发送到信号逆转换器14，以生成通过将第一虚拟图像y0逆转换为第一域的图像而获得的第一重构图像x1。此外，控制器15可以重新输入通过信号逆转换器14生成的第一重构图像x1到虚拟信号生成器13，以将第一重构图像x1重新转换为第二域的第二虚拟图像y1。

即，如图6所示，控制器15可以顺序地并且重复地通过使用虚拟信号生成器13来执行信号转换过程，以及通过使用信号逆转换器14来执行信号逆转换过程。结果，控制器15可以控制信号转换模块T的操作，使得具有预定质量的虚拟图像y*被输出，通过去除包括在源图像x0中的不想要的特征来获得该虚拟图像y*。

根据第三实施例的信号转换方法，信号转换过程被重复执行预定次数，以便输出具有改善质量的虚拟信号。

例如，控制器15在S43中生成第二域的第一虚拟信号，在第一虚拟信号中，已经去除包括在源信号中的至少一个第一错误特征，然后确定信号转换过程是否已经被执行预定次数。

如果控制器15确定信号转换过程已经被执行预定次数，则根据S45将第一虚拟信号输出到用户装置。

另一方面，如果控制器15确定信号转换过程尚未被执行预定次数，则控制器15可以返回到S43并控制虚拟信号生成器13的操作以产生第二虚拟信号。例如，虚拟信号生成器13生成第二虚拟信号，在第二虚拟信号中还去除包括在源信号中的至少一个第二错误特征。

或者，如果控制器15确定信号转换过程尚未被执行预定次数，则控制器15可以控制特征分析器12和虚拟信号生成器13的操作以重复对应于步骤S42和S43的操作。

因此，控制器15可以通过控制虚拟信号生成器13的信号转换过程以将信号转换过程重复预定次数，通过用户设备输出具有预定水平或更高水平的质量的虚拟信号。

3、信号转换学习过程

在下文中，将参考图7-图8详细描述用于优化上述信号转换操作的机器学习过程。

根据本申请的实施例的机器学习过程可以由位于上述服务器10内部或外部的学习模块M执行，并且学习模块M可以包括一个或多个神经网络NN。

图7和图8是用于描述根据本申请的实施例的由一个或多个神经网络NN执行的信号转换学习过程的示例的图。

可以通过使用从存储器或数据库获得的多个数据段来执行根据本申请的实施例的信号转换学习过程。在下文中，将假设并描述不同域中的图像之间的转换的示例。

图7是示出根据本申请的实施例的神经网络NN的配置的示例的图。例如，神经网络NN可以包括一个或多个网络，并且每个网络可以包括多个层。在下文中，为了便于描述，假设并描述通过使用一个或多个网络执行信号转换学习过程。参考图7，神经网络NN可以包括例如第一网络101、第二网络102、第三网络103、第四网络104和第五网络105。在第一网络到第五网络中，可以以顺序方式或以并行方式执行用于信号转换学习的步骤。

在下文中，将详细描述可以在各个网络中执行的操作。

首先，第一网络101可以是用于将第一域的源信号X转换为FM的网络。

例如，第一网络101可以是卷积网络并且可以包括多个层。在这种情况下，在第一网络101中，可以通过使用多个层来提取包括在源信号X中的多个特征。

当源信号X是图像时，多个特征可以包括例如边缘、锐度、深度、亮度、对比度、模糊、形状或形状的组合，并且多个特征不限于上述示例。

FM可以是多个特征的组合，并且可以通过一个或多个FM来识别源信号中的每个区域。每个区域可以包括用户的ROI和包括源信号中的至少一个伪像的错误区域。例如，当源信号X是胎儿的超声图像时，ROI可以是胎儿的面部区域，并且错误区域可以是胎儿的身体区域而不是面部区域。例如，面部区域可以包括胎儿的眼睛、鼻子、嘴巴、耳朵等。此外，例如，错误区域可以包括胎儿的手、脚、胎盘、羊水等。

因此，可以通过使用第一网络101从多个层中的至少一个层获得FM。可替换地，可以从多个层中的最后一层获得FM。在第一网络101中生成的一个或多个FM可以用作第二网络102和/或第三网络103的输入数据。

同时，根据执行根据本申请的实施例的神经网络的信号处理的结果，可以在计算中调整用于多个层的参数，并且可以在计算中去除或增加多个层中的至少一个层。将在下面的相关部分中描述参数调整的详细描述。

第二网络102可以是用于通过使用从上述第一网络101输入的一个或多个FM作为输入数据来生成第二域的虚拟信号Yv的网络。可以训练第二网络102以将第一域的源信号X转换为第二域的虚拟信号Yv。

例如，第二网络102可以包括多个层。在第二网络102中，可以生成虚拟信号Yv，在虚拟信号Yv中通过使用多个层将第二域的目的信号(原始信号)的特征映射到FM的对应特征。

当源信号X是图像时，目的信号的特征可以包括例如图像的亮度、颜色、反射颜色、纹理、深度、混合、形状或形状的组合等。

从上述第一网络101输入到第二网络102的一个或多个FM可以包括源信号X中的ROI的特征(例如，眼睛、鼻子、嘴巴、耳朵等)。

可替换地，可以训练第二网络102以在从上述第一网络101输入的一个或多个FM中识别与错误区域相关联的特征(例如，手、脚、胎盘等)。

虚拟信号Yv可以是通过使用一个或多个FM生成的信号，并且包括源信号X中的ROI。

例如，当源信号X是胎儿的超声图像时，在第二网络102中转换的虚拟信号Yv可以是第二域的图像，在第二域的图像中包括更少超声图像X中的错误区域的特征。可替换地，例如，虚拟信号Yv可以是通过去除超声图像X中的错误区域的至少一个特征而获得的第二域的图像。可替换地，例如，虚拟信号Yv可以是通过去除超声图像X中的错误区域的所有特征而获得的第二域的图像。

可以从上述的数据库20、存储器或外部服务器获得目的信号和/或目的信号的特征。可替换地，第二网络102可以进一步包括用于提取目的信号的特征的子网络(未示出)。子网络可以是例如卷积网络，并且可以包括多个层。通过子网络提取目的信号的特征的操作可以对应于在上述第一网络101中执行的操作。

因此，服务器10可以通过第二网络102获得第二域的虚拟信号，通过将目的信号的特征和至少一个FM进行组合而获得第二域的虚拟信号。当提取用于多个FM的多个组合信号时，服务器10可以通过对组合信号进行组合来获得单个虚拟信号。

同时，根据执行根据本申请实施例的神经网络的信号处理的结果，可以在计算中调整用于多个层的参数，并且可以在计算中去除或添加多个层中的至少一个层。将在下面的相关部分中描述参数调整的详细描述。

第三网络103可以是用于通过使用从上述第一网络101输入的一个或多个FM作为输入数据来生成错误信号Ye的网络。例如，错误信号Ye可以是第一域、第二域或第一域和第二域之间的中间域的信号。

输入到第三网络103的一个或多个FM可以包括不是源信号X中的ROI的错误区域的特征中的至少一个特征(例如，手、脚、胎盘、羊水等)。

可以通过使用一个或多个FM生成错误信号Ye并且错误信号Ye可以是包括与源信号X中的错误区域相关联的特征中的至少一个特征的信号。

因此，服务器10可以通过第三网络103获得错误信号Ye。例如，当提取用于多个FM的多个组合信号时，服务器10可以通过对组合信号进行组合来获得单个虚拟信号。

可替换地，可以训练第三网络103以提取或分离错误信号Ye，错误信号Ye包括与包括在第一域的源信号X中的错误区域相关联的特征中的至少一个特征。

例如，第三网络103可以是卷积网络或解卷积网络，并且可以包括多个层。在第三网络103中，可以通过使用多个层中的至少一个层来生成错误信号Ye。例如，可以通过多个层中的任何第一层来提取第一错误信号，并且可以通过第二层提取第二错误信号。换句话说，可以通过多个层来获得或提取多个错误信号。

此外，服务器10可以获得目标信号YT，通过将从第二网络102获得的虚拟信号Yv和从第三网络103获得的错误信号Ye相组合而获得目标信号YT，目标信号YT可以被用作第四网络104的输入数据。在下文中，将详细描述获得目标信号YT的过程。

目标信号YT可以是在其中第一权重被应用到错误信号Ye并且第二权重被应用到虚拟信号Yv的信号，并且可以被计算为例如等式1。参考等式1，可以通过将虚拟信号Yv和第二权重的逐元素乘积与错误信号Ye和第一权重的逐元素乘积相加来生成目标信号YT。

Y＝Yv⊙(1-We)+Ye⊙We [等式1]

这里，We表示应用到错误信号Ye的第一权重，(1-We)表示应用到虚拟信号Yv的第二权重。应用到错误信号Ye的第一权重可以是根据执行根据本申请的实施例的神经网络NN的图像处理的结果而调整的值。

此外，可以基于第一权重来计算应用到虚拟信号Yv的第二权重。在这种情况下，第一权重和第二权重可以是相同的值或不同的值。

例如，第一权重可以是基于将在下面描述的在第四网络104中仅通过使用虚拟信号Yv来重构的重构信号X”与源信号X之间的差而计算的值。在相关实施例中将详细描述计算第一权重的方法。

第四网络104可以是用于将通过使用上述第二网络102和第三网络103而生成的第二域的目标信号YT逆转换为第一域的重构信号X'的网络。

例如，第四网络104可以被配置为准确地重构源信号X，并且因此可以改善重构信号与源信号之间的内容的一致性。这里，当将胎儿的超声图像转换为真实摄影图像时，内容的一致性可以是超声图像中的胎儿与转换后的真实摄影图像中的胎儿之间的相似性。

可替换地，例如，神经网络NN可以通过第二网络102和第三网络103同时学习将第一域的源信号X转换为第二域的目的信号YT的过程，以及将转换后的第二域的目标信号YT转换为第一域的重构信号X'的过程，并因此神经网络NN可以被训练以便在保持整个训练内容的一致性的同时转换域。

在这种情况下，可以基于通过对目标信号YT进行逆转换而生成的重构信号X'和源信号X之间的差值来调整应用于神经网络NN中的至少一个的参数。也就是说，可以通过将由重构信号X'和源信号X之间的差引起的损失函数Lrec逆发送到上述网络中的至少一个网络来调整参数。损失函数Lrec可以由下面的等式2表示。

Lrec(X,X′)＝‖X-X′‖₁ [等式2]

可替换地，第四网络104可以是用于将从第二网络102生成的用于计算上述第一权重的虚拟信号Yv逆转换为第一域的重构信号X”的网络。

在这种情况下，由于第四网络104通过仅使用虚拟信号Yv来生成第一域的重构信号X”，因此可以学习神经网络NN以通过使用重构信号X”识别出不能通过仅使用虚拟信号Yv来重构的一部分(例如，错误区域)。在以下相关部分中将详细描述在错误区域上引导信息以便神经网络NN识别出错误区域的方法。

第四网络104可以包括一个或多个网络，并且可以包括多个层。例如，第四网络104可以包括用于将目标信号YT或虚拟信号Yv转换为FM的第一子网络(未示出)，以及用于通过将转换后的FM用作输入数据而生成重构信号X'或X”的第二子网络(未示出)。例如，第一子网络可以是卷积网络，第二子网络可以是解卷积网络。

在下文中，为了便于描述，假设并描述第四网络104包括至少第一子网络和第二子网络。此外，在第一子网络中，可以以与上述第一网络相同或相似的方式执行信号转换，并且在第二子网络中，可以以与上述第二网络和第三网络相同或相似的方式执行信号转换。

第一子网络可以包括多个层，并且可以通过使用多个层将目标信号YT或虚拟信号Yv转换为一个或多个FM。例如，在第一子网络中，可以使用多个层来提取包括在目标信号YT或虚拟信号Yv中的多个特征信息(特征)段，并且可以基于多个特征信息段来生成一个或多个FM。在第一子网络中生成的一个或多个FM可以被用作第二子网络的输入数据。

第二子网可以包括多个层，并且可以使用多个层将目标信号YT或虚拟信号Yv转换为重构信号X'和X”。也就是说，在第二子网中，可以通过将源信号X的特征映射到从第一子网络输入的一个或多个FM的特征来生成重构信号X'和X”。源信号X的特征信息可以是通过上述第一网络101提取的信息，并且可以从服务器10的存储器(未示出)获得。

因此，服务器10可以通过第四网络104获得第一域的重构信号X'或X”，通过组合源信号X和至少一个FM的特征而获得重构信号X'或X”。当提取用于多个FM的多个组合信号时，服务器10可以通过对组合信号进行组合来获得单个重构信号X'或X”。

同时，通过使用上述第二网络102生成的第二域的虚拟信号Yv可以用作第五网络105的输入数据。

第五网络105可以是用于区分从上述第二网络102生成的虚拟信号Yv与第二域的目的信号YR的网络。

例如，第五网络105可以被训练以便区分虚拟信号Yv与目的信号YR。例如，第五网络105可以是卷积网络并且可以包括多个层。在这种情况下，在第五网络105中，可以通过多个层中的最后一层输出关于虚拟信号和目的信号之间的相似度的信息。这里，相似度可以指虚拟信号与目的信号之间的定性特征的相似性。

可以从上述数据库20获得目的信号。例如，目的信号可以是通过实际捕获新生婴儿的脸而获得的图像。

关于相似度的信息可以是指示虚拟信号Yv对应于目的信号的概率的信息。例如，当虚拟信号Yv对应于实际捕获的图像时，相似度值可以是1或接近于1的值。此外，例如，当虚拟信号Yv不是实际捕获的图像时，相似度值可以是0或接近0的值。

因此，服务器10可以将关于相似度的信息反馈给第一网络101到第三网络103中的至少一个。服务器10可以基于相似度的信息重复执行第二网络102和第三网络103的操作并且可以重新获得虚拟信号Yv。可替换地，例如，第五网络105可以将由虚拟信号和目的信号之间的差产生的损失函数反馈到上述第一网络101和第二网络102。因此，可以调整包括在第一网络和第二网络中的多个层中的至少一个层的参数。可替换地，可以在计算中去除或添加包括在第一网络101和第二网络102中的多个层中的至少一个层。换句话说，可以使用从第五网络105反馈的虚拟信号和目的信号之间的差来训练第一网络101和第二网络102。

图8是示出根据本申请的另一个实施例的神经网络NN的配置的示例的图。如图8所示，根据本申请的另一个实施例的神经网络NN可以进一步包括特征分类网络106。

特征分类网络106可以是用于在源信号X中的区域中对与错误区域相关联的特征和与ROI相关联的特征进行分类的网络。在这种情况下，特征分类网络106可以是第一网络101中的一部分。可替换地，如图8所示，特征分类网络106可以与第一网络101分开配置，并且可以设置在第一网络101与第二和第三网络102和103之间。

例如，特征分类网络106可以通过使用在第一网络101中生成的一个或多个FM来生成第一FM和第二FM。例如，第一FM可以是与有效特征相关联的特征并且可以是包括更少与错误区域相关联的特征的特征。例如，第二FM可以是与错误特征相关联的特征，并且可以是包括更少与ROI相关联的特征的特征。例如，当源信号是胎儿的超声图像时，与ROI相关联的特征可以包括胎儿的眼睛、鼻子、嘴巴、耳朵等。此外，例如，与错误区域相关联的特征可以包括例如胎儿的手、脚、胎盘、羊水等。

此外，例如，特征分类网络106可以基于预设标准将特征分类为与ROI相关的第一FM和与源信号X中的错误区域相关的第二FM。可以基于关于ROI的信息和关于源信号X中的错误区域的信息来预先训练预设标准。

因此，在根据本申请的另一个实施例的特征分类网络106中，可以发送与ROI相关的第一FM作为第二网络102的输入数据，并且可以发送与错误区域有关的第二FM作为第三网络103的输入数据。可以通过特征分类网络106更准确地对与错误区域相关联的特征进行分类。例如，在第二网络102中，可以通过使用与ROI相关的第一FM来生成虚拟信号Yv，通过去除与源信号中的至少一个错误区域相关联的特征而获得虚拟信号Yv，通过特征分类网络106输入与ROI相关的第一FM。

同时，可以通过反映使用重构信号X'和源信号X之间的差而调整的参数来更新特征分类网络106。可替换地，可以通过反映使用虚拟信号和目的信号之间的差而调整的参数来更新特征分类网络106。将在相关部分中给出参数的详细描述。

在下文中，将详细描述通过上述神经网络NN执行的信号转换学习方法的实施例。

图9是用于描述根据本申请的第四实施例的信号转换学习过程的示意图。此外，图10是用于描述根据本申请的第四实施例的学习方法的示例的流程图，学习方法用于将第一域的源信号X转换为第二域的虚拟信号Yv，以及提供第二域的虚拟信号Yv。

例如，根据本申请的第四实施例的学习方法可以由位于上述服务器10中的学习模块M执行，并且可以在学习模块M中提供上述第一网络到第五网络中的至少一个网络。

参考图9，在根据本申请的第四实施例的学习方法中，可以重复执行将第一域的源信号转换为第二域的虚拟信号的过程以及将转换后的虚拟信号逆转换为第一域的重构信号的过程。例如，第一域的源信号可以是胎儿的超声图像X，而第二域的虚拟信号可以是通过组合胎儿的超声图像的特征和新生婴儿的真实摄影图像的特征而获得的图像Y。在这种情况下，在将源信号X转换为虚拟信号Y的过程中，可以识别一个或多个错误信号e0至en。

在下文中，将参考图10详细描述执行根据本申请的第四实施例的信号转换学习的步骤。

参考图10，根据本申请的第一实施例的学习方法(其是使用至少一个网络将第一域的源信号转换为第二域的虚拟信号的方法)可以包括：从第一域的源信号中识别至少一个第一错误特征(S61)，计算第二域的第一虚拟信号，通过去除第一错误特征来获得第二域的第一虚拟信号(S62)，以及确定第一虚拟信号的质量是否满足预定水平(S63)。根据本申请的第一实施例的学习方法可以进一步包括：当确定第一虚拟信号的质量不满足预定水平时，将第一虚拟信号逆转换为第一域的第一重构信号(S64)，通过使用第一重构信号和源信号之间的差来计算第一权重，并与网络共享第一权重(S65)，通过使用第一权重生成包括第一错误特征的第二域的第二虚拟信号(S66)，将第二虚拟信号逆转换为第一域的第二重构信号(S67)，并使用第二重构信号与源信号之间的差来调整网络参数(S68)。

在下文中，如参考图9所描述的，将详细描述第一域的源信号是胎儿的超声图像X并且第二域的虚拟信号是通过组合胎儿的超声图像和新生婴儿的真实摄影图像的特征而获得的图像Yv的示例情况。

首先，如上所述，可以通过第一网络101输入至少一个超声图像X，并且可以通过使用超声图像X作为输入数据来训练学习模块M。

学习模块M可以从第一域的源信号中识别至少一个第一错误特征(S61)。

例如，如上所述，学习模块M可以使用通过第一网络101提供的一个或多个特征，识别包括在胎儿的超声图像X中的至少一个错误特征(例如，手、脚、胎盘等)。例如，可以通过使用包括在第一网络101中的多个层中的任意层来提取错误特征，并且可以重复执行错误特征的提取。

例如，学习模块M可以通过包括在第一网络101中的多个层中的任意第一层提取第一错误特征e1。此外，学习模块M可以通过包括在第一网络101中的多个层中的任意第二层提取第二错误特征e2。例如，第一错误特征e1可以包括与包括在胎儿的超声图像X中的胎儿的手相关联的特征。此外，第二错误特征e2可以包括与包括在胎儿的超声图像X中的胎儿的脚相关联的特征。

同时，在学习模块M中执行的提取错误特征的过程可以对应于上述第一网络101、第二网络102、第三网络103和/或特征分类网络106中执行的操作。

学习模块M可以计算第二域的第一虚拟信号，通过去除第一错误特征而获得第二域的第一虚拟信号(S62)。

例如，学习模块M可以通过反映在步骤S61中识别出的第一错误特征来生成第二域的第一虚拟信号Yv。参考图10，学习模块M可以组合通过去除与胎儿的手相关联的特征而获得的虚拟信号Yv。在学习模块M中执行的计算虚拟信号的过程可以对应于上述第二网络102中执行的操作。

同时，在根据本申请的第一实施例的学习方法中，学习模块M可以进一步通过使用在步骤S61中识别出的错误特征来生成第一错误信号。在这种情况下，生成错误信号的过程可以对应于上述第三网络103中执行的操作。

学习模块M可以确定第一虚拟信号的质量是否满足预定水平(S63)。

换句话说，学习模块M重复执行以下学习过程，直到在步骤S62中计算出的第一虚拟信号的质量达到预定水平，并且当确定虚拟信号的质量达到预定水平时终止学习过程。

在这种情况下，可以以各种方式确定虚拟信号的质量是否达到预定水平。

这里，预设终止条件可以是用户预先输入的条件。

例如，用户可以设置学习模块M，使得它重复学习过程预定次数。

可替换地，例如，用户可以设置学习过程，使得它被重复执行直到神经网络NN的损失函数不被减小。

可替换地，例如，学习模块M可以通过上述第五网络105获得关于虚拟信号与第二域的目的信号之间的相似度的信息。可以从上述数据库20获得目的信号。例如，目的信号可以是通过实际捕获新生婴儿的脸而获得的图像。关于相似度的信息指示虚拟信号对应于实际捕获的图像的概率，并且上面已经给出了其描述。因此，在下文中，将省略其详细描述。

当确定第一虚拟信号的质量满足预定水平时，学习模块M可以执行以下学习过程。

学习模块M可以将第一虚拟信号逆转换为第一域的第一重构信号(S64)。

例如，学习模块M可以将在步骤S62中生成的第一虚拟信号逆转换为第一域的第一重构信号。将第一虚拟信号逆转换为第一重构信号的过程可以对应于上述第四网络104中执行的操作。

此外，学习模块M可以使用第一重构信号和源信号之间的差来计算第一权重，并且与网络共享第一权重(S65)。

例如，第一权重可以是第一重构信号和源信号之间的差。

可替换地，例如，第一权重可以是通过相对于虚拟图像或任意FM区分第一重构信号和源信号X之间的差而计算出的梯度。例如，可以如等式3中所示计算梯度。

因此，由于第一权重反映了关于仅由第一虚拟信号Yv无法恢复的区域(例如，错误区域)的信息，因此可以引导关于包括在源信号中的错误区域的信息。

在这种情况下，源信号X可以是3D数据，其中三个R、G和B通道被合并，并且可以通过归一化调整用于每个通道的梯度g。可以用各种方法执行归一化。例如，权重We可以使用标准正态分布、使用每个通道的平均值和标准偏差来计算，如以下等式4所示：

这里，c表示R、G和B通道中的每一个。

此外，通过将sigmoid函数应用到梯度g的值(其使用等式4被归一化)，可以将权重We的值调整为具有0到1的范围(例如0.5到1的范围)，并且可以如下面的等式5计算We。

We＝sigmoid(|z|) [等式5]

换句话说，可以与第一网络到第五网络中的至少一个网络共享关于源信号X中的错误区域的信息。

学习模块M可以使用第一权重来生成包括第一错误特征的第二域的第二虚拟信号(S66)，并且可以将第二虚拟信号逆转换为第一域的第二重构信号(S67)。

例如，在使用神经网络NN执行的学习过程中，可以通过组合第一虚拟信号和第一错误信号来生成第二虚拟信号，以便维持源信号中内容的一致性。生成第二虚拟信号的过程可以对应于上面参考图7描述的生成上述目标信号T的方法。

此外，学习模块M可以使用上述第四网络104将第二虚拟信号逆转换为第一域的第二重构信号。也就是说，可以使用基于第二虚拟信号逆转换后的信号和源信号之间的差来比较逆转换后的信号中的内容与源信号中的内容的一致性。

学习模块M可以使用第二重构信号和源信号之间的差来调整神经网络的参数(S68)。

这里，可以根据由第二重构信号和源信号之间的差计算的损失函数来调整参数。

学习模块M可以将参数逆发送到上述第一神经网络101、第二神经网络102、第三神经网络103、第四神经网络104、第五神经网络105和/或特征分类网络106。因此，可以调整应用于包括在每个网络中的多个层的参数，并且可以去除多个层中的任何一个层。

也就是说，在根据本申请的第四实施例的学习方法中，可以通过重复执行将第一域的源信号转换为第二域的虚拟信号的过程来得出应用于包括在上述神经网络NN中的多个层的最佳参数。

因此，根据本申请的实施例的信号转换模块T可以提供虚拟信号，通过去除存在于源信号的错误特征、通过使用学习模块M发送的参数执行信号转换操作而获得虚拟信号。

在这种情况下，服务器10可以通过持续执行由学习模块M进行的机器学习过程而更新应用到神经网络NN的最佳参数。

结果是，在信号根据本申请的实施例的信号转换提供系统1中，可以改善虚拟信号的质量。

图11是用于描述根据本申请的第五实施例的信号转换学习过程的示意图。此外，图12是用于描述根据本申请的第五实施例的学习方法的示例的流程图，学习方法将第一域的源信号X转换为第二域的虚拟信号Yv，并提供第二域的虚拟信号Yv。

例如，可以通过位于上述服务器10中的学习模块M来执行根据本申请的第二实施例的学习方法，并且可以在学习模块M中提供上述第一网络到第五网络中的至少一个网络。

参考图11，在根据本申请第五实施例的学习方法中，在将第一域的源信号转换为第二域的虚拟信号的过程中，可以生成第一虚拟信号IA和第二虚拟信号IB的每个，以便维持源信号中的内容的一致性并学习与源信号中的错误区域相关联的特征。

例如，第一虚拟信号IA可以是通过仅选择与源信号中的用户的ROI相关联的特征而转换的信号。此外，例如，第二虚拟信号IB可以是通过使用源信号中的所有特征而转换的信号。

如图11所示，第一域的源信号可以是胎儿的超声图像IS，第二域的第一虚拟信号IA可以是通过组合超声图像中的胎儿的面部区域的特征以及新生婴儿的真实摄影图像的特征而获得的图像。此外，第二域的第二虚拟信号IB可以是通过组合包括超声图像中的错误特征的所有特征和新生婴儿的真实摄影图像的特征而获得的图像。

在下文中，将参考图12详细描述执行根据本申请的第五实施例的信号转换学习过程的步骤。

参考图12，根据本申请的第五实施例的学习方法可以包括：从第一域的源信号获得多个特征(S111)，生成使用第一特征的第一虚拟信号和使用所有多个特征的第二虚拟信号(S112)，将第二虚拟信号逆转换为第一域的重构信号，以及通过使用逆转换后的重构信号与源信号之间的差比较一致性(S113)，计算第一虚拟信号和第二域的目的信号之间的相似度(S114)，以及确定第一虚拟信号的质量是否满足预定水平(S115)。为了便于描述，示例性描述下面描述的步骤，并且可以以顺序的方式或并行的方式执行每个步骤。

在下文中，如参考图11所描述的，将详细描述第一域的源信号是胎儿的超声图像IS并且第二域的第一虚拟信号IA和第二虚拟信号IB是通过组合胎儿的超声图像和新生婴儿的真实摄影图像的特征而获得的图像的示例情况。

首先，如上所述，可以通过第一网络101输入至少一个超声图像IS，并且可以使用超声图像IS作为输入数据来训练学习模块M。

学习模块M可以从第一域的源信号获得多个特征(S111)。

例如，学习模块M可以从第一域的超声图像提取多个特征。例如，多个特征可以包括与用户的ROI相关联的第一特征(有效特征)和与至少一个错误区域相关联的第二特征(错误特征)。

]此外，例如，可以通过包括在第一网络101中的多个层中的任意层来提取多个特征，并且学习模块M中的提取错误特征的过程可以对应于在上述第一网络101中所执行的操作。

学习模块M可以生成使用第一特征的第一虚拟信号和使用所有多个特征的第二虚拟信号(S112)。

学习模块M可以在步骤S111中获得的多个特征当中区分第一特征和/或第二特征。例如，学习模块M可以使用预设标准或通过先前学习过程发送的参数，在多个特征当中选择与错误区域相关联的特征。

例如，第一特征可以包括多个特征当中的与胎儿的面部区域相关联的特征，并且可以是通过去除至少一个第二特征而获得的特征。例如，第一特征可以包括与胎儿的面部区域相关联的特征，诸如眼睛、鼻子、嘴巴、耳朵等，并且可以不包括除了胎儿的面部区域之外的特征，诸如手、脚等。

因此，学习模块M可以生成第一虚拟信号，在第一虚拟信号中通过使用上述第二网络102和/或第三网络103去除与胎儿的手和脚相关联的特征，并且生成包括与胎儿的手和脚相关联的特征的第二虚拟信号。

学习模块M可以将第二虚拟信号逆转换为第一域的重构信号，并且可以使用重构信号与源信号之间的差来比较一致性(S113)。

也就是说，学习模块M可以将在步骤S112中生成的第二虚拟信号逆转换为第一域的重构信号。将第二虚拟信号转换为重构信号的过程可以对应于在上述第四网络104中执行的操作，并因此将省略其详细描述。

例如，参考图11，学习模块M可以比较通过重构包括与胎儿的手相关联的特征的第二虚拟信号IB获得的重构图像I'S和源信号Is之间的差。

因此，学习模块M可以通过仅使用第二虚拟信号IB将逆转换后的重构信号I'S和源信号Is之间的差逆发送到神经网络NN，来维持源信号中内容的一致性。

此外，学习模块M可以区分第一虚拟信号和第二域的目的信号(S114)。

也就是说，学习模块M可以通过使用上述第五网络105，确定通过去除包括在源信号中的至少一个错误特征而获得的第一虚拟信号IA与第二域的目的信号IR之间的相似度。这里，相似度可以指虚拟信号与目的信号之间的定性特征的相似性。

例如，参考图11，学习模块M可以计算通过去除超声图像中与胎儿的手相关联的特征而获得的第一虚拟图像IB对应于新生婴儿的真实摄影图像IR的概率。因此，可以训练神经网络NN以便生成接近于真实摄影图像IR的虚拟图像，并因此可以进一步改善虚拟图像的质量。

此外，学习模块M可以确定第一虚拟信号的质量是否满足预定水平(S115)。

例如，学习模块M可以使用在步骤S114中确定的相似度来确定第一虚拟信号IA的质量是否满足预定水平，并且重复执行上述步骤，直到第一虚拟信号的质量达到预定水平。

可替换地，例如，学习模块M可以通过重复执行以上步骤S111到S114直到满足预设终止条件来更新用于生成具有期望质量的虚拟信号的参数。

这里，预设终止条件可以是用户预先输入的条件。

可替换地，例如，用户可以设置学习模块M，使得其重复上述步骤S111到S114预定次数。可替换地，例如，用户可以设置为使得重复执行以上步骤S111到S114，直到不减小神经网络NN的损失函数。

在这种情况下，当在步骤S115中确定第一虚拟信号的质量未达到预定水平时，学习模块M可以基于虚拟信号和损失函数来调整用于神经网络NN的多个层的参数。

因此，学习模块M可以将通过相应学习过程的上述步骤S113和S114得出的用于神经网络NN的多个层的参数发送到信号转换模块T。

另一方面，当在步骤S115中确定第一虚拟信号的质量确实达到预定水平时，学习模块M可以终止学习过程。

因此，在根据本申请的第五实施例的学习方法中，可以通过使用第一域的源信号中的所有特征进行转换的第二虚拟信号被逆转换为第一域的信号的过程，来训练源信号中的内容的一致性。此外，可以识别至少一个错误特征，并且可以区分通过去除错误特征而获得的第一虚拟信号IA与第二域的目的信号，并因此可以训练源信号中内容的一致性以生成第一虚拟信号，通过去除包括在源信号中的错误特征而获得第一虚拟信号。

也就是说，在根据本申请的第五实施例的学习方法中，可以重复执行通过将第一域的源信号转换为第二域的虚拟信号以及测量损失函数而调整参数的过程，并因此可以得出被应用于包括在上述神经网络NN中的多个层的最佳参数。

因此，根据本申请的实施例的信号转换模块T可以使用从学习模块M发送的参数来执行信号转换操作，并且提供具有预定水平或更高水平的质量的虚拟信号。在这种情况下，服务器10可以每隔预定时间段执行由学习模块M执行的机器学习过程，以更新被应用于神经网络NN的最佳参数。

同时，在本申请的上述实施例中，可以与以下过程中相同的方式执行学习：将第二域的虚拟信号逆转换为第一域的重构信号的过程，以及将第一域的源信号转换为第二域的虚拟信号的过程。

例如，如图11所示，可以执行学习使得区分通过将第二域的新生婴儿的真实摄影图像IR转换为第一域的胎儿的超声图像而获得的图像I'S与第一域的胎儿的超声图像IS。此外，可以将通过将转换为超声图像的图像I'S逆转换为第二域的真实摄影图像而获得的图像I'R与新生婴儿的真实摄影图像IR进行比较，并因此可以维持逆转换后的图像I'R和真实摄影图像IR中的内容的一致性。

结果，根据本申请的实施例的信号转换提供系统1可以重复执行上述学习过程，以将具有预定水平的质量的虚拟信号提供给用户装置30。

例如，在第一域的输入信号是胎儿的超声图像的情况下，即使当第一域的源图像中胎儿的脸被手、脚、胎盘和羊水的至少一个错误特征覆盖时，用户也可以获取通过去除错误特征而获得的第二域的虚拟图像。

为了便于解释，假设并描述了在服务器10中执行信号转换的功能。然而，上述信号转换的功能可以被提供为记录在计算机中的可读介质中。

也就是说，可以以可以通过各种计算机单元执行并记录在计算机可读介质中的程序指令的形式，实现根据本申请的实施例的转换信号的方法。计算机可读介质可以包括程序指令、数据文件、数据结构或其组合。记录在记录介质中的程序指令可以为本发明专门设计和准备，或者可以是计算机软件领域的技术人员可用的公知指令。记录介质包括专门用于存储和执行程序指令的硬件设备，例如，磁性介质(诸如硬盘、软盘和磁带)、光学介质(诸如光盘只读存储器(CD-ROM)或数字视频磁盘(DVD))、磁光介质(诸如软盘、ROM、随机存取存储器(RAM)或闪存)。程序指令的示例可以包括由编译器生成的机器代码和可以使用解释器在计算机中执行的高级语言代码。这样的硬件设备可以被配置为至少一个软件模块，以便执行本发明的操作，反之亦然。

根据本申请的实施例，可以输出通过去除包括在第一域的输入信号中的错误特征而获得的第二域的虚拟信号。

如上所述，尽管已经参考具体实施例和附图描述了实施例，但是本领域技术人员可以根据以上描述进行各种修改和变更。例如，当以不同于所描述的方法的顺序执行所描述的技术，和/或所描述的组件(诸如系统、结构、设备和电路)以不同于所描述的方法的形式耦合或组合时，或者用其他组件或等同物替代或替换，可能会获得适合的结果。

因此，在所附权利要求书的范围内的其他实现方式、其他实施例和等同方案也包括在将要描述的权利要求的范围内。

Claims (19)

1.一种转换信号的方法，方法包括：

接收第一域的源信号；

从源信号中识别错误特征和有效特征；

将第一域的源信号转换为第二域的第一虚拟信号，其中第一虚拟信号是其中已经去除包括在源信号中的至少一个第一错误特征的信号；以及

输出第一虚拟信号。

2.根据权利要求1所述的方法，其中，通过使用预训练的参数来生成第一虚拟信号，以便转换从其中去除源信号中的错误特征的第一虚拟信号。

3.根据权利要求2所述的方法，其中，预训练的参数被持续更新以改善虚拟信号的质量。

4.根据权利要求1所述的方法，方法进一步包括：

确定第一虚拟信号的质量是否满足预定水平；

其中如果第一虚拟信号的质量被确定为满足预定水平，则输出第一虚拟信号。

5.根据权利要求4所述的方法，其中如果第一虚拟信号的质量被确定为不满足预定水平，方法进一步包括：

将第一虚拟信号逆转换为第一域的第一重构信号；以及

从作为输入信号的第一重构信号生成第二虚拟信号，

其中重复上述步骤，直到虚拟信号的质量满足预定水平。

6.根据权利要求5所述的方法，其中，第二虚拟信号是其中进一步去除包括在源信号中的至少一个第二错误特征的信号。

7.根据权利要求1所述的方法，其中，通过将第一域的源信号组合到第二域内的目的信号的特征中来生成第一虚拟信号。

8.根据权利要求1所述的方法，其中，有效特征与用户预设的源信号中的感兴趣区域(ROI)相关联。

9.一种通过使用至少一个神经网络来执行转换信号的方法，方法包括：

从第一域的源信号中识别至少一个第一错误特征；

计算第二域的第一虚拟信号，已经从第一虚拟信号中去除包括在源信号中的第一错误特征；以及

确定第一虚拟信号的质量是否满足预定水平；

其中当第一虚拟信号的质量不满足预定水平时，方法进一步包括：

将第一虚拟信号逆转换为第一域的第一重构信号；以及

通过使用第一重构信号和源信号之间的差来计算第一权重，使得神经网络通过第一权重学习至少一个第一错误特征。

10.根据权利要求9所述的方法，其中当第一虚拟信号的质量不满足预定水平时，方法进一步包括：

通过使用第一权重来生成包括第一错误特征的第二域的第二虚拟信号；

将第二虚拟信号逆转换为第一域的第二重构信号；以及

通过使用第二重构信号和源信号之间的差来调整神经网络的参数。

11.根据权利要求9所述的方法，其中识别第一错误特征进一步包括：

从源信号获得一个或多个特征；以及

将特征分类为与有效特征相关联的第一特征和与错误特征相关联的第二特征。

12.根据权利要求9所述的方法，其中，通过将第一权重应用到从至少一个第一错误特征计算出的第一错误信号以及将第二权重应用到第一虚拟信号来生成第二虚拟信号。

13.根据权利要求12所述的方法，其中，基于第一权重来计算第二权重。

14.如权利要求9所述的方法，方法进一步包括：

计算第一虚拟信号和第二域的目的信号之间的相似度，其中学习神经网络以增加第一虚拟信号和目的信号之间的相似度。

15.一种通过使用至少一个神经网络来执行学习的方法，方法包括：

从第一域的输入信号获得多个特征；

通过仅使用多个特征中的第一特征来生成第二域的第一虚拟信号，以及通过使用多个特征来生成第二虚拟信号；

计算第一虚拟信号和第二域的目的信号之间的相似度；以及

通过使用从第二虚拟信号逆转换的第一重构信号和源信号之间的差来调整用于神经网络的参数。

16.根据权利要求15所述的方法，其中，重复执行上述步骤，直到第一虚拟信号的质量达到预定水平。

17.根据权利要求15所述的方法，其中，学习神经网络以增加第一虚拟信号和目的信号之间的相似度。

18.根据权利要求15所述的方法，其中，相似度是第一虚拟信号和目的信号之间的定性特征的相似性。

19.一种非暂时性计算机可读介质，存储使计算机执行根据权利要求1所述的方法的程序。

Images