CN110199300A - 用于自动编码器的模糊输入 - Google Patents

Abstract

本文公开了用于根据不确定性或噪声来降低维数并改善神经网络操作的系统、方法和装置。一种用于根据不确定性或噪声来降低维数并改善神经网络操作的方法包括接收包括多个样本的原始数据，其中每个样本包括多个输入特征。所述方法包括基于所述原始数据而生成模糊数据。所述方法包括将所述原始数据和所述模糊数据输入到神经网络自动编码器的输入层中。

Description

用于自动编码器的模糊输入

技术领域

本公开大体涉及用于训练和使用神经网络的方法、系统和设备，并且更具体地涉及向具有一个或多个自动编码器层的神经网络提供模糊输入。

背景技术

在过去的几十年中，维数再难一直是各种工程应用中众所周知的问题。因此，降维技术在许多研究领域中发挥非常重要的作用，尤其是在大数据和实时应用的时代。最近推出的“自动编码器”概念获得相当大量的关注并取得非常有希望的成果。然而，与传统的神经网络类似地，自动编码器是确定性结构，不太适合处理数据不确定性，而数据不确定性真实世界应用的非常重要的方面。

附图说明

参考以下附图描述本公开的非限制性和非穷尽性实现方式，其中除非另有说明，否则相同的附图标记在各个附图中指代相同的部分。参考以下描述和附图将更好地理解本公开的优点，在附图中：

图1是根据一个实现方式的示出模糊化层的示意性框图；

图2是根据一个实现方式的示出数据点和聚类的图形图；

图3是根据一个实现方式的示出聚类的图形图；

图4是根据一个实现方式的示出聚类和对应的隶属函数的图形图；

图5是根据一个实现方式的示出自动编码器的示意图；

图6是根据一个实现方式的示出深度自动编码器堆栈的创建的示意图；

图7是根据一个实现方式的示出自动编码器的模糊深度堆栈的示意图；

图8是根据一个实现方式的示出使用具有模糊输入的神经网络训练和处理数据的方法的示意流程图；以及

图9是根据一个实现方式的示出神经网络处理部件900的示例部件的示意性框图；

图10是根据一个实现方式的示出使用具有模糊输入的神经网络训练和处理数据的方法的示意流程图；以及

图11是根据一个实现方式的示出使用具有模糊输入的神经网络训练和处理数据的方法的示意流程图；以及

图12是根据一个实现方式的示出使用具有模糊输入的神经网络训练和处理数据的方法的示意流程图；以及

图13是根据一个实现方式的示出计算系统的示意性框图。

具体实施方式

申请人已经开发了利用模糊系统以便处理数据不确定性的系统、方法和装置。在一个实施例中，可以使用先前执行的模糊化步骤将模糊化输入添加到常规自动编码器。提出的多模型自动编码器可能能够融合清晰输入和自动生成的模糊输入。

根据一个示例实施例，一种用于根据不确定性或噪声来降低维数并改善神经网络操作的系统、装置或方法接收包括多个样本的原始数据，其中每个样本包括多个输入特征。该方法包括基于原始数据而生成模糊数据。该系统、装置或方法将原始数据和模糊数据输入到神经网络自动编码器的输入层中。

根据另一个示例实施例，一种系统、装置或方法基于用于至少一个隶属函数的样本而确定激活级别，其中隶属函数对应于基于训练数据而确定的组或聚类。该系统、装置或方法将样本的特征输入到神经网络的第一组输入节点，其中神经网络包括一个或多个自动编码器层和输入层，输入层包括第一组输入节点和第二组输入节点。该系统、装置或方法将激活级别输入到神经网络的第二组输入节点中。

根据又一个实施例，一种系统包括训练数据部件、聚类部件、隶属函数部件、激活级别部件、清晰输入部件和模糊输入部件。训练数据部件被配置为获得包括多个训练样本的原始数据。聚类部件被配置为识别原始数据内的多个组或聚类。隶属函数部件被配置为确定多个隶属函数，其中多个隶属函数包括用于多个组或聚类中的每一者的隶属函数。激活级别部件被配置为基于样本的特征而确定至少一个隶属函数的激活级别。清晰输入部件被配置为将样本的特征输入到自动编码器的第一组输入节点中。模糊输入部件被配置为将激活级别输入到自动编码器的第二组输入节点中。

自动编码器是神经网络的特殊情况，其旨在将其输入复制到其输出。它有一个输入层、一个隐藏层和一个输出层。按照定义，隐藏层中的单元数量低于输入层和输出层中的单元数量。输入层和输出层具有相同的大小。参见图5，示出了自动编码器的一般表示。除其它任务外，自动编码器还用于无监督学习、特征提取、降维和数据压缩。自动编码器一般用于构建尽可能类似于来自压缩的表示(例如，具有较少数量的输入的层)的输入的输出。它的结构允许容易地堆叠以创建深度自动编码器网络。或者，自动编码器可以用作其它结构的一部分，诸如分类器，其中添加用于受监督的学习的顺序层。

标准神经网络的主要问题之一是无法处理数据不确定性，即使经常使用用于随机行为的机制。给定用于处理数据不确定性的模糊系统的特性，至少一些实施例提出用于自动编码器的扩展结构，其通过添加多个输入来改善输入的压缩的表示，尤其在处理噪声数据时。在自动编码器的第一层(或输入层)处或之前，使用模糊化过程人工地生成添加的输入。至少一些实施例可以在许多配置中使用，并且透明地替换任何传统的自动编码器。

在一个实施例中，初始清晰输入(刚接收的原始数据或初始数据)像往常一样馈送自动编码器的第一层。然而，这些输入也为模糊系统提供由聚类算法的输出确定的结构。模糊系统的输出也用作自动编码器的第一层的输入，以造成对传统的自动编码器(相同的接口)的透明替代，但是更适合于不确定的数据。在一个实施例中，一组提出的自动编码器(或使用自动编码器训练的层)可以无缝地堆叠为具有一个或多个附加层的深度神经网络(DNN)结构，以用于执行适用的分类任务。本文公开的实施例提供显著益处。例如，分类任务的结果用提出的结构来显著地改善，尤其是对于噪声测试数据来说。

下面将结合附图来讨论进一步实施例和示例。

图1是示出模糊化层100的示意性框图，该模糊化层100可以用于将清晰数据和模糊数据输入到自动编码器或其它神经网络的输入层中。模糊化层100可以接收清晰数据。清晰数据可以包括传感器数据或由神经网络处理的其它数据(诸如用于分类)。对清晰数据(其可以包括大量标记的训练样本或未标记的训练样本)执行聚类102，并且生成描述聚类的隶属函数104。在一个实施例中，隶属函数的聚类102和生成104是单独地执行的，并且关于隶属函数的信息用于生成模糊输入。

在训练和/或使用神经网络期间，模糊化层100可以接收单个样本的特征作为清晰数据。基于清晰数据，隶属函数104用于生成每个隶属函数的激活级别。可以输出模糊化层100的融合的数据106。融合的数据可以包括初始清晰数据特征以及一个或多个附加的模糊数据输入。例如，如果每个样本包括50个特征，那么模糊化层100可以确定5个模糊特征。样本的50个特征以及5个模糊特征由模糊化层100输出到自动编码器或其它神经网络的输入节点。由模糊化层100生成的附加的模糊输入可能需要更大的自动编码器或更大数量(例如，在上面的示例中为55对50)的输入节点，但是所得的输出质量以及由一个或多个自动编码器层提供的维数降低可以提高输出的效率和质量。例如，包括使用模糊输入的自动编码器层的神经网络可以具有关于噪声或不确定数据的增强的稳健性。

由模糊化层100执行的模糊化过程可以包括两个一般步骤：(1)对训练集中的数据进行空间分组或聚类；(2)生成组或聚类的隶属函数。图2示出了训练样本的分组。具体地，二维样本(例如，各自具有两个特征的样本)相对于垂直轴线和水平轴线显示为点。聚类或分组算法或过程可以识别样本的第一聚类202、第二聚类204和第三聚类206。可以基于数据自动地确定样本的数量，或者可以由用户指定样本的数量。有许多已知的聚类算法可用于各种实施例，诸如基于分区的聚类算法、数据挖掘聚类算法、基于分级的聚类算法、基于密度的聚类算法、基于模型的聚类算法、基于网格的聚类算法等。示例聚类算法包括K均值、模糊聚类、具有噪声的应用的基于密度的空间聚类(DBSCAN)、K-mediods、使用分级结构的平衡迭代降低和聚类(BIRCH)等。所使用的聚类类型可以取决于数据类型、数据的期望用途或任何其它此类考虑。在一个实施例中，对大量标记的数据和/或未标记的数据单独地执行聚类，以在训练自动编码器网络或层之前生成聚类。作为聚类算法的结果，可以找到聚类的中心和在一个或多个维度中的直径或宽度。中心和/或宽度可以用于创建模糊隶属函数。

图3示出了可由对训练数据执行的聚类算法产生的三个聚类的图。三个聚类包括第一聚类302、第二聚类304和第三聚类306，它们相对于表示特征A的垂直轴线和表示特征B的水平轴线显示出。为了清楚起见，示出了聚类302、304、306，而没有表示样本的点。出于说明目的，仅示出了两个维度。然而，本文公开的原理和实施例也适用于具有数十、数百、数千、数百万或任何其它数量的特征的许多维度数据集。基于聚类302、304、306，可以生成隶属函数。同样，可以在基于包括标记的样本和/或未标记的样本的大量的训练数据而训练神经网络之前生成隶属函数。

图4图形地示出可基于图3的聚类302、304和306而生成的隶属函数。在一个实施例中，可以将聚类信息转换为隶属函数。例如，第一聚类302可以被转换为包括用于MF-A2和MF-B2的等式的隶属函数，第二聚类304可以被转换为包括用于MF-A1和MF-B1的隶属函数，并且第三聚类306可以被转换成包括用于MF-A3和MF-B3的等式的隶属函数，如图所示。图4将隶属函数描绘为高斯函数，因为它们匹配聚类的椭圆形状。然而，可以使用任何类型的隶属函数(例如，三角形、梯形、钟形、柯西形、正方形等)。在维度中的每一者中，隶属函数的中心与聚类的中心匹配。如前所述，所示的示例是针对2维数据(特征A和B)，但是可以适用于任何维数和任何数量的聚类。

基于隶属函数，可以确定特定样本的激活级别。在一个实施例中，可以指定用于确定激活级别的规则。对于图3和图4的所呈现的示例，我们可以创建多达9个模糊规则(即，除了已经存在的2个之外，还有输入到神经网络的9个模糊输入)。这些示例模糊规则可以构造如下：1)如果特征A是MF-A1，并且特征是MF-B1，那么(……)；2)如果特征A是MF-A1，并且特征是MF-B2，那么(……)；3)如果特征A是MF-A1，并且特征是MF-B3，那么(……)；……；9)如果特征A是MF-A3，并且特征是MF-B3，那么(……)。在大多数的情况下，未必需要最大数量的可能规则。每条规则的在前一张幻灯片中标记为(……)的输出是该规则的激活度。每个规则由关于隶属函数的输入的值激活。

举例来说，对于给定的规则，如果特征A是MF-A1，并且特征是MF-B1，那么(……)，如果样本的特征A的值恰好位于第二聚类304的中心上，并且样本的特征B的值恰好位于第二聚类304的中心上，那么规则的激活可以非常接近或等于1(最大隶属)。另一方面，如果样本值对于两个中心都非常远，那么激活度可以非常接近或等于0(最小隶属)。在一个实施例中，除其它技术外，规则的激活度可以通过在所有单独隶属之间的乘积来计算。因此，可从模糊化层中的清晰数据生成的附加的模糊数据将该特定数据样本的隶属反映到问题中的所有可能的聚类。再次，可以预先确定隶属函数和模糊规则，并且然后将其包括在模糊化层中，以用于处理清晰数据并生成模糊数据输入。

图5是示出传统的自动编码器500的示意图。自动编码器500包括具有与输出层504相同的数量的节点的输入层502。隐藏层506定位在输入层502与输出层504之间。在一个实施例中，可以训练自动编码器500，直到输出层504的输出匹配或达到在输入层502处的输入的所需的近似水平。

图6示出了深度自动编码器堆栈的创建。可以训练自动编码器500，直到输出充分地匹配或近似输入。然后，如600a所示，移除自动编码器500的输出层，并且添加附加的自动编码器600b。附加的自动编码器600b使用先前的自动编码器500的隐藏层作为输入层。然后可以训练附加的自动编码器600b，以产生基本上匹配或近似输入的输出。训练、解除输出层和添加附加层的过程可以根据需要重复多次以显著地降低维数。可以用就位的模糊化层(诸如图1中所示的)来执行自动编码器层的训练和添加，以在训练期间接收清晰数据并为每个样本生成模糊输入。

图7示出了具有模糊化层702的神经网络700。例如，在如关于先前附图讨论的训练自动编码器和/或分类层之后，所得到的自动编码器堆栈可以具有类似于神经网络700的结构。在一个实施例中，在用未标记的数据单独地训练每个自动编码器(无监督学习)之后，可以使用可用的标记的数据来微调自动编码器堆栈(监督学习)。在一个实施例中，当以无监督的方式训练自动编码器时，它们将尝试使用减少量的特征在输出处重新创建输入。因此，在训练期间，自动编码器将尝试将输出驱动得尽可能接近输入，而不需要关于其输出的任何外部反馈(不需要标记的数据)。在一个实施例中，在训练自动编码器或使用模糊化层702之前，处理一组训练数据，以产生聚类和隶属函数。然后，至少一些该数据可以包括在模糊化层702中，以用于在训练或真实世界使用期间输出要输入到自动编码器中的每个样本的模糊数据。

在训练之后，该结构可以包括模糊化层702和一个或多个自动编码器层704。可以在自动编码器层704的末端使用分类层706(例如，softmax分类器)，以反向传播在估计的输出(来自网络)与实际输出(来自标签)之间的现有误差。在该步骤之后，自动编码器现在可以获得有关输入的实际含义的信息，而不是仅将类似的数据分组在一起。当具有大量未标记的数据但几个的标记的样本时，这可能特别有用。例如，对于交通标志分类，四处行驶并用相机收集数小时数据要比手动地标记所有交通标志实例(可能包括它们的位置和含义)要容易得多。本文讨论的实施例可以在这种情况下实现高准确度训练，即使实际上仅标记了相对少量的交通标志。

本文公开的实施例可以在机器学习或其它神经网络用例中提供显著的益处和效用。例如，对于特征提取，可以仅用有限的特征来表示大量数据。对于数据压缩，在深度自动编码器堆栈的末端附近实现显著降低的维度，以导致更简单的分类层和改善的质量训练以及更短的训练时间。实施例还提供改善的降噪。例如，当压缩数据时，自动编码器摆脱不太重要的部分，其通常是噪声。实施例还改善了其它神经网络的初始化。具体地，自动编码器可以将类似的数据分组在一起并作为网络收敛的强力工具，而不是随机地初始化网络。用于自动编码器输入的模糊方法可以解决和改善所有这些用途，并且另外地能够在相同的少量空间中更好地表示数据，因为它向数据集添加了定性信息。模糊方法(模糊输入生成)可以尤其改善不确定性(例如，在训练期间从未见过的输入，即前一页、模糊度和噪声的示例)。

图8是示出用于使用具有模糊输入的神经网络训练和处理数据的方法800的示意流程图。方法800可以由一个或多个计算系统或由神经网络处理部件(诸如图9的神经网络处理部件900)执行。

方法800包括基于训练数据的主体而生成802聚类。例如，聚类算法可以用于识别和生成在训练数据内识别的一个或多个聚类的参数。方法800包括确定804用于聚类的隶属函数。方法800包括在模糊化层中存储806模糊规则或隶属函数。例如，隶属函数的等式或指示可以存储在模糊化层中，使得模糊化层可以用于基于单个样本(单个样本可以包括多个特征)而生成模糊输入。方法800包括使用模糊化层训练808一个或多个自动编码器层。例如，训练样本可以一次一个地输入到模糊化层中，然后模糊化层将初始训练样本数据(清晰数据)和生成的模糊输入输入到自动编码器的输入列中。反向传播可以用于训练自动编码器或自动编码器层，其中模糊化层就位。方法800包括使用自动编码器层和模糊化层来训练810一个或多个附加层。例如，在生成深度自动编码器堆栈之后，可以添加一个或多个分类层或其它层并输出。可以通过将样本输入到模糊化层种并反向传播误差以训练附加层的节点和深度自动编码器堆栈中的节点中的值来进行训练。方法800还包括使用模糊化层、自动编码器层和附加层来处理812真实世界样本。例如，在已经训练自动编码器层和附加层之后，可以使用神经网络来基于真实世界样本而提供分类、预测或其它输出。在一个实施例中，可以将真实世界样本输入到模糊化层中，使得即使在真实世界数据处理期间也可以生成模糊数据作为输入。

在一个实施例中，可以对大量的训练数据执行聚类。在已经确定聚类和隶属函数之后，可以一次一个地使用相同的样本以使用基于聚类和隶属函数而生成模糊输入的模糊化层来训练自动编码器层。然后，可以使用标记的训练数据训练自动编码器或附加层(例如，输出层或分类层)。因此，可以使用训练数据确定模糊化层的参数以产生模糊数据，确定一个或多个自动编码器层中的节点的值，和/或确定输出、分类或其它层中的节点的值。

转到图9，示出了根据一个实施例的示出神经网络处理部件900的部件的示意性框图。神经网络处理部件900可以使用根据本文讨论的实施例或功能中的任一者的神经网络来提供神经网络训练和/或数据处理。神经网络处理部件900包括训练数据部件902、聚类部件904、隶属函数部件906、激活级别部件908、清晰输入部件910、模糊输入部件912、分类部件914、训练部件916以及在线部件918。部件902至918仅以说明方式给出，并且可以不全部包括在所有实施例中。实际上，一些实施例可以仅包括部件902至918中的两者或更多者中的一者或任何组合。例如，部件902至918中的一些可以位于神经网络处理部件900外部或与神经网络处理部件900分离。

训练数据部件902被配置为获得包括多个训练样本的原始数据。例如，训练数据部件902可以存储或从存储器检索训练数据。聚类部件904被配置为识别原始数据内的多个组或聚类。聚类部件904可以对训练数据的全体(例如，训练数据的多个样本)执行聚类以确定数据如何聚类。隶属函数部件906被配置为确定多个隶属函数，其中多个隶属函数包括用于多个组或聚类中的每一者的隶属函数。在一个实施例中，聚类信息或隶属函数存储在神经网络的模糊化层或输入层中。可以在自动编码器的神经网络或神经网络的其它节点的任何训练之前确定聚类和/或隶属函数信息。

激活级别部件908被配置为基于样本的特征而确定至少一个隶属函数的激活级别。例如，激活级别部件908可以基于由隶属函数部件906确定的模糊规则或其它参数而确定激活级别。清晰输入部件910被配置为将样本的特征输入到自动编码器的第一组输入节点中，并且模糊输入部件912被配置为将激活级别输入到自动编码器的第二组输入节点中。例如，清晰输入和模糊输入可以逐个样本地输入到神经网络的输入节点中。在一个实施例中，模糊化层包括激活级别部件908、清晰输入部件910和模糊输入部件912。因此，在训练或在线使用期间的每个样本(具有多个特征)可以由激活级别部件908、清晰输入部件910和模糊输入部件912处理，以向神经网络提供输入。

分类部件914被配置为处理来自自动编码器层的输出并使用分类层生成和输出分类。分类层可以定位在深度自动编码器堆栈的输出处或附近，以提供对深度自动编码器堆栈的样本输入的分类。在一个实施例中，可以使用反向传播来训练分类部件914和神经网络的其它节点，以基于标记的样本数据而提供分类。

训练部件916是被配置为致使激活级别部件、清晰输入部件和模糊输入部件在训练一个或多个自动编码器级别期间对训练样本进行操作的训练部件。例如，可以在训练一个或多个自动编码器层期间和/或在使用标记的数据的训练期间使用模糊化层。在线部件918被配置为致使激活级别部件、清晰输入部件和模糊输入部件处理真实世界数据，以输入到包括一个或多个自动编码器级别的神经网络。例如，模糊化层可以用于处理真实世界样本来产生模糊数据，以用于输入到神经网络。在一个实施例中，可以在通过具有模糊化层的神经网络的在线处理数据期间不使用聚类部件904和隶属函数部件906。

图10是示出用于根据不确定性或噪声来降低维数并改善神经网络操作的方法1000的示意流程图。方法1000可以由计算系统或神经网络处理部件(诸如图9的神经网络处理部件900)执行。

该方法开始，并且神经网络处理部件900接收1002包括多个样本的原始数据，其中每个样本包括多个输入特征。激活级别部件908基于原始数据而生成1004模糊数据。例如，模糊数据可以包括隶属函数或聚类的激活级别。清晰输入部件910和模糊输入部件912将原始数据和模糊数据输入1006到神经网络自动编码器的输入层中。

图11是示出用于使用神经网络处理数据的方法1100的示意流程图。方法1100可以在真实世界输入的训练和/或处理期间使用。方法1100可以由计算系统或神经网络处理部件(诸如图9的神经网络处理部件900)执行。

方法1100开始，并且激活级别部件908基于至少一个隶属函数的样本而确定1102激活级别，其中隶属函数对应于基于训练数据而确定的组或聚类。清晰输入部件910将用于样本的特征输入1104到神经网络的第一组输入节点中。在一个实施例中，神经网络包括一个或多个自动编码器层和输入层，该输入层具有第一组输入节点和第二组输入节点。模糊输入部件912将激活级别输入1106到神经网络的第二组输入节点中。

图12是示出用于使用神经网络处理数据的方法1200的示意流程图。方法1200可以在真实世界输入的训练和/或处理期间使用。方法1200可以由计算系统或神经网络处理部件(诸如图9的神经网络处理部件900)执行。

方法1200开始，训练数据部件902获得1202包括多个训练样本的原始数据。聚类部件904识别1204原始数据内的多个组或聚类。隶属函数部件906确定1206多个隶属函数，其中多个隶属函数包括用于多个组或聚类中的每一者的隶属函数。激活级别部件908基于样本的特征而确定1208至少一个隶属函数的激活级别。清晰输入部件910将样本的特征输入1210到自动编码器的第一组输入节点中。模糊输入部件912将激活级别输入1212到自动编码器的第二组输入节点中。

现在参考图13，示出了示例计算装置1300的框图。计算装置1300可以用于执行各种程序，诸如本文讨论的那些程序。计算装置1300可以用作神经网络处理部件900等。计算装置1300可以执行如本文所讨论的各种功能，诸如本文所述的训练、聚类、模糊化和处理功能。计算装置1300可以是各种计算装置中的任一种，诸如台式计算机、内置式计算机、车辆控制系统、笔记本计算机、服务器计算机、手持式计算机、膝上型计算机等。

计算装置1300包括一个或多个处理器1302、一个或多个存储器装置1304、一个或多个接口1306、一个或多个大容量存储装置1308、一个或多个输入/输出(I/O)装置1310以及显示装置1330，所有这些都耦合到总线1312。处理器1302包括执行存储在存储器装置1304和/或大容量存储装置1308中的指令的一个或多个处理器或控制器。处理器1302还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。

存储器装置1304包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM)1314)和/或非易失性存储器(例如，只读存储器(ROM)1316)。存储器装置1304还可以包括可重写ROM，诸如快闪存储器。

大容量存储装置1308包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，快闪存储器)等。如图13所示，特定大容量存储装置是硬盘驱动器1324。各种驱动器也可以包括在大容量存储装置1308中，以使得能够从各种计算机可读介质读出和/或向各种计算机可读介质写入。大容量存储装置1308包括可移除介质1326和/或不可移除介质。

I/O装置1310包括允许将数据和/或其它信息输入到计算装置1300或从计算装置1300检索数据和/或其它信息的各种装置。示例I/O装置1310包括光标控制装置、键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器等。

显示装置1330包括能够向计算装置1300的一个或多个用户显示信息的任何类型的装置。显示装置1330的示例包括监视器、显示终端、视频投影装置等。

接口1306包括允许计算装置1300与其它系统、装置或计算环境交互的各种接口。示例接口1306可以包括任何数量的不同的网络接口1320，诸如到局域网(LAN)、广域网(WAN)、无线网络和互联网的接口。其它接口包括用户接口1318和外围装置接口1322。接口1306还可以包括一个或多个用户接口元素1318。接口1306还可以包括一个或多个外围接口，诸如用于打印机、定点装置(鼠标、跟踪板、或现在为本领域的普通技术人员所知或以后发现的任何合适的用户接口)、键盘等的接口。

总线1312允许处理器1302、存储器装置1304、接口1306、大容量存储装置1308和I/O装置1310以及耦合到总线1312的其它装置或部件彼此通信。总线1312表示几种类型的总线结构中的一种或多种，诸如系统总线、PCI总线、IEEE总线、USB总线等。

出于说明目的，程序和其它可执行程序部件在本文中被示出为离散框，但是应当理解，这些程序和部件可以在各个时间上驻留在计算装置1300的不同的存储部件中并由处理器1302执行。或者，本文所述的系统和过程可以用硬件或硬件、软件和/或固件的组合来实现。例如，可以对一个或多个专用集成电路(ASIC)进行编程以执行本文所述的系统和程序中的一者或多者。

示例

以下示例涉及另外实施例。

示例1是一种用于根据不确定性或噪声来降低维数并改善神经网络操作的方法。所述方法包括接收包括多个样本的原始数据，其中每个样本包括多个输入特征。所述方法包括基于所述原始数据而生成模糊数据。所述方法包括将所述原始数据和所述模糊数据输入到神经网络自动编码器的输入层中。

在示例2中，如示例1的生成所述模糊数据包括基于包括多个样本的训练数据的主体而确定多个聚类。

在示例3中，如示例2的生成所述模糊数据还包括生成多个隶属函数，其中所述多个隶属函数包括用于所述多个聚类中的每一者的隶属函数。

在示例4中，如示例3的生成所述模糊数据包括针对特定样本计算所述多个隶属函数中的一者或多者的激活度，其中所述特定样本包括训练样本或真实世界样本。

在示例5中，如示例4的输入所述模糊数据包括将所述多个隶属函数中的一者或多者的所述激活度输入到所述自动编码器的输入层中的一个或多个输入节点中。

在示例6中，如示例1的生成所述模糊数据包括计算基于训练数据而确定的一个或多个隶属函数的激活度，其中所述特定样本包括训练样本或真实世界样本。

在示例7中，如示例1或6中任一个的输入所述模糊数据包括将所述多个隶属函数中的一者或多者的所述激活度输入到所述自动编码器的输入层中的一个或多个输入节点中。

在示例8中，如示例1至7中任一个的输入所述原始数据和所述模糊数据包括在训练自动编码器期间输入。

在示例9中，如示例1至8中任一个的方法还包括：移除所述自动编码器的输出层并添加一个或多个附加的神经网络层；以及训练剩余的自动编码器层和所述一个或多个附加的神经网络层以实现所期望的输出。

在示例10中，如示例9的所述一个或多个附加的神经网络层包括一个或多个分类层，并且其中所述所期望的输出包括分类。

在示例11中，如示例1至10中任一个的方法还包括在训练期间堆叠一个或多个自动编码器层以创建深度自动编码器堆栈。

示例12是一种系统，所述系统包括训练数据部件、聚类部件、隶属函数部件、激活级别部件、清晰输入部件和模糊输入部件。所述训练数据部件被配置为获得包括多个训练样本的原始数据。所述聚类部件被配置为识别所述原始数据内的多个组或聚类。所述隶属函数部件被配置为确定多个隶属函数，其中所述多个隶属函数包括用于所述多个组或聚类中的每一者的隶属函数。所述激活级别部件被配置为基于样本的特征而确定至少一个隶属函数的激活级别。所述清晰输入部件被配置为将所述样本的特征输入到自动编码器的第一组输入节点中。所述模糊输入部件被配置为将所述激活级别输入到所述自动编码器的第二组输入节点中。

在示例13中，如示例12的所述样本包括所述多个训练样本中的训练样本。所述系统还包括训练部件，所述训练部件被配置为致使所述激活级别部件、所述清晰输入部件和所述模糊输入部件在训练一个或多个自动编码器级别期间对所述训练样本进行操作。

在示例14中，如示例12的所述样本包括真实世界样本。所述系统还包括在线部件，所述在线部件被配置为收集所述真实世界样本。所述在线部件进一步被配置为致使所述激活级别部件、所述清晰输入部件和所述模糊输入部件处理真实世界数据，以输入到包括一个或多个自动编码器级别的神经网络。

在示例15中，如示例12至14中任一个的所述系统还包括分类部件，所述分类部件被配置为处理来自自动编码器层的输出和使用分类层生成并输出分类，所述分类层包括一个或多个节点。

在示例16中，如示例12至15中任一个的所述清晰输入部件和所述模糊输入部件被配置为输出到神经网络的输入层，所述神经网络包括多个自动编码器层。

在示例17中，如示例16的所述神经网络还包括一个或多个分类层，其中所述分类层提供指示用于样本的清晰输入的分类的输出。

示例18是一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器基于用于至少一个隶属函数的样本而确定激活级别，其中所述隶属函数对应于基于训练数据而确定的组或聚类。所述指令致使所述一个或多个处理器将样本的特征输入到神经网络的第一组输入节点，其中所述神经网络包括一个或多个自动编码器层和输入层，所述输入层包括所述第一组输入节点和第二组输入节点。所述指令致使所述一个或多个处理器将所述激活级别输入到所述神经网络的所述第二组输入节点中。

在示例19中，如示例18的所述指令还致使所述一个或多个处理器基于所述训练数据而确定多个组或聚类，其中所述多个组或聚类包括所述组或聚类。

在示例20中，如示例19的所述指令还致使所述一个或多个处理器针对所述多个组或聚类生成多个隶属函数，其中所述多个隶属函数包括所述隶属函数。

示例21是一种包括用于实施示例1至20中任一个的方法或实现示例1至20中任一个的系统或设备的构件的系统或装置。

在以上公开内容中，已经参考附图，该附图形成本公开的一部分，并且其中以示出的方式示出可实践本公开的特定实现方式。应当理解，在不脱离本公开的范围的情况下，可以利用其它实现方式，并且可以做出结构变化。在说明书中对“一个实施例”、“实施例”、“示例性实施例”等的提及指示所述的实施例可以包括特定特征、结构或特性，但是每一个实施例都可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，结合其它实施例实现这样的特征、结构或特性都被认为是在本领域的技术人员的知识范围内。

本文公开的系统、装置和方法的实现方式可以包括或利用包括计算机硬件(诸如像一个或多个处理器和系统存储器，如本文所讨论)的专用或通用计算机。在本公开的范围内的实现方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这种计算机可读介质可以是可由通用或专用计算机系统存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、快闪存储器、相变存储器(“PCM”)、其它类型的存储器、其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈计算机可执行指令或数据结构的形式并可由通用或专用计算机存取的所期望的程序代码手段的任何其它介质。

本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其它电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的组合)向计算机传递或提供信息时，计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于携带呈计算机可执行指令或数据结构的形式的所期望的程序代码手段，并且可以由通用或专用计算机存取。上述项的组合也应当包括在计算机可读介质的范围内。

计算机可执行指令包括例如在处理器中执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或甚至源代码。虽然已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中限定的主题不一定限于以上描述的所述的特征或动作。相反，所述的特征和动作被公开为实现权利要求的示例形式。

本领域的技术人员将了解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬接线数据链路、无线数据链路或通过硬接线与无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。

此外，在适当时，本文所述的功能可以在以下一个或多个中执行：硬件、软件、固件、数字部件或模拟部件。例如，可以对一个或多个专用集成电路(ASIC)进行编程以执行本文所述的系统和程序中的一者或多者。某些术语贯穿描述和权利要求使用以指代特定系统部件。术语“模块”和“部件”用在某些部件的名称中以反映它们在软件、硬件、电路、传感器等中的实现独立性。本领域的技术人员将了解，可以用不同的名称来提及部件。本文件并不意图区分名称不同但功能相同的部件。

应当注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或以上项的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中提供用于说明目的而不是旨在进行限制。本公开的实施例可以在如相关领域的技术人员将获知的其它类型的装置中实现。

本公开的至少一些实施例涉及计算机程序产品，其包括存储在任何计算机可用介质上的这种逻辑(例如，呈软件的形式)。这种软件在一个或多个数据处理装置中执行时致使装置如本文所述的进行操作。

虽然在上面已经描述了本公开的各种实施例，但是应当理解，这些实施例仅以举例的方式被呈现，而不是进行限制。对于相关领域的技术人员将显而意见的是，可以在不脱离本公开的精神和范围的情况下作出在形式和细节上的各种改变。因此，本公开的广度和范围不应受上述示例性实施例中的任一者的限制，而仅应根据以下权利要求及其等同物限定。已经出于图示和描述目的而呈现了以上描述。它不旨在进行穷举或将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，任何或所有前述替代实现方式都可以以所期望的任何组合使用来形成本公开的附加混合实现方式。

此外，虽然已经描述和示出本公开的特定实现方式，但是本公开不限于如此描述和示出的部分的特定形式或布置。本公开的范围将由本文所附权利要求、这里提交的和在不同申请中的任何未来权利要求及其等同物限定。

Claims (20)

1.一种用于根据不确定性或噪声来降低维数并改善神经网络操作的方法，所述方法包括：

接收包括多个样本的原始数据，其中每个样本包括多个输入特征；

基于所述原始数据而生成模糊数据；以及

将所述原始数据和所述模糊数据输入神经网络自动编码器的输入层中。

2.如权利要求1所述的方法，其中生成所述模糊数据包括基于包括多个样本的训练数据的主体而确定多个聚类。

3.如权利要求2所述的方法，其中生成所述模糊数据还包括生成多个隶属函数，其中所述多个隶属函数包括用于所述多个聚类中的每一者的隶属函数。

4.如权利要求3所述的方法，其中生成所述模糊数据包括针对特定样本计算所述多个隶属函数中的一者或多者的激活度，其中所述特定样本包括训练样本或真实世界样本。

5.如权利要求4所述的方法，其中输入所述模糊数据包括将所述多个隶属函数中的一者或多者的所述激活度输入到所述自动编码器的输入层中的一个或多个输入节点中。

6.如权利要求1所述的方法，其中生成所述模糊数据包括计算基于训练数据而确定的一个或多个隶属函数的激活度，其中所述特定样本包括训练样本或真实世界样本。

7.如权利要求6所述的方法，其中输入所述模糊数据包括将所述多个隶属函数中的一者或多者的所述激活度输入到所述自动编码器的输入层中的一个或多个输入节点中。

8.如权利要求1所述的方法，其中输入所述原始数据和所述模糊数据包括在训练自动编码器期间输入。

9.如权利要求1所述的方法，所述方法还包括：

移除所述自动编码器的输出层并添加一个或多个附加的神经网络层；以及

训练剩余的自动编码器层和所述一个或多个附加的神经网络层以实现所期望的输出。

10.如权利要求9所述的方法，其中所述一个或多个附加的神经网络层包括一个或多个分类层，并且其中所述所期望的输出包括分类。

11.如权利要求1所述的方法，所述方法还包括在训练期间堆叠一个或多个自动编码器层以创建深度自动编码器堆栈。

12.一种系统，所述系统包括：

训练数据部件，所述训练数据部件被配置为获得包括多个训练样本的原始数据；

聚类部件，所述聚类部件被配置为识别所述原始数据内的多个组或聚类；

隶属函数部件，所述隶属函数部件被配置为确定多个隶属函数，其中所述多个隶属函数包括用于所述多个组或聚类中的每一者的隶属函数；

激活级别部件，所述激活级别部件被配置为基于样本的特征而确定至少一个隶属函数的激活级别；

清晰输入部件，所述清晰输入部件被配置为将所述样本的特征输入到自动编码器的第一组输入节点中；以及

模糊输入部件，所述模糊输入部件被配置为将所述激活级别输入到所述自动编码器的第二组输入节点中。

13.如权利要求12所述的系统，其中所述样本包括所述多个训练样本中的训练样本，所述系统还包括训练部件，所述训练部件被配置为致使所述激活级别部件、所述清晰输入部件和所述模糊输入部件在训练一个或多个自动编码器级别期间对所述训练样本进行操作。

14.如权利要求12所述的系统，其中所述样本包括真实世界样本，所述系统还包括在线部件，所述在线部件被配置为收集所述真实世界样本，所述在线部件进一步被配置为致使所述激活级别部件、所述清晰输入部件和所述模糊输入部件处理真实世界数据，以输入到包括一个或多个自动编码器级别的神经网络。

15.如权利要求12所述的系统，所述系统还包括分类部件，所述分类部件被配置为处理来自自动编码器层的输出和使用分类层生成并输出分类，所述分类层包括两个或更多个节点。

16.如权利要求12所述的系统，其中输入所述清晰输入部件和所述模糊输入部件被配置为输出到神经网络的输入层，所述神经网络包括多个自动编码器层。

17.如权利要求16所述的系统，其中所述神经网络还包括分类层，其中所述分类层提供指示用于样本的清晰输入的分类的输出。

18.一种计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器：

基于用于至少一个隶属函数的样本而确定激活级别，其中所述隶属函数对应于基于训练数据而确定的组或聚类；

将样本的特征输入到神经网络的第一组输入节点中，其中所述神经网络包括一个或多个自动编码器层和输入层，所述输入层包括所述第一组输入节点和第二组输入节点；以及

将所述激活级别输入到所述神经网络的所述第二组输入节点中。

19.如权利要求18所述的计算机可读存储介质，其中所述指令还致使所述一个或多个处理器基于所述训练数据而确定多个组或聚类，其中所述多个组或聚类包括所述组或聚类。

20.如权利要求19所述的计算机可读存储介质，其中所述指令还致使所述一个或多个处理器针对所述多个组或聚类生成多个隶属函数，其中所述多个隶属函数包括所述隶属函数。