CN105320986A - 神经网络训练方法和设备及数据处理设备 - Google Patents

Abstract

本发明提供一种神经网络训练方法和设备及数据处理设备。基于训练数据的神经网络训练方法包括：接收包括序列数据的训练数据，从神经网络中的隐藏节点选择参考隐藏节点。所述方法还包括：基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

Description

神经网络训练方法和设备及数据处理设备

技术领域

以下描述涉及神经网络训练方法、神经网络训练设备和数据处理设备。

背景技术

作为解决将输入图案分类为预定组的问题的方法，将人类所拥有的高效的图案识别方法应用于计算机的研究正活跃地进行。正在进行的研究的一种形式涉及通过数学表达式对人类神经细胞的生物特性进行建模而获得的人工神经网络。为了解决该问题，人工神经网络可使用基于人类的学习能力构建的算法。基于所述算法，人工神经网络可生成输入图案与输出图案之间的映射，该生成可表示人工神经网络具有学习能力。此外，人工神经网络可具有泛化能力，从而可基于学习结果生成关于在学习处理中未使用过的输入图案相对正确的输出。

发明内容

提供本发明内容来以简化的形式介绍在下面的具体实施方式中进一步描述的对构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用来帮助确定所要求保护的主题的范围。

在一总体方面，提供一种基于训练数据的神经网络训练方法，所述方法包括：接收包括序列数据的训练数据；从神经网络中的隐藏节点选择参考隐藏节点；基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

可在基于一项序列数据的神经网络的训练期间排除参考隐藏节点。

选择步骤可包括：从隐藏节点随机选择参考隐藏节点。

选择步骤可包括：响应于基于一项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；训练步骤可包括：基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。

序列数据可包括语音数据、图像数据、生物数据和手写数据中的任意一个或任意组合。

所述方法还可包括：基于训练结果更新应用于神经网络的连接权重。

训练步骤可包括：基于预定重复次数控制神经网络重复学习训练数据。

神经网络可为递归神经网络，并可包括多个隐藏层。

一种非暂时性计算机可读存储介质可包括程序，所述程序包括用于使计算机执行所述方法的指令。

在另一总体方面，提供一种基于训练数据的神经网络训练方法，所述方法包括：接收包括序列数据的训练数据；从神经网络中的隐藏节点选择参考隐藏节点；在基于一项序列数据的神经网络的训练期间，通过从隐藏节点排除参考隐藏节点来训练神经网络。

通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点可与之后时间间隔中的隐藏节点相连接；并且可忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

选择步骤可包括：响应于基于所述项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；训练步骤可包括：基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。

在另一总体方面，提供一种基于训练数据的神经网络训练设备，所述设备包括：训练数据存储器，被配置为存储包括序列数据的训练数据；神经网络训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。

神经网络训练器可被配置为：响应于基于所述项序列数据的神经网络的训练结束，在基于另一项序列数据的神经网络的训练期间，通过从隐藏节点排除其他参考隐藏节点来训练神经网络。

在另一总体方面，提供一种数据处理设备，包括：训练器，被配置为通过在基于一项序列数据的神经网络的训练期间，从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。

可忽略参考隐藏节点与上层中的节点之间的连接。

可忽略参考隐藏节点与之后时间间隔中的节点之间的连接。

训练器可被配置为：在基于所述项序列数据的神经网络的训练期间，通过从每个时间间隔中的隐藏节点排除相同的参考隐藏节点来训练神经网络。

从以下具体实施方式、附图和权利要求，其它特征和方面将是清楚的。

附图说明

图1是示出神经网络训练设备的示例的示图。

图2和图3是示出在神经网络训练设备中基于序列数据训练神经网络的示例的示图。

图4是示出神经网络训练方法的示例的流程图。

图5是示出神经网络训练方法的另一示例的流程图。

图6是示出数据处理设备的示例的示图。

贯穿附图和具体实施方式，除非另外描述或规定，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不必成比例，并且为了清楚、说明和方便起见，可夸大附图中元件的相对尺寸、比例和绘示。

具体实施方式

提供以下详细描述来帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在此描述的系统、设备和/或方法的各种改变、修改及等同物对本领域的普通技术人员而言将是清楚的。所描述的处理步骤和/或操作的进展是示例；然而，除了必需按特定顺序发生的步骤和/或操作之外，步骤和/或操作的顺序不限于在此阐述的顺序，并且可如本领域中所知的那样改变。此外，为了更加清楚和简明，可省略对本领域的普通技术人员公知的功能和构造的描述。

在此描述的特征可以以不同的形式来实现，并且不应被解释为限于在此描述的示例。相反地，提供在此描述的示例，使得本公开将是全面而完整的，并且在此描述的示例将向本领域的普通技术人员传达本公开的全部范围。

图1是示出神经网络训练设备100的示例的示图。神经网络训练设备100训练神经网络或人工神经网络。神经网络可以是通过软件或硬件实施的通过使用由连接线连接的多个人工神经元来模拟生物系统的计算能力的识别模型。

神经网络的识别模型可识别序列数据，可用于诸如语音识别、图像识别、身体状态识别和手写识别的领域。序列数据可指具有时间性或序列的数据，例如，语音数据、图像数据、生物(biometric)数据、手写数据和/或其它类型的数据。例如，神经网络的识别模型可识别输入语音数据中的内容或图像中出现的图形。此外，神经网络的识别模型可通过分析生物信号(例如，心电图(ECG)、脑电图(EEG)和/或其它类型的信号)识别用户的身体状态，并可通过分析用户的手势识别手写输入。作为一个示例，神经网络的识别模型可用于基于在脱氧核糖核酸(DNA)测序装置中测得的信号来估计恰当的DNA序列。

具有神经元的简化的生物功能的人工神经元可用于神经网络，并可通过具有连接权重的连接线互相连接。连接权重可以是连接线的预定值，并还可被表示为连接强度。神经网络可使用人工神经元执行人类认知功能或训练处理。人工神经元还可被称为节点。

神经网络可包括多个层。例如，神经网络可包括输入层、隐藏层和输出层。输入层可接收输入以执行训练，并将接收到的输入传输到隐藏层。输出层可基于从隐藏层的节点接收的信号生成神经网络的输出。隐藏层可设置在输入层和输出层之间，以将通过输入层传输的训练数据改变为容易预测的值。包括在输入层和隐藏层中的节点可通过具有连接权重的连接线互相连接，包括在隐藏层和输出层中的节点可通过具有连接权重的连接线互相连接。输入层、隐藏层和输出层的每个可包括多个节点。

神经网络可包括多个隐藏层。包括多个隐藏层的神经网络可被称为深度神经网络，深度神经网络的训练可被称为深度学习。包括在隐藏层中的节点可被称为隐藏节点。之前时间间隔(优选地，前一时间间隔)中的隐藏节点的输出可与当前时间间隔的隐藏节点相连接。此外，当前时间间隔中的隐藏节点的输出可与之后时间间隔(优选地，下一时间间隔)的隐藏节点相连接。在不同时间间隔的隐藏节点间具有递归连接的神经网络可被称为递归神经网络。

神经网络训练设备100可通过监督学习训练神经网络。监督学习可以是这样的方法：输入训练数据和相应于训练数据的输出数据，并更新连接线的连接权重，从而输出相应于训练数据的输出数据。例如，神经网络训练设备100可通过反向传播学习、德尔塔规则和/或本领域普通技术人员所知的其它方法来更新人工神经元间的连接权重。

反向传播学习可以是这样的方法：通过对训练数据执行正演计算来估计误差，通过沿从输出层到隐藏层到输入层的方向反向行进来传播估计的误差，从而更新连接权重以减小误差。可沿从输入层到隐藏层到输出层的方向执行神经网络处理。相反地，在反向传播学习的处理中，可沿从输出层到隐藏层到输入层的方向执行连接权重更新。

神经网络训练设备100可定义目标函数以测量与当前设置的连接权重的最优的接近度，基于目标函数的结果改变连接权重，并重复执行训练。例如，目标函数可以是用于计算相应于期望的输出的期望值与由神经网络基于训练数据输出的实际输出值之间的误差的误差函数。神经网络训练设备100可更新连接权重，以减小误差函数的值。

参照图1，神经网络训练设备100包括：训练数据存储器110和神经网络训练器120。训练数据存储器110存储训练数据。训练数据可包括序列数据，例如，语音数据、图像数据、生物数据和/或手写数据。例如，生物数据可包括EEG、ECG、肌电图(EMG)、眼电图(EOG)、脉搏和/或本领域普通技术人员所知的其它生物数据。训练数据存储器110可存储从外部源接收的训练数据，并将存储的训练数据提供给神经网络训练器120。神经网络训练器120基于训练数据训练神经网络。

神经网络训练器120可从训练数据检测特征值。例如，神经网络训练器120可提取基于时间而变化的相对变化作为特征值。神经网络训练器120可从训练数据充分获取特征值，并基于获取的特征值训练神经网络。

例如，当训练数据为语音数据时，训练数据存储器110可存储相应于“音量升高”、“音量降低”和“返回之前频道”的语音数据。神经网络训练器120可从语音数据提取特征值，并基于提取的特征值训练神经网络。可基于预定时间的单位来划分语音数据，划分的语音数据可被顺序地输入到神经网络。

神经网络训练器120可基于从多个隐藏节点中排除至少一个参考隐藏节点的训练图案来训练神经网络。在一项序列数据的训练处理期间训练图案可持续不变，即，基于一项序列数据的神经网络的训练。神经网络可以是具有在不同时间间隔的隐藏节点之间的连接的递归神经网络，并且可包括多个隐藏层。在连续的时间间隔中，从当前时间间隔的隐藏层输出的输出值可被输入到之后时间间隔的隐藏层。

神经网络训练器120可基于通过从包括在神经网络的隐藏层中的隐藏节点排除参考隐藏节点而获得的剩余隐藏节点来训练神经网络。可在一项序列数据的训练处理期间持续地排除相同的参考隐藏节点。

神经网络训练器120可从隐藏节点随机选择参考隐藏节点。排除参考隐藏节点的训练图案可在一项序列数据的训练处理期间被相同地保持。神经网络训练器120可在每次作为训练目标输入的序列数据改变时，随机改变训练图案。

参考隐藏节点可以是在序列数据的训练处理期间被排除的隐藏节点。可忽略参考隐藏节点与上层的节点之间的连接以及参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。上层可包括输出层或设置于包括参考隐藏节点的隐藏层的上方位置的不同隐藏层。当忽略参考隐藏节点与其它节点之间的连接时，在实践中可不将参考隐藏节点的输出输入到所述其它节点，并且参考隐藏节点可将0值作为输出来输出到所述其它节点。所述其它节点可包括上层的节点或之后时间间隔的隐藏节点。通过从包括在隐藏层中的隐藏节点排除参考隐藏节点而获得的剩余隐藏节点可与所述之后时间间隔的隐藏节点相连接。

当一项序列数据的训练结束时，神经网络训练器120可改变训练图案，并开始另一项序列数据的训练处理。神经网络训练器120可从包括在神经网络中的隐藏节点随机重新选择参考隐藏节点，并基于通过排除重新选择的参考隐藏节点而获得的剩余隐藏节点来训练神经网络。

例如，当神经网络被训练以学习语音数据“音量升高”时，神经网络训练器120可从包括在神经网络中的隐藏节点选择将被排除的参考隐藏节点，并基于通过排除选择的参考隐藏节点而获得的剩余隐藏节点来训练神经网络学习语音数据“音量升高”。在神经网络被训练以学习语音数据“音量升高”的同时，可持续忽略选择的参考隐藏节点。当语音数据“音量升高”的训练处理结束时，并且当与之后的序列数据相应的语音数据“音量降低”的训练处理开始时，神经网络训练器120可从隐藏节点重新选择在该训练处理期间将被排除的参考隐藏节点。之后，神经网络训练器120可在持续忽略重新选择的参考隐藏节点的同时，执行语音数据“音量降低”的训练处理。

神经网络训练器120可基于序列数据的训练结果调整应用于神经网络的连接权重。神经网络训练器120可通过比较针对训练数据的期望的期望值和从神经网络的输出层生成的输出值来计算误差，并可调整应用于神经网络的识别模型的连接权重以减小误差。神经网络训练器120可基于预设的重复次数控制神经网络重复学习包括在训练数据中的所有项序列数据。

神经网络训练器120可使用部分隐藏节点代替所有隐藏节点来训练神经网络，从而有效地减小过拟合问题。过拟合可指示神经网络的识别模型过度适应训练数据以致对将被实际识别的目标的识别率降低的现象。此外，通过使用部分隐藏节点来训练神经网络，神经网络训练器120可避免互适应，以使作为训练的结果的隐藏节点间的连接权重彼此不相似。

训练的神经网络可被用于识别序列数据。例如，神经网络的识别模型可响应于序列数据的输入从序列数据提取特征值，并将提取的特征值输入到分类器以输出输入的序列数据的分类结果或识别结果。

图2和图3是示出在神经网络训练设备中基于序列数据训练神经网络的示例的示图。

图2示出被训练以学习预定项序列数据的神经网络的操作。当序列数据被输入作为训练目标时，可基于预定时间的单位划分序列数据。当神经网络训练设备训练神经网络时，可使用单一神经网络模型。例如，划分的序列数据可按用于训练的时序被输入到神经网络。

参照图2，训练图案210、训练图案250和训练图案260中的每个指示针对各自时间戳的预定神经网络的训练图案。训练图案210为之前时间间隔T-1的训练图案，训练图案250为当前时间间隔T的训练图案，训练图案260为之后时间间隔T+1的训练图案。在之前时间间隔、当前时间间隔和之后时间间隔期间使用单一神经网络结构进行训练。

例如，神经网络包括输入层220、隐藏层230和输出层240。最底层为输入层220，其中，序列数据作为训练数据被输入到输入层220，输入层220和输出层240之间的层为隐藏层230，最高层为输出层240。输入层220、隐藏层230和输出层240中的每个包括多个节点。包括在隐藏层230中的节点232、节点234和节点236可被称为隐藏节点。

神经网络沿从输入层220到隐藏层230到输出层240的方向进行连接。当训练数据被输入到输入层220的每个节点时，通过在输入层220的每个节点中执行的变换将训练数据传输到隐藏层230，并在输出层240生成输出。虽然为了更加的清晰和简明，在图2和图3中示出了隐藏层230，但是神经网络还可包括包含隐藏层230的多个隐藏层。

神经网络训练设备将序列数据输入到神经网络的输入层220，并训练神经网络以从神经网络的输出层240输出对序列数据进行分类的结果。由神经网络训练设备训练的神经网络为具有在不同时间间隔的隐藏节点之间的连接的递归神经网络。当神经网络训练设备训练神经网络学习序列数据时，包括在隐藏层230中的每个隐藏节点与当前时间间隔的隐藏节点相连接。之前时间间隔中的每个隐藏节点的输出值可被输入到当前时间间隔的隐藏节点。

当执行序列数据的训练时，神经网络训练设备可基于排除部分隐藏节点的训练图案来训练神经网络。神经网络训练设备可从隐藏节点中随机选择在训练处理中将被排除或忽略的参考隐藏节点。

例如，在之前时间间隔的训练图案210中，从包括在隐藏层230中的隐藏节点232、隐藏节点234和隐藏节点236选择设置于隐藏节点234和隐藏节点236之间的隐藏节点232作为参考隐藏节点。忽略参考隐藏节点(例如，隐藏节点232)与包括在上层(例如，输出层240)中的节点之间的连接。此外，忽略参考隐藏节点(例如，隐藏节点232)与当前时间间隔的隐藏节点252、隐藏节点254和隐藏节点256之间的连接。此外，忽略当前时间间隔的参考隐藏节点(例如，隐藏节点252)与上层的节点之间的连接，并忽略参考隐藏节点(例如，隐藏节点252)与之后时间间隔的隐藏节点262、隐藏节点264和隐藏节点266之间的连接。在图2中，通过实线表示的连接表示节点之间的正常连接，通过虚线表示的连接表示节点之间的被忽略的连接。

在之前时间间隔中，隐藏节点234和隐藏节点236与通过从隐藏节点232、隐藏节点234和隐藏节点236排除相应于隐藏节点232的参考隐藏节点而获得的剩余隐藏节点相应。剩余隐藏节点与包括在与输出层240相应的上层中的节点以及当前时间间隔的隐藏节点252、隐藏节点254和隐藏节点256相连接。例如，之前时间间隔中的每个剩余隐藏节点生成的输出可被输入到与输出层240相应的上层中的节点以及当前时间间隔的隐藏节点252、隐藏节点254和隐藏节点256。此外，在当前时间间隔中，通过排除相应于隐藏节点252的参考隐藏节点而获得的相应于隐藏节点254和隐藏节点256的剩余隐藏节点与之后时间间隔的隐藏节点262、隐藏节点264和隐藏节点266相连接。

在一项序列数据的训练处理期间，在每个时间间隔中的排除参考隐藏节点的训练图案可被持续地保持。例如，如果序列数据为“音量升高”语音数据，则神经网络训练设备可基于持续排除参考隐藏节点的训练图案来执行相应的语音数据的训练。被选择为之前时间间隔中的训练图案210的参考隐藏节点的隐藏节点232相应于被选择为当前时间间隔中的训练图案250的参考隐藏节点的隐藏节点252和被选择为之后时间间隔中的训练图案260的参考隐藏节点的隐藏节点262。在每个时间间隔中，可基于在参考隐藏节点被排除的同时剩余的隐藏节点来执行对序列数据的训练。

神经网络训练设备可比较期望的期望值和从每个时间间隔中的输出层240生成的输出值，并可调整节点的连接权重以降低输出值和期望值之间的差。神经网络训练设备可通过连接权重的调整来训练神经网络。例如，输出值可通过处理从输出层240生成，其中，在所述处理中，输入到输入层220的训练数据在经过隐藏层230时与连接权重相乘并相加。生成的输出值可不同于期望的期望值，因此，神经网络训练设备可更新连接权重以使生成的输出值与期望的期望值之间的差最小化。

图3示出神经网络训练设备对另一项序列数据执行训练的操作。神经网络训练设备可通过针对每项序列数据随机确定训练图案来训练神经网络。可针对每项序列数据确定从训练处理中排除的参考隐藏节点。确定的参考隐藏节点可在相应序列数据的训练处理期间持续被选择为参考隐藏节点。

例如，参考隐藏节点A可在语音数据的“音量升高”的训练处理期间被持续忽略，参考隐藏节点B可在语音数据的“音量降低”的训练处理期间被持续忽略。参考隐藏节点B可与参考隐藏节点A不同。由于可针对每项序列数据随机选择从训练处理中将被排除的参考隐藏节点，因此相同的参考隐藏节点可被选择而不管序列数据的差异。

当在一项序列数据的训练结束之后，神经网络训练设备将使用其它项序列数据进行训练时，神经网络训练设备可改变训练图案。神经网络训练设备可从包括在隐藏层中的多个隐藏节点随机重新选择在训练处理中将被排除的参考隐藏节点。

图3示出被训练以学习其它项序列数据的神经网络的训练图案。参照图3，训练图案310为之前时间间隔的训练图案，训练图案350为当前时间间隔的训练图案，训练图案360为之后时间间隔的训练图案。在之前时间间隔、当前时间间隔和之后时间间隔期间使用单一神经网络结构进行训练。此外，可通过单一神经网络结构学习所有项序列数据。

与图2相似，神经网络包括输入层320、隐藏层330和输出层340。包括在隐藏层330中的节点可被称为隐藏节点332、334、336。

在之前时间间隔的训练图案310中，从隐藏层330的隐藏节点332、隐藏节点334和隐藏节点336选择隐藏节点332和隐藏节点334作为参考隐藏节点。在此示例中，隐藏节点332和隐藏节点334可相应于之前时间间隔的参考隐藏节点。忽略之前时间间隔的参考隐藏节点与包括在上层(例如，输出层340)中的节点之间的连接。还忽略之前时间间隔的参考隐藏节点与当前时间间隔的隐藏节点352、隐藏节点354和隐藏节点356之间的连接。与图2相似，在图3中，通过实线表示的连接表示节点之间的正常连接，通过虚线表示的连接表示节点之间的被忽略的连接。

在当前时间间隔的训练图案350中，从隐藏节点352、隐藏节点354和隐藏节点356选择隐藏节点352和隐藏节点354作为参考隐藏节点。在此示例中，隐藏节点352和隐藏节点354可相应于当前时间间隔的参考隐藏节点。忽略当前时间间隔的参考隐藏节点与包括在上层中的节点之间的连接。还忽略当前时间间隔的参考隐藏节点与之后时间间隔的隐藏节点362、隐藏节点364和隐藏节点366之间的连接。

在之前时间间隔中，通过从隐藏节点332、隐藏节点334和隐藏节点336排除参考隐藏节点而获得的剩余隐藏节点(例如，隐藏节点336)与包括在上层(例如，输出层340)中的节点以及当前时间间隔的隐藏节点352、隐藏节点354和隐藏节点356相连接。此外，在当前时间间隔中，通过从隐藏节点352、隐藏节点354和隐藏节点356排除参考隐藏节点而获得的剩余隐藏节点(例如，隐藏节点356)与包括在上层中的节点以及之后时间间隔的隐藏节点362、隐藏节点364和隐藏节点366相连接。

神经网络训练设备可针对每项序列数据选择参考隐藏节点。选择的参考隐藏节点可在相应序列数据被用于训练处理的时间间隔期间被持续地忽略。此外，当从包括在神经网络中的隐藏节点选择了在训练处理中将被排除的参考隐藏节点时，可在忽略参考隐藏节点与之后时间间隔的隐藏节点之间的连接以及参考隐藏节点与包括在上层中的节点之间的连接的状态下，对神经网络执行训练。

图4是示出神经网络训练方法的示例的流程图。在操作410，神经网络训练设备接收包括多项序列数据的训练数据。序列数据可包括例如，语音数据、图像数据、生物数据、手写数据和/或其它类型的数据。神经网络训练设备可存储从外部源接收的训练数据，并从存储的训练数据检测特征值。神经网络训练设备可从训练数据充分获取特征值，并基于特征值训练神经网络。

在操作420，神经网络训练设备从包括在神经网络中的多个隐藏节点选择至少一个参考隐藏节点。神经网络训练设备可随机地选择参考隐藏节点。

在操作430，神经网络训练设备基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络。可在一项序列数据的训练处理期间持续使用排除参考隐藏节点的训练图案，即，基于一项序列数据的神经网络的训练。在一项序列数据的训练处理期间，可持续排除相同的参考隐藏节点。

神经网络训练设备可在每次作为训练目标输入的序列数据改变时，随机改变排除参考隐藏节点的训练图案。可忽略参考隐藏节点与上层中的节点之间的连接以及参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。通过从包括在隐藏层中的隐藏节点排除参考隐藏节点而获得的剩余隐藏节点可与之后时间间隔的隐藏节点相连接。

当一项序列数据的训练处理结束时，神经网络训练设备可从包括在神经网络中的所有隐藏节点随机重新选择参考隐藏节点。之后，神经网络训练设备可基于通过从隐藏节点排除重新选择的参考隐藏节点而获得的剩余隐藏节点来训练神经网络学习另一项序列数据。

神经网络训练设备可基于序列数据的训练处理的结果，调整应用于神经网络的连接权重。神经网络训练设备可比较期望的期望值和从神经网络的输出层生成的输出值，并可更新连接权重以降低输出值与期望值之间的差。神经网络训练设备可基于预设的重复次数重复训练神经网络学习包括在训练数据中的所有项序列数据。

图5是示出神经网络训练方法的另一示例的流程图。在操作510，神经网络训练设备接收训练数据。训练数据可包括例如，语音数据、图像数据、生物数据、手写数据和/或其它类型的数据。

在操作520，神经网络训练设备从训练数据检测特征值。例如，神经网络训练设备可从训练数据检测特征向量，并基于检测的特征向量训练神经网络。

在操作530，神经网络训练设备从训练数据选择将最先被用于训练的第一训练数据。基于训练次序，训练数据可被分类为第一训练数据至第N训练数据，N为大于2的自然数。每项训练数据可以是独立的序列数据。例如，第一训练数据可以是相应于“音量升高”的语音数据，第二训练数据可以是相应于“音量降低”的语音数据，第三训练数据可以是相应于“返回之前频道”的语音数据。

在操作540，神经网络训练设备从包括在神经网络中的多个隐藏节点随机选择在训练处理中将被排除的参考隐藏节点。例如，每个隐藏节点可能被选择为参考隐藏节点的概率为50％。可忽略参考隐藏节点与上层中的节点之间的连接以及参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

在操作550，神经网络训练设备基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络。在一项序列数据的训练处理(例如，基于第一训练数据的神经网络的训练)期间，排除参考隐藏节点的训练图案可被相同地保持。神经网络训练设备可基于序列数据的训练处理的结果更新应用于神经网络的连接权重。神经网络训练设备还可增加方法的重复次数。

在操作560，神经网络训练设备确定是否执行了针对所有项训练数据的训练。当确定没有执行针对所有项训练数据的训练时，神经网络训练设备继续操作570。当确定执行了针对所有项训练数据的训练时，神经网络训练设备继续操作580。

在操作570，神经网络训练设备从训练数据选择之后的训练数据。例如，第二训练数据可被选择为第一训练数据之后的训练数据。之后，神经网络训练设备在操作540从隐藏节点随机选择参考隐藏节点，在操作550基于作为输入的第二训练数据训练神经网络。

在操作580，神经网络训练设备确定是否满足预设的重复次数，例如，是否等于增加后的方法的重复次数。当确定没有满足所述预设的重复次数时，神经网络训练设备返回操作530。当确定满足所述预设的重复次数时，神经网络训练设备结束对神经网络的训练。

图6是示出数据处理设备600的示例的示图。数据处理设备600使用神经网络的识别模型识别序列数据(例如，图像数据、生物数据、手写数据和/或其它类型的数据)。当输入的序列数据未能被识别时，数据处理设备600执行序列数据的训练。数据处理设备600可通过持续地对未能被识别的序列数据执行训练来持续地改善识别性能。

数据处理设备600可以是用于识别序列数据并执行相应操作的电子装置。数据处理设备600可以是例如，数字电视(TV)、台式计算机、膝上型计算机、机顶盒、数字多功能盘(DVD)/蓝光盘(BD)播放器、DVD刻录机、智能电话、平板个人计算机(PC)和/或智能TV。

参照图6，数据处理设备600包括：识别器610、训练器620、控制器630和用户界面640。识别器610识别序列数据(例如，语音数据、图像数据、生物数据、手写数据和/或其它类型的数据)。例如，识别器610可识别通过麦克风输入的语音数据和/或通过相机获取的图像数据。识别器610包括神经网络的识别模型，神经网络可以是包括多个隐藏层的递归神经网络。识别器610可响应于序列数据的输入，使用神经网络的识别模型确定包括在序列数据中的内容。

例如，当语音数据“返回之前频道”被输入到数据处理设备600时，识别器610可分析语音数据，并输出语音识别结果。识别器610可将语音数据“返回之前频道”划分为多个帧，并基于神经网络的识别模型估计包括在划分的帧中的内容。识别器610可通过对输入的语音数据进行量化来提取特征值，并将每个提取的特征值与语音识别目标的特征值进行比较。识别器610可基于针对每个帧的识别结果输出最终识别结果。基于语音识别结果，识别器610可输出与“返回之前频道”相对应的识别结果，或者输出不正确的识别结果。

训练器620响应于控制器630的控制，训练神经网络的识别模型。当序列数据被确定为被识别器610不正确识别时，控制器630控制训练器620执行序列数据的训练。控制器630可在识别器610识别出序列数据的情况下以及在识别器610未能识别出序列数据的情况下，控制训练器620执行序列数据的训练。

在训练的处理中，训练器620在忽略包括在神经网络中的部分隐藏节点的同时训练识别模型。可将包括在神经网路的隐藏层中的隐藏节点之中的在训练处理中被忽略的隐藏节点定义为参考隐藏节点。训练器620可从隐藏节点随机选择参考隐藏节点，并在对一项序列数据执行训练的时间间隔中持续忽略选择的参考隐藏节点的同时执行训练，即，基于一项序列数据的神经网络的训练。当从包括在神经网络中的隐藏节点选择了参考隐藏节点时，在忽略参考隐藏节点与之后时间间隔的隐藏节点之间的连接以及参考隐藏节点与包括在上层中的节点之间的连接的同时训练神经网络。在序列数据的训练处理期间，通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点与之后时间间隔的隐藏节点以及包括在上层中的节点相连接。

控制器630控制识别器610识别相应于识别目标的序列数据。当识别成功时，控制器630可执行相应于识别结果的预定操作。例如，当输入到数据处理设备600的语音数据为“返回之前频道”时，并且当识别器610识别出相应的语音数据时，数据处理设备600可将显示的频道从当前频道变更为之前的频道。

用户界面640从用户接收指示识别是否成功的反馈。也就是，用户界面640可从用户接收指示序列数据是否被识别出的输入。例如，当响应于语音输入或图像获取，用户按压指示识别失败的键，或者输入没有从用户被发出时，数据处理设备600可确定识别失败。

以上描述的各种元件和方法可使用一个或更多个硬件组件、一个或更多个软件组件或一个或更多个硬件组件和一个或更多个软件组件的结合被实施。

硬件组件可以是例如，物理上执行一个或更多个操作的物理装置，但不限于此。硬件组件的示例包括：麦克风、放大器、低通滤波器、高通滤波器、带通滤波器、模数转换器、数模转换器和处理装置。

软件组件可通过例如由软件或指令控制的以执行一个或更多个操作的处理装置被实施，但不限于此。计算机、控制器或其它控制装置可使处理装置运行软件或执行指令。一个软件组件可通过一个处理装置被实施，或者两个或更多个软件组件可通过一个处理装置被实施，或者一个软件组件可通过两个或更多个处理装置被实施，或者两个或更多个软件组件可通过两个或更多个处理装置被实施。

例如，处理装置可使用一个或更多个通用或专用计算机(例如，处理器、控制器和算术逻辑单元)、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或任何其它能够运行软件或执行指令的装置被实现。处理装置可运行操作系统(OS)，并可运行在OS下操作的一个或更多个软件应用。处理装置在运行软件或执行指令时，可访问、存储、操作、处理并生成数据。为简单起见，可在描述中使用单数形式的“处理装置”，但本领域普通技术人员将理解处理装置可包括多个处理元件及多种类型的处理元件。例如，处理装置可包括一个或更多个处理器，或者一个或更多个处理器及一个或更多个控制器。此外，诸如并行处理器或多核处理器的不同处理配置是可行的。

被配置为实施软件组件以执行操作A的处理装置可包括：被编程为运行软件或执行指令以控制处理器来执行操作A的处理器。此外，例如，被配置为实施软件组件以执行操作A、操作B和操作C的处理装置可具有各种配置，例如，被配置为实施软件组件以执行操作A、操作B和操作C的处理器；被配置为实施软件组件以执行操作A的第一处理器，被配置为实施软件组件以执行操作B和操作C的第二处理器；被配置为实施软件组件以执行操作A和操作B的第一处理器，被配置为实施软件组件以执行操作C的第二处理器；被配置为实施软件组件以执行操作A的第一处理器，被配置为实施软件组件以执行操作B的第二处理器，被配置为实施软件组件以执行操作C的第三处理器；被配置为实施软件组件以执行操作A、操作B和操作C的第一处理器，被配置为实施软件组件以执行操作A、操作B和操作C的第二处理器，或者一个或更多个均实施操作A、操作B和操作C中的一个或更多个操作的处理器的任何其它配置。虽然这些示例提到三个操作(操作A、操作B和操作C)，但可实施的操作的数量不限于此，而可以是任意数量的实现期望结果或执行期望任务所需的操作。

用于控制处理装置实施软件组件的软件或指令可包括用于独立或共同地指示或配置处理装置来执行一个或多个期望的操作的计算机程序、代码段、指令或它们的一些组合。软件或指令可包括可由处理装置直接运行的机器代码(例如，由编译器生成的机器代码)和/或可由处理装置使用解释器运行的更高级代码。软件或指令和任何关联数据、数据文件、数据结构可以以机器、组件、物理或虚拟设备、计算机存储介质或装置、或能够向处理装置提供指令或数据或能够被处理装置解释执行的传播信号波中的任何类型被永久或暂时地实施。软件或指令和任何关联数据、数据文件和数据结构还可分布在网络连接的计算机系统中，从而软件或指令和任何关联数据、数据文件和数据结构以分散方式被存储和执行。

例如，软件或指令和任何关联数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以是能够存储软件或指令和任何关联数据、数据文件和数据结构的任何数据存储装置，从而软件或指令和任何关联数据、数据文件和数据结构可被计算机系统或处理装置读取。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储装置、光数据存储装置、硬盘、固态盘或本领域普通技术人员已知的任何其它非暂时性计算机可读存储介质。

用于实施在此公开的示例的功能性程序、代码和代码段可由示例所属领域的程序员基于在此提供的附图和它们的相应描述而容易地构建。

虽然本公开包括特定示例，但是本领域普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可在形式和细节上对这些示例作出各种改变。在此描述的示例将被认为仅是描述性的意义，而不是为了限制的目的。对每个示例中的特征或方面的描述将被认为可用于其它示例中的相似特征或方面。如果所描述的技术以不同的顺序被执行和/或如果在所描述的系统、构架、装置或电路中的组件以不同的方式进行组合和/或由其它元件或它们的等同物替换或补充，则可获得恰当的结果。因此，本公开的范围不是通过具体实施方式限定的，而是通过权利要求和它们的等同物来限定的，在权利要求和它们的等同物范围内的所有变形将被解释为包括在本公开中。

Claims (18)

1.一种基于训练数据的神经网络训练方法，所述方法包括：

接收包括序列数据的训练数据；

从神经网络中的隐藏节点选择参考隐藏节点；

基于通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点并基于训练数据，来训练神经网络，剩余隐藏节点与之后时间间隔中的隐藏节点相连接，并且忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

2.如权利要求1所述的方法，其中，在基于一项序列数据的神经网络的训练期间排除参考隐藏节点。

3.如权利要求1所述的方法，其中，选择步骤包括：从隐藏节点随机选择参考隐藏节点。

4.如权利要求1所述的方法，其中，

选择步骤包括：响应于基于一项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；

训练步骤包括：基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。

5.如权利要求1所述的方法，其中，序列数据包括语音数据、图像数据、生物数据和手写数据中的任意一个或任意组合。

6.如权利要求1所述的方法，还包括：基于训练结果更新应用于神经网络的连接权重。

7.如权利要求1所述的方法，其中，训练步骤包括：基于预定重复次数控制神经网络重复学习训练数据。

8.如权利要求1所述的方法，其中，神经网络为递归神经网络，并包括多个隐藏层。

9.一种基于训练数据的神经网络训练方法，所述方法包括：

接收包括序列数据的训练数据；

从神经网络中的隐藏节点选择参考隐藏节点；

在基于一项序列数据的神经网络的训练期间，通过从隐藏节点排除参考隐藏节点来训练神经网络。

10.如权利要求9所述的方法，其中：

通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点与之后时间间隔中的隐藏节点相连接；

忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

11.如权利要求9所述的方法，其中：

选择步骤包括：响应于基于所述项序列数据的神经网络的训练结束，从隐藏节点随机选择其他参考隐藏节点；

训练步骤包括：基于另一项序列数据，并基于通过从隐藏节点排除所述其他参考隐藏节点而获得的剩余隐藏节点，来训练神经网络。

12.一种基于训练数据的神经网络训练设备，所述设备包括：

训练数据存储器，被配置为存储包括序列数据的训练数据；

神经网络训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。

13.如权利要求12所述的设备，其中：

神经网络训练器将通过从隐藏节点排除参考隐藏节点而获得的剩余隐藏节点与之后时间间隔中的隐藏节点相连接；

神经网络训练器忽略参考隐藏节点与之后时间间隔中的隐藏节点之间的连接。

14.如权利要求12所述的设备，其中，神经网络训练器被配置为：

响应于基于所述项序列数据的神经网络的训练结束，在基于另一项序列数据的神经网络的训练期间，通过从隐藏节点排除其他参考隐藏节点来训练神经网络。

15.一种数据处理设备，包括：

训练器，被配置为在基于一项序列数据的神经网络的训练期间，通过从神经网络中的隐藏节点排除参考隐藏节点来训练神经网络。

16.如权利要求15所述的数据处理设备，其中，训练器忽略参考隐藏节点与上层中的节点之间的连接。

17.如权利要求15所述的数据处理设备，其中，训练器忽略参考隐藏节点与之后时间间隔中的节点之间的连接。

18.如权利要求15所述的数据处理设备，训练器被配置为：

在基于所述项序列数据的神经网络的训练期间，通过从每个时间间隔中的隐藏节点排除相同的参考隐藏节点来训练神经网络。