CN115087989A - 循环神经网络中的距离度量和聚类 - Google Patents

循环神经网络中的距离度量和聚类 Download PDF

Info

Publication number
CN115087989A
CN115087989A CN202080096271.5A CN202080096271A CN115087989A CN 115087989 A CN115087989 A CN 115087989A CN 202080096271 A CN202080096271 A CN 202080096271A CN 115087989 A CN115087989 A CN 115087989A
Authority
CN
China
Prior art keywords
data
neural network
topological
activity
patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096271.5A
Other languages
English (en)
Inventor
H·马克莱姆
F·舒尔曼
F·J·德拉隆德尔
R·利维
K·P·赫斯贝尔瓦尔德
J·拉蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inet Co ltd
Original Assignee
Inet Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inet Co ltd filed Critical Inet Co ltd
Publication of CN115087989A publication Critical patent/CN115087989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Rehabilitation Tools (AREA)

Abstract

循环神经网络中的距离度量和聚类。例如，一种方法，包括：响应于到循环人工神经网络中的第一数据的输入，确定拓扑模式的集合中的活动的拓扑模式是否发生在所述循环人工神经网络中；以及基于被确定为响应于所述第一数据的所述输入而发生的活动的所述拓扑模式，确定所述第一数据与第二数据或一个参考之间的距离。

Description

循环神经网络中的距离度量和聚类
技术领域
本发明涉及循环神经网络中的距离度量(distance metric)和聚类(clustering)，并且更具体地涉及定义与循环神经网络的处理结果有关的距离度量以及使用这些距离度量用于聚类。
背景技术
人工神经网络是受生物神经元网络的结构和功能方面启发的设备。具体地，人工神经网络使用被称为节点(node)的互连构造的系统来模拟生物神经元网络的信息编码和其他处理能力。人工神经网络中的节点之间的连接的布置和强度确定由人工神经网络进行信息处理或信息存储的结果。
神经网络可以被训练以在网络中产生期望的信号流，并且实现期望的信息处理或信息存储结果。一般而言，训练神经网络将在学习阶段期间改变节点之间的连接的布置和/或强度。训练将指向实现某些处理结果。处理结果应与一组示例(即，训练集)一致。当对于给定的数组输入由神经网络实现足够适当的处理结果时，神经网络可以被认为经训练的。
可以训练神经网络的目的之一是聚类。将对象的群组聚类，使得一个群组或集群(cluster，簇)中的对象在某种度量上比类似于其他群组或集群中的对象更类似于彼此。聚类是许多数据处理管线(pipeline)——包括例如：生物信息学、数据挖掘、数据压缩、统计数据分析和机器学习——的一部分。由于聚类的重要性，已经开发了各种聚类算法并且神经网络已经被训练以将输入聚类。这些算法和神经网络在各种不同的上下文中(context)或多或少是有用的。然而应注意，不存在客观上“正确的”聚类结果。确切地说，期望的聚类结果取决于人们希望实现的结果。
已经被训练以执行聚类的神经网络的一个经典示例是自组织映射。使用竞争学习来训练自组织映射，以产生输入训练样本的低维离散化表示。此表示也被称为“映射”。因为训练是由神经网络执行的处理的基础，所以这些神经网络一般不能够处理在形式上或在类型上偏离训练集中的数据的数据。
发明内容
本发明的方法和装置使用甚至在未经训练的循环人工神经网络中出现的活动的拓扑模式(topological pattern)来定义距离度量。距离度量可以是有用的，例如，当对不同的输入进行聚类时。活动的拓扑模式通常发生在一时间段内，并且可以被表示在数字的集合中。活动的拓扑模式中的至少一些由于循环人工神经网络的结构而先天地出现。因此，甚至未经训练的循环人工神经网络也可以被用来对不同的输入进行聚类。
此外，即使活动的拓扑模式中的一些在未训练循环人工神经网络的情况下出现，循环人工神经网络不必保持为完全未经训练的。确切地说，循环人工神经网络本身可以被训练以合成在未训练的情况下出现的模式。在未训练的情况下出现的模式不必从循环人工神经网络输出并且被输入到单独的分类器中。确切地说，同一循环人工神经网络——在其中甚至在未训练的情况下出现活动的拓扑模式——可以被训练以执行聚类活动。
在一个方面，描述了用于对输入进行聚类的方法、系统和装置——包括被编码在计算机存储介质上的计算机程序。例如，一种方法包括：确定拓扑模式的集合中的活动的拓扑模式是否响应于到循环人工神经网络中的第一数据的输入而发生在所述循环人工神经网络中；以及基于被确定为响应于所述第一数据的所述输入而发生的活动的所述拓扑模式，确定所述第一数据与第二数据或一个参考之间的距离。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。
在另一个方面，一种方法包括：接收识别活动的拓扑模式响应于到循环人工神经网络中的多个不同的元素(element)的输入而在所述循环人工神经网络中发生的信息；基于活动的所述拓扑模式的发生来计算所述不同的元素之间的距离；以及调整所述循环人工神经网络的一个或多个特性以增大或减小所述距离。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。
这些和其他方面可以包括以下特征中的一个或多个。可以确定所述集合中的活动的所述拓扑模式是否响应于到所述循环人工神经网络中的第二数据的输入而发生在所述循环人工神经网络中。通过将被确定为响应于所述第一数据的所述输入而发生的活动的所述拓扑模式与被确定为响应于所述第二数据的所述输入而发生的活动的所述拓扑模式进行比较来确定所述第一数据与所述第二数据之间的距离。所述距离可以是在所述第一数据与一个集群或一个集群边界的质心(centroid)之间被确定的。
活动的所述拓扑模式的所述发生可以被表示在二进制或多值数字的集合中，每个所述数字指示一个相应的拓扑模式是否发生。可以使用距离度量来确定所述距离，所述距离度量不同地处理所述集合中的活动的拓扑模式的第一子集与所述集合中的活动的拓扑模式的第二子集。例如，拓扑模式的所述第一子集可以被加权为比拓扑模式的所述第二子集更强地指示距离。所述第一数据和所述第二数据可以多个种类的输入数据。拓扑模式的所述第一子集仅需要包括在所述循环人工神经网络的、主要由单一种类的所述输入数据扰动的一个区域中出现的拓扑模式。多个种类的输入数据中的每个种类的输入数据可以源自一个不同的传感器。所述单一种类的输入数据仅需要仅源自所述传感器中的第一个。所述循环人工神经网络可以是经训练的并且拓扑模式的所述第二子集仅需要包括所述循环人工神经网络的、反映所述训练的一个区域中出现的拓扑模式。所述循环人工神经网络还可以是未经训练的。拓扑模式的所述第二子集中的拓扑模式的复杂度可以高于所述第一子集中的拓扑模式的复杂度。所述第一子集中的拓扑模式中的至少一些可以被包括在所述第二子集中的拓扑模式中。可以重复地确定所述集合中的活动的所述拓扑模式是否响应于到所述循环人工神经网络中的数据的输入而发生在所述循环人工神经网络中，以及可以基于所述数据之间的距离来对输入数据——包括所述第一数据和所述第二数据——进行聚类。通过比较被确定为响应于所述数据的所述输入而发生的活动的相应的拓扑模式来确定所述距离。活动的所述拓扑模式可以包括活动的单纯形模式发生。例如，所述单纯形模式可以包围空腔。可以确定具有与响应于所述输入的其他活动可区分的复杂度的活动的特定时间(timing)，并且可以基于具有所述可区分的复杂度的活动的所述特定时间来识别拓扑结构。
可以通过将被确定为响应于所述元素中的第一元素的输入而发生的活动的拓扑模式与被确定为响应于所述元素中的第二元素的输入而发生的活动的拓扑模式进行比较来确定所述元素之间的距离。可以使用距离度量来计算所述距离，所述距离度量不同地处理所述集合中的活动的拓扑模式的第一子集与所述集合中的活动的拓扑模式的第二子集。距离计算可以将拓扑模式的所述第一子集加权为比拓扑模式的所述第二子集更强地指示距离。拓扑模式的所述第二子集中的拓扑模式的复杂度可以低于所述第一子集中的拓扑模式的复杂度。识别活动的拓扑模式的发生的信息可以包括用于第一元素的第一二进制向量和用于第二元素的第二二进制向量。可以通过计算二进制向量之间的距离来计算所述距离。所述循环人工神经网络可以是未经训练的。
在附图和下文的描述中阐述本发明的一个或多个实施方案的细节。根据说明书、附图和权利要求书，本发明的其他特征、目的和优点将是明显的。
附图说明
图1是对源自多个不同的传感器的数据进行抽象(abstract)和聚类的人工神经网络系统的一个实施方式的示意性表示。
图2和图3是可以从神经网络识别并且“读取”以生成数字的集合的活动的模式的表示。
图4是表示模式的发生作为时间的函数的图表。
图5是用于将源自不同的传感器的数据输入到神经网络中并且处理所述输入数据的一种方法的示意性表示。
图6是循环神经网络如何可以被训练以产生数字的集合的示意性表示，所述数字的集合被定制以在特定的上下文中实现期望的距离度量。
图7是使用数字的集合来计算距离度量的示意性表示，每个所述数字表示循环神经网络中的活动的一个相应的拓扑模式的存在或不存在。
各个附图中的相同的参考符号指示相同的元件。
具体实施方式
生物大脑处理不同类型的输入——包括例如视觉、音频、本体感受。尽管输入的多样性，但是生物大脑可以从该输入提取不同的属性并且作出响应，例如，响应于该输入进行适当的运动或概念抽象。神经科学家在参与这些过程的大脑中已经发现了丰富多样的子系统。它们包括例如对具有特定定向的边缘进行编码的视觉系统中的特定细胞、当动物在精确空间位置时变得活跃的海马体中的“位置细胞(place cell)”、以及甚至对甚至抽象的但选择性的概念进行编码的细胞(所谓的“祖母细胞(grandmother cell)”)。此外，所述子系统可以对时间关系、空间关系、概念关系和/或分层关系进行编码。简而言之，生物大脑的先天功能的一部分可以被认为是特定聚类和非特定聚类的组合——该组合中的某些是先天的并且该组合中的某些是习得的。
在一些情况下，循环人工神经网络可以被构造以体现生物大脑的属性中的至少一些。这样的循环人工神经网络可以包含真实大脑的先天的特定结构，并且将对于不同类型的计算和聚类有用的非线性投影(non-linear projection)进行编码。所述特定结构可以包括例如执行预聚类和近似地将输入进行聚类并且减少输入数据的维度的结构。所述特定结构还可以包括例如以下结构：所述结构执行特定概念的直接并且特定的聚类——在未预先学习那些概念的情况下。如先前所提及的，循环人工神经网络本身可以被训练以合成这些结构中的模式，并且所述模式在未针对后续习得的聚类而进行训练的情况下出现。
因此，与要求显式距离函数的定义的数学聚类算法不同，距离函数的预先定义对于这样的循环人工神经网络是不必要的。相反，距离函数由节点的布线以及它们的功能属性隐式编码。实际上，循环人工神经网络的不同的节点和不同的结构可以对不同的距离函数进行编码。作为结果，循环人工神经网络的一些结构或状态可以类似于分层聚类的方法对输入进行聚类，而其他结构或状态可以——同时——以类似于基于密度的聚类的方法对输入进行聚类。
甚至在未经训练的循环人工神经网络中出现的活动的拓扑模式因此表示不同的输入的聚类。拓扑模式表示响应于输入扰动而出现的循环人工神经网络的状态。拓扑模式过滤掉响应的不必要的或冗余的特性，并且使对于聚类有用的抽象可访问。如下文进一步讨论的，在一些情况下，决策时刻可以被识别以进一步确保响应的不必要的或冗余的特性被过滤掉并且不被用于聚类。
拓扑模式可以从循环人工神经网络被读取为例如(一般二进制)数字的集合，每个所述数字表示网络中的活动的一个相应的拓扑模式的存在或不存在。所述数字中的每个表示由网络对输入数据执行的一个特定抽象。如下文进一步讨论的，每个抽象可以是任意复杂的。因此，单个数字可以对任意复杂的抽象进行编码，并且一组数字可以传送一组抽象，每个所述抽象具有任意水平的复杂度。
此外，数字的集合允许距离度量被定义。换句话说，响应于不同的输入而出现的两个不同的数字集合之间的距离可以被用来定义那些输入之间的距离。例如，距离度量可以如计数某些类型的单纯形的数目以及计算例如汉明距离(Hamming distance)般简单。作为另一示例，距离度量可以是相对更复杂的，诸如在不同的单纯形阶以及它们的地形外观(topographic appearance)上计算的推土机距离(earth mover distance)。
图1是对输入数据50进行抽象和聚类的人工神经网络系统100的一个实施方式的示意性表示。神经网络系统100包括输入105的集合、循环神经网络110本身、输出115的集合以及距离计算器125，该距离计算器专用于计算通过输出115输出的数据50的抽象之间的距离或(不)相似性。
在所例示的实施方式中，循环神经网络110通过输入105接收源自多个不同的传感器的数据50。传感器可以是例如将不同的物理属性转换成数据的换能器或仅感测数据的设备，诸如，例如，感测文档或数据流的内容的设备。在其他实施方式中，循环神经网络110接收源自单个传感器的数据50。在任何情况下，由神经网络110对数据50的抽象可以从输出115被读取为例如(一般二进制)数字120的集合，每个所述数字表示响应于输入数据50的、神经网络110中的活动的一个相应的拓扑模式的存在或不存在。活动的这些响应模式表示由神经网络110对输入数据50执行的一个特定抽象。如下文进一步讨论的，抽象可以是任意复杂的。因此，单个数字可以对任意复杂的抽象进行编码，并且一组数字可以传送一组抽象，每个所述抽象具有任意水平的复杂度。
此外，活动的拓扑模式——以及其在数字120中的表示——可以是“通用的”：在某种意义上，它们不取决于被输入到神经网络中的数据的来源。确切地说，活动的拓扑模式表达被输入到神经网络110中的数据50的抽象特性——不管该数据的来源。
更详细地，数据50可以源自不同的传感器并且具有不同的格式。例如，某些种类的数据50(例如，视频或音频数据)可以在时间上相对快速地改变，而其他种类的数据50(例如，静态图像或温度)可以相对缓慢地改变或根本不改变。尽管不同的来源和格式，但是神经网络110仍可以从数据抽象特性。例如，神经网络110可以抽象：
-物理特点(例如，颜色、形状、定向、速度)，
-类别(例如，汽车、猫、狗)，和/或
-抽象定性特点(例如，“活的”对“死的”、“平滑的”对“粗糙的”、“有生命的”对“无生命的”、“热的”对“冷的”、“打开的”对“关闭的”)。
活动的拓扑模式——以及其在数字120中的表示——是神经网络110对多样的数据50的响应。通常，活动的多个拓扑模式将响应于单个输入而出现，无论输入是离散的(例如，静态照片或来自测量物理参数的换能器的单个读数)还是连续的(例如，视频或音频流)。
有时，神经网络110将用一个或多个相同的拓扑模式来对源自不同的传感器的数据50的输入作出响应，即使其他拓扑模式是不同的。例如，神经网络110可以用表示“热的”的定性评估的拓扑模式来对温度读数或沙漠的静态图像作出响应，即使其他拓扑模式也是对每个输入的响应的一部分。类似地，神经网络110可以用表示“已完成”的定性评估的拓扑模式来对音乐作品的结尾或具有碎屑的盘子的静态图像作出响应，即使其他拓扑模式也是对每个输入的响应的一部分。因此，有时，可以从具有不同的来源和不同的格式的数据抽象相同的特性。
有时，神经网络110将用表示来自那些传感器的数据的特性的合成或融合的一个或多个拓扑模式来对源自不同的传感器的数据50的输入作出响应。换句话说，单个这样的模式可以表示对存在于不同的类型的数据中的相同特性的抽象。一般而言，来自不同的传感器的数据的融合或合成将起作用以导致这样的模式出现或这样的模式的活动的强度增加。换句话说，来自不同的传感器的数据可以充当存在于多样的输入数据中的相同的特性的“佐证证据”。
在一些情况下，只有在来自不同的传感器的数据中存在某些特性时，表示来自不同的传感器的数据的特性的合成或融合的拓扑模式才出现。神经网络110实际上可以充当与门(AND gate)，并且要求来自不同的传感器的数据中的某些特性以使活动的某些模式出现。然而，情况不必如此。相反，可以响应于来自不同的传感器的数据，形成一个模式的活动的幅度可以增加，或该活动的特定时间可以被缩短。实际上，活动的拓扑模式——以及其在数字120中的表示——表示在一非常丰富的状态空间中对数据50的特性的抽象。换句话说，活动的拓扑模式以及其表示未必是处理输入数据的预定义“结果”，在某种意义上，例如，是/否分类是由分类器产生的预定义结果，一组相关输入是由聚类设备(clusteringdevice)产生的预定义结果，或预测是由预报模型产生的预定义结果。确切地说，拓扑模式是在一更丰富的状态空间中对输入数据的特性的抽象。尽管状态空间有时可以包括诸如是/否分类的抽象，但是状态空间不仅限于那些预定义结果。
此外，拓扑模式可以抽象输入数据的仅一部分(例如，图像的一特定区域、或视频或音频流中的一特定时刻、或诸如像素的输入的一特定细节)的特性，而不是输入数据的全部。因此，抽象的状态空间不限于预定义类型的结果(例如，分类、集群或预报)，也不限于对输入数据的全部的抽象。确切地说，拓扑模式是允许读取由高维、非线性、循环动态系统(即，神经网络110)进行的处理的工具。拓扑模式提取在神经网络110中出现的来自不同的传感器的数据的相关性——包括将数据融合成更完整的“整体”的相关性。
在输入数据50时，神经网络110将以某个活动作出响应。该活动将包括：
-与所定义的拓扑模式不相称的活动，以及
-的确与所定义的拓扑模式相称的活动。
神经网络110中的与所定义的拓扑模式不相称的活动在一些情况下可以是输入数据50的特性的、不正确或不完整的抽象。此外，神经网络110中的的确与拓扑模式相称的活动可以抽象输入数据50的不同的特性。被抽象的特性中的每个可能或多或少是有用的，这取决于应用程序。通过将数字120限制为某些拓扑模式的表示，不正确或不完整的抽象以及对与一特定应用程序不相关的特性的抽象二者可以从数字120被“过滤掉”。
在所例示的实施方式中，数据50包括以下中的一个或多个：源自例如麦克风的声音数据60、源自例如静态摄像机的静态图像数据62、源自例如视频摄像机的视频数据64以及源自例如温度传感器的温度数据66。这仅是出于例示性目的。数据50不必包括以下中的一个或多个：声音数据60、静态图像数据62、视频数据64、温度数据66。此外，数据50可以包括各种其他不同类型的数据——包括例如，压力数据、化学成分数据、加速度数据、电数据、位置数据等——中的一个或多个。如下文进一步讨论的，源自一个传感器的数据50可以在被输入到神经网络110中之前经历一或多个处理动作。这样的处理动作的示例包括例如人工神经网络设备中的非线性处理。
如上文所讨论的，在神经网络110中出现的拓扑模式是在一丰富的状态空间中对输入数据50的特性的抽象。如果要将数据50限制为源自少量的传感器，神经网络110可能不太可能以某些方式抽象来自所述传感器的数据。通过示例的方式，神经网络110可能不太可能将温度数据66本身抽象成对应于像形状或定向的空间特点的活动的模式。然而，当来自不同的传感器的数据被输入到神经网络110中时，由多样的输入数据50引发的扰动互相相遇，并且可以共同地影响神经网络110中的活动。作为结果，神经网络110可以将输入数据50抽象成活动的不同的或更确定的模式。
例如，可能存在与模式的存在或不存在相关联的一定程度的不确定性。如果数据50包括来自多样的范围的传感器的数据，随着源自不同的传感器的数据50在神经网络110中被合成或融合，模式的多样性和模式的确定性二者可以增加。通过类比的方式，坐在位于火车站的火车内的乘客可以向窗外看，并且看到似乎正在移动的相邻的火车。该同一乘客也可以例如感觉到来自座位的向前压力。此信息的融合或合成增加了乘客的确定性的程度，即该乘客的火车正在移动而不是相邻的火车正在移动。当神经网络接收多样的输入数据50时，由该数据引发的扰动可以被共同地抽象成活动的不同的或更确定的模式。
神经网络110处理来自多样的传感器的输入数据50的能力也为对该数据的抽象提供一定程度的鲁棒性。通过示例的方式，一组中的一个传感器可能变得不准确或甚至不起作用，而神经网络110仍可以继续对来自其他传感器的数据50进行抽象。常常，神经网络110将来自其他传感器的数据50抽象成若所有的传感器如所设计的那样起作用则将出现的活动的相同的模式。然而，在一些情况下，那些抽象的确定性可能降低。然而，即使这样的问题出现，抽象也可以继续。
在所例示的实施方式中，输入105被示意性地表示为节点的明确定义的输入层，每个所述节点被动地将输入中继到神经网络110中的一个或多个位置。然而，情况未必如此。例如，在一些实施方式中，在数据被传送到神经网络110之前，输入105中的一个或多个可以缩放输入数据的某一部分或全部或执行其他初步处理。作为另一个示例，数据50可以被注入到整个神经网络110中的不同的层和/或边缘或节点中，即，无这样的正式的输入层。例如，用户可以指定数据将被注入到分布在整个网络110中的特定节点或链接(link)中。作为另一个示例，神经网络110不必被限制为以已知的、先前定义的方式接收输入(例如，总是将第一位注入到第一节点中，将第二位注入到第二节点中，……等)。相反，用户可以指定数据中的某些位将被注入到边缘而非节点中，注入的顺序不必遵循位出现的顺序、或这些和其他参数的组合。然而，为方便起见，在本文中将维持作为输入层的输入105的表示。
神经网络110被示意性地例示为循环神经网络。在循环神经网络中，节点之间的连接沿着一时间序列形成有向图表(directed graph)，并且网络表现出时间动态行为。一般而言，神经网络110是在生物系统上建模的相对复杂的神经网络。换句话说，神经网络110本身可以对生物系统的形态学、化学和其他特性的程度进行建模。一般而言，在生物系统上建模的神经网络110是在具有相对高水平的计算性能的一个或多个计算设备上实施的。
与例如传统的前馈神经网络相比，在生物系统上建模的神经网络110可以显示不响应于输入数据50的背景或其他活动。实际上，甚至在不存在输入数据50的情况下，活动可以存在于这样的神经网络110中。
然而，在输入数据50时，循环神经网络110将被扰动。由于这样的神经网络110对扰动的响应可能部分地取决于在输入数据50时神经网络110的状态，因此这样的神经网络110对数据50的输入的响应也可能取决于已经存在于神经网络110中的背景或其他活动。
然而，即使神经网络中的这样的活动不仅响应于数据50的输入，而且它响应于输入数据50。因此，数字120可以表示存在或不存在响应于输入数据的活动的模式中出现的拓扑结构，即使在在生物系统上建模的相对复杂的循环神经网络中。
在所例示的实施方式中，输出115被示意性地表示为多节点输出层。然而，输出115不必是多节点输出层。例如，输出节点115可以是单独的“读取器节点”，所述“读取器节点”识别神经网络110中的一特定的节点集合处的活动的一特定的模式的发生，并且因此读取神经网络110的输出。当且仅当一特定的节点集合处的活动满足特定时间(并且可能地满足幅度或其他)标准时，读取器节点才能启动。例如，输出节点115可以连接到神经网络110中的一节点集合，并且基于例如以下来指示存在或不存在拓扑结构：跨越一相应的阈值激活水平的每个单独的节点的活动水平、跨越一阈值激活水平的那些节点的活动水平的加权和、或跨越一阈值激活水平的那些节点的活动水平的非线性组合。
通过输出115接收的输出是数字120的集合，每个所述数字表示神经网络110——其可以被实施为模仿生物系统的特性的相对复杂的神经网络——中的活动的一相应的模式的存在或不存在。集合120仅被示意性地例示，并且集合120可以是例如数字的一维向量、数字的二维矩阵或数字的其他集合。一般而言，集合120中的数字将是二进制的，并且以是/否的方式指示活动的模式是否存在。然而，情况未必如此。相反，在一些实施方式中，表示120中的数字将是多值的。值可以表示神经网络110中的活动的一相应的模式的存在或不存在的特性。例如，值可以指示活动的强度或活动的一特定的模式实际上存在的统计概率。通过示例的方式，幅度相对大或在一相对短的时间窗内发生的活动可以被认为指示一特定的操作已经被执行或很可能已经被执行。相比之下，幅度相对小或在一相对较长的时间内发生的活动可以被认为不太可能指示一特定的操作已经被执行。
集合120中的信息被全息地表示：在某种意义上，关于单个数字的值的信息被分布在集合120中的其他数字的值上。换句话说，集合120中的数字的随机子集也包含关于由神经网络110对输入50执行的抽象的信息，只是以比集合120中的所有数字都存在时将存在的更低分辨率。如下文进一步论述的，不同的拓扑模式具有不同程度的复杂度。一些相对更复杂的模式可以包括相对不太复杂的模式，并且简单的模式可以被组装成更复杂的模式。此外，由一些数字表示的相对高水平的抽象可以在某种程度上与由其他数字表示的其他抽象相关。例如，表示像“活的”的抽象定性特点的发生的数字可以与表示像“有生命的”的定性特点的数字相关。因此，关于一些拓扑模式的发生的信息固有地包括关于其他拓扑模式的发生的一些信息。
为了方便起见，本申请的剩余部分将集合120的数字称为二进制位，并且附图将像这样地例示它们。然而，应理解，在所有情况下，集合120的数字也可以是多值的，以对由网络执行的抽象的各方面进行编码。
距离计算器125是一种专用于计算通过输出115输出的数据50的不同的抽象之间的距离或(不)相似性的设备。距离计算器125可以使用各种不同的方法中的任何一种来计算该距离。例如，距离计算器125可以计算汉明距离、推土机距离、杰卡德相似性(Jaccardsimilarity)量度(measure)或其他距离量度。可以在Sung-Seok Choi等人的题为“Asurvey of Binary similarity and distance measures”的出版物(Journal ofSystemics,Cybernetics and Informatics，第43-48页(2010))中找到可适用于二进制特征向量的距离量度的调查。可以在Wijaya等人的(BMC Bioinformatics 17:520(2016))中找到适当的距离量度的一示例选择。这两者的内容通过引用并入本文。
距离计算器125包括输入135和输出140。输入135被耦合为接收循环神经网络110中的活动的模式的表示，即，数字集合120。距离计算器125可以以各种方式接收数字集合120。例如，集合120中的数字可以作为离散事件的集合或作为实时或非实时通信信道上的连续流而被接收。
输出140被耦合为输出与从神经网络110接收的数字集合120有关的距离的量度。例如，输出140可以输出已经从神经网络110输出的两个数字集合120之间的测量距离(measure distance，测度距离)、已经从神经网络110输出的一个数字集合120和已经由另一个神经网络110输出的一个数字集合之间的测量距离、和/或已经从神经网络110输出的数字集合120和一个参考——诸如例如集群或集群边界的质心——之间的测量距离。
在一些实施方式中，距离计算器125被集成到神经网络110中。换句话说，神经网络110可以直接输出距离量度。距离量度可以测量例如到神经网络110中的不同的两组输入之间的距离、到神经网络110中的单组输入的演变、或输入数据和一个参考之间的距离。在一些实施方式中，从神经网络110输出的距离量度可以被传递到另一个应用程序和/或被用于训练神经网络110。从距离计算器125输出的距离量度可以被用在各种不同的上下文中。例如，距离量度可以被用来评价所产生的集群、确定集群的最佳数目、识别集群中属性之间的相关性、以及估计一个数据集中的聚类的程度。例如，可以使用距离度量来计算Davies-Bouldin指数、Dunn指数、剪影系数和Hopkins统计。
从距离计算器125输出的距离量度在这些和其他上下文中可以是有益的。对于高维数据，距离对于解析元素和集群变得不太有用。具体地，随着维度的数目增加，空间中的所有元素看起来比较(不)相似。换句话说，当维度的数目接近无穷大时，最近的邻居之间的距离和最远的邻居之间的距离之间的差接近零。
然而，表示响应于输入数据50的活动的一个相应的拓扑模式的存在或不存在的数字120对于计算高维数据的距离度量可以是有价值的。作为阈值问题，甚至被表示在数字120中的最简单的抽象固有地减少输入数据的维度。因此，数字120基于响应于输入数据50而在循环神经网络110中出现的活动的拓扑模式来固有地定义甚至高维输入数据之间的距离。
此外，如上文所讨论的，活动的拓扑模式可以体现不同水平的抽象。例如，由第一拓扑模式的发生表示的抽象可能要求表示其他“较低水平的”抽象的两个其他拓扑模式的同时发生。因此，一组数字可以传送一组抽象特性，所述抽象特性对于根据多样的水平的抽象来计算距离度量是有用的。
不同的水平的抽象还允许完全新的距离度量被定义。例如，指示不同的元素被抽象到相同的相对高水平的抽象的单个数字120可以是：与表示将输入数据抽象到各种相对低水平的抽象的大量数字120相比而言，对相似性的更强指示符。这与例如汉明距离和固有地类似地处理特征向量中的所有信息的其他方法形成对比。
在一些实施方式中，可以训练循环神经网络110以实现某些处理结果。一般而言，训练将教导循环神经网络110基于较低水平的抽象的组合来达到较高水平的抽象。如此通过训练和训练特定的距离度量定制的两个元素之间的距离的测量可以被定义。用户不必具有与处理结果或所产生的距离度量相关的输入数据的维度的先验知识或理解。确切地说，训练过程本身可以定制循环神经网络110以实现期望的处理结果并且提供与计算距离相关的抽象。
图2是可以从神经网络110(图1)识别并且“读取”以生成集合120的活动的模式400的表示。
模式400是循环人工神经网络中的活动的表示。为了读取模式400，功能图表(functional graph)被视为以节点作为点的拓扑空间。与模式400相称的节点和链接中的活动可以被识别为有序的，不管参与该活动的特定的节点和/或链接的身份。在所例示的实施方式中，模式400全都是有向团或有向单纯形(directed simplice)。在这样的模式中，活动源自将信号传输到模式中的每一个其他节点的源节点。在模式400中，这样的源节点被指定为点0，而其他节点被指定为点1、2、……。此外，在有向团或单纯形中，节点中的一个充当汇聚器(sink)并且接收从模式中的每一个其他节点传输的信号。在模式400中，这样的汇聚节点被指定为模式中的最高编号的点。例如，在模式405中，汇聚节点被指定为点2。在模式410中，汇聚节点被指定为点3。在模式415中，汇聚节点被指定为点3，以此类推。因此，由模式400表示的活动以可区分的方式排序。
模式400中的每个具有不同数目的点并且反映不同数目的节点中的有序活动。例如，模式405是二维单纯形并且反映三个节点中的活动，模式410是三维单纯形并且反映四个节点中的活动，以此类推。随着模式中的点的数目增加，活动的排序程度和复杂度也增加。例如，对于在一窗内具有一定水平的随机活动的节点的大集合，所述活动中的一些可能出于偶然与模式405相称。然而，随机活动将逐步地越来越不可能与模式410、415、420……中的相应的模式相称。因此，与模式405相称的活动的存在相比，与模式430相称的活动的存在指示活动中的相对较高的排序程度和复杂度。
可以为活动的复杂度的不同确定定义不同持续时间的窗。例如，与当要识别与模式405相称的活动时相比，当要识别与模式430相称的活动时，可以使用更长持续时间的窗。
图3是可以从神经网络110(图1)识别并且“读取”以生成二进制数字集合120的活动的模式300的表示。
模式300是相同维度(即，具有相同数目的点)的有向团或有向单纯形的组，其定义了涉及比单独的团或单纯形更多的点的模式并且在有向单纯形的组内包围空腔。
通过示例的方式，模式305包括一起定义了级别二的同调类(homology class)的六个不同的三点、二维模式405，而模式310包括一起定义了级别二的第二同调类的八个不同的三点、二维模式405。模式305、310中的三点、二维模式405中的每个可以被认为包围一个相应的空腔。与有向图表相关联的第n个Betti数提供拓扑表示中的这样的同调类的计数。
由诸如模式300的模式表示的活动表示了不太可能因随机偶然出现的网络中的活动的相对高的排序程度。模式300可以被用来将该活动的复杂度特征化。
在一些实施方式中，识别活动的仅一些模式和/或丢弃或以其他方式忽略识别的活动的模式的某个部分。例如，参考图2，与五点、四维单纯形模式415相称的活动固有地包括与四点、三维和三点、二维单纯形模式410、405相称的活动。例如，图2的四维单纯形模式415中的点0、2、3、4和点1、2、3、4都与三维单纯形模式410相称。在一些实施方式中，包括较少点——并且因此具有较低维度——的模式可以被丢弃或以其他方式被忽略。作为另一个示例，需要识别活动的仅一些模式。例如，在一些实施方式中，仅具有奇数的点(3、5、7、……)或偶数的维度(2、4、6、……)的模式被识别。尽管识别了仅一些模式，但是关于神经网络中的活动的信息仍可以被全息地表示，即，以与在输出中全部模式被识别和/或表示时更低的分辨率。
如上文所讨论的，响应于输入数据50的活动的模式表示由神经网络110对该输入数据50执行的任意复杂度的一特定的操作。在一些实施方式中，操作的复杂度将被反映在拓扑模式的复杂度中。例如，由五点、四维单纯形模式415表示的操作或抽象可以比由四点、三维和三点、二维单纯形模式410、405表示的操作或抽象更复杂。在这样的情况下，表示活动的存在的数字表示在神经网络110中执行一组操作或抽象，其中这些操作或抽象中的每个具有任意水平的复杂度。
图4是具有可区分的复杂度的活动模式的特定时间的确定的示意性表示。图4中表示的确定可以作为从神经网络110(图1)中对活动的模式进行识别或“读取”以生成二进制数字集合120的一部分来执行。
图4包括图表605和图表610。图表605表示作为沿着x轴的时间的函数的模式的发生。具体地，各个发生被示意性地表示为竖直线606、607、608、609。每一行的发生可以是活动匹配一相应的模式或一类模式的实例。例如，顶行的发生可以是活动匹配模式405(图2)的实例，第二行的发生可以是活动匹配模式410(图2)的实例，第三行的发生可以是活动匹配模式415(图2)的实例，以此类推。
图表605还包括示意性地描绘在活动模式具有可区分的复杂度时的不同的时间窗的虚线矩形615、620、625。如所示出的，在由虚线矩形615、620、625描绘的窗期间，循环人工神经网络中的活动匹配指示复杂度的模式的可能性比在那些窗外部更高。
图表610表示与作为沿着x轴的时间的函数的这些发生相关联的复杂度。图表610包括：复杂度的第一峰630，其与由虚线矩形615描绘的窗一致；以及复杂度的第二峰635，其与由虚线矩形620、625描绘的窗一致。如所示出的，由峰630、635表示的复杂度是与可以被认为是复杂度的基线水平640的复杂度可区分的。
在一些实施方式中，循环人工神经网络的输出将被读取的时间与具有可区分的复杂度的活动模式的发生一致。例如，在图4的例示性上下文中，可以在峰630、635处，即，在由虚线矩形615、620、625描绘的窗期间，读取循环人工神经网络的输出。
在一些实施方式中，不仅具有可区分的复杂度的活动模式的内容而且所述活动模式的特定时间可以从循环人工神经网络输出。具体地，不仅参与与活动模式相称的活动的节点的身份和活动，而且活动模式的特定时间可以被认为循环人工神经网络的输出。因此，所识别的活动模式以及将读取此决策的特定时间可以表示通过神经网络进行的处理的结果。
图5是用于将源自不同的传感器的数据50输入到神经网络110中并且处理所述输入数据的方法的示意性表示。在所例示的实施方式中，网络输入105的不同的子集105’、105”、105”’专用于接收不同类型的输入数据。例如，第一子集105’可以专用于接收第一种类的输入数据(例如，源自第一传感器的数据)，而第二子集105”可以专用于接收第二种类的输入数据(例如，源自第二传感器的数据)。
在一些实施方式中，神经网络110的对应的“区域”505、510从网络输入105的不同的子集105’、105”、105”’接收不同种类的输入数据。例如，在示意性例示中，区域505、510被示出为节点和边缘的空间离散集合，每个区域之间具有相对少的节点到节点连接。情况未必如此。确切地说，每个区域505、510的节点和边缘可以在神经网络110中空间分布，但仍接收一特定种类的输入数据。
不管每个区域505、510中的节点的分布，每个区域505、510中的处理主要——但未必是排他地——分别由接收的种类的输入数据扰动。可以基于在相应的种类的输入数据存在和不存在的情况下、在一区域中发生的活动来测量扰动的程度。例如，主要由第一种类的输入数据扰动的区域可以大致相同的方式对该第一种类的输入数据作出响应，不管其他种类的输入数据是否同时扰动网络110。由每个区域505、510执行的处理和抽象主要由所接收的种类的输入数据影响。然而，在每个区域505、510中出现的活动的拓扑模式可以被读取为数字集合120。对于循环神经网络110的其他区域也是如此。
这通过单独地指定网络输出115的不同的子集115’、115”、115”’而在神经网络系统500中被示意性地表示。具体地，子集115’可以专用于输出表示在神经网络110的区域505中出现的活动的拓扑模式的数字，而子集115”’可以专用于输出表示在神经网络110的区域5100中出现的活动的拓扑模式的数字。然而，子集115”输出在区域505、510中的任一个中都不存在的数字。实际上，在子集115”中输出的数字可以表示在区域505、510中出现的抽象表示和处理结果的融合或进一步抽象至更高水平的复杂度。
例如，当且仅当子集115’中的一个或多个数字以及子集115”’中的一个或多个数字二者都具有某些值时，子集115”中的一个给定的数字才可以出现。因此，子集115”中的该数字可以表示任意更高水平的抽象——在区域655、660中生成的抽象还有输入数据本身二者。
当不同的区域主要由单一种类的输入数据扰动时，那些区域中的处理可以根据输入数据的性质而被定制。例如，连接的深度和网络回路的拓扑可以根据输入数据而被定制。在在生物系统上建模的循环神经网络中，神经元动力学和突触可塑性也可以根据输入数据而被定制。定制例如捕获不同的时间标度。例如，为处理相对快速地改变的种类的输入数据(例如，视频或音频数据)而定制的区域中的处理可以比为处理相对缓慢地改变或根本不改变的种类的输入数据而定制的区域中的处理更快。
此外，当循环神经网络的不同的区域主要由单一种类的输入数据扰动时，人类更容易将循环神经网络中出现的表示归因于特定的输入数据。在一个特定的区域中出现的表示可以被归因于主要扰动该区域的种类的输入数据。一旦在一个特定的区域中出现的表示被归因，响应于一个特定的区域中的表示而出现的更高水平的并且更复杂的抽象也可以被更容易地理解。
此外，训练可以针对于循环神经网络的、不主要由单一种类的输入数据扰动的部分，即针对于循环神经网络的、融合主要由单一种类的输入数据扰动的区域的处理结果的部分。实际上，主要由单一种类的输入数据扰动的区域将生成通用的输入数据的表示——不仅用于从循环神经网络的输出，而且用于使用循环神经网络的进一步抽象和其他操作。
图6是循环神经网络110如何可以被训练以产生数字120的集合的示意性表示，该集合被定制以在特定的上下文中实现期望的距离度量。
例如，可以基于将由神经网络110接收的输入的类型来定制数字。定制例如可以确保神经网络110对不同的输入数据中的某些差异足够敏感和/或对输入数据中的其他差异足够不敏感。实际上，可以定制数字以确保数字120的不同的集合互相足够接近或远离(例如，数字120的不同的集合之间的“拥挤距离(crowding distance)”是期望的)。
除了循环神经网络110和距离计算器125之外，神经网络系统100的所例示的实施方式还包括比较器610和训练单元615。
比较器610是一种被配置为将距离计算器125的距离度量输出140与期望的输出630进行比较的设备。该比较可以产生距离度量输出140与期望的输出630的接近程度的成本函数或其他量度。
训练单元615是一种被配置为基于距离度量输出140与期望的输出630的接近程度的量度来更改循环神经网络110的一个或多个属性以减小它们之间的差异的设备。例如，训练单元615可以在神经网络110中添加或从神经网络110删除节点或链接、改变链接的权重、改变在数字集合120中表示的拓扑模式，或以其他方式修改循环神经网络110。在循环神经网络110是在生物系统上建模的相对复杂的神经网络的实施方式中，训练单元615可以更改例如模型的形态学、化学或其他特性。
训练循环神经网络110以产生数字120的集合——其产生期望的距离度量——在各种不同的上下文中可以是有益的。例如，如上文所讨论的，可以训练神经网络110以实现对输入数据的某些特性的期望的敏感度。可以执行这样的定制，例如，以通过使神经网络110对对抗性攻击不敏感来提高神经网络110的对抗性抵抗力。作为另一个示例，可以执行这样的定制以确保神经网络110将输入数据聚类成期望的数目的集群。作为又一个示例，可以执行这样的定制以确保数字集合120包括与特定下游处理——诸如例如分类或其他监督学习应用程序——相关的数字。作为又一个示例，可以执行这样的定制以调整神经网络110中的活动阈值。例如，可以基于环境中的“噪声”的量来调整阈值，其中噪声是潜在地有助于神经网络110中的活动水平的输入数据。通过调整阈值，可以使神经网络110对噪声不敏感。
图7是使用数字120的集合来计算距离度量的示意性表示，每个所述数字表示循环神经网络110中的活动的一个相应的拓扑模式的存在或不存在。如所示出的，数字集合120包括已经源自循环神经网络110的网络输出115的不同的子集115’、115”、115”’的数字，所述网络输出115专用于输出在不同的区域——诸如区域505、510、515(图5)——中出现的表示。如在5图中，子集115’和子集115”’可以专用于输出相对“低水平的”抽象的表示，而子集115”可以专用于输出相对“高水平的”抽象的表示。
如由虚线所示意性地表示的，距离计算器125可以在计算距离度量期间不同地处理低水平的抽象和高水平的抽象。可以以各种不同的方式来实施该不同的处理。例如，与较低水平的抽象相比，较高水平的抽象可以被更大地加权重。作为另一个示例，第一距离计算可以被用于低水平的抽象，而第二距离计算用于高水平的抽象。作为另一个示例，距离度量的计算可以在多步骤过程中进行。例如，在第一步骤中，可以在第一过程中使用高水平的抽象，而可以在第二过程中使用低水平的抽象。实际上，可以基于在第一过程中针对高水平的抽象所计算的距离来调整在计算用于低水平的抽象的距离度量中使用的权重或其他参数。
以此方式，不仅单个循环神经网络可以产生不同水平的抽象，而且距离度量的计算可以通过不同地处理不同水平的抽象来适应那些不同的水平。这可以导致甚至可以处理高维数据的计算距离度量的新方法。
不同地处理不同水平的抽象在许多上下文中可以是有益的。例如，不同水平的抽象可以被用于预聚类大量的数据或渐进式地逐步地聚类，其中聚类以粗略未提炼的集群开始，所述粗略未提炼的集群在相继的操作中被逐步地改进。
本说明书中所描述操作和主题的实施方案可以数字电子电路实施，或以计算机软件、固件或硬件——包括本说明书中所公开的结构以及其结构等同物——实施，或以它们中的一个或多个的组合实施。本说明书中所描述的主题的实施方案可以被实施为一个或多个计算机程序，即，计算机程序指令的一个或多个模块，所述一个或多个计算机程序被编码在计算机存储介质上以用于由数据处理装置执行或以控制数据处理装置的操作。可选地或附加地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电信号、光信号或电磁信号)上，所述传播信号被生成以编码信息以用于传输到合适的接收器装置以用于由数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或它们中的一个或多个的组合或被包括在其中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是被编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独的物理部件或介质(例如，多个CD、盘(disk)或其他存储设备)或被包括在其中。
本说明书中所描述的操作可以被实施为数据处理装置对存储在一个或多个计算机可读存储设备上的或从其他源接收的数据执行的操作。
术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，通过示例的方式包括可编程处理器、计算机、片上系统或前述中的多个或前述的组合。该装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用程序、脚本或代码)可以任何形式的编程语言——包括编译或解释语言、声明性或过程性语言——编写，并且它可以任何形式被部署，包括作为独立的程序或作为模块、部件、子例程、对象或适合在计算环境中使用的其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中。计算机程序可以被部署以在一个计算机上被执行或在位于一个站点或分布在多个站点并且通过通信网络互连的多个计算机上被执行。
本说明书中所描述的过程和逻辑流可以由一个或多个可编程处理器执行，所述一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据操作并且生成输出来执行动作。过程和逻辑流也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以被实施为专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。
适合于执行计算机程序的处理器通过示例的方式包括通用和专用微处理器二者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或被操作性地耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据，或将数据传送到用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)或二者。然而，计算机不必具有这样的设备。此外，计算机可以被嵌入在另一个设备(例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪盘驱动器)中，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，通过示例的方式包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；和CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本文所描述的主题的实施方案可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)和用户可以向计算机提供输入所通过的键盘和定点设备(例如，鼠标或追踪球)的计算机上实施。也可以使用其他种类的设备来允许与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求而向用户的客户端设备上的网络浏览器发送网页。
虽然本说明书包含许多具体实施细节，但是这些细节不应被解释为对任何发明或可能要求保护的内容的范围的限制，而是应被理解为对特定于特定发明的特定实施方案的特征的描述。在本说明书中在单独的实施方案的上下文中描述的某些特征也可以在单个实施方案中组合实施。相反地，在单个实施方案的上下文中描述的多个特征也可以在多个实施方案中单独地或以任何合适的子组合实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至这样最初要求保护，但是在一些情况下可以从组合删除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描述了操作，但是这不应被理解为要求以所示出的特定顺序或以连续顺序执行这样的操作，或要求执行所有所例示的操作以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上文所描述的实施方案中的多种系统部件的分离不应被理解为在所有实施方案中都要求这样的分离，并且应理解，所描述的程序部件和系统通常可以在单个软件产品中集成在一起或被打包成多个软件产品。
因此，已经描述了主题的特定实施方式。其他实施方式在随附的权利要求书的范围内。在某些情况下，权利要求书中所记载的动作可以不同的顺序执行，并且仍可以获得期望的结果。另外，在附图中所描绘的过程未必需要所示出的特定顺序或连续顺序来获得期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。
已经描述了多个实施方式。然而，应理解，可以作出各种改型。因此，其他实施方式在随附的权利要求书的范围内。

Claims (23)

1.一种方法，包括：
确定拓扑模式的集合中的活动的拓扑模式是否响应于到循环人工神经网络中的第一数据的输入而发生在所述循环人工神经网络中；以及
基于被确定为响应于所述第一数据的所述输入而发生的活动的所述拓扑模式，确定所述第一数据与第二数据或一个参考之间的距离。
2.根据权利要求1所述的方法，其中：
所述方法还包括：确定所述集合中的活动的所述拓扑模式是否响应于到所述循环人工神经网络中的第二数据的输入而发生在所述循环人工神经网络中；以及
通过将被确定为响应于所述第一数据的所述输入而发生的活动的所述拓扑模式与被确定为响应于所述第二数据的所述输入而发生的活动的所述拓扑模式进行比较来确定所述第一数据与所述第二数据之间的距离。
3.根据权利要求1所述的方法，其中所述距离是在所述第一数据与一个集群或一个集群边界的质心之间被确定的。
4.根据权利要求1所述的方法，其中：
活动的所述拓扑模式的所述发生被表示在二进制或多值数字的集合中，每个所述数字指示一个相应的拓扑模式是否发生。
5.根据权利要求1所述的方法，其中使用距离度量来确定所述距离，所述距离度量不同地处理所述集合中的活动的拓扑模式的第一子集与所述集合中的活动的拓扑模式的第二子集。
6.根据权利要求5所述的方法，其中所述处理将拓扑模式的所述第一子集加权为比拓扑模式的所述第二子集更强地指示距离。
7.根据权利要求2所述的方法，其中：
所述第一数据和所述第二数据包括多个种类的输入数据；并且
拓扑模式的所述第一子集仅包括在所述循环人工神经网络的、主要由单一种类的所述输入数据扰动的一个区域中出现的拓扑模式。
8.根据权利要求7所述的方法，其中：
所述多个种类的输入数据中的每个种类的输入数据源自一个不同的传感器；并且
所述单一种类的输入数据仅源自所述传感器中的第一个。
9.根据权利要求5所述的方法，其中：
所述循环人工神经网络是经训练的；并且
拓扑模式的所述第二子集仅包括所述循环人工神经网络的、反映所述训练的一个区域中出现的拓扑模式。
10.根据权利要求1所述的方法，其中所述循环人工神经网络是未经训练的。
11.根据权利要求5所述的方法，其中拓扑模式的所述第二子集中的拓扑模式的复杂度高于所述第一子集中的拓扑模式的复杂度。
12.根据权利要求5所述的方法，其中所述第一子集中的拓扑模式中的至少一些被包括在所述第二子集中的拓扑模式中。
13.根据权利要求1所述的方法，还包括：
重复地确定所述集合中的活动的所述拓扑模式是否响应于到所述循环人工神经网络中的数据的输入而发生在所述循环人工神经网络中；以及
基于所述数据之间的距离来对输入数据进行聚类，其中通过比较被确定为响应于所述数据的所述输入而发生的活动的相应的拓扑模式来确定所述距离。
14.根据权利要求1所述的方法，其中确定活动的所述拓扑模式是否发生包括：确定活动的单纯形模式是否发生。
15.根据权利要求14所述的方法，其中所述单纯形模式包围空腔。
16.根据权利要求1所述的方法，其中确定活动的所述拓扑模式是否发生包括：
确定具有与响应于所述输入的其他活动可区分的复杂度的活动的特定时间，以及
基于具有所述可区分的复杂度的所述活动的所述特定时间来识别拓扑结构。
17.一种方法，包括：
接收识别活动的拓扑模式响应于到循环人工神经网络中的多个不同的元素的输入而在所述循环人工神经网络中发生的信息；
基于活动的所述拓扑模式的发生来计算所述不同的元素之间的距离；以及
调整所述循环人工神经网络的一个或多个特性以增大或减小所述距离。
18.根据权利要求17所述的方法，包括：通过将被确定为响应于所述元素中的第一元素的输入而发生的活动的拓扑模式与被确定为响应于所述元素中的第二元素的输入而发生的活动的拓扑模式进行比较来确定所述第一元素与所述第二元素之间的距离。
19.根据权利要求17所述的方法，其中使用距离度量来计算所述距离，所述距离度量不同地处理所述集合中的活动的拓扑模式的第一子集与所述集合中的活动的拓扑模式的第二子集。
20.根据权利要求19所述的方法，其中距离计算将拓扑模式的所述第一子集加权为比拓扑模式的所述第二子集更强地指示距离。
21.根据权利要求19所述的方法，其中拓扑模式的所述第二子集中的拓扑模式的复杂度低于所述第一子集中的拓扑模式的复杂度。
22.根据权利要求17所述的方法，其中：
识别活动的拓扑模式的发生的所述信息包括用于第一元素的第一二进制向量和用于第二元素的第二二进制向量；
计算所述距离包括计算二进制向量之间的距离。
23.根据权利要求17所述的方法，其中所述循环人工神经网络是未经训练的。
CN202080096271.5A 2019-12-11 2020-12-10 循环神经网络中的距离度量和聚类 Pending CN115087989A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/710,176 US11580401B2 (en) 2019-12-11 2019-12-11 Distance metrics and clustering in recurrent neural networks
US16/710,176 2019-12-11
PCT/EP2020/085434 WO2021116250A1 (en) 2019-12-11 2020-12-10 Distance metrics and clustering in recurrent neural networks

Publications (1)

Publication Number Publication Date
CN115087989A true CN115087989A (zh) 2022-09-20

Family

ID=73839030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096271.5A Pending CN115087989A (zh) 2019-12-11 2020-12-10 循环神经网络中的距离度量和聚类

Country Status (6)

Country Link
US (2) US11580401B2 (zh)
EP (1) EP4073711A1 (zh)
KR (1) KR20220107302A (zh)
CN (1) CN115087989A (zh)
TW (1) TWI776310B (zh)
WO (1) WO2021116250A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467610A (zh) * 2023-03-13 2023-07-21 深圳市壹通道科技有限公司 基于5g消息的数据拓扑分析方法、装置、设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US20220388162A1 (en) * 2021-06-08 2022-12-08 Fanuc Corporation Grasp learning using modularized neural networks
US11809521B2 (en) * 2021-06-08 2023-11-07 Fanuc Corporation Network modularization to learn high dimensional robot tasks

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822742A (en) 1989-05-17 1998-10-13 The United States Of America As Represented By The Secretary Of Health & Human Services Dynamically stable associative learning neural network system
AU2001295591A1 (en) 2000-10-13 2002-04-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. A method for supervised teaching of a recurrent artificial neural network
DE10139682B4 (de) 2001-08-11 2004-08-05 Deneg Gmbh Verfahren zum Generieren von neuronalen Netzen
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US20060112028A1 (en) 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
JP4639784B2 (ja) 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
EP1949311B1 (en) 2005-10-26 2014-01-15 Cortica Ltd. A computing device, a system and a method for parallel processing of data streams
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US20090012581A1 (en) 2007-05-01 2009-01-08 Evolved Machines, Inc. Sensory event recoding and decoding
US8818923B1 (en) 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching
WO2011095342A1 (en) 2010-02-05 2011-08-11 Ecole Polytechnique Federale De Lausanne Epfl-Sri Organizing neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN104335218B (zh) 2012-03-30 2017-08-11 爱迪德技术有限公司 使用基函数编码来保护可访问的系统
TWI546759B (zh) 2013-03-28 2016-08-21 國立臺灣大學 遠距環境資料分類系統及其方法
US9292554B2 (en) 2013-08-20 2016-03-22 Pivotal Software, Inc. Thin database indexing
AR097974A1 (es) 2013-10-11 2016-04-20 Element Inc Sistema y método para autenticación biométrica en conexión con dispositivos equipados con cámara
US9558442B2 (en) 2014-01-23 2017-01-31 Qualcomm Incorporated Monitoring neural networks with shadow networks
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
US9425952B2 (en) 2014-03-27 2016-08-23 Samsung Israel Research Corporation Algebraic manipulation detection codes from algebraic curves
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US10019506B1 (en) 2014-06-26 2018-07-10 Google Llc Identifying objects in images
CN104318304A (zh) 2014-10-20 2015-01-28 上海电机学院 一种用于模式识别的基于样本学习的bp网络结构设计方法
US9946970B2 (en) 2014-11-07 2018-04-17 Microsoft Technology Licensing, Llc Neural networks for encrypted data
US10333696B2 (en) 2015-01-12 2019-06-25 X-Prime, Inc. Systems and methods for implementing an efficient, scalable homomorphic transformation of encrypted data with minimal data expansion and improved processing efficiency
US10650047B2 (en) 2015-03-12 2020-05-12 International Business Machines Corporation Dense subgraph identification
JP6725547B2 (ja) 2015-03-20 2020-07-22 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 人工ニューラルネットワークの関連性スコア割当て
WO2016206765A1 (en) 2015-06-26 2016-12-29 Sentiance Nv Deriving movement behaviour from sensor data
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
CN106599989B (zh) 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 神经网络单元和神经处理单元阵列
JP6983154B2 (ja) 2015-10-28 2021-12-17 グーグル エルエルシーGoogle LLC 計算グラフの処理
WO2017075346A1 (en) 2015-10-28 2017-05-04 Google Inc. Modifying computational graphs
US10970628B2 (en) 2015-11-09 2021-04-06 Google Llc Training neural networks represented as computational graphs
US20170139759A1 (en) 2015-11-13 2017-05-18 Ca, Inc. Pattern analytics for real-time detection of known significant pattern signatures
TWI745321B (zh) 2016-01-08 2021-11-11 馬來西亞商雲頂圖爾斯診斷中心有限公司 決定網路連結之方法及系統
US10733532B2 (en) 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
US10157629B2 (en) 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US10204286B2 (en) 2016-02-29 2019-02-12 Emersys, Inc. Self-organizing discrete recurrent network digital image codec
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
WO2017197375A1 (en) 2016-05-13 2017-11-16 Princeton University System and methods for facilitating pattern recognition
US20220269346A1 (en) 2016-07-25 2022-08-25 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
CN109804383B (zh) 2016-08-04 2024-03-26 谷歌有限责任公司 使用神经网络编码和重构输入
US11120353B2 (en) 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US10157045B2 (en) 2016-11-17 2018-12-18 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
KR101997975B1 (ko) 2016-12-01 2019-07-08 한국과학기술원 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US11429854B2 (en) 2016-12-04 2022-08-30 Technion Research & Development Foundation Limited Method and device for a computerized mechanical device
CN106778856A (zh) 2016-12-08 2017-05-31 深圳大学 一种物体识别方法及装置
US10515302B2 (en) 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
US10885425B2 (en) 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11625569B2 (en) 2017-03-23 2023-04-11 Chicago Mercantile Exchange Inc. Deep learning for credit controls
US9785886B1 (en) 2017-04-17 2017-10-10 SparkCognition, Inc. Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US11501139B2 (en) 2017-05-03 2022-11-15 Intel Corporation Scaling half-precision floating point tensors for training deep neural networks
US20180336453A1 (en) 2017-05-19 2018-11-22 Salesforce.Com, Inc. Domain specific language for generation of recurrent neural network architectures
EP3602409B1 (en) 2017-06-05 2023-11-01 Deepmind Technologies Limited Selecting actions using multi-modal inputs
US11049018B2 (en) 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11987272B2 (en) 2017-07-05 2024-05-21 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11775891B2 (en) 2017-08-03 2023-10-03 Telepathy Labs, Inc. Omnichannel, intelligent, proactive virtual agent
US20190050725A1 (en) 2017-08-14 2019-02-14 Sisense Ltd. System and method for approximating query results using local and remote neural networks
US20190122140A1 (en) 2017-10-20 2019-04-25 STATGRAF Research LLP. Data analysis and rendering
US10410111B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Automated evaluation of neural networks using trained classifier
US10628486B2 (en) 2017-11-15 2020-04-21 Google Llc Partitioning videos
KR20240053667A (ko) 2017-12-22 2024-04-24 레스메드 센서 테크놀로지스 리미티드 건강 및 의료 감지를 위한 장치, 시스템, 및 방법
TWI640933B (zh) 2017-12-26 2018-11-11 中華電信股份有限公司 基於類神經網路之兩段式特徵抽取系統及其方法
WO2019147329A1 (en) 2018-01-23 2019-08-01 Hrl Laboratories, Llc A method and system for distributed coding and learning in neuromorphic networks for pattern recognition
US11278413B1 (en) 2018-02-06 2022-03-22 Philipp K. Lang Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence
US20190251447A1 (en) 2018-02-09 2019-08-15 Htc Corporation Device and Method of Training a Fully-Connected Neural Network
WO2019177907A1 (en) 2018-03-13 2019-09-19 Hrl Laboratories, Llc Sparse associative memory for identification of objects
US20190354832A1 (en) 2018-05-17 2019-11-21 Università della Svizzera italiana Method and system for learning on geometric domains using local operators
US20210027862A1 (en) 2018-03-30 2021-01-28 Board Of Trustees Of Michigan State University Systems and methods for drug design and discovery comprising applications of machine learning with differential geometric modeling
US10771488B2 (en) 2018-04-10 2020-09-08 Cisco Technology, Inc. Spatio-temporal anomaly detection in computer networks using graph convolutional recurrent neural networks (GCRNNs)
DE102018109392A1 (de) 2018-04-19 2019-10-24 Beckhoff Automation Gmbh Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens
US11341397B1 (en) 2018-04-20 2022-05-24 Perceive Corporation Computation of neural network node
EP3561727A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
US20190335192A1 (en) 2018-04-27 2019-10-31 Neulion, Inc. Systems and Methods for Learning Video Encoders
US20190378007A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
WO2019238483A1 (en) 2018-06-11 2019-12-19 Inait Sa Characterizing activity in a recurrent artificial neural network and encoding and decoding information
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US20190378000A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US10417558B1 (en) 2018-09-28 2019-09-17 Deep Insight Solutions, Inc. Methods and systems for artificial neural network optimistic event processing
US11823038B2 (en) 2018-06-22 2023-11-21 International Business Machines Corporation Managing datasets of a cognitive storage system with a spiking neural network
US11218498B2 (en) 2018-09-05 2022-01-04 Oracle International Corporation Context-aware feature embedding and anomaly detection of sequential log data using deep recurrent neural networks
US11068942B2 (en) 2018-10-19 2021-07-20 Cerebri AI Inc. Customer journey management engine
EP3989194A1 (en) 2018-10-29 2022-04-27 Hexagon Technology Center GmbH Facility surveillance systems and methods
US11270072B2 (en) 2018-10-31 2022-03-08 Royal Bank Of Canada System and method for cross-domain transferable neural coherence model
WO2020095051A2 (en) 2018-11-07 2020-05-14 Gtn Ltd A quantum circuit based system configured to model physical or chemical systems
US11120111B2 (en) 2018-12-11 2021-09-14 Advanced New Technologies Co., Ltd. Authentication based on correlation of multiple pulse signals
US20190370647A1 (en) 2019-01-24 2019-12-05 Intel Corporation Artificial intelligence analysis and explanation utilizing hardware measures of attention
US20220148739A1 (en) 2019-02-05 2022-05-12 Smith & Nephew, Inc. Use of robotic surgical data for long term episode of care
US11544535B2 (en) 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11676685B2 (en) 2019-03-21 2023-06-13 Illumina, Inc. Artificial intelligence-based quality scoring
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US10996664B2 (en) 2019-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. Predictive classification of future operations
WO2020201999A2 (en) 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US20200380335A1 (en) 2019-05-30 2020-12-03 AVAST Software s.r.o. Anomaly detection in business intelligence time series
US20200402497A1 (en) 2019-06-24 2020-12-24 Replicant Solutions, Inc. Systems and Methods for Speech Generation
US11583134B2 (en) 2019-07-15 2023-02-21 Lg Electronics Inc. Artificial intelligence cooking device
US11763155B2 (en) 2019-08-12 2023-09-19 Advanced Micro Devices, Inc. Using sub-networks created from neural networks for processing color images
US11064108B2 (en) 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
US20210097578A1 (en) 2019-10-01 2021-04-01 JJG Development, LLC, DBA Smart Pickle Marketing automation platform
US20220187847A1 (en) 2019-11-05 2022-06-16 Strong Force Vcn Portfolio 2019, Llc Robot Fleet Management for Value Chain Networks
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US20230019839A1 (en) 2019-12-11 2023-01-19 Inait Sa Constructing and operating an artificial recurrent neural network
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US20210182655A1 (en) 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US10885020B1 (en) 2020-01-03 2021-01-05 Sas Institute Inc. Splitting incorrectly resolved entities using minimum cut
US20220157436A1 (en) 2020-08-10 2022-05-19 Zeriscope, Inc. Method and system for distributed management of transdiagnostic behavior therapy
JP2024500818A (ja) 2020-12-18 2024-01-10 ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー バリューチェーンネットワークのためのロボットフリート管理及び付加製造
US20220261593A1 (en) 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467610A (zh) * 2023-03-13 2023-07-21 深圳市壹通道科技有限公司 基于5g消息的数据拓扑分析方法、装置、设备及存储介质
CN116467610B (zh) * 2023-03-13 2023-10-10 深圳市壹通道科技有限公司 基于5g消息的数据拓扑分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11580401B2 (en) 2023-02-14
WO2021116250A1 (en) 2021-06-17
TW202137068A (zh) 2021-10-01
US20210182681A1 (en) 2021-06-17
TWI776310B (zh) 2022-09-01
KR20220107302A (ko) 2022-08-02
US20230351196A1 (en) 2023-11-02
EP4073711A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN115087989A (zh) 循环神经网络中的距离度量和聚类
TWI789654B (zh) 循環人工神經網路系統
US11816553B2 (en) Output from a recurrent neural network
US20240046077A1 (en) Input into a neural network
US11651210B2 (en) Interpreting and improving the processing results of recurrent neural networks
Narayana A prototype to detect anomalies using machine learning algorithms and deep neural network
Peeperkorn et al. Supervised conformance checking using recurrent neural network classifiers
Baldwin et al. Basic concepts of a fuzzy logic data browser with applications
Neculae Ensemble learning for spiking neural networks
Suhasini et al. DETECTION OF ONLINE FAKE NEWS USING OPTIMIZED ENSEMBLE DEEP LEARNING MODELS
Hlöðver Friðriksson et al. Neural Ordinary Differential Equations for Anomaly Detection
Kalantari A general purpose artificial intelligence framework for the analysis of complex biological systems
Prabhavathy Some applications of covering based rough set theory in information systems
Ahmed An improved self organizing map using jaccard new measure for textual bugs data clustering
Echtermeyer Causal pattern inference from neural spike train data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination