CN111615705A - 用于对象识别的稀疏联想记忆 - Google Patents

用于对象识别的稀疏联想记忆 Download PDF

Info

Publication number
CN111615705A
CN111615705A CN201980008481.1A CN201980008481A CN111615705A CN 111615705 A CN111615705 A CN 111615705A CN 201980008481 A CN201980008481 A CN 201980008481A CN 111615705 A CN111615705 A CN 111615705A
Authority
CN
China
Prior art keywords
input neuron
pattern
neuron
activation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980008481.1A
Other languages
English (en)
Inventor
H·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN111615705A publication Critical patent/CN111615705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

描述了使用稀疏联想记忆进行对象识别的系统。在操作中，该系统将关于对象的签名数据转换成表示输入神经元层中的激活的二进制信号的集合。基于输入神经元层中的激活，将输入神经元连接到隐藏神经元，这允许从隐藏神经元回到输入神经元的循环连接。然后，在输入神经元层中的输入神经元稳定时，识别输入神经元的激活图案。激活图案是恢复图案，其允许系统通过将恢复图案与关系数据库中存储的图案进行比较来识别对象。基于对象识别，然后可以控制诸如机械臂等的设备。

Description

用于对象识别的稀疏联想记忆
相关申请的交叉引用
本申请要求于2018年3月13日提交的美国临时申请No.62/642,521的权益并且是其非临时专利申请，其全部内容通过引用并入本文中。
背景技术
(1)技术领域
本发明涉及对象辨识系统，并且更具体地，涉及使用稀疏联想记忆(SAM：sparseassociative memory)来识别对象的对象辨识系统。
(2)相关技术的描述
在各种设置中，自动识别特定对象的能力可能是重要的。例如，为了取证或验证目的，能够快速识别机械或零件是很重要的。军事系统中的零件可能是伪造的，因此需要进行验证以测试零件是否确实是特定对象或甚至是来自经选择和批准的供应商的特定对象。通过手动方式进行验证非常耗时，因此需要自动方式。
已经尝试使用神经网络创建辨识系统。例如，一些研究人员已经试图采用Hopfield(霍普菲尔德)网络的变体(参见“所并入的参考文献的列表”，参考文献6)，其是联想记忆。Hopfield网络是完全连接网络(即，各个神经元都连接至每个其它神经元)，并且将图案存储在神经元之间的连接的权重中。Hopfield网络虽然在某种程度上可操作以识别图案，但是Hopfield网络具有多个缺点，这些缺点包括：
1.存储权重需要大量计算机存储空间，因为它们是浮点和数字O(n2)，其中，n是神经元的数量。
2.记忆的回忆不限于在网络中存储的图案；另外，网络频繁地回忆所谓的虚假记忆(参见参考文献1)。对于足够大量的存储图案，当网络呈现随机输入时，虚假记忆的回忆概率接近100％。
3.即使对于适度数量的存储图案，正确检索的概率也下降到接近0％，从而限制了网络可以存储的图案数量；存储的图案数量上限为n/(2log n)，例如，对于n＝1000个神经元，上限为72(参见参考文献2)。
Hopfield网络的变体提供关于如何更新连接权重的不同规则。利用这些规则中的一些规则，存储图案的容量可能比上述容量更大。例如，利用Storkey规则，容量为n/sqrt(2log n)而不是n/(2log n)，例如，对于n＝1000个神经元，容量为269(参见参考文献9)。尽管如此，上述缺点1和缺点2仍然存在。
因此，持续需要一种使用稀疏联想记忆自动地且有效地检测对象的系统。
发明内容
本公开提供了一种使用稀疏联想记忆进行对象识别的系统。在各个方面，该系统包括存储器和一个或更多个处理器。该存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行指令时，一个或更多个处理器执行多个操作，该多个操作包括：将关于对象的签名(signature)数据转换成表示输入神经元层中的激活的二进制信号的集合；基于输入神经元层中的激活将输入神经元连接到隐藏神经元；形成从隐藏神经元回到输入神经元的循环连接(recurrent connection)；在输入神经元层中的输入神经元稳定时，识别输入神经元的激活图案，该激活图案是恢复图案；通过将恢复图案与关系数据库中存储的图案进行比较来识别对象；并且基于对象的识别对设备进行控制。
在又一方面，对设备进行控制包括基于对象的识别使设备执行物理动作。
在另一方面，该系统执行以下操作：迭代地激活输入神经元和隐藏神经元，直到输入神经元的稳定发生为止。
进一步地，当激活在两个连续时间步长之间保持不变或执行预定次数的迭代时，输入神经元的稳定发生。
在再一方面，循环连接包括抑制性连接。
在另一方面，签名数据包括来自一个或更多个传感器的对象的传感器记录。
在又一方面，物理动作包括使机器在对象上打印对象标签。
在另一方面，物理动作包括使机器将对象移动到箱中。
最后，本发明还包括计算机程序产品和计算机实现方法。该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可以由具有一个或更多个处理器的计算机执行，使得在执行这些指令时，该一个或更多个处理器执行本文列出的操作。另选地，计算机实现方法包括使计算机执行这种指令并执行所得到的操作的动作。
附图说明
从以下参照附图对本发明的多个方面的详细描述，将容易理解本发明的目的、特征和优点，其中：
图1是示出了根据本发明的多个实施方式的系统的组件的框图；
图2是具体实现本发明的一个方面的计算机程序产品的例示；
图3是例示了根据本发明的多个实施方式的顶级处理流的流程图；
图4是示出了根据本发明的多个实施方式的联想记忆的架构的例示；
图5是例示了根据本发明的多个实施方式的用于存储一个图案的处理的流程图；
图6是示出了根据本发明的多个实施方式的联想记忆连接的例示；
图7是示出了根据本发明的多个实施方式的包括抑制性连接的联想记忆连接的例示；
图8是例示了根据本发明的多个实施方式的用于回忆图案的处理的流程图；
图9A是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的正确图案回忆的概率的图表，示出了当n＝1000时作为所存储图案的数量的函数的结果；
图9B是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的正确图案回忆的概率的图表，示出了当存储1000个图案时作为n的函数的结果；
图10A是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的虚假激活的概率的图表，示出了当n＝1000时作为所存储图案的数量的函数的结果；
图10B是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的虚假激活的概率的图表，示出了当存储1000个图案时作为n的函数的结果；以及图11是示出了根据多个实施方式的设备的控制的框图。
具体实施方式
本发明涉及对象辨识系统，并且更具体地，涉及使用稀疏联想记忆来识别对象的对象辨识系统。呈现以下描述以使得本领域普通技术人员能够做出和使用本发明并且将本发明并入到特定应用的上下文中。对于本领域技术人员而言，多种修改以及在不同应用中的多种使用将是显而易见的，并且本文中限定的一般原理可以应用于广泛方面。因此，本发明不旨在限于所呈现的方面，而是应根据与本文所公开的原理和新特征一致的最广范围。
在下面的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻理解。然而，对于本领域技术人员显而易见的是，可以在不必限于这些特定细节的情况下实践本发明。在其它实例中，以框图的形式而不是详细地示出了众所周知的结构和设备，以便避免模糊本发明。
读者的注意力在于与本说明书同时提交并随本说明书公开以供公众查阅的所有论文和文献，并且所有这种论文和文献的内容均通过引用并入本文。除非另有明确说明，否则本说明书中公开的所有特征(包括任何所附权利要求、摘要和附图)可以由具有相同、等效或类似目的的另选特征代替。因此，除非另有明确说明，否则所公开的各个特征仅是通用系列等效或类似特征的一个示例。
此外，权利要求中未明确说明用于执行特定功能的“手段”或用于执行特定功能的“步骤”的任何要素均不被解释成在35U.S.C第112条第6款中规定的“装置”或“步骤”条款。尤其是，此处权利要求中“的步骤”或“的动作”的使用不旨在援引35U.S.C第112条第6款的规定。
在详细描述本发明之前，首先提供所引用的参考文献的列表。接下来，提供对本发明的多个主要方面的描述。随后，介绍为读者提供了对本发明的一般理解。最后，提供本发明的多个实施方式的具体细节，以给出对具体方面的理解。
(1)所并入的参考文献的列表
在本申请全文中引用了以下参考文献。为了清楚和方便起见，参考文献在此被列出为读者的中心资源。以下参考文献通过引用并入本文，如同在本文中充分阐述一样。通过引用如下所示的对应文献参考编号来在本申请中引用这些参考文献：
1.Bruck，J.，and Roychowdhury，V.P.On the number of spurious memories inthe Hopfield model.IEEE Transactions on Information Theory，36(2)，393-397，1990.
2.McEliece，R.J.，Posner，E.C.，Rodemich，E.R.，and Venkatesh，S.S.Thecapacity of the Hopfield associative memory，IEEE Transactions on InformationTheory，33(4)，461-482，1987.
3.Hoffmann，H.，Schenck，W.，and
Figure BDA0002585020630000051
R.Learning visuomotortransformations for gaze-control and grasping.Biological Cybernetics，93，119-130，2005.
4.Hoffmann，H.，Howard，M.，and Daily，M.Fast pattern matching with time-delay neural networks.International Joint Conference on Neural Networks，2011.
5.Hoffmann，H.Neural network device with engineered delays for patternstorage and matching.US patent 8818923，Aug 26，2014.
6.Hopfield，J.J.Neural networks and physical systems with emergentcollective computational abilities.Proceedings of the National Academy ofSciences of the USA，79，2554-2558，1982.
7.Lowel，S.and Singer，W.Selection of intrinsic horizontal connectionsin the visual cortex by correlated neuronal activity.Science，255，Issue 5041，209-212，1992.
8.Minkovich K.，Srinivasa，N.，Cruz-Albrecht，J.M.，Cho，Y.K.，and Nogin，A.Programming Time-Multiplexed Reconfigurable Hardware Using a ScalableNeuromorphic Compiler.IEEE Trans.on Neural Networks and Learning Systems，23(6)，889-901，2012.
9.Storkey，A.Increasing the capacity of a Hopfield network withoutsacrificing functionality.Artificial Neural Networks-ICANN′97，451-456，1997.
(2)主要方面
本发明的多种实施方式包括三个“主要”方面。第一主要方面是使用稀疏联想记忆进行对象识别的系统。该系统通常是计算机系统操作软件的形式或是“硬编码”指令集的形式。该系统可以被结合到提供不同功能的广泛多种设备中。第二主要方面是通常为使用数据处理系统(计算机)运行的软件形式的方法。第三主要方面是计算机程序产品。该计算机程序产品通常表示存储在非暂时性计算机可读介质上的计算机可读指令，非暂时性计算机可读介质例如是诸如光盘(CD)或数字多功能盘(DVD)的光学存储设备，或者诸如软盘或磁带的磁性存储设备。计算机可读介质的其它非限制性示例包括硬盘、只读存储器(ROM)和闪存型存储器。这些方面将在下面更详细地描述。
在图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文中讨论的某些处理和步骤被实现成驻留在计算机可读存储器单元内并且由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。当被执行时，该指令使计算机系统100执行诸如本文所描述的特定动作并呈现特定行为。
计算机系统100可以包括被配置成传输信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如一个或更多个处理器104)与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM“EEPROM”、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从在线数据存储单元中检索到(诸如在“云”计算中)的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。该一个或更多个接口被配置成使得计算机系统100能够与其它电子设备和计算机系统对接。由一个或更多个接口实现的通信接口可以包括有线通信技术(例如，串行电缆、调制解调器、网络适配器等)和/或无线通信技术(例如，无线调制解调器、无线网络适配器等)。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入设备112，其中，输入设备112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入设备112是字母数字输入设备，(诸如键盘)，其可以包括字母数字和/或功能键。另选地，输入设备112可以是除字母数字输入设备以外的输入设备。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制设备114，其中，光标控制设备114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，使用诸如鼠标、轨迹球、触控板、光学跟踪设备或触摸屏的设备来实现光标控制设备114。尽管存在前述内容，但是在一方面，经由来自输入设备112的输入(诸如响应于与输入设备112相关联的特定键和键序列命令的使用)来引导和/或启动光标控制设备114。在另选方面，光标控制设备114被配置成由语音命令指导或引导。
在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选计算机可用数据存储设备，诸如存储设备116。存储设备116被配置成存储信息和/或计算机可执行指令。在一个方面，存储设备116是诸如磁盘驱动器或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字多功能盘(“DVD”)的存储设备。根据一个方面，显示设备118与地址/数据总线102联接，其中，显示设备118被配置成显示视频和/或图形。在一方面，显示设备118可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器或适于显示用户可识别的视频和/或图形图像和字母数字字符的任何其它显示设备。
本文呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制性示例不严格限于计算机系统。例如，一方面提供了计算机系统100表示可以根据本文描述的多个方面使用的一个类型的数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单个数据处理环境。因此，一方面，使用由计算机执行的计算机可执行指令(诸如，程序模块)来控制或实现本技术的多个方面的一个或更多个操作。在一实现中，这种程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如其中，任务是由通过通信网络链接的远程处理设备执行的，或者诸如其中，多个程序模块位于本地和远程计算机存储介质(包括存储器存储设备)二者中。
在图2中示出了具体实现本发明的计算机程序产品(即，存储设备)的例示图。该计算机程序产品被示出为软盘200或诸如CD或DVD的光盘202。然而，如前所述，计算机程序产品一般表示存储在任何兼容非暂时性计算机可读介质上的计算机可读指令。关于本发明使用的术语“指令”一般指示要在计算机上执行的一组操作，并且可以表示整个程序的多段或单独可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源代码或目标代码)和“硬编码”电子器件(即，被编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如计算机的存储器中或软盘、CD-ROM和闪存驱动器中。无论哪种情况，指令均被编码在非暂时性计算机可读介质上。
(3)介绍
本公开提供了一种通过使用学习对象的签名的联想记忆来识别对象的系统和方法。该签名可以是从对象记录的音频信号和/或图像。签名例如是跨表面材料的频率图的吸光率或者是利用机械手指刮擦表面时记录的声音或者两者的组合。这些签名必须被选择成使得它们可以唯一地识别由特定制造商制造的对象。该系统采用唯一联想记忆和唯一手段来训练联想记忆。联想记忆包括输入神经元层和隐藏神经元层、以及这两个层之间的稀疏连接。隐藏神经元递归地返回到输入神经元上。该网络将完整或有噪声(noisy)的图案部分恢复到它们先前存储在网络中的原始状态。这些恢复图案然后用于检索对象标签，然后将该对象标签与对象相关联。例如，在检索对象标签时，系统例如利用激光打印机将对象标签打印到对象上。
如本领域技术人员可以理解的，本文描述的系统可以应用于多种应用。作为非限制性示例，该系统可以被实现成识别机器或零件，例如，用于取证或验证。在一些方面，该系统可以被实现成识别所考虑的对象是否是特定期望对象，诸如，发动机缸体对卷心菜(cabbage)。然而，在其它方面，识别意指验证零件是否已经被制成符合规范或者也许是仿冒品。军事系统中的零件可能是伪造的，因此，需要进行验证以测试零件是否确实来自所选供应商。本发明的一个优点是其使用可以将有噪声或部分完整的数据图案恢复到它们的原始状态的联想记忆。然后可以在关系数据库中使用原始状态来检索对象ID。与其它相关的联想记忆系统不同，本公开的系统极大地减少了虚假记忆的回忆，这些虚假记忆是系统尚未学习的鬼影记忆。而且，与其它联想记忆相比，容量和效率度量更好。
(4)多种实施方式的具体细节
如上所述并且如图3所示，本公开的系统可以用于基于对象300的特征签名302来识别对象300(例如，机器或机器的零件等)。该签名302可以作为数据(诸如，图像、IR和/或音频数据)从一个或更多个传感器304获得。该签名302不限于这些数据，并且还可以包括边信道数据。这种边信道数据的非限制性示例包括对对象或机器的电力供应的电压时间序列。作为准备步骤，将已知对象的签名存储在数据库中以供以后使用。为了进行识别，呈现对象的新签名，该对象的新签名被处理306以使用例如神经网络来生成神经激活图案308，利用高斯激活函数(如下所述的调谐曲线)将在多个实值变量中提供的输入数据映射到二进制神经激活图案。然后，联想记忆310将对应神经激活图案恢复成恢复图案312。在此，恢复完成了有噪声或部分完整图案(以下段落描述了图案完成或恢复)，并且如果新输入图案足够接近，则使新输入图案与存储的签名匹配。如果联想记忆可以恢复/完成不完整图案，使得其与存储的图案完全匹配，则其足够接近。例如，在针对Hopfield网络的测试中(如下所述)，改变了1000个神经元中的5个神经元的激活(即，不完整图案)；该改变足够接近以允许图案完成。该恢复是必要的，因为由于噪声导致签名302可能与所存储的签名不同。随后，可以从关系数据库中的恢复图案312检索对象ID 314。然后可以将该对象ID 314用于关联物理动作。例如，可以通过激光打印机318将对象ID 314作为标签316打印到对象300上。另选地，机械臂可以将具有不匹配ID的对象300移动(例如，推动或抓握、提起和放下等)到箱中以进行处置。
在联想记忆310可以对签名302进行操作之前，必须将签名302预处理306成二进制图案，例如，零和一的阵列。作为非限制性示例，为了将连续信号转换成二进制数字的阵列，可以使用调谐曲线。例如，在参考文献3中描述了调谐曲线。在该工作中，各个二进制数字表示具有感受野的神经元，该神经元被实现成高斯滤波器：该神经元对某个设定值的信号的响应概率最高，并且如果信号值偏离设定值，则响应概率降低。在此示例中，高斯函数限定了将二进制值设置为1(否则为0)的概率(介于0与1之间)。结果，在属于联想记忆的输入神经元的池中，签名302被转换成激活图案308。
如图4所示，联想记忆310包括神经元的输入层400(例如，在图4所示的示例中n＝14)、隐藏神经元层402以及两个层之间的连接404。系统以两种模式操作：训练和回忆。
最初，在进行任何训练之前，记忆具有n个神经元的输入层400，但是没有隐藏神经元，并且没有连接。在训练中并且如图5所示，一次存储一个图案。首先，呈现500新图案，其激活502输入神经元的池。为了存储图案，通过分配用于激活这些神经元的记忆来创建506h个隐藏神经元的集合。然后，在输入层502与隐藏神经元506之间形成(计算)508神经连接。为了进一步理解，图6和图7示出了生成联想记忆连接的两种变型。例如，图6例示了形成联想记忆连接的期望处理；而图7示出了形成包括抑制性连接的联想记忆连接的另选方面。
如图所示，要存储的二进制图案将输入层神经元400的子集600激活作为激活图案中的激活神经元600。在图6中，活动神经元600被表示成实心圆，而非活动神经元702被表示成空心圆。子集活动神经元600和隐藏层402之间的连接被概率性地形成。利用给定概率pS(例如，pS＝0.1)，从输入层400中的激活神经元600到隐藏神经元402形成定向连接：对于各对活动神经元和h个隐藏神经元的集合中的元素，如果间隔[0，1)中的统一随机数小于pS，则形成连接602。连接的这种形式是Hebbian学习的形式-如果神经元一起激发，它们就连接在一起。有关Hebbian学习的讨论，参见参考文献7。创建第二组连接604，其从隐藏神经元402投影回输入神经元400；分配给存储图案的各个隐藏神经元402投影到各个活动神经元。对于下一个训练图案，创建h个隐藏神经元的新集合，并且如上所述形成连接。
在一个实施方式中，来自隐藏神经元402的投影仅是兴奋性的，且仅连接到输入层402中的激活神经元600(如图6所示)。在另一个实施方式中并且如图7所示，在隐藏神经元402与输入层400中的非活动输入神经元702之间形成附加抑制性连接700。在此，隐藏神经元402可以投影到所有非活动输入神经元702或仅投影到这些神经元的子集。该子集可以再次被概率性地选择：即，如上所述以给定概率pI形成连接，但是该概率的值可能不同于pS，例如pI＝0.5。在又一示例实施方式中，概率性地选择投影到输入层上的兴奋性连接和抑制性连接。
优选地，pS远小于1，这意味着网络中的连接将是稀疏的。这样，该网络称为稀疏联想记忆(SAM)。输入层中的神经元的数量应足够大，优选地大于要存储的训练图案的数量。
在回忆中并且如图8所示，将图案800呈现给相应被激活的输入神经元802。计算804对应隐藏神经元。然后确定806隐藏神经元是否稳定(下面进一步详细描述)。联想记忆使输入神经元的激活808迭代，直到出现稳定图案，此时生成恢复图案312并将其用于识别。神经动力学行为被建模成简单整合和激发神经元：如果神经元激发，则其将通过所有其输出连接发送值为+1的锋电位(spike)。在参考文献4和参考文献5中描述了这种简单整合和激发神经元的示例。抑制性连接将该值乘以-1。在接收神经元处，所有输入的锋电位值加在一起；如果总和高于预定阈值，则接收神经元变为活动的并且激发。对于隐藏神经元，阈值的非限制性示例为6，并且对于输入神经元为1。
检查神经激活是否稳定的机制的示例是比较两个连续时间步长之间的激活。如果所有激活在这些步长之间均保持不变，则该图案是稳定的，并且迭代停止。另选地，迭代在预定数量的步长(例如，5个)之后停止。对迭代的该限制也可以与检测激活中的改变的机制结合使用。一旦神经激活稳定，所得到的输入神经元的激活图案就形成了联想记忆的恢复图案。为了进行对象识别，将该恢复图案与关系数据库中的其它图案(相同种类)进行比较。在关系数据库中，存储图案与对象ID之间存在一一对应的关系。
为了在随机存取存储器(RAM)中高效实现，输入神经元在RAM中形成块并具有二进制状态。可以在RAM块与大小相等的二进制阵列(对到隐藏神经元的连接进行编码)之间利用AND运算来计算到隐藏神经元的投影，并且然后将所得到的阵列中的所有元素相加，以确定隐藏神经元是否变成活动的。另选地，可以使用神经形态硬件来利用连接中的稀疏性。在此，物理链接(导线)将输入神经元与隐藏神经元连接起来。优选地，使用允许将这些链接编程到神经形态芯片中的可重新配置硬件(关于使用这种可重新配置硬件和神经形态芯片的描述，参见参考文献8)。
与全连接Hopfield网络相比，本公开的系统在存储图案方面更有效。网络的效率e是要存储的二进制阵列的大小n除以存储所需的位数。对于激活m个输入神经元的子集的各个图案，SAM处理需要m*h*pS个前向连接和n*h个反向连接(当包括抑制性连接时)。为了对各个前向连接进行编码，我们需要log2 n+log2 h位来识别连接神经元。对于后向连接，我们需要具有条目+1或-1的n×h二进制矩阵。结果，我们的效率为η＝n/(m*h*pS*(log2 n+log2h)+n*h)。与之相比，对于Hopfield网络，假设8位足以存储连接权重(通常，由于使用浮点数，所以需要更多位)，则需要4*n*(n-1)位来存储图案。总位数与存储图案的数量无关，但是存储受到限制。为了与本发明的效率进行比较，存储与Hopfield网络的上限一样多的图案，n/(2log n)。利用这个数字，Hopfield网络的效率为eH＝n/(8*(n-1)*log n)。结果，网络的效率随着网络的大小而降低，而本公开的网络的效率在增加网络大小的极限中是恒定的(即使使用Storkey定律，随着n的增加，Hopfield网络的效率也接近于0)。
作为比较效率的示例，将303个图案存储在Hopfield网络中，其中n＝2000个输入神经元(2000/(2log 2000)≈132)。激活的各个图案m＝200个神经元。那么，Hopfield网络的效率为eH＝0.0165。与之相比，对于根据本公开的网络，使用n＝2000，m＝200，h＝2，pS＝0.1和pI＝1获得e＝0.447。该值大大约27倍。使用Storkey规则，可以在n＝2000的Hopfield网络中存储513个图案，并且效率提高到eH＝0.064，这仍然比本公开内容提供的结果小7倍。
(4.1)实验结果
测试了稀疏联想记忆，以证明相对于最先进系统的显著改进。在模拟中，测试了存储图案和回忆这种图案的能力。SAM使用以下参数：连接输入神经元与隐藏神经元的概率pS＝0.1，每图案的隐藏神经元数量h＝2，激活隐藏神经元的阈值：6，以及激活输入神经元的阈值：1。测试两个变体，一个没有抑制，pI＝0，另一个具有抑制，pI＝1。将这些网络与由MATLAB神经网络工具箱(版本R2015b)实现的Hopfield网络进行比较。
在第一个实验中，网络大小保持在n＝1000个神经元，并且存储图案的数量从100到1000以100的步长变化。在第二个实验中，存储图案的数量为1000，并且网络的大小从n＝1000到2000以100的步长变化。在两个实验中，各个图案都激活100个神经元，其被随机选择用于各个存储图案。测试正确检索图案的能力和回忆虚假记忆的概率。为了测试图案检索，将各个存储图案呈现为其位中的五个位被翻转的测试图案。这五位是随机选择的。如果回忆图案与存储图案完全匹配，则认为检索正确。
图9A和图9B例示了检索结果。具体地，图9A是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的正确图案回忆的概率的图表，示出了当n＝1000时作为存储图案的数量的函数的结果。图9B是类似的图表，示出了当存储1000个图案时作为n的函数的结果。对于足够大量的神经元，本发明的两个变体具有接近完美的检索，而Hopfield网络需要大量更多的神经元来处理大量存储图案。对于本发明，具有抑制的性能比没有抑制的性能更好。
为了测试虚假记忆，向网络呈现随机图案。各个随机图案激活100个神经元(随机选择)。随机图案与存储图案匹配的概率非常小，<10-100。响应于随机图案，如果网络回忆与存储图案中的任何图案都不匹配的图案，则将该激活计为虚假激活。
图10A和图10B示出了虚假激活的概率的结果。具体地，图10A是例示了将具有抑制和不具有抑制的SAM与Hopfield网络进行比较的虚假激活的概率的图表，示出了当n＝1000时作为存储图案的数量的函数的结果。图10B是类似的图表，示出了当存储1000个图案时作为n的函数的结果。在这两个实验中，Hopfield网络都针对100％的测试图案回忆虚假记忆。与之相比，使用SAM，当神经元的数量n与存储图案的数量相比较大时，虚假激活的概率较低，例如，在具有1000个输入神经元的网络中存储200个图案时，概率<10-4。至于检索，具有抑制的SAM表现出比不具有抑制的SAM更好的性能。
(4.2)设备的控制
如图11所示，处理器104可以用于基于识别对象来控制设备1100(例如，打印机、机械臂等)。例如，可以控制设备1100以基于识别来使设备移动或以其它方式发起物理动作。如上所述，可以激活例如激光打印机的机器，并使其在所识别的对象上打印标签。作为另一示例，可以致动机器(例如，机械臂)以使机器将具有不匹配ID的对象移动到箱中以进行处置。作为又一示例，门或锁定机构可以被打开以基于该识别进入房间或隔间。
最后，尽管已经根据多个实施方式描述了本发明，但是本领域普通技术人员将容易认识到，本发明可以在其它环境中具有其它应用。应当注意，许多实施方式和实现是可能的。另外，所附权利要求绝不旨在将本发明的范围限制到上述特定实施方式。另外，对“用于……的装置”的任何表述旨在引起对要素和权利要求的装置加功能的阅读，而不特别使用对“用于……的装置”的表述的任何要素不旨在被读作装置加功能要素，即使权利要求另外包括“装置”一词。此外，尽管以特定顺序叙述了特定方法步骤，但是这些方法步骤可以以任何期望顺序发生，并且落入本发明的范围内。

Claims (24)

1.一种使用稀疏联想记忆进行对象识别的系统，所述系统包括：
存储器以及一个或更多个处理器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
将关于对象的签名数据转换成表示输入神经元层中的激活的二进制信号的集合；
基于所述输入神经元层中的所述激活，将所述输入神经元连接到隐藏神经元；
形成从隐藏神经元回到所述输入神经元的循环连接；
在所述输入神经元层中的所述输入神经元稳定时，识别所述输入神经元的激活图案，所述激活图案是恢复图案；
通过将所述恢复图案与关系数据库中的存储图案进行比较来识别所述对象；以及
基于所述对象的识别来对设备进行控制。
2.根据权利要求1所述的系统，其中，对所述设备进行控制包括：基于所述对象的所述识别，使所述设备执行物理动作。
3.根据权利要求2所述的系统，其中，所述物理动作包括使机器在所述对象上打印对象标签。
4.根据权利要求2所述的系统，其中，所述物理动作包括使机器将所述对象移动到箱中。
5.根据权利要求1所述的系统，所述系统还包括以下操作：迭代地激活输入神经元和隐藏神经元，直到所述输入神经元的稳定发生为止。
6.根据权利要求5所述的系统，其中，当激活在两个连续时间步长之间保持不变或执行了预定次数的迭代时，所述输入神经元的稳定发生。
7.根据权利要求1所述的系统，其中，所述循环连接包括抑制性连接。
8.根据权利要求1所述的系统，其中，所述签名数据包括来自一个或更多个传感器的所述对象的传感器记录。
9.一种使用稀疏联想记忆进行对象识别的计算机程序产品，所述计算机程序产品包括：
非暂时性计算机可读介质，所述非暂时性计算机可读介质编码有可执行指令，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
将关于对象的签名数据转换成表示输入神经元层中的激活的二进制信号的集合；
基于所述输入神经元层中的所述激活，将所述输入神经元连接到隐藏神经元；
形成从隐藏神经元回到所述输入神经元的循环连接；
在所述输入神经元层中的所述输入神经元稳定时，识别所述输入神经元的激活图案，所述激活图案是恢复图案；
通过将所述恢复图案与关系数据库中存储图案进行比较来识别所述对象；以及
基于所述对象的识别来对设备进行控制。
10.根据权利要求9所述的计算机程序产品，其中，对所述设备进行控制包括：基于所述对象的所述识别使所述设备执行物理动作。
11.根据权利要求10所述的计算机程序产品，其中，所述物理动作包括：使机器在所述对象上打印对象标签。
12.根据权利要求10所述的计算机程序产品，其中，所述物理动作包括：使机器将所述对象移动到箱中。
13.根据权利要求9所述的计算机程序产品，所述计算机程序产品还包括用于使所述一个或更多个处理器执行以下操作的指令：迭代地激活输入神经元和隐藏神经元，直到所述输入神经元的稳定发生为止。
14.根据权利要求13所述的计算机程序产品，其中，当激活在两个连续时间步长之间保持不变或执行了预定次数的迭代时，所述输入神经元的稳定发生。
15.根据权利要求9所述的计算机程序产品，其中，所述循环连接包括抑制性连接。
16.根据权利要求9所述的计算机程序产品，其中，所述签名数据包括来自一个或更多个传感器的所述对象的传感器记录。
17.一种使用稀疏联想记忆进行对象识别的计算机实现方法，所述计算机实现方法包括以下动作：
使一个或更多个处理器执行在非暂时性计算机可读介质上编码的指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
将关于对象的签名数据转换成表示输入神经元层中的激活的二进制信号的集合；
基于所述输入神经元层中的所述激活，将所述输入神经元连接到隐藏神经元；
形成从隐藏神经元回到所述输入神经元的循环连接；
在所述输入神经元层中的所述输入神经元稳定时，识别所述输入神经元的激活图案，所述激活图案是恢复图案；
通过将所述恢复图案与关系数据库中存储图案进行比较来识别所述对象；以及
基于所述对象的识别来对设备进行控制。
18.根据权利要求17所述的方法，其中，对所述设备进行控制包括：基于所述对象的所述识别，使所述设备执行物理动作。
19.根据权利要求18所述的方法，其中，所述物理动作包括：使机器在所述对象上打印对象标签。
20.根据权利要求18所述的方法，其中，所述物理动作包括：使机器将所述对象移动到箱中。
21.根据权利要求17所述的方法，所述方法还包括以下动作：迭代地激活输入神经元和隐藏神经元，直到所述输入神经元的稳定发生为止。
22.根据权利要求21所述的方法，其中，当激活在两个连续时间步长之间保持不变或执行了预定次数的迭代时，所述输入神经元的稳定发生。
23.根据权利要求17所述的方法，其中，所述循环连接包括抑制性连接。
24.根据权利要求17所述的方法，其中，所述签名数据包括来自一个或更多个传感器的所述对象的传感器记录。
CN201980008481.1A 2018-03-13 2019-03-08 用于对象识别的稀疏联想记忆 Pending CN111615705A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862642521P 2018-03-13 2018-03-13
US62/642,521 2018-03-13
PCT/US2019/021477 WO2019177907A1 (en) 2018-03-13 2019-03-08 Sparse associative memory for identification of objects

Publications (1)

Publication Number Publication Date
CN111615705A true CN111615705A (zh) 2020-09-01

Family

ID=67903981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008481.1A Pending CN111615705A (zh) 2018-03-13 2019-03-08 用于对象识别的稀疏联想记忆

Country Status (4)

Country Link
US (1) US20190286074A1 (zh)
EP (1) EP3766009A4 (zh)
CN (1) CN111615705A (zh)
WO (1) WO2019177907A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US20210182655A1 (en) * 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US10942629B1 (en) * 2020-10-16 2021-03-09 Laitek, Inc. Recall probability based data storage and retrieval

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818923B1 (en) * 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) * 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
US7711663B2 (en) * 2006-03-27 2010-05-04 Board Of Trustees Of Michigan State University Multi-layer development network having in-place learning
EP2012260B1 (en) * 2007-06-22 2012-04-11 Honda Research Institute Europe GmbH Method and device for realizing an associative memory based on inhibitory neural networks
US9171247B1 (en) * 2011-06-27 2015-10-27 Hrl Laboratories, Llc System and method for fast template matching in 3D
EP3008666B1 (en) * 2013-06-13 2019-11-20 Sicpa Holding SA Image based object classification
US10489739B2 (en) * 2013-09-18 2019-11-26 Simpler Postage, Inc. System and method for object shipping automation
KR20160112186A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 뉴럴 네트워크에서 이벤트에 기반한 학습 방법 및 장치
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US10510001B2 (en) * 2016-03-18 2019-12-17 Mindtrace Limited Neuromorphic training algorithm for a Restricted Boltzmann Machine
JP6729428B2 (ja) * 2017-02-01 2020-07-22 オムロン株式会社 画像処理システム、光学センサ、及び学習装置
US10572775B2 (en) * 2017-12-05 2020-02-25 X Development Llc Learning and applying empirical knowledge of environments by robots

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818923B1 (en) * 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANHUA ZENG等: "《An associative sparse coding neural network and applications》" *

Also Published As

Publication number Publication date
EP3766009A4 (en) 2021-12-01
US20190286074A1 (en) 2019-09-19
EP3766009A1 (en) 2021-01-20
WO2019177907A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN111615705A (zh) 用于对象识别的稀疏联想记忆
Zhou et al. Graph convolutional network hashing
Markou et al. Novelty detection: a review—part 2:: neural network based approaches
Giles et al. Learning, invariance, and generalization in high-order neural networks
CN106575377A (zh) 共同特征上的分类器更新
Sethi et al. KDRuleEx: A novel approach for enhancing user comprehensibility using rule extraction
Nguyen et al. Neural network structure for spatio-temporal long-term memory
Volna et al. Multi-classifier based on Elliott wave’s recognition
US7062504B2 (en) Creating ensembles of oblique decision trees with evolutionary algorithms and sampling
Hasenjäger et al. Active learning in neural networks
Devireddy et al. HAND WRITTEN CHARACTER RECOGNITION USING BACK PROPAGATION NETWORK.
Li et al. A survey of neural trees
CN110199300A (zh) 用于自动编码器的模糊输入
WO2019180314A1 (en) Artificial neural networks
Prasanna et al. Machine learning classifiers for speech detection
Alippi et al. Cluster partitioning in image analysis classification: a genetic algorithm approach
Deng et al. Latent feature learning via autoencoder training for automatic classification configuration recommendation
Babatunde et al. Comparative analysis of genetic algorithm and particle swam optimization: An application in precision agriculture
JP6621206B2 (ja) 確率モデルに基づく階層的なコードブックを用いて量子化するプログラム、装置及び方法
Chen et al. Efficient identification of critical faults in memristor-based inferencing accelerators
Xu et al. Gradient regularized budgeted boosting
Zharmagambetov et al. A simple, effective way to improve neural net classification: Ensembling unit activations with a sparse oblique decision tree
Ali et al. Character Recogntion System: Performance Comparison of Neural Networks and Genetic Algorithm
Hulley et al. Genetic algorithm based incremental learning for optimal weight and classifier selection
Hong et al. Character recognition in a sparse distributed memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200901

WD01 Invention patent application deemed withdrawn after publication