CN111488966A - 用于求解np难/np完全问题的分级神经网络 - Google Patents
用于求解np难/np完全问题的分级神经网络 Download PDFInfo
- Publication number
- CN111488966A CN111488966A CN202010073362.9A CN202010073362A CN111488966A CN 111488966 A CN111488966 A CN 111488966A CN 202010073362 A CN202010073362 A CN 202010073362A CN 111488966 A CN111488966 A CN 111488966A
- Authority
- CN
- China
- Prior art keywords
- neural network
- hard
- complete
- solution
- recurrent neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Probability & Statistics with Applications (AREA)
- Complex Calculations (AREA)
- Design And Manufacture Of Integrated Circuits (AREA)
Abstract
提供了用于求解NP难/NP完全问题的分级神经网络及其方法。在一些实施例中,所述方法包括:识别多个第二NP难/NP完全问题,其中,第二NP难/NP完全问题中的每一个与第一NP难/NP完全问题相似;识别针对第二NP难/NP完全问题的解;利用第二NP难/NP完全问题和所述解来训练深度神经网络;将第一NP难/NP完全问题提供给经训练的深度神经网络,其中,所述经训练的深度神经网络生成针对第一NP难/NP完全问题的初步解;以及将所述初步解提供给被配置用于执行能量最小化搜索的递归神经网络,其中,所述递归神经网络基于所述初步解生成针对所述问题的最终解。
Description
背景技术
人工神经网络是受生物神经系统启发的一族技术模型,其用于估计或逼近由复杂数据输入所表示的函数。神经网络可以表示为彼此之间交换消息的互连“神经元”系统。这些连接可以具有可以根据经验进行调谐的数值权重,从而使神经网络适应输入并且能够进行机器学习。人工神经网络可以具有各种应用,包括函数逼近、分类、数据处理、机器人学和计算机数控(numerical control)。
附图说明
参照以下附图根据一个或多个不同的实施例详细地描述本公开。附图仅被提供用于说明性目的,并且仅描绘典型实施例或示例实施例。
图1图示了根据所公开技术的一个实施例的用于求解NP难/NP完全问题的神经网络系统。
图2图示了根据所公开技术的一个实施例的交叉开关阵列。
图3图示了根据所公开技术的一个实施例的递归神经网络系统。
图4是根据一个实施例的用于使用分级神经网络来求解NP难/NP完全问题的示例计算部件或设备的框图。
图5图示了根据所公开技术的一个实施例的由深度神经网络针对旅行商问题提供的示例初步解。
图6继续图5的示例。
图7描绘了可以在其中实施本文描述的各种实施例的示例计算机系统的框图。
附图并非是穷举的,并且不将本公开限制于所公开的精确形式。
具体实施方式
一些神经网络(诸如Hopfield(霍普菲尔德)神经网络)可以用于求解NP难/NP完全问题,诸如旅行商问题、资源调度等。然而,这些网络受到被提供作为起点的初始猜测的质量的限制。为了生成这些初始猜测,所公开的技术可以采用深度神经网络。由深度神经网络生成的初步解可以用作递归神经网络的起点。递归神经网络可以例如使用Hopfield网络等来实施能量最小化搜索。递归网络可以包括循环网络等。
分级方法的一个优点是减少了得到解所需的时间。深度神经网络不精确但快速,因此在所公开的技术中用于提供良好的初步解。递归神经网络精确但慢,尤其是当从较差的初始解开始时。提供良好的初步解减少了递归神经网络取得最终解所需的时间。以本文描述的分级方式使用这些神经网络减少了得出针对NP难/NP完全问题的最终解所需的总时间。
图1图示了根据所公开技术的一个实施例的用于求解NP难/NP完全问题的神经网络系统。参照图1,神经网络系统100可以包括一个或多个深度神经网络102a至102n。深度神经网络可以指在输入层与输出层之间具有许多层的人工神经网络。深度神经网络102可以包括专用系统,诸如面部识别硬件。深度神经网络102可以实施多种算法,例如包括前馈算法、推理算法、反向传播算法等。深度神经网络102可以是基于任何硬件平台,例如,比如现场可编程门阵列(FPGA)、图形处理单元(GPU)、忆阻器、集成的光子电路、基于自由空间光学的矩阵向量乘法器等、及其组合。
神经网络系统100可以包括输入电路108。根据所公开技术的实施例,输入电路108可以使用已求解的NP难/NP完全问题和针对这些问题的解来训练深度神经网络102。在训练之后,输入电路108可以向该深度神经网络102提供未求解的NP难/NP完全问题,所述未求解的NP难/NP完全问题类似于用来训练所述深度神经网络的已求解的NP难/NP完全问题,并且期望针对所述未求解的NP难/NP完全问题的初步解。每个深度神经网络102可以提供针对所述问题的初步解。
神经网络系统100可以包括神经网络接口106、以及一个或多个递归神经网络104a至104n。递归神经网络104可以被实施为可以被编程用于接受表示NP难/NP完全问题的哈密顿量(Hamiltonian)的矩阵的输入、并用于向所述矩阵的解进行迭代的任何神经网络。递归神经网络104可以包括Hopfield网络、自联想存储器、受限Boltzmann(玻尔兹曼)机、光学Ising(伊辛)机等、及其组合。Hopfield网络可以被实施为存储器元件的交叉开关阵列。存储器元件可以被实施为忆阻器等。递归神经网络可以在硬件平台上实施,所述硬件平台包括GPU、基于互补金属氧化物半导体(CMOS)的网络、基于忆阻器的网络等、及其组合。
当神经网络系统100仅包括一个深度神经网络102时,神经网络接口106可以利用由该深度神经网络102提供的初步解来对递归神经网络104进行编程。当神经网络系统100包括多个深度神经网络102时,神经网络接口106可以利用初步解、初步解的合成、或初步解中的选定初步解中的一者或多者来对递归神经网络104进行编程。在一些实施例中,深度神经网络102可以提供参数以从初步解的分布进行采样,并且神经网络接口106可以使用来自所述分布的一个或多个样本来生成针对递归神经网络104的初步解。这些技术中的任何技术可以单独使用或组合使用。神经网络接口106可以向递归神经网络104提供一个或多个初始输入向量。
递归神经网络104可以迭代很多次以提供最终解。递归神经网络可以将所述最终解提供给输出电路110。输入电路108和输出电路110可以分别包括与深度神经网络102和递归神经网络104接口所需的任何电路。电路可以包括例如输入电路、输出电路、模数转换器、数模转换器、存储器、处理器等。
在一些实施例中,神经网络系统100包括反馈回路112。反馈回路112可以将递归神经网络104的输出从输出电路110提供到输入电路108。这些输出可以包括最终解、由递归神经网络104提供的其他数据、从所述最终解或其他数据得到的结果数据(product)、或其任意组合。反馈回路112可以提供来自神经网络接口106的数据。这些数据可以包括初步解、由深度神经网络102提供的其他数据、提供给递归神经网络的其他数据、从这些初步解和数据得到的结果数据、或其任意组合。利用该反馈回路112,包括深度神经网络102和递归神经网络104两者的整个神经网络系统100可以根据需要迭代很多次,以产生改进的最终解。
在这样的实施例中,输入电路108可以向深度神经网络102提供反馈数据、或由其得到的结果数据。例如,这些数据可以用在无监督训练技术或强化学习等中。例如,在强化学习中,跟踪神经网络的总体品质因数,并根据所述品质因数来调整神经网络的权重。
在一些实施例中,神经网络系统100的第一级中的神经网络(即深度神经网络102)可以用其他种类的神经网络代替。例如,深度神经网络102中的一个或多个深度神经网络可以用递归神经网络、前馈神经网络、储层计算网络等代替。这些网络中的一个或多个网络可以以硬件、软件或其组合的方式来实施。
图2图示了根据所公开技术的一个实施例的递归神经网络系统。参照图2,递归神经网络系统200可以包括递归神经网络230。递归神经网络可以包括交叉开关阵列202。图3图示了根据所公开技术的一个实施例的交叉开关阵列202。参照图3,交叉开关阵列202包括多个行线R,其中示出了三个行线R1、R2和R3。交叉开关阵列202还包括多个列线C,其中示出了三个列线C1、C2和C3。交叉开关阵列202还包括多个存储器单元G。每个存储器单元G耦接在行线R之一与列线C之一的相应组合之间。例如,存储器单元G1,1耦接在行线R1与列线C1之间。交叉开关阵列202可以具有任何合适的尺寸。
在交叉开关阵列202的操作之前,可以将权重矩阵存储在存储器单元G中。在交叉开关阵列202的操作期间,列线C可以根据输入向量来接收输入,并且每个行线可以提供表示所述输入向量与所述行线中的权重的点积的输出。
交叉开关阵列202的存储器元件G可以被实施为忆阻器。忆阻器是可以用作各种电子电路(诸如存储器、开关、射频电路以及逻辑电路和系统)中的部件的设备。在存储器结构中,可以使用具有忆阻器的存储器设备交叉开关阵列。在存储器设备中,忆阻器可以用于存储信息位2或0。忆阻器的电阻可以通过施加通过所述忆阻器的电刺激(诸如电压或电流)来改变。通常,可以形成能够在以下两种状态之间切换的至少一个通道:通道形成导电的路径的状态(“接通”)、以及通道形成不怎么导电的路径的状态(“断开”)。在一些其他的情况下,导电的路径表示“断开”,而不怎么导电的路径表示“接通”。此外,忆阻器还可以充当具有可变电导率的模拟部件。
在一些应用中,存储器交叉开关阵列可以用于进行向量矩阵计算。例如,来自交叉开关的每个列线的输入电压信号由每个行线中电阻设备的电导率加权,并且被累积为从每个行线输出的电流。理想地,如果可以忽略导线电阻,则从交叉开关阵列流出的电流(I)将大致由以下等式表示:
IT=VTG (1)
其中,V为输入电压,G为电导率矩阵。
忆阻器交叉开关阵列被配置为包括来自交叉开关阵列中的每个忆阻器的贡献。在交叉开关阵列的接合点或交叉点处使用忆阻器使得能够对每个这种接合点处的电阻(或电导率)进行编程。
再次参照图2,递归神经网络230可以包括一个或多个滤波器204。滤波器204从交叉开关阵列202的行线R接收输出208,并基于输出208为交叉开关阵列202生成新的输入向量210。滤波器可以是线性的或非线性的,并且可以包括诸如阈值滤波器等简单滤波器、诸如S形(sigmoid)滤波器等复杂滤波器、其他滤波器、及其组合。
递归神经网络230可以包括一个或多个缓冲器206。缓冲器206存储新的输入向量210,并向交叉开关阵列202的列线C提供表示新输入向量210的信号212。
递归神经网络系统200可以包括存储器222以存储权重矩阵224。权重矩阵224可以表示要求解的问题。要求解的问题可以包括诸如旅行商问题、最大割(Max-cut)问题、作业或航空公司调度问题等的NP难问题。所述问题可以表示为表示NP难/NP完全问题的哈密顿量的矩阵。
递归神经网络系统200可以包括控制器220。控制器220可以将权重矩阵224编程到交叉开关阵列202的存储器元件G中。控制器220还可以执行其他功能,诸如本文描述的那些功能。控制器220可以被实施为处理器、专用电路等、或其组合。
图4是根据一个实施例的用于使用分级神经网络来求解NP难/NP完全问题的示例计算部件或设备400的框图。计算部件400可以是例如服务器计算机、控制器、或能够处理数据的任何其他类似的计算部件。在图4的示例实施方式中,计算部件400包括硬件处理器402和机器可读存储介质404。在一些实施例中,计算部件400可以是输入电路108、神经网络接口106或其任意组合的实施例。
硬件处理器402可以是一个或多个中央处理单元(CPU)、基于半导体的微处理器、和/或适用于取得并执行存储在机器可读存储介质404中的指令的其他硬件设备。硬件处理器402可以取出、解码和执行指令(诸如指令406至414),以控制用于使用分级神经网络来求解NP难/NP完全问题的过程或操作。作为取出并执行指令的替代或补充,硬件处理器402可以包括包含用于执行一个或多个指令的功能性的电子部件的一个或多个电子电路,诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他电子电路。
机器可读存储介质(诸如机器可读存储介质404)可以是包含或存储可执行指令的任何电子、磁性、光学或其他物理存储设备。因此,机器可读存储介质404可以是例如随机存取存储器(RAM)、非易失性RAM(NVRAM)、电可擦除可编程只读存储器(EEPROM)、存储设备、光盘等。在一些实施例中,机器可读存储介质404可以是非暂态存储介质,其中术语“非暂态(non-transitory)”并不涵盖暂态传播信号。如下文详细描述的,机器可读存储介质404可以用可执行指令(例如,指令406至414)进行编码。
硬件处理器402可以执行用于以下操作的指令406:识别多个第二NP难/NP完全问题,其中,所述第二NP难/NP完全问题中的每一个与第一NP难/NP完全问题相似,期望针对所述第一NP难/NP完全问题的解。硬件处理器402可以执行用于识别针对第二NP难/NP完全问题的解的指令408。硬件处理器402可以执行用于利用第二NP难/NP完全问题及其解来训练深度神经网络102的指令410。这种监督式学习技术可以用于训练深度神经网络102以找到与这些问题及其解相关的模式、趋势和启发法(heuristics)。
硬件处理器402可以执行用于以下操作的指令412:将所述第一NP难/NP完全问题提供给经训练的深度神经网络,其中,所述经训练的深度神经网络生成针对所述第一NP难/NP完全问题的初步解。初步解应该是对第一NP难/NP完全问题的较好的首次猜测。神经网络接口106可以按照目标标准来测试初步解,以确定过程是否应该以所述初步解继续。当初步解不满足该目标标准时,可以丢弃所述初步解,并生成新的初步解。当初步解满足目标标准时,可以将所述初步解提供给递归神经网络104。
图5图示了根据所公开技术的一个实施例的、针对旅行商问题由深度神经网络提供的示例初步解。参照图5,图示了10个城市的旅行商问题。每个城市被描绘成一个点。期望的解是遍历每个城市的最短往返行程。初始解由502处的虚线描绘。初始解是仅连接其中两个城市的圆圈。这不是一个非常好的解,但为深度神经网络提供了适当的起点。504处描绘了由深度神经网络提供的初步解。这是相对较好的解,仅未遍历这10个城市中的一个城市。
硬件处理器402可以执行用于以下操作的指令414:将所述初步解提供给被配置用于执行能量最小化搜索的递归神经网络,其中,所述递归神经网络基于所述初步解生成针对所述问题的最终解。所述能量最小化搜索可以包括经典退火搜索。能量最小化搜索可以包括替代经典退火搜索的其他技术,或者除了经典退火搜索之外还包括其他技术,所述其他技术例如诸如模拟退火绝热退火、位切片、约束施加(constraint imposition)等、及其组合。
图6继续图5的示例。504处示出了针对10个城市的旅行商问题的初步解。如上所指出的,这是相对较好的解,但这10个城市中有一个城市未遍历到。但是作为相当良好的解,所述初步解为递归神经网络104提供了较好的起点。602处图示了由递归神经网络104提供的最终解。如可以看到的,仅需对初步解进行较小的调整即可取得最终解。
能量最小化搜索实施了用于将递归神经网络的能量减少到全局最小值的技术,其中,网络的能量表示神经网络中节点的状态。然而,在许多情况下,递归神经网络可能会收敛于局部最小值处,而不是全局最小值处。可以使用许多技术来防止收敛于局部最小值处。一种这样的解决方案是混沌模拟退火。然而,这些解决方案消耗额外的资源。将经训练的深度神经网络用作第一级,将递归神经网络用作第二级,使得通过更接近全局最小值地启动递归神经网络来减轻这些问题。仅使用深度神经网络或递归神经网络都无法取得这些结果。
图7描绘了可以在其中实施本文描述的各种实施例的示例计算机系统700的框图。计算机系统700包括总线702或用于传送信息的其他通信机制、与总线702耦接以处理信息的一个或多个硬件处理器704。例如,(一个或多个)硬件处理器704可以是一个或多个通用微处理器。
计算机系统700还包括耦接到总线702以用于存储要由处理器704执行的信息和指令的主存储器706,诸如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备。主存储器706还可以用于存储在执行要由处理器704执行的指令期间的临时变量或其他中间信息。这些指令当存储在处理器704可访问的存储介质中时使计算机系统700成为被自定义为执行指令中指定的操作的专用机器。
计算机系统700进一步包括用于存储用于处理器704的静态信息和指令的、耦接到总线702的只读存储器(ROM)708或其他静态存储设备。存储设备710(诸如磁盘、光盘、或USB拇指驱动器(闪存驱动器)等)被提供并且耦接到总线702以用于存储信息和指令。
计算机系统700可以经由总线702耦接到诸如液晶显示器(LCD)(或触摸屏)等显示器712上,以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备714耦接到总线702,以用于将信息和命令选择传送到处理器704。另一种类型的用户输入设备是诸如鼠标、轨迹球或光标方向键等的光标控制装置716,用于将方向信息和命令选择传送到处理器704并用于控制在显示器712上的光标移动。在一些实施例中,在没有光标的情况下,可以通过接收触摸屏上的触摸来实施与光标控制装置相同的方向信息和命令选择。
计算系统700可以包括用于实施GUI的用户界面模块,所述GUI可以作为由(一个或多个)计算设备执行的可执行软件代码被存储在大容量存储设备中。举例来说,所述模块和其他模块可以包括部件(诸如软件部件、面向对象的软件部件、类部件和任务部件)、进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、数组和变量。
通常,如本文所使用的词语“部件”、“引擎”、“系统”、“数据库”、“数据存储”等可以是指在硬件或固件中实施的逻辑,或者是指以诸如例如Java、C或C++等编程语言编写的、可能具有入口点和出口点的软件指令集。软件部件可以被编译并链接到可执行程序,被安装在动态链接库中,或者可以用诸如例如BASIC、Perl、或Python等解释性编程语言编写。应当理解的是,软件部件可从其他部件或从其本身调用,和/或可以响应于检测到的事件或中断而被调用。被配置用于在计算设备上执行的软件部件可以被提供在计算机可读介质中,诸如致密盘、数字视频盘、闪存驱动器、磁盘、或任何其他有形介质,或者可以被提供作为数字下载(并且可以原始地存储为压缩格式或可安装格式,其要求在执行之前安装、解压缩或解密)。这样的软件代码可以部分或全部地存储在执行计算设备的存储器设备上,以用于由计算设备执行。软件指令可以嵌入在诸如EPROM等的固件中。将进一步理解的是,硬件部件可以包括诸如门和触发器等连接逻辑单元,和/或可以包括诸如可编程门阵列或处理器等的可编程单元。
计算机系统700可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术,所述自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统相结合使计算机系统700成为专用机器或者将其编程为专用机器。根据一个实施例,响应于(一个或多个)处理器704执行包含在主存储器706中的一个或多个指令的一个或多个序列,计算机系统700执行本文中的技术。这样的指令可以从诸如存储设备710等的另一存储介质读到主存储器706中。执行包含在主存储器706中的指令序列使得(一个或多个)处理器704执行本文所描述的过程步骤。在替代性实施例中,可以使用硬接线电路代替软件指令或与软件指令组合。
本文所使用的术语“非暂态介质”及类似术语指存储使机器以特定方式操作的数据和/或指令的任何介质。这种非暂态介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘,诸如存储设备710。易失性介质包括动态存储器,诸如主存储器706。非暂态介质的常见形式例如包括软盘、软磁盘、硬盘、固态驱动器、磁带或者任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速存储器EPROM、NVRAM、任何其他存储器芯片或者盒、及其联网形式。
非暂态介质不同于传输介质但可以与传输介质结合使用。传输介质参与非暂态介质之间的信息传递。例如,传输介质包括同轴电缆、铜线和光纤,包括包含总线702的导线。传输介质还可以采用声波或光波的形式,如在无线电波和红外数据通信期间生成的声波或光波。
计算机系统700还包括耦接到总线702的通信接口718。网络接口718提供耦接到一个或多个网络链路的双向数据通信,所述一个或多个网络链路连接到一个或多个本地网络。例如,通信接口718可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于提供与对应类型电话线的数据通信连接的调制解调器。作为另一示例,网络接口718可以是用于提供与兼容LAN(或用于与WAN进行通信的WAN部件)的数据通信连接的局域网(LAN)卡。还可以实施无线链路。在任何这种实施方式中,网络接口718发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光学信号。
网络链路通常通过一个或多个网络向其他数据设备提供数据通信。例如,网络链路可以提供通过本地网络到主计算机或到由因特网服务提供商(ISP)操作的数据设备的连接。ISP进而通过现在通常称为“因特网”的全球分组数据通信网络来提供数据通信服务。本地网络和因特网都使用携带数字数据流的电信号、电磁信号或光学信号。通过各种网络的信号以及在网络链路上且通过通信接口718的信号(其将数字数据运送到计算机系统700和从所述计算机系统700运送数字数据)是传输介质的示例形式。
计算机系统700可以通过(一个或多个)网络、网络链路和通信接口718发送消息和接收数据(包括程序代码)。在因特网示例中,服务器可以通过因特网、ISP、本地网络和通信接口718传输应用程序的请求代码。
所接收的代码可以在被接收到时由处理器704执行,和/或存储在存储设备710、或其他非易失性存储器中以供之后执行。
在之前的部分中所描述的每个过程、方法和算法均可以在由包括计算机硬件的一个或多个计算机系统或计算机处理器所执行的代码部件中实施并由所述代码部件全部或部分地进行自动化。所述一个或多个计算机系统或计算机处理器还可以操作以支持“云计算”环境中相关操作的进行、或者作为“软件即服务”(SaaS)进行操作。这些过程和算法可以在专用电路中部分地或全部地实施。上文所描述的各种特征和过程可以彼此独立地使用,或者可以按各种方式进行组合。不同的组合和子组合旨在落入本公开的范围内,并且在一些实施方式中可以省略某些方法框或过程框。本文描述的方法和过程也不限于任何特定的顺序,并且与所述方法和过程相关的框或状态可以按其他的适当顺序进行、或者可以并行进行、或者以某种其他方式进行。可以向所公开的示例实施例中添加框或状态,或从中移除框或状态。可以将某些操作或过程的进行分配到多个计算机系统或计算机处理器之中,使其不是仅驻留在单个机器内,而是跨多个机器部署。
如本文所使用的,电路可以利用任何形式的硬件、软件或其组合来实施。例如,可以实施一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机制以构成电路。在实施中,本文描述的各种电路可以被实施为分立电路,或者所描述的功能和特征可以在一个或多个电路之中部分地或全部地共享。即使可以分别地描述或主张各种特征或功能元件作为单独的电路,这些特征和功能也可以在一个或多个公共电路之间共享,并且这种描述不应要求或暗示需要单独的电路来实施这样的特征或功能。在使用软件来全部或部分地实施电路的情况下,这样的软件可以被实施以与能够执行关于所述软件所描述的功能的计算系统或处理系统(诸如计算机系统700)一起操作。
如本文所使用的,术语“或(or)”可以用包括性或排他性的意义来解释。而且,不应将对单数形式的资源、操作或结构的描述理解为排除复数。除非另外特别规定,或在如所使用的环境内以其他方式被理解,否则条件语言(诸如“可(can)”、“可以(could)”、“可能(might)”、或“会(may)”等等)一般地旨在传达某些实施例包括(而其他实施例不包括)某些特征、元件和/或步骤。
除非另外明确说明,否则本文档中使用的术语和短语及其变体应被解释为开放式的而不是限制性的。形容词(诸如“常规(conventional)”、“传统(traditional)”、“正常(normal)”、“标准(standard)”、“已知(known)”和类似含义的术语)不应被解释为将所描述的项限制为给定时间段或在给定时间可用的项,而是应该被理解为包含可能现在或将来的任何时候都可用或已知的常规、传统、正常或标准的技术。在某些实例中,宽泛的词汇和短语(诸如“一个或多个”、“至少”、“但不限于”或其他类似的短语)的存在不应被理解为是指在这类宽泛短语可能不存在的情况下意图或要求更窄的情况。
Claims (20)
1.一种用于求解第一NP难/NP完全问题的装置,所述装置包括:
深度神经网络;
输入电路,所述输入电路被配置用于:
利用多个第二NP难/NP完全问题和针对所述第二NP难/NP完全问题的解来训练所述深度神经网络,其中,所述第二NP难/NP完全问题中的每一个与所述第一NP难/NP完全问题相似,并且
将所述第一NP难/NP完全问题提供给经训练的深度神经网络,其中,所述经训练的深度神经网络生成针对所述第一NP难/NP完全问题的初步解;以及
递归神经网络,所述递归神经网络被配置用于执行能量最小化搜索,其中,所述递归神经网络基于所述初步解生成针对所述问题的最终解。
2.如权利要求1所述的装置,其中,所述能量最小化搜索包括经典退火搜索。
3.如权利要求2所述的装置,其中,所述递归神经网络包括Hopfield网络。
4.如权利要求3所述的装置,其中,所述Hopfield网络被实施为存储器元件的交叉开关阵列。
5.如权利要求4所述的装置,其中,所述存储器元件被实施为忆阻器。
6.如权利要求1所述的装置,其中,所述递归神经网络包括自联想存储器。
7.如权利要求1所述的装置,其中,所述递归神经网络包括受限Boltzmann机。
8.一种用于求解第一NP难/NP完全问题的系统,所述系统包括:
硬件处理器;以及
非暂态机器可读存储介质,所述非暂态机器可读存储介质编码有可由所述硬件处理器执行的指令,以执行包括以下操作的方法:
识别多个第二NP难/NP完全问题,其中,所述第二NP难/NP完全问题中的每一个与所述第一NP难/NP完全问题相似;
识别针对所述第二NP难/NP完全问题的解;
利用所述第二NP难/NP完全问题和所述解来训练深度神经网络;
将所述第一NP难/NP完全问题提供给经训练的深度神经网络,其中,所述经训练的深度神经网络生成针对所述第一NP难/NP完全问题的初步解;以及
将所述初步解提供给被配置用于执行能量最小化搜索的递归神经网络,其中,所述递归神经网络基于所述初步解生成针对所述问题的最终解。
9.如权利要求8所述的系统,其中,所述能量最小化搜索包括经典退火搜索。
10.如权利要求9所述的系统,其中,所述递归神经网络包括Hopfield网络。
11.如权利要求10所述的系统,其中,所述Hopfield网络被实施为存储器元件的交叉开关阵列。
12.如权利要求11所述的系统,其中,所述存储器元件被实施为忆阻器。
13.如权利要求8所述的系统,其中,所述递归神经网络包括自联想存储器。
14.如权利要求8所述的系统,其中,所述递归神经网络包括受限Boltzmann机。
15.一种用于求解第一NP难/NP完全问题的方法,所述方法包括:
识别多个第二NP难/NP完全问题,其中,所述第二NP难/NP完全问题中的每一个与所述第一NP难/NP完全问题相似;
识别针对所述第二NP难/NP完全问题的解;
利用所述第二NP难/NP完全问题和所述解来训练深度神经网络;
将所述第一NP难/NP完全问题提供给经训练的深度神经网络,其中,所述经训练的深度神经网络生成针对所述第一NP难/NP完全问题的初步解;以及
将所述初步解提供给被配置用于执行能量最小化搜索的递归神经网络,其中,所述递归神经网络基于所述初步解生成针对所述问题的最终解。
16.如权利要求15所述的方法,其中,所述能量最小化搜索包括经典退火搜索。
17.如权利要求16所述的方法,其中,所述递归神经网络包括Hopfield网络。
18.如权利要求17所述的方法,其中,所述Hopfield网络被实施为存储器元件的交叉开关阵列。
19.如权利要求18所述的方法,其中,所述存储器元件被实施为忆阻器。
20.如权利要求15所述的方法,其中,所述递归神经网络包括自联想存储器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/261,398 | 2019-01-29 | ||
US16/261,398 US11551056B2 (en) | 2019-01-29 | 2019-01-29 | Staged neural networks for solving NP hard/complete problems |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111488966A true CN111488966A (zh) | 2020-08-04 |
Family
ID=71524307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010073362.9A Pending CN111488966A (zh) | 2019-01-29 | 2020-01-22 | 用于求解np难/np完全问题的分级神经网络 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11551056B2 (zh) |
CN (1) | CN111488966A (zh) |
DE (1) | DE102020101244A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591906A (zh) * | 2021-06-21 | 2021-11-02 | 北京百度网讯科技有限公司 | 图的分割方法、装置及电子设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114912604A (zh) * | 2018-05-15 | 2022-08-16 | 轻物质公司 | 光子计算系统和光学执行矩阵向量乘法的方法 |
CN110842915B (zh) * | 2019-10-18 | 2021-11-23 | 南京大学 | 一种基于忆阻交叉阵列的机器人控制系统及方法 |
US11983604B2 (en) * | 2021-07-16 | 2024-05-14 | Hewlett Packard Enterprise Development Lp | Quantum-inspired algorithms to solve intractable problems using classical computers |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US10957083B2 (en) * | 2016-08-11 | 2021-03-23 | Integem Inc. | Intelligent interactive and augmented reality based user interface platform |
US11042811B2 (en) * | 2016-10-05 | 2021-06-22 | D-Wave Systems Inc. | Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers |
US10109275B2 (en) * | 2016-12-19 | 2018-10-23 | Asapp, Inc. | Word hash language model |
WO2020091842A2 (en) * | 2018-05-18 | 2020-05-07 | Parallel Wireless, Inc. | Machine learning for channel estimation |
US20200218967A1 (en) * | 2019-01-03 | 2020-07-09 | Hewlett Packard Enterprise Development Lp | Complex-Valued Neural Networks |
US11610105B2 (en) * | 2019-04-17 | 2023-03-21 | Hewlett Packard Enterprise Development Lp | Systems and methods for harnessing analog noise in efficient optimization problem accelerators |
-
2019
- 2019-01-29 US US16/261,398 patent/US11551056B2/en active Active
-
2020
- 2020-01-20 DE DE102020101244.6A patent/DE102020101244A1/de active Pending
- 2020-01-22 CN CN202010073362.9A patent/CN111488966A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591906A (zh) * | 2021-06-21 | 2021-11-02 | 北京百度网讯科技有限公司 | 图的分割方法、装置及电子设备 |
CN113591906B (zh) * | 2021-06-21 | 2024-06-04 | 北京百度网讯科技有限公司 | 图的分割方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US11551056B2 (en) | 2023-01-10 |
US20200242448A1 (en) | 2020-07-30 |
DE102020101244A1 (de) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111488966A (zh) | 用于求解np难/np完全问题的分级神经网络 | |
US10708522B2 (en) | Image sensor with analog sample and hold circuit control for analog neural networks | |
US11763139B2 (en) | Neuromorphic chip for updating precise synaptic weight values | |
Soudry et al. | Expectation backpropagation: Parameter-free training of multilayer neural networks with continuous or discrete weights | |
US11100397B2 (en) | Method and apparatus for training memristive learning systems | |
WO2018044633A1 (en) | End-to-end learning of dialogue agents for information access | |
WO2019043540A1 (en) | LEARNING REPRESENTATION OF TEXT DATA BY INCORPORATION OF RANDOM DOCUMENTS | |
CN110428042B (zh) | 往复地缩放神经元的连接权重和输入值来挫败硬件限制 | |
US11657289B2 (en) | Computational graph optimization | |
US11481598B2 (en) | Auto scaling a distributed predictive analytics system with machine learning | |
CN115114439B (zh) | 多任务模型推理、多任务信息处理的方法和装置 | |
US20190228297A1 (en) | Artificial Intelligence Modelling Engine | |
Zheng et al. | Hardware-friendly actor-critic reinforcement learning through modulation of spike-timing-dependent plasticity | |
WO2021012263A1 (en) | Systems and methods for end-to-end deep reinforcement learning based coreference resolution | |
CN117215728B (zh) | 一种基于代理模型的仿真模拟方法、装置及电子设备 | |
Tanghatari et al. | Federated learning by employing knowledge distillation on edge devices with limited hardware resources | |
WO2021158409A1 (en) | Interpreting convolutional sequence model by learning local and resolution-controllable prototypes | |
US11704542B2 (en) | Convolutional dynamic Boltzmann Machine for temporal event sequence | |
Irmanova et al. | Discrete‐level memristive circuits for HTM‐based spatiotemporal data classification system | |
CN115843364A (zh) | 使用交叉连接的连续学习 | |
Bairagi et al. | A Study of LSTM in Stock Price Prediction | |
CN116882591B (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
RU2739340C1 (ru) | Способ нейроморфной обработки данных и устройство для его осуществления | |
Patel | Introduction to neural networks | |
US20220138540A1 (en) | Integrated circuit with a configurable neuromorphic neuron apparatus for artificial neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |