CN1656472A - 带有监督和非监督簇分析的似真神经网络 - Google Patents
带有监督和非监督簇分析的似真神经网络 Download PDFInfo
- Publication number
- CN1656472A CN1656472A CNA028251083A CN02825108A CN1656472A CN 1656472 A CN1656472 A CN 1656472A CN A028251083 A CNA028251083 A CN A028251083A CN 02825108 A CN02825108 A CN 02825108A CN 1656472 A CN1656472 A CN 1656472A
- Authority
- CN
- China
- Prior art keywords
- neuron
- neural network
- input
- neurons
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Fuzzy Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
似真神经网络(PLANN)是一种带有由交互信息给定的权重连接的人工神经网络,其具有学习能力,并还保留了生物神经网络的许多特征。学习算法(300,301,302,304,306,308)基于统计估计,这比当前使用的梯度下降方法快。训练之后的网络成为模糊置信网络;推理和权重是可交换的,其结果是知识的抽取变得简单。PLANN在单个的网络结构中执行相关的存储,监督的,半监督的,非监督的学习和功能/关系逼近。这一网络结构能够易于通过模拟VLSI电路设计实现。
Description
技术领域
本发明涉及神经网络。特别地,本发明涉及使用统计推理模型的神经网络模型,在这种模型之下模型的计算和推理既是可能的又是概率的。
背景技术
神经计算与推理的关系已研究了很长时间(例如参见:McCulloch,W.S.和Pitts,“A logical Calculus of Ideas Immanent in NeuronActivity,”Bulletin of Mathematical Biology 5,pp.115-133(1943);Baum,E.B.和Wilczek,F.,“Supervised Learning of ProbabilityDistributions by Neural Networks,”Neural Information ProcessingSystems,pp.52-61(1988);and Hopfield,J.J.,“Learning Algorithm andProbability Distribution in Feed-Forward and Feed-BackNetwork,”Proceeding of National Academy of Science,pp.8429-8433(1987))。许多这些研究者使用神经网络计算来解释布尔逻辑的起源或与概率推理的连接。当处理命题的逻辑真或假设的置信时,有许多与其相关的项,包括确信因子,支持,证实和置信度。
历史上这些被认为是主观的或认识上的,这与同随机变量相关的机会或偶然性概率不同。虽然概念上不同,但认识上的概率应当遵循与在辩论中心偶然性概率相同的规则。如果认识概率有不同的规则,那么其必然来自思考的规律,或更确切地说神经计算的突现。
神经处理常在于检测动作电位差而不是绝对值。例如,神经处理检测对比度而不是纯粹的亮度,边缘而非区域等。在证据推理中动作电位的差意味着证据权重支持假设,其转而能够转换为可能性度量的置信。神经元活动的竞争性质诱导置信判断。
这里描述了能够计算概率的和可能的与其他类型的模糊逻辑的似真神经网络(PLANN)模型。在U.S.Patent Application SerialNo.09/808,101中讨论了PLANN的学习算法,该文献在此总体结合以资对比。本申请描述了一种更详细的PLANN结构与活化模型,其便于PLANN推理的计算。
发明内容
许多研究者已观察到神经元是以不精确的方式处理信息的。如果逻辑推理出自神经计算,其充其量是不精确的。这样,在置信逻辑与神经网络之间必然有严重深刻的关系。本申请中,描述了能够计算概率和模糊逻辑的一种似真神经网络模型。以下描述作为似然思考机主要组件的网络结构及其硬件设计。
根据本发明的一实施例,PLANN计算基于计算系统中合作和竞争过程的交互作用。合作性是由于线性耗散系统中熵增加的结果;竞争性是由于非线性无源系统中能量守恒的结果(例如参见Elfadel,I.M.和Wyatt,J.L.,“The Softmax Nonlinearity:Derivation UsingStatistical mechanics and Useful Properties as a Multi-TerminalAnalog Circuit Element,”Advances in Neural Information ProcessingSystem 6,pp.882-887(1994))。两者都能从统计力学推导出。
根据本发明的一实施例,描述了以模拟VLSI实现的PLANN。当然,业内一般专业人员容易看到,本发明不限于这里描述的实施例。本发明也能够以允许这两个计算原理的其他类型计算介质实现。
附图说明
参照以附图所展示的实施例将更容易理解本发明,其中:
图1示出根据本发明的一实施例交互信息与神经元权重连接的关系;
图2示出根据本发明的一实施例的非监督神经网络结构;
图3是表示根据本发明一实施例的非监督的学习算法的一流程图;
图4示出根据本发明的一实施例的监督的神经网络结构;
图5示出根据本发明的一实施例扩散过程与置信逻辑之间的关系;
图6A-6C以本发明的实施例获得的实验结果与来自动物园数据库的数据的表;
图7是以本发明的实施例获得的实验结果与来自原发性肿瘤数据集的数据的表;以及
图8示出以本发明的实施例获得的实验结果。
附图中,应当注意的是相似的标号表示相似的特征和构造。
具体实施方式
现在将参照附图描述本发明的优选实施例。图1示出交互信息与神经元权重连接的关系。PLANN模型是带有如下给出的神经元X和神经元Y之间权重连接的神经网络
ω12=ln(P(X,Y)/P(X)P(Y)), (1)
其包含两个神经元的激发历史或交互信息内容。如图1所示,从方程式(1)我们看出:
ω12>0,如果X与Y正相关,
ω12<0,如果X与Y负相关, (2)
ω12=0,当且仅当X与Y统计无关。
神经元常常可组成为相邻的组。神经元的激发方式依赖于其组中其他神经元的相对强度,这种强度是通过全局反馈禁止诱导竞争达到的。通过标称化,神经元全体的激发方式可解释为模糊集合的α-切割操作;并根据统计力学重新调节信号强度。图2示出根据本发明的一实施例一非监督神经网络的结构。在非监督学习中,网络最好包含一个输入数据层202,以及一个自由运行的隐藏层200。自由运行意味着该层是随机初始化的。输入神经元202产生信号,而隐藏神经元200接收聚集输入信号(动作电位)。隐藏神经元200为激活而竞争,然后产生信号(标称化的动作电位或激活水平)并向输入神经元202发送回该信号。输入神经元202从隐藏神经元200接收动作电平信号,但是被“箝位”的,于是它们的值不变(除非省略初始输入值)。反馈过程在输入与隐藏神经元之间继续进行,直到网络稳定。
竞争的神经元y1,y2,...yn的组200接收来自属性神经元x1,x2,...xn组202的输入信号。神经元总体200的激活是如下给出的:
yi=s(∑iωijxi),j,exp(∑iωijxi)/supjexp(∑iωijxi)>α
yi=0,其他情形下, (3)
其中s(tj)=exp(∑iωijxi)/∑jexp(∑iωijxi),其通常称为softmax。方程式(3)跟踪模式信息并使用相关的措施净化噪声。这一过程使得神经元能够在宽广的动态范围敏感地响应;并还降低了大规模网络的计算负荷。
在文献中已经讨论过带有用于激活和学习的选择的过程的神经网络。例如参见Fukai,T.and Tanaka,S.,“A Simple Neural NetworkExhibiting Selective Activation of Neural Ensembles:FromWinner-Take-All to Winner-Share-All,”Neural Computation 9,pp.77-97(1997),以及Krding,K.P.and Knig,P.,“A Learning Rule forDynamic Recruitment and Decorrelation,”Neural Network 13,pp.1-9(2000)。这些网络通常称为竞争网络或“软胜者取全部”。采用计算软胜者取全部的模块的网络具有类似于带有S形门的网络的计算能力(例如参见Maass,W.,“On the Computational Power WithWinner-Take-All,”Neural Computation 12(11),pp.2519-2536(2000))。在Krding与Knig(2000)的模型中,激发率的增加导致神经突触有效性的减少,这也类似于基于交互信息内容的PLANN学习规则。
对于竞争网络,神经元接收加权的信息并竞争激活。数学上这一过程组合了求和与求最大运算,并成为t-余conorm运算(求和与求最大都是t-余标称);并在信号转换下我们有t-conorm运算,这如同在统计证据(FASE)模糊应用中所述(Chen,Y.Y.,“Fuzzy Analysis ofStatistical Evidence,”IEEE Transactions in Fuzzy systems8,pp.796-799(2000)),以及在U.S.Patent Apllication SerialNo.09/808,101中所述似真神经网络模型。
从各种观点来说两种不同计算风格的交替是机器学习文献中讨论的重要原理。其对应于带有非线性转移函数的线性系统(例如参见,Kosko,B.,Neural Networks and Fuzzy Systems-A Dynamical SystemsApproach to Machine Intelligence(1992)),及带有数字选择的模拟计算(例如参见,Hahnloser,R.,Sarpeshkar,R.,Mahowald,M.,Douglas,R.,and Seung,S.,“Digital Selection of Analogue Amplification Coexistin a Cortex-Inspired Silicon Circuit,”Nature,Vol.405,pp.947-951(2000)),以及E-M算法。其已经用于几种感觉注意问题。
根据本发明的一实施例,似真神经网络是一种通用的数据分析方法。其抽取数据信息模式并将其转换为知识和推理。
根据本发明的一实施例,竞争神经元总体包括多个神经元,并对应于统计推理中的一个变量,总体中每一个神经元表示变量一个可能的值。变量可以是连续的或离散的,并能够表示一样本空间或假设空间。如果变量是以k个范畴离散的,其可通过X=(X1,X2,...Xk)编码。这样,每一个神经元是特殊数据值的指示函数。如果变量是连续的,由于竞争神经元数目是有限的,模拟数据编码为互补模糊集合;这一过程称为模糊化。
设
是变量X的模糊集合表示,则X的概率密度函数为
与分类不同,模糊化将不导致信息损失;通过去模糊化能够有利地恢复数据。使用向量编码和模糊化使得离散和连续变量的处理一致起来。失去的数据作为零向量处理且不提供信息,而所有其余的非损失的数据能够用于分析;这样,根据本发明实施例的神经网络能够取得尽可能多的变量,并使用数据信息的每一位。
从数学观点来看,每一变量是一模糊集合,其包含脆集合作为特殊情形。使用模糊集合表示法,我们能够对于分类和回归的推理设计相同的网络计算,其能够用于诸如图象识别等结构模式,我们能够对于马尔科夫链和时间序列设计相同的网络计算,其能够用于诸如语音识别等时间模式。(许多当前的语音识别方法需要隐藏的马尔科夫模型(HMM)与时间神经网络的分开模型)。从逻辑的观点而言,模糊集合是作为符号和数值计算之间的桥梁;这对于自然语言处理和置信判断是重要的。
如果神经元组表示假设空间,则激发神经元产生置信集合,其中输入模式与潜在的变量或假设的存储模式匹配。阈值类似于在以下文献中描述的ART网络变量的警戒参数,Carpenter,G.and Grossberg,S.,“The ART of Adaptive Pattern Recognition by Self-OrganizingNeural Network,”IEEE Computer,Vol.21(3),pp.77-88(1988)。网络的稳定状态也类似于ART的谐振。
非监督学习包括因子编码(Barlow(1989))。图5示出扩散过程与置信逻辑之间的关系。这样,在神经处理的较高级别中,如果y1和y2是接收来自x1,x2,...xn的输入的两个竞争假设,,则它们的动作电位是:
∑iωijxi=∑iln(p(xi|yj))-∑iln(p(xi))(步骤501) (5)
如果对于y2证据的权重大于y2,则它们的动作电位差是:
ln((p(x1,x2,...xn|y1)/p(x1,x2,...xn|y2))(步骤502). (6)
通过取信号变换,我们有Bel(y2|x1,x2,...xn)(步骤503)。(例如参见,Chen,Y.Y.“Statistical Inference Based on the Possibility andBelief Measures,”Trans.Amer.Math.Soc.,Vol.347,pp.1855-1863(1995))。
似然率的对数常称为证据的权重。注意,(6)没有如在贝叶斯推理中出现的偏移项ln(p(y1)/p(y2))。
PLANN是循环的神经网络,允许其具有完全的互连。然而,层次网络在能量守恒中更为有效,这按组织上的性质有利。已经实验了带有一个输入层以及一个隐藏层的简单的两层网络。带有隐藏神经元的学习算法是固有的E-M算法,其示于图3的流程图中,并如下给出:
1.随机激发隐藏神经元(步骤300,301)。
2.输入数据信息(模糊集合编码)(可选步骤308)。
3.M-步骤:估计带有隐藏神经元的输入神经元的权重连接(步骤302)。
4.E-步骤:计算隐藏神经元的动作电位并标称化到[0,1](步骤304)。如果神经元的激活电平大于阈值α,则其激发(步骤306)。
5.如果隐藏神经元的激发改变(301)则更新突触权重。
6.重复该过程直到网络稳定。
如图2和4所示,隐藏的神经元200,400是潜在的变量。每一潜在的变量表示训练后的正相关的神经元202,402簇。只要有自由运行的隐藏神经元200,400,它们就能拾取新的模式,且老的存储将不被侵蚀。
E-步骤304,306等价于软胜利者取所有(soft winner-take-all)。采用计算winner-take-all的模块的网络具有与带S形门(sigmoidalgate)的网络类似的计算能力。
这一学习算法既能够用于监督又可用于非监督学习,差别在于输入神经元是否包含类标签信息。如图4所示,其中提供了类信息神经元404,出现监督学习。如果类标签信息部分丢失,则这是半监督学习。
对于监督学习和非监督学习PLANN算法已经对UCI机器学习知识库的数据集作了测试(参见Blake,C.L.,and Merz,C.J.,UCIRepository of Machine Learning Databases (1998)(http///www.ics.uci.edu/~mlearn/MLRepository.html))。能够抽取多维模式诸如tic-tac-toe和led数据。训练的网络的权重可易于转换为非确定性度量。我们使用动物园数据集展示这一特征。
图6示出PLANN非监督算法对于动物园数据的网络输出(数据中的数据类型没有使用)。如图2中所示,它是以十五个隐藏神经元训练的。当然,十五个隐藏神经元200的选择只是示例而已,业内专业人员能够理解,在按权利要求定义的本发明的范围内,其他隐藏神经元的数目也能够适用给定的情形。在训练之后形成十个簇。图6(a)示出输出概率,这是从网络的权重转换的。可从图6(b)所示的表推导出简单的推理规则。这表给出簇中的动物的列表。如所示,不论训练采样大小如何,网络找出不同的模式。训练之后的标称化动作电位能够提供隐藏神经元的可能性度量,这可解释为属于簇的数据输入模糊成员资格。它们总结在图6(c)的表中。例如,“mink”属于簇C5,但它还属于带有可能性0.96的簇C3。
现在将结合示例性的原发肿瘤域数据集描述监督学习。原发肿瘤数据集包含339肿瘤学案例。每一肿瘤由包含类别标签的18个属性描述,它们表示肿瘤的22个不同的位置。由于知识域的复杂性、有限的属性以及可用的样本大小,肿瘤的预测常常是不正确的。对于大多数推理方法原发性肿瘤数据分类的精确性低于50%。关键的问题是是否能够正确地解决推理的不确定性。
如图4所示,构成带有一个输入层402,404和一个隐藏层400的两层的神经网络。输入层由类别404和属性402神经元组成。通过输入属性值进行测试,该属性值馈送到隐藏神经元400并然后反馈到类别神经元404。图7示出阈值、预测精度、及在实验中激发的类别神经元平均数的关系。类似于其他分类方法,基于最大后验概率的预测精确度是低的。然而,我们能够以高精度把预测收窄到两个或三个肿瘤类型。
根据本发明的一实施例,网络是训练后的一个置信网络,这是一个域相关的专家系统。对于知识的抽取,我们可输入变量值并观察另一相关变量值的输出,如果在竞争神经元组内其有大的对比度则是有效的。这一相关知识等价于逻辑命题“如果A则B”。例如在原发肿瘤数据的训练的网络中,我们获得“如果肿瘤位置是卵巢则其不是上锁骨的”(CF=.97)。确定性因子从动作电位差转换。
当类别变量在监督学习中是连续的时,PLANN推理能够进行功能和相关估计。PLANN推理的功能估计是通过分析Henon映象数据展现的,这是著名的混沌动力系统。Henon映象由两个有按时间进化的非线性关系的交互变量组成。以时间序列和一阶时滞训练数据。为了预测我们在序列的网络中输入滞后的时间序列,并计算输出值的模糊质心。这一过程称为去模糊化。图8示出PLANN推理的实验结果。其同时预测出相关的多个时间序列,这对于多阶推理方法是一个困难。
在计算系统的物理学中,如果通信信道之间没有位能差,则没有扩散过程;且不能检测到信号。这样,在神经形态学电路系统中广泛使用对比度计算。例如,在视觉神经系统中空间电位差计算边缘检测;在听觉神经系统中时间电位差计算声音检测。根据本发明的一实施例,对手假设的证据电位的对比度计算置信判断。
对于PLANN的电路设计是基于模拟VLSI神经形态学电路的(Mead(1989))。一种基本神经形态学电路是跨导。在微分跨导放大器中,两个漏极电流的微分对为
I1=Ibexp(κV1)/(exp(κV1)+exp(κV2))以及
I2=Ibexp(κV2)/(exp(κV1)+exp(κV2)), (7)
其中κ是一过程相关的参数。在操作的阈下方式下(低功率),电压和电流遵循对数和指数关系。两个电流能够看作是乘以偏流Ib的互补概率p与1-p。实际的偏流并不重要,因为“不确定性度量”的基本性质是相对不固定的。从方程式(7)对数似然率为
ln(p(1-p))=ln(I1/I2)=κV1-κV2 (图5步骤502) (8)
这与方程式(6)等价。电压对应于竞争对手假设证据的权重,而电流对应于概率或可能性。
通过把微分跨导扩展到n个单元,我们有winner-take-all(WTA)电路(例如参见Lazzaro,J.,Ryckebusch,S.,Mahowald,M.A.,Mead,C.;“Winner-Take-All Networks of O(n)Complexity,”Advances in NeuralProcessing Systems,Vol.1,pp.703-711(1989);Elfadel,I.M.and Wyatt,J.L.,“The Softmakx Nonlinearity:Derivation Using StatiticalMechanics and Useful Properties As A Multi-Terminal Analog CircuitElement,”Advances in Neural Information Processing Systems,Vol.6,pp.882-887(1994);以及Asai,T.,Fukai,T.and Tanaka,S.,“ASubthreshold MOS Circuit for Lotka-Volterra Neural NetworkProducing the Winner-Share All Solution,”Neural Networks,Vol.12,pp.211-216(1999))。WTA电路计算输出电流:
Ii=Ibexp(κVi)/∑j=1,...,nexp(κVj) (9)
WTA电路是带有全局禁止向所有单元反馈的循环网络。以附加的晶体管控制偏压,输出产生多个胜利者或单个胜利者(例如参见Liu,S.C.,A Winner-Take-All Circuit with Controllable Soft MaxProperty(2001))。这对应于模糊集合的α-切割操作。WTA组合模糊集合操作与概率标称化为一单个的计算(方程式(2)和(3))。
改变WTA计算性质的另一方式是按以下文献所述通过添加横向展示和/或禁止,“Winner-Take-All Networks With LateralExcitation,”Analog Integrated Circuits and SignalProcessing,Vol.13,pp.1-9(1997);以及Indiveri,G.,“A Current-ModeHysteretic Winner-Take-All Networks With Excitatory and InhibitoryCoupling,”Analog Integrated Circuits and Signal Processing,Vol.28,pp.279-291(2001)。横向展示将向其相邻的神经元扩散电子刺激物;这种分布的表示已经在许多大脑区域观察到,并称为主体代码。数学上,这种分布的表示可解释为连续变量的模糊集合编码,或离散变量的冗余编码。电路是自标称化的,即输出计算输入电流的平均。电路单元的冗余性加强了计算的鲁棒性,并克服了电路装置的不匹配。
根据本发明的一实施例,离散和连续变量都由WTA电路表示,并这样通过相同的网络设计计算。带有以下集合电路(例如参见Mead,C.,Analog VLSI and Neural System(1989))的WTA计算空间循环的静态关系。带有跟随器-积分(follower-integrator)电路(Mead(1989))的WTA计算时间信号的动态关系。
当神经元接收来自其他神经元的电流输入时,其膜电位将增加。集合组中的神经元竞争动作,如果膜电位通过一阈值,一个尖峰信号将产生。接收更强信号的神经元将首先激发,并产生较强的振幅。带有竞争网络的积分与激发神经元芯片的电路设计在Asai等人(2002)的文献中有述。
为了实现PLANN学习,积分与激发神经元芯片中的突触必须与非易失存储器相适应,对于这种装置的电路设计在以下文献中有讨论,Diorio,C.,Hsu,D.,and Figueroa,M,;“Adaptive CMOS:FromBiological Inspiration to System-On-A-Chip,”IEEE Proceedings 90,Vol.3,pp.345-357(2002),这称为硅自适应突触。
在PLANN学习中,如果在一个小的延迟学习窗口内前突触神经元X的尖峰由一个后突触神经元Y的尖峰跟随,则权重增加。如果没有尖峰由后突触神经元产生,则权重降低。学习算法的细节在以下文献种有讨论,美国专利申请No.09/808,101以及Chen,Y.Y.;“PlausibleNeural Networks,”Advances in Neural Networks World,pp.180-185(2002)。权重更新的这一计算可通过以下文献中讨论的硅自适应突触实现,Shon,A.,Hsu,D.and Diorio,C,;Learning Spike-BasedCorrelations and Coditional Probabilities in Silicon;Advanced NeuralInformation Processing Systems,vol.14(2002)。
虽然这里公开的本发明是借助于特定的实施例及其应用描述的,但在不背离权利要求中所述本发明的范围之下,可由业内专业人员对其作出众多的修改和变形。
Claims (12)
1.一种训练神经网络的方法,该神经网络包括多个神经元,在各所述神经元之间具有权重连接,以便基于数据信息计算似然推理,该过程包括以下步骤:
(a)使用值在0与1之间的模拟信号,把多个输入神经元的每一个激发为与每一被激发的输入神经元连接的神经元组;
(b)在多个隐藏神经元接收作为动作电位的信号加权和;
(c)在所述多个隐藏神经元之中竞争激活;
(d)对于每一隐藏神经元,如果其动作电位与最高动作电位的比通过一个阈值,则激发所述隐藏神经元,否则保持休息;以及
(e)标称化隐藏神经元组中的动作电位,所述标称化动作电位包括神经元输出的信号。
2.如权利要求1的方法,其中所述神经网络并行分布式计算机器,包括:
至少一个输入层和至少一个输出层;
输入层包括多个输入神经元,和输出层包括多个输出神经元,使得每一神经元具有一个与至少一个其他神经元的权重连接。
3.如权利要求2的方法,其中输出节点的信号包括表示一事件概率的逻辑值,一命题的真值或模糊集合成员资格函数。
4.一种似真神经网络中数据编码的方法,该方法包括以下步骤:
(a)以具有与其相关的变量的训练数据训练所述网络,所述变量包括一个神经元的总体;其中所述总体中的每一神经元表示所述变量的一模糊子集;以及
(b)以基于所述训练数据的数据值的一定等级激活所述总体中每一所述神经元,其中在所述总体中每一神经元的激活水平是0与1之间的模糊集合成员资格函数,且所述神经元总体的激活水平之和相加为1。
5.一种训练似真神经网络的方法,该神经网络包括属性神经元的至少一个输入层,以及簇神经元的至少一个隐藏,用于非监督学习或簇分析,该方法包括以下步骤:
(a)随机激发隐藏层中所述多个簇神经元;
(b)计算所述簇神经元与属性神经元之间的权重连接;
(c)再次输入属性神经元并计算簇神经元的激活;
(d)更新簇神经元与属性神经元之间的权重连接;以及
(e)重复步骤(c)和(d)直到网络稳定。
6.一种训练和测试神经网络的方法,包括至少一个输入层和至少一个隐藏层,所述输入层包括多个属性神经元和多个类别神经元,所述隐藏层包括多个簇神经元,用于监督学习和半监督学习,该方法包括以下步骤:
训练神经网络,包括以下步骤:
(a)随机激发隐藏层中所述多个簇神经元;
(b)计算所述簇神经元与输入层神经元之间的权重连接;
(c)再次输入类别和属性神经元并计算簇神经元的激活;
(d)更新簇神经元与输入层神经元之间的权重连接;以及
(e)重复步骤(c)和(d)直到网络稳定;以及
测试所述神经网络,包括以下步骤:
(f)输入属性神经元并计算簇神经元的激活;以及
(g)激发所述簇神经元回到所述类别神经元。
7.一种从似真神经网络知识抽取的方法,该方法包括以下步骤:
(a)向多个类别/属性神经元输入数据值;
(b)基于连接的类别/属性神经元动作电位的相对量值,计算所述类别/属性神经元之间的对比度;
(c)把所述对比度转换为从类别/属性神经元之间的激活水平与其竞争对手的激活水平的差确定的置信度;以及
(d)如果所述对比度超过预定的水平,则输出类别/属性神经元的值。
8.一种适于进行似真神经网络计算的机器,所述机器包括:
在计算的阈下区域情况下的一模拟电路装置,其中电压和电流遵循对数和指数关系;
一输出装置和一输入装置,
一处理器;以及
一存储器,具有用于执行一系列存储在其中的功能的机器可执行指令,并适于接收且存储一系列数据记录,所述功能包括:
(a)在所述输入装置接收训练数据,所述训练数据包括多个记录,每一记录具有与其相关的数据值,其中所述训练数据是包括0与1之间对应于模糊集合编码的模拟信号的一向量;
(b)把所述向量输入到适于计算所述似真神经网络激活的胜利者取所有(WTA)电路,其中所述电流对应于一个概率且所述电压对应于似然推理中证据的一个权重;以及
(c)通过跨导放大器施加所述电压,其中电压差产生表示竞争对手判断置信度的信号。
9.如权利要求8的机器,还适于通过更新各处理单元之间的权重连接使用训练数据被训练,所述功能还包括:
(a)在所述输入装置接收训练数据,所述训练数据包括多个记录,每一记录具有一变量及与其相关的数据值;以及
(b)每当任一连接的神经元激发时更新两个神经元之间的连接权重。
10.如权利要求9的机器,其中更新连接权重的所述步骤通过自适应硅突触实现。
11.如权利要求8的机器,其中所述机器还适于基于输入信息提供专家响应及不确定性评估。
12.如权利要求11的机器,其中所述机器适于用作为似然思考机器的一个部件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33147601P | 2001-11-16 | 2001-11-16 | |
US60/331,476 | 2001-11-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1656472A true CN1656472A (zh) | 2005-08-17 |
CN100390774C CN100390774C (zh) | 2008-05-28 |
Family
ID=23294131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028251083A Expired - Fee Related CN100390774C (zh) | 2001-11-16 | 2002-11-15 | 带有监督和非监督簇分析的似真神经网络 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7287014B2 (zh) |
EP (1) | EP1444600A1 (zh) |
JP (1) | JP2005509978A (zh) |
CN (1) | CN100390774C (zh) |
AU (1) | AU2002356946A1 (zh) |
CA (1) | CA2467401A1 (zh) |
MX (1) | MXPA04004542A (zh) |
WO (1) | WO2003044687A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156438A (zh) * | 2014-08-12 | 2014-11-19 | 德州学院 | 一种基于置信度和聚类的未标记样本选择的方法 |
CN102449623B (zh) * | 2009-03-31 | 2015-07-01 | 东京毅力科创株式会社 | 用于检测工具性能降级和失配的方法和系统 |
US9275335B2 (en) | 2008-03-08 | 2016-03-01 | Tokyo Electron Limited | Autonomous biologically based learning tool |
US9424528B2 (en) | 2008-03-08 | 2016-08-23 | Tokyo Electron Limited | Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool |
CN107004157A (zh) * | 2015-01-22 | 2017-08-01 | 高通股份有限公司 | 模型压缩和微调 |
CN107563503A (zh) * | 2017-09-14 | 2018-01-09 | 胡明建 | 一种可编码择阀值择函数人工神经元的设计方法 |
CN107851216A (zh) * | 2015-09-11 | 2018-03-27 | 谷歌有限责任公司 | 训练强化学习神经网络 |
CN108369660A (zh) * | 2015-07-13 | 2018-08-03 | 索邦大学 | 用事件间的时间间隔来表示数值的数据处理装置 |
CN108647725A (zh) * | 2018-05-11 | 2018-10-12 | 国家计算机网络与信息安全管理中心 | 一种实现静态隐马尔科夫模型推理的神经电路 |
CN111582460A (zh) * | 2020-05-21 | 2020-08-25 | 中国人民解放军国防科技大学 | 隐层神经元自适应激活方法、装置和终端设备 |
CN113196301A (zh) * | 2019-01-09 | 2021-07-30 | 赫尔实验室有限公司 | 用于概率计算的脉冲神经网络 |
CN113316752A (zh) * | 2019-01-24 | 2021-08-27 | 索尼半导体解决方案公司 | 电压控制装置 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MY138544A (en) * | 2003-06-26 | 2009-06-30 | Neuramatix Sdn Bhd | Neural networks with learning and expression capability |
US7668795B2 (en) * | 2004-11-02 | 2010-02-23 | Fuji Xerox Co., Ltd. | Data analyzer utilizing the spreading activation theory for stemming processing |
US7937264B2 (en) * | 2005-06-30 | 2011-05-03 | Microsoft Corporation | Leveraging unlabeled data with a probabilistic graphical model |
US8140464B2 (en) * | 2006-04-28 | 2012-03-20 | Battelle Memorial Institute | Hypothesis analysis methods, hypothesis analysis devices, and articles of manufacture |
CN101916393B (zh) * | 2010-07-14 | 2012-09-26 | 中国科学院半导体研究所 | 具有图像分割功能的脉冲耦合神经网络的实现电路 |
US8606732B2 (en) * | 2010-08-04 | 2013-12-10 | Qualcomm Incorporated | Methods and systems for reward-modulated spike-timing-dependent-plasticity |
US9053428B2 (en) | 2011-07-21 | 2015-06-09 | Qualcomm Incorporated | Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation |
US9147155B2 (en) | 2011-08-16 | 2015-09-29 | Qualcomm Incorporated | Method and apparatus for neural temporal coding, learning and recognition |
US9274595B2 (en) * | 2011-08-26 | 2016-03-01 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
US9092735B2 (en) | 2011-09-21 | 2015-07-28 | Qualcomm Incorporated | Method and apparatus for structural delay plasticity in spiking neural networks |
US9111224B2 (en) | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
US8909575B2 (en) | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
WO2013138778A1 (en) * | 2012-03-15 | 2013-09-19 | Brain Corporation | Tag-based apparatus and methods for neural networks |
US9064215B2 (en) | 2012-06-14 | 2015-06-23 | Qualcomm Incorporated | Learning spike timing precision |
US9904889B2 (en) | 2012-12-05 | 2018-02-27 | Applied Brain Research Inc. | Methods and systems for artificial cognition |
CN104636802A (zh) * | 2013-11-14 | 2015-05-20 | 辽宁工程技术大学 | 一种基于改进遗传算法的爆破方案多准则选择方法 |
CN104598972A (zh) * | 2015-01-22 | 2015-05-06 | 清华大学 | 一种大规模数据回归神经网络快速训练方法 |
US11100397B2 (en) | 2015-05-21 | 2021-08-24 | Rochester Institute Of Technology | Method and apparatus for training memristive learning systems |
US11093818B2 (en) | 2016-04-11 | 2021-08-17 | International Business Machines Corporation | Customer profile learning based on semi-supervised recurrent neural network using partially labeled sequence data |
US9992570B2 (en) | 2016-06-01 | 2018-06-05 | Google Llc | Auralization for multi-microphone devices |
US10063965B2 (en) | 2016-06-01 | 2018-08-28 | Google Llc | Sound source estimation using neural networks |
US12093849B2 (en) * | 2016-10-26 | 2024-09-17 | International Business Machines Corporation | Smart sensing: a system and a method for distributed and fault tolerant hierarchical autonomous cognitive instrumentation |
US10037478B1 (en) * | 2017-11-28 | 2018-07-31 | Bank Of America Corporation | Computer architecture for emulating master-slave controllers for a correlithm object processing system |
CN109978148B (zh) * | 2017-12-28 | 2020-06-23 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
JP7217589B2 (ja) * | 2018-02-27 | 2023-02-03 | シスメックス株式会社 | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
CN108595497B (zh) * | 2018-03-16 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 数据筛选方法、装置及终端 |
US11568237B2 (en) | 2018-05-10 | 2023-01-31 | Samsung Electronics Co., Ltd. | Electronic apparatus for compressing recurrent neural network and method thereof |
KR20210099564A (ko) * | 2018-12-31 | 2021-08-12 | 인텔 코포레이션 | 인공 지능을 이용한 보안 시스템 |
US11429805B2 (en) | 2019-10-29 | 2022-08-30 | Samsung Electronics Co., Ltd. | System and method for deep machine learning for computer vision applications |
DE102020122844A1 (de) | 2019-10-29 | 2021-04-29 | Samsung Electronics Co., Ltd. | System und verfahren für tiefgehendes maschinelles lernen für computer-vision-anwendungen |
US20210182655A1 (en) * | 2019-12-11 | 2021-06-17 | Inait Sa | Robust recurrent artificial neural networks |
CN112131798B (zh) * | 2020-09-29 | 2024-09-13 | 西安热工研究院有限公司 | 基于bp神经网络的cvt一次侧电压信号恢复方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5159660A (en) * | 1990-08-09 | 1992-10-27 | Western Thunder | Universal process control using artificial neural networks |
US6894639B1 (en) * | 1991-12-18 | 2005-05-17 | Raytheon Company | Generalized hebbian learning for principal component analysis and automatic target recognition, systems and method |
US5835901A (en) * | 1994-01-25 | 1998-11-10 | Martin Marietta Corporation | Perceptive system including a neural network |
US6167391A (en) * | 1998-03-19 | 2000-12-26 | Lawrence Technologies, Llc | Architecture for corob based computing system |
US20020010691A1 (en) | 2000-03-16 | 2002-01-24 | Chen Yuan Yan | Apparatus and method for fuzzy analysis of statistical evidence |
-
2002
- 2002-11-15 WO PCT/US2002/036533 patent/WO2003044687A1/en active Application Filing
- 2002-11-15 AU AU2002356946A patent/AU2002356946A1/en not_active Abandoned
- 2002-11-15 JP JP2003546255A patent/JP2005509978A/ja active Pending
- 2002-11-15 EP EP02803620A patent/EP1444600A1/en not_active Withdrawn
- 2002-11-15 CA CA002467401A patent/CA2467401A1/en not_active Abandoned
- 2002-11-15 US US10/294,773 patent/US7287014B2/en not_active Expired - Fee Related
- 2002-11-15 MX MXPA04004542A patent/MXPA04004542A/es active IP Right Grant
- 2002-11-15 CN CNB028251083A patent/CN100390774C/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9275335B2 (en) | 2008-03-08 | 2016-03-01 | Tokyo Electron Limited | Autonomous biologically based learning tool |
US9424528B2 (en) | 2008-03-08 | 2016-08-23 | Tokyo Electron Limited | Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool |
CN102449623B (zh) * | 2009-03-31 | 2015-07-01 | 东京毅力科创株式会社 | 用于检测工具性能降级和失配的方法和系统 |
CN104156438A (zh) * | 2014-08-12 | 2014-11-19 | 德州学院 | 一种基于置信度和聚类的未标记样本选择的方法 |
CN107004157A (zh) * | 2015-01-22 | 2017-08-01 | 高通股份有限公司 | 模型压缩和微调 |
CN108369660A (zh) * | 2015-07-13 | 2018-08-03 | 索邦大学 | 用事件间的时间间隔来表示数值的数据处理装置 |
CN107851216A (zh) * | 2015-09-11 | 2018-03-27 | 谷歌有限责任公司 | 训练强化学习神经网络 |
CN107851216B (zh) * | 2015-09-11 | 2022-03-08 | 谷歌有限责任公司 | 一种用于选择待由与环境进行交互的强化学习代理执行的动作的方法 |
US11886992B2 (en) | 2015-09-11 | 2024-01-30 | Deepmind Technologies Limited | Training reinforcement learning neural networks |
CN107563503A (zh) * | 2017-09-14 | 2018-01-09 | 胡明建 | 一种可编码择阀值择函数人工神经元的设计方法 |
CN108647725A (zh) * | 2018-05-11 | 2018-10-12 | 国家计算机网络与信息安全管理中心 | 一种实现静态隐马尔科夫模型推理的神经电路 |
CN113196301A (zh) * | 2019-01-09 | 2021-07-30 | 赫尔实验室有限公司 | 用于概率计算的脉冲神经网络 |
CN113316752A (zh) * | 2019-01-24 | 2021-08-27 | 索尼半导体解决方案公司 | 电压控制装置 |
CN111582460A (zh) * | 2020-05-21 | 2020-08-25 | 中国人民解放军国防科技大学 | 隐层神经元自适应激活方法、装置和终端设备 |
CN111582460B (zh) * | 2020-05-21 | 2023-04-14 | 中国人民解放军国防科技大学 | 隐层神经元自适应激活方法、装置和终端设备 |
Also Published As
Publication number | Publication date |
---|---|
EP1444600A1 (en) | 2004-08-11 |
US20030140020A1 (en) | 2003-07-24 |
JP2005509978A (ja) | 2005-04-14 |
CN100390774C (zh) | 2008-05-28 |
AU2002356946A1 (en) | 2003-06-10 |
CA2467401A1 (en) | 2003-05-30 |
US7287014B2 (en) | 2007-10-23 |
MXPA04004542A (es) | 2005-03-07 |
WO2003044687A1 (en) | 2003-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100390774C (zh) | 带有监督和非监督簇分析的似真神经网络 | |
Gökhan et al. | The effect of the normalization method used in different sample sizes on the success of artificial neural network model | |
Lee et al. | Introduction to convolutional neural network using Keras; an understanding from a statistician | |
Jiang et al. | A neuron model with synaptic nonlinearities in a dendritic tree for liver disorders | |
Wu et al. | Classification of battlefield ground vehicles using acoustic features and fuzzy logic rule-based classifiers | |
Wu et al. | Training feedforward neural networks using symbiotic organisms search algorithm | |
US6009418A (en) | Method and apparatus for neural networking using semantic attractor architecture | |
Shrestha et al. | Stable spike-timing dependent plasticity rule for multilayer unsupervised and supervised learning | |
Song et al. | Training an approximate logic dendritic neuron model using social learning particle swarm optimization algorithm | |
Liu et al. | Concept drift detection: Dealing with missing values via fuzzy distance estimations | |
CN112884150A (zh) | 一种预训练模型知识蒸馏的安全性增强方法 | |
Choudhury et al. | Deep and structure-preserving autoencoders for clustering data with missing information | |
CN117421667A (zh) | 基于改进灰狼算法优化的Attention-CNN-LSTM工业过程故障诊断方法 | |
Kamimura | Progressive feature extraction with a greedy network-growing algorithm | |
CN112001436A (zh) | 一种基于改进的极限学习机的水质分类方法 | |
Gorunescu et al. | An evolutionary computational approach to probabilistic neural network with application to hepatic cancer diagnosis | |
Starzyk et al. | Concurrent associative memories with synaptic delays | |
CN111402953B (zh) | 基于层次注意力网络的蛋白质序列分类方法 | |
US6490571B1 (en) | Method and apparatus for neural networking using semantic attractor architecture | |
Komanduri et al. | Neighborhood random walk graph sampling for regularized Bayesian graph convolutional neural networks | |
Markowska-Kaczmar | Evolutionary approaches to rule extraction from neural networks | |
Salehinejad | Energy Models for Pruning Neural Networks | |
Godin et al. | Pattern recognition with spiking neurons: performance enhancement based on a statistical analysis | |
Zhang et al. | Maximizing memory capacity in heterogeneous networks | |
Dongfang | Electronic Music Signal Identification Model Based On Machine Learning Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080528 Termination date: 20151115 |
|
EXPY | Termination of patent right or utility model |