CN1182246A - 二进位系统学习方法 - Google Patents

Abstract

本发明提供了一种二进位系统学习方法,该方法通过修正电路的连接状态而实现的。所说电路为由与、或、非、与非、或非、互斥或非门等基本逻辑门组成的二进组合及序向电路。通过巧妙地引入假神经细胞理论和假电位理论,可以实现在极短学习时间内完成学习的效果。而且它可以容易地移植到普通计算机及其它数字式设备,故其可以广泛地应用于影像处理、音声处理或自然语言处理等领域。

Description

二进位系统学习方法

本发明涉及可学习的二进位系统。

迄今，在传统神经网络中的学习系统被借助更改流程的每一加权和每一神经细胞的临界加以执行。然而，当前述的加权和临界需要复杂化与大规模的硬件，例如；加法器与乘法器，以及花很长时间操作时，大规模的硬件难以实现。

本发明是针对以上缺点而开发，其目的是提供一种二进制学习方法，它利用由基本二进位门，诸如：与门、或门、非门、与非门、或非门以及互斥或门等构成的二进位组合电路，并通过调整各基本逻辑门之间的连接电路的连接状态，来实现学习。

本发明的目的是这样实现的：第一二进位逻辑门和第二二进位逻辑门分别由或、与、或非、与非、互斥或门之一所构成，通过由以下四种连接方式任选其一来连接，所说第一二进位逻辑门和第二二进位逻辑门，而进行学习：

(1)、直接连接；

(2)、经由一反相器连接；

(3)、以二进位1连接至该第二门；

(4)、以二进位0连接至该第二门。

展示连接状况的能量如图1所示，具有高低次序。

再者，此学习系通过调整表征上述连接状态的假电位能量来达成学习。

再者，该表征上述连接状态的假电位能量的调整如图2所示。

再者，前述的二进位组合逻辑电路系由基本二进位逻辑门，例如图3中所示之与门、或门、非门、与非门、或非门以及互斥或门构成。

再者，前述序向电路如图4所示由组合电路、记忆体电路和其间的连接而构成，该组合电路由基本二进位逻辑门，诸如：与门、或门、非门、与非门、或非门以及互斥或非构成。

这些学习方法特征在于：前述连接状态由使用神经网络而实现。

这些学习方法特征在于：该学习系借助调整假神经网络之加权及临界而加以执行。

于这些学习方法中，神经网络W及临界θ的加权修正朝向误差函数向E向梯度下降方向变化，其如以下公式1中所示：

另外，这些学习方法特征在于：前述连接状态系借助由使用一假电位能量(PPE)所加以表达。

这些学习方法其特征还在于：每一逻辑门的PPE具有如图1所示的高低顺序。

这些学习方法其特征还在于：学习因调整连接状态中之PPE而加以执行。

这些学习方法其特征还在于：连接状态中之PPE的调整系按图2中所示加以执行。

这些学习方法其特征还在于：以上之二进位组合逻辑电路是按图3所示由基本逻辑门的与门、或门、非门、与非门、或非门以及互斥或门组成以及连接的。

这些学习方法其特征还在于：以上序向网络如图4所示包括一组合电路与一记忆体电路，该组合逻辑电路包含基本逻辑门，例如：与门、或门、非门、与非门、或非门以及互斥或门，以及按图4所示进行。

再者，以上二进位组合逻辑电路其特征还在于：如图5所示，具有输入层、连接层、与门层以及或门层。

再者，以上二进位组合逻辑电路其特征还在于：如图6所示，由输入层、连接层、或门层以及与门层所组成。

再者，以上二进位组合逻辑电路其特征还在于：如图7所示，由输入层、连接层、中间与非门层以及输出与非门层所组成。

再者，以上二进位组合逻辑电路其特征还在于：如图8所示，由输入层、连接层、中间或非门层以及输出或非门层所组成。

以上二进位组合逻辑电路其特征还在于：如图9所示，由输入层、连接层、一中间互斥或门层以及输出互斥或门层所组成。

为了更了解本发明之特性，以下结合由附图给出的实施例加以说明。

图1为显示假电位能量的连接状态之顺序的说明图。

图2为示出假电位能量的连接状态之调整方法的说明图。

图3为显示一组合网络的方块图。

图4为示出一序向网络的方块图。

图5为显示一种与一或门网络的方块图。

图6为显示一种或一与门网络的方块图。

图7为显示由与非门所构成网络之方块图。

图8为显示由或非门所构成网络之方块图。

图9为显示由互斥或门所构成网络之方块图。

图10为显示一种用于一例示性二进位函数之真值表。

图11为显示一种用于例示性二进位函数的坎诺图。

图12为一种例示性二进位函数之逻辑电路图。

图13为一种临界函数与假神经细胞的示意图。

图14为一种具有假神经细胞之连接的表现图。

图15为一种具有假神经细胞的输出与一或门网络图。

图16为一种近似或门的连续加值函数图。

图17为一种近似与门的连续加值函数图。

图18为一种学习信号的真值表。

图19为一种学习信号的真值表。

图20为一种临界值更新Δθ_ij之坎诺映图。

图21为一种由假神经细胞之连接状态的状态指定图。

图22为一种具有输入(Xi)及状态指定(q₁、q₂、q₃)之假神经细胞输出之假神经细胞输出(Y_ij)之坎诺映图。

图23为一种学习演译法的电路布置图。

图24(a)为一种临界学习Δθ的状态转换图。

图24(b)为一种加重学习ΔW之状态转换图。

图25(a)为一种临界学习之状态转换图。

图25(b)为一种加权学习之状态转换图。

图26为一种用于临界学习电路之真值表。

图27为一种用于加权学习电路之真值表。

图28为一种加权及临界调整电路之真值表。

图29为q₃′之坎诺映图。

图30为q₂′之坎诺映图。

图31为q₁′之坎诺映图。

图32为一种使用组合网络之修正电路。

图33为一种使用序向电路之修改电路图。

图34为假神经细胞连接电路之真值表。

图35为假神经细胞连接之电路图。

图36为整个学习电路之方块图。

图37为连接函数的真值表。

图38为一种使用假电位能量方法的学习演译法电路图。

图39为连接状态学习电路之一真值表。

图40为一种使用序向网络之学习修正电路图。

图41为连接电路图。

图42为一种使用假电位能量方法的整个学习电路的方块图。

图43为显示在序向网络中之学习的图。

本发明二进位系统学习方法的一较佳实施例，参考由图5中所示之与门以及非门所组成之逻辑电路，来详细说明。

1、连接状态

首先，依据对本发明较佳实施例中的连接状态加以详述。二进位系统构成中，任何逻辑函数均以逻辑组合形式组成(按图5中所示由与一或门电路组成)。例如：图10中所示之逻辑函数依据公式(2)被图11所示之坎诺映图所示。

公式2中所示之逻辑函数系由图12中所示之方块图加以表达，构成与一或门网络。

输入层与与门层间之连接按以下四种连接状态依据该逻辑函数加以决定，四种状态系：

(1)、输入Xi包含在逻辑门ANDj中(例如：图12中之X2系被包含于AND1和AND2，X2被直接地连接)；

(2)、输入Xi的负值包含在逻辑门ANDi中(例如：输入X3是经反相器被连接到AND2)；

(3)、输入Xi及输入Xi之负值是不包含在逻辑乘ANDj(例如：其中没有连接于X3和AND1之间。亦即，由X到AND1之输入被共接二进位1)；

(4)、任何输入共接至具有二进位0之与门。

所以，任何具有n变数之逻辑函数可以被以一个和一或门网络加以执行，该网络最多包含2^(n-1)+1个与门。

这些于输入层与与门层间之连接可以施加任何前述的连接加以实现。

2、由假神经细胞之表现公式

以上连接状况可以借助施加一假神经细胞(于本文后为“PN”)加以表达。该假神经细胞中之输入及输出间之连接状况被以公式3或4之临界函数加以表示。

其中：Xi——第一个输入

      Yij——第ij个假神经细胞的输出

      Wij——输入Xi至第ij个假神经细胞之加权因素

      θ_ij——第ij个假神经细胞之临界。

在这个例子中，该假神经细胞只有一个输入与一个输出，Wij取1或者是-1，θij如图13a或13b所示取-1.5，-0.5，0.5或1.5。

因为输入Xi只取二进位系统中之0或1，来自假神经细胞之输出依据图14中所示之加权因素Wij及临界θij取1或0。

因此，可以借助施加一假神经细胞来表达于输入与与门间之连接状态。

然后如图5中所示之与一或门结构可以被表达如图15，在输入层与与门层之间形成一个假神经细胞。

在图15所显示之网络是阶层状，其由输入层、假神经细胞层、与门层与或门层所构成，并且每一层系由适当数目之逻辑门所形成，而每一层本身没有任何连接。另外，在每一层间之连接被限制于一方向(亦即，一前向馈入类型)由输入层至输出层。在每一层的逻辑门中除了在输入层与假神经细胞层间之连接，具有前向放置之逻辑门被指定为二进位1。

假如PN之反应函数被一个S字形函数所近似时，与门、或门被连续最小值，最大函数所近似时，很多演译法，例如：误差逆传送方法可以被使用。然而，修正或学习只有借助施加PN之加权和临界加以执行。

3、梯度下降学习演译法

一种用于二进位系统中之输入层及与门层间之连接状态中之学习演译法被以下方法加以导出。

参考图5中所示之网络，想要的输出或老师信号对于已知输入X1、X2………Xn假设为T1、T2………Tm，这些网络的输出如图5中所示为Z1、Z2………Zm，误差函数E被定义为平方之和，如公式5所示。

随着学习的实行，误差将因改变输入层及PN层的加权(连接状态)以及PN层的临界而减小。在让这些加权W及临界θ向斜度下降方向改变时，ΔW及Δθ之修正值被公式6所表达

${\mathrm{\Δ\θ}=-\mathrm{\ϵ}}_{\mathrm{\θ}}\frac{\∂\mathrm{\&Egr;}}{\∂\mathrm{\θ}}$

在公式6中，ε_w及ε_θ定义只取正值。为了简单起见，可以认为如在图15所示那样，一个网络仅需要一个输出。

θij表示在输入Xi及第j个与门ANDi间的第ij个PN，Yij、θij、Wij表示输出，临界与加权，该校正值ΔWij和Δθij用以下的公式7加以表示。 ${\mathrm{\ΔW}}_{\mathrm{ij}}=-{\mathrm{\ϵ}}_w\frac{\∂E}{\∂W_{\mathrm{ij}}}=-{\mathrm{\ϵ}}_w\frac{\∂E}{\∂Z}\·\frac{\∂Z}{\∂\mathrm{OR}}\·\frac{\∂\mathrm{OR}}{\∂\mathrm{AND},}\·\frac{\∂\mathrm{AN}{D}_i}{\∂Y_{\mathrm{ij}}}\·\frac{{\∂Y}_{\mathrm{ij}}}{\∂W_{\mathrm{ij}}}$

误差函数E被表示于公式8。

于是，可得到公式9。

进一步代入Z＝OR，可得公式10。

因此，每一或门系近似于公式11中所示之连续函数。

公式11中，M是除了ANDi外的输入最大数。亦即

M＝Max(ANDi，i＝1，2，………，i≠j)

这关系在图16中被表达。

因此，该关系被表达为公式12。

于相同方法中，其系可能近似如于公式13中所显示，于每一与门对应一个输入。

其中，m是除了Yij之外的全部输入的最小量。亦即：

m＝Min(Yik，k＝1，2，--，k≠j)

这关系表现在图17。

因此，这关系被表达于公式14。

最后，则Yij被表达于公式15，

则公式16导出如下。 $\frac{\∂Y_{\mathrm{ij}}}{\∂W_{\mathrm{ij}}}=f^{\′}\left(x\right)\·X_i$

因为f′(x)≥0，则假设f′(x)＝1时，ΔWij、Δθij满足以下方程式。ΔWij＝-ε_w(Z-T)Sgn(ANDj-M)

     Sgn(m-Yij)Xi

及Δθij＝-ε_θ(Z-T)Sgn(ANDi-M)

       Sgn(m-Yij)(-1)

则假设ε_w＝2，εθ＝1

上关系被导出如下。

ΔWij＝-2(Z-T)Sgn(ANDj-M)

       Sgn(m-Yij)Xi

Δθij＝(Z-T)Sgn(ANDi-M)Sgn(m-Yij)

以上表示ΔWij及Δθij之方程式中，所有量均被以二进位表达，即被修正的ΔWij及Δθij分别同输出Z，老师信号T，ANDj之输出，PN的输出，Yij与输入Xi构成简单的逻辑关系。

因此，该学习规则可以以逻辑电路实现。该修正被限制到1，-1或0，其分别代表现行加权和临界被单位增加，减少或保持不变，该单位用于加权时为1，用于临界时为2。

[硬件的实现]

(1)、于学习演译法的硬件实现

如上所述，该学习演译法只由输入、输出信号、老师信号，AND层之输出与PN输出之间的逻辑操作所构成，并且对PN产生一个学习信号，指示是否增加或减少或保持相关加权和临界。

由于其中有三种状况，即：增加、减少或保持不变，则设保持信号为q＝HP(高阻抗)，增加与减少信号分别为q＝1与1＝0。因此，公式17及18所示的加权及临界之学习信号可以得到图18及19之真值表。

        Δθ_ij(1)＝Z· T·AND_j

因为这些真值表(图18与19)能够以坎诺映图表示，则该坎诺映图包含即使不在乎条件，如图20所示。该学习信号的逻辑函数可以由这些真值表导出。

因此，这些加权和临界的修改由输入Xi、输出Z，go thd PN(Yij)lwg bm，ANDj与老师信号T所决定。于是，将图14中的PN的连接状态(8状态)以3位二进位(q₃、q₂、q₁)归类于图21所示状态。由PN输出，输入及变数(q₃、q₂、q₁)所构成的逻辑函数被图22之坎诺映图所表达，另一公式19则由该坎诺映图导出。

使用MOS电晶体开关，公式17及18显示的学习信号之逻辑电路如图23中所显示。图23所示逻辑依据上述学习演译法给予0或1或HP。

(2)、电路修改加权及临界

如图21所示，通过提供连接至每一PN之状态变数，用于加权及临界之修改电路的操作经由学习演译法可以被如图24及25所示之状态图及状态转换表所表示。

将图24与25转换成为图16及27所示之真值表，该状态转换函数可以被公式20所表示。

            q₃′＝q₃

            q₂′＝q₂q₁+Δθ_ijq₁+Δθ_ijq₂    公式(20) $q_1^{\′}=q_2\stackrel{-}{q_1}+{\mathrm{\Δ\θ}}_{\mathrm{ij}}\stackrel{-}{q_1}+{\mathrm{\Δ\θ}}_{\mathrm{ij}}{q}_2$

或表达为：  q₃′¹＝ΔW_ij

            q₂′¹＝q²

            q₁′¹＝q¹

组合加权和临界，其产生一图28中所示之真值表。

用于q₃、q₂、q₁之坎诺映图分别如图29、30及31所示，可得到以下的方程式：

            q₃′＝ΔW_ij

            q₂′＝Δθ_ijq₁+Δθ_ijq₂+q₂q₁    公式(21) $q_1^{\′}=q_2\stackrel{-}{q_1}+{\mathrm{\Δ\θ}}_{\mathrm{ij}}{q}_2+{\mathrm{\Δ\θ}}_{\mathrm{ij}}\stackrel{-}{q_2}\stackrel{-}{q_1}$

另外，其电路如图32所示。

使用D正反器作为记忆装置，该学习电路如图33所示。

在此，将S(1)、S(x)、S(1，-x)及S(0)表示为PN连接状态之1-连接，直接连接，反相器连接与0-连接的连接状态，该连接函数的真值表如图34所示。通过图34所示之真值表，可以得到以下示于公式22之逻辑函数。 $S\left(1\right)=\stackrel{-}{q_3}\stackrel{-}{q_2}+$ $\stackrel{-}{q_2}\stackrel{-}{q_1}$ $S\left(X\right)=\stackrel{-}{q_3}{q}_2\stackrel{-}{q_1}$

            S(0)＝q₂q₁+q₃q₂

因此，该连接电路如图35所示，整个使用PN之学习电路的方块图如图36所示。

3、采用假电位能量方法之学习演译法和其执行

在此，描述采用假电位能量方法(以下称为PPE方法)之学习演译法，用以构成如图5中所示的与一或门二进位系统中之内部模型(输入层与与门层间之连接状态)。

如以上所述，四个连接状态有1-连接，直接连接，反相器连接与0-连接。

因此，每个连接状态系被通过加假电位能量加以定义。另外，假电位能量由高至低之顺序被假设如下。对于0-输入、(1)1-连接、(2)反相器连接、(3)直接连接、(4)0-连接，与对于1-输入、(1)1-连接、(2)直接连接、(3)反相器连接，与(4)0-连接。

考虑以上所述定义之准电位能量，应注意的是所定义的假电位能量愈高，连接状态愈容易给出1-输出。相反地，愈低的能量，连接状态愈容易给出0-输出。所以，当希望1-输出的输出时，需要改变现行假电位能量到一较高状态。相反地，当希望0-输出的输出时，需要改变能量到一较低的状态。该学习允许网络的输出配合老师信号，然后，学习可以借助修改准电位能量之连接加以完成。在此，可以采用如图5所示的与一或门网络。

当老师信号等于1，输出Z等0，全部ANDj的输出变成0。为了让输出Z为1，只有当输入ANDj即Yij等于0时，才有必要移动相对于0输入的状态(2)或(3)，使对于1输入的状态(3)或(4)转换为具有较高准电位能量的状态(2)或(3)。在状态(1)及(2)，因为二进位的1已经被输出，所以状态(1)或(2)维持。

当老师信号T是0时，及输出T＝1时，ADj的至少一个输出被保持输出二进位1。以允许输出是二进位的0，其需要让所有的输出二进位1之ANDj与门输出二进位0。当ANDj输出二进位的1时，这意味着该ANDj与门的连接状态处于具有较高电位能量之状态(1)或(2)。因此，使输出处于二进位的0时，需要移动具有较高电位能量之状态(1)或(2)至具有较低电位能量之状态(2)或(3)。

因此，可以获得以下公式23中所示的学习信号。

在此，设S(1)、S(x)、S(1-x)及S(0)为假神经细胞的1-连接、直接连接、反相器连接、与0连接状态，使用2位(q₂、q₁)二进位码，即分别用11、10、01、00表示以上之四连接状态。Yij及现行状态q₂、q₁输入Xi之间的逻辑关系如图37的真值表所示，并且其逻辑并系被以下公式24所表达。

同时，学习演译法的网络如图38所示。

采用以上定义之状态变数，序向电路中用于组合网络之真值表可以被图39所表达。因此，该状态移动函数可以由公式25得到。 $q_2^{\′}={\mathrm{\Δq}}_{\mathrm{ij}}{q}_i+\stackrel{-}{X_j}\mathrm{\Δ}{q}_{\mathrm{ij}}\stackrel{-}{q_2}+\stackrel{-}{X_i}{q}_2{q}_1+X_j{q}_2{q}_1+X_1{\mathrm{\Δq}}_{\mathrm{ij}}{q}_2$

进一步使用D正反器作为记忆工具，该学习修正电路能以图40所示之电路实现。而连接电路也可以以图41所示之电路实现。整个使用假电位能量方法学习电路的方块图如图42所示。

同样地，学习通过增加内部状态或使状态转换循环进行也是可能的。再者，同时也可以使用一般的中央处理单元CPU、RAM来实现。

(4)、在序向网络中之学习方法

在此，对构成序向网络的学习方法加以说明。

如上所述，一个二进位系统例如：图5中所示之系统是一种多层向前馈入网络，其包括连接层、与门层、或门层。

设X代表输入，表示连接函数，Z表示输出，则输出Z被表达如下：

          Z＝f(C，X)

该学习系采用梯度下降方法或假电位能量方法改变连接函数C。

举例来说，设有一个序向网络，它包括具有连接层、与门层、或门层的组合网络，具有D正反器的记忆网络。

该序向网络可以被以下方程式所表示：

  z(t)＝F(C₁(t)·X(t)·D(T

        -1))

  D(t-1)＝f(C₂(t-1)·X(t-1)

          ·D(t-2))

因此，

  z(t)＝f(C₁(t)·X(t)·C₂(t-1

        )·X(t-1)·D(t-2))

其中C1(t)、C2(t)是时刻t之连接函数。

X(t)、Z(t)和D(t)分别是时刻t时的输入、输出与内部状态。

所以，该学习可以通过采用梯度下降法或假电位能量法来修正连接函数C1(t)、C2(t-1)进行。

显然，学习不只是取决于时刻t时的输入X(t)与输出Z(t)，同时也取决于时刻t-1时的输入X(t)与内部状态D(t-2)。因此，

      C1(t+1)＝C1(t)+ΔC1

      C2(t)＝C2(t-1)+ΔC2

其中，ΔC1及ΔC2为修正量。

在时刻t之内部状态D(t)可以由如下方程式计算：

D(t)＝f[C2(t)，X(t)，D(t)-1)]

如以上详述，在依据本发明之二进位系统学习方法中，该第一二进位逻辑门和第二二进位逻辑门被定义为由或门、与门、或非门、与非门和互斥或门所构成的逻辑门，该第一逻辑门被连接到第二逻辑门。以下述四种连接状态中之一种状态被连接到第二逻辑门。

(1)、直接连接；

(2)、经由一反相器连接；

(3)、二进位的1输入至第二逻辑门；

(4)、二进位的0输入至第二逻辑门。

在该二进位系统中，学习是通过选择以上四状态间之任何一连接状态来进行。

另外，依据本发明之二进位系统学习方法，一个输入被用以四种连接状态之任何一状态连接到或、与、或非、与非和互斥或门等任一逻辑门。

(1)、直接连接；

(2)、经由一反相器连接；

(3)、二进位的1输入至第二逻辑门；

(4)、二进位的0输入至第二逻辑门。

在本二进位系统中，学习通过选择以上四种状态中之任何一连接状态而进行。

另外，依据本发明之二进位系统学习方法，当前输入和表示以前输入的内部状态被用以四种连接状态之任何一状态连接到或、与、或非、与非和互斥或门等任一逻辑门。

(1)、直接连接；

(2)、经由一反相器连接；

(3)、二进位的1输入至第二逻辑门；

(4)、二进位的0输入至第二逻辑门。

在本二进位系统中，学习通过选择以上四种状态中任何一连接状态而进行。

另外，依据本发明之二进位系统学习方法，所说第一二进位门或输入和第二二进位门间之连接是这样构成的：至少根据第一二进位门的输入信号与用于学习的老师信号之间计算结果，来选择以上四种连接状态之一种连接状态。

此外，依据本发明之二进位系统学习方法，在前述第一二进位门(或输入)与第二二进位门之间，通过提供一个在下面定义的假神经细胞Q，第一二进位门和第二二进位门间之连接可被假神经细胞Q所定义，并且，连接(即学习)的选择通过修正加权与假神经细胞Q的临界而进行。

在此，假神经细胞Q被定义为Q＝f(WX，θ)。

其中，f为一临界函数，或S型函数或部分线性函数。

X：由第一二进位门至假神经细胞Q的输入信号；

W：是在输入和假神经细胞Q间的加权；

θ：假神经细胞Q的临界。

另外，依据本发明之二进位学习方法，本系统包含输入复数二进位输入数据的输入层，由复数与门构成的与门层、由复数或门构成的或门层(以下与门层的输出为输入)、以或门层的输出为输入的输出层、位于输入层和与门层之间的具有假神经细胞Q的连接层；所说输入层同与门层间的连接可由以下四种连接状态中选择：

(1)、输入层直接连接到与门层；

(2)、输入层经由反相器连接到与门；

(3)、与门层的输入是二进位的1；

(4)、与门层的输入是二进位的0。

在此，假神经细胞Q被定义为Q＝f(WX，θ)与

f：是一临界函数，S型函数或部分线性函数；

X：是至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权：及

θ：是假神经细胞之临界。

另外，依据本发明之二进位学习方法，本系统包括输入层(让多数二进位输入数据输入)、有复数或门的或门层、具有复数与门的与门层(以或门层输出为输入)、以与门层的输出为输入的输出层、具有假神经细胞Q(其位于输入层与或门层之间)的连接层；输入层与或门层之连接可由以下四连接状态之中选择：

(1)、输入层直接连接到与非门层；

(2)、输入层经由反相器连接到与非门；

(3)、与非门层的输入为二进位的1；

(4)、与非门层的输入为二进位的0。

在此，该假神经细胞Q被定义为Q＝f(WX，θ)与

f：是一临界函数，S型函数或部分线性函数；

X：是至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权：及

θ：是假神经细胞之临界。

另外，依据本发明之二进位学习方法，本系统包括输入层(让复数二进位输入数据输入)、中间与非门层(有复数与非门)、输出与非门层(具有复数与非门，并且以中门与非门层输出为输入)、输出层(输入来自输出与非门层之输出)、连接层(具有假神经细胞Q，并且位于输入层与中间与非门层之间)；输入层与中间与非门层之连接可由以下连接状态中选择：

(1)、输入层直接连接到反及闸层；

(2)、输入层经由反相器连接到与非门；

(3)、与非门层的输入为二进位的1；

(4)、与非门层的输入为二进位的0。

在此，假神经细胞Q被定义为Q＝f(WX，θ)

f：是一临界函数，S型函数或部分线性函数；

X：是至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权：及

θ：是假神经细胞之临界。

另外，依据本发明之二进位学习方法，这些系统包括可让复数二进位输入数据输入的输入层、由复数或非门构成的中间或非门层、由复数或非门构成并且以中间或非门层的输出为输入的输出或非层，以输出或非层输出为输入的输出层、具有假神经细胞Q(位于输入层与或非门层之间)的连接层，输入层与或非门层间之连接由以下连接状态选择：

(1)、输入层直接连接到中间或非门；

(2)、输入层经由反相器连接到中间或非门；

(3)、中间或非门层输入是二进位的1；

(4)、中间或非门层的输入是二进位的0。

在此，假神经细胞Q被定义为Q＝f(WX，θ)

f ：是一临界函数，S型函数或部分线性函数；

X：是至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权：及

θ：是假神经细胞之临界。

另外，依据本发明之二进位学习方法，本系统包括让复数二进位输入数据输入的输入层、由复数互斥或门构成的中间互斥或门层、由复数互斥或门构成并且以中间互斥或门层的输出为输入的输出互斥或门层，具有假神经细胞Q(其位于输入层与中间互斥或门层之间)的输入层；该输入层和中间互斥工门层由以下四种连接状态选择：

(1)、输入层直接连接到中间互斥或门层；

(2)、输入层经由反相器连接到中间互斥或门；

(3)、中间互斥或门层输入是二进位的1；

(4)、中间互斥或门层输入是二进位的0。

在此，假神经细胞Q被定义为Q＝f(WX，θ)

f：是一临界函数，S型函数或部分线性函数；

X：是至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权：及

θ：是假神经细胞之临界。

另外，依据本发明之二进位系统学习方法，假神经细胞之加权及临界的修正采用梯度下降法。

另外，依据本发明之二进位系统学习方法，其特征是还在于：以假电位能量表现连接层的连接状态，同时，计算每一基本闸之假电位能量，通过修正假电位能量完成学习。

本发明之二进位系统学习方法，如以上所述可以在很短之学习时间内，获得指定学习效果。而且，所有函数均以简单逻辑门实现，故可以容易地构建及实行学习演译法及修改电路之逻辑操作。

此外，可以很容易地将此学习方法引入习用电脑或其它数字式设备，该学习方法可以被广泛使用于影像处理、音声处理、自然语言处理及运动控制。

Claims (12)

1、一种二进位系统学习方法，其特征是：第一二进位逻辑门和第二二进位逻辑门分别由或、与、或非、与非、互斥或门之一所构成，通过由以下四种连接方式任选其一来连接所说第一二进位门逻辑门和第二二进位逻辑门，而进行学习：

(1)、直接连接；

(2)、经由一反相器连接；

(3)、以二进位1连接至该第二门；

(4)、以二进位0连接至该第二门。

2、一种二进位系统学习方法，其特征是：通过借助以下四种连接方式任选其一来使由或门、与门、或非门或者互斥或门中的任一种门构成的二进位门同输入端连接，而进行学习：

(1)、直接连接；

(2)、经由一反相器连接；

(3)、以二进位1连接至该二进位门；

(4)、以二进位0连接至该二进位门。

3、一种二进位系统学习方法，其特征是：通过借助以下四种连接方式任选其一来使由或门、与门、或非门或者互斥或门中的任一种门构成的二进门同表征现在输入及此前输入的内部状态连接，而进行学习：

(1)、直接连接；

(2)、经由一反相器连接；

(3)、以二进位1连接至该二进位门；

(4)、以二进位0连接至该二进位门。

4、按权利要求1、2及3之任一项所述之二进位系统学习方法，其特征是；所说第一二进位门或所说输入同所说第二二进位门间之连接是依据输入至该第一二进位门之输入信号及用于学习的老师信号间之计算结果，来从所说四连接状态中任选其一。

5、按权利要求1、2及3之任一项所述之二进位系统学习方法，其特征是：在所说第一二进位门或输入和所说第二二进位门之间设有假神经细胞Q，所说第一二进门或输入和所说第二二进门的连接状态依据该假神经细胞Q之值加以选择，该假神经细胞Q是定义如下：

Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X：由第一二进门至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权；

θ：是假神经细胞之临界值。

6、一种二进位系统学习方法，其特征是：包括允许复数二进位数据输入至其本身的输入层，由复数与门构成的与门层，由以该与门层的输出为输入的复数或门构成的或门层，由设置于所说输入层和与门层之间的假神经细胞Q构成的连接层；学习系藉由，由以下连接状态中，选择连接所说输入层至所说与门层的每一连接状态加以执行，诸状态为：

(1)、输入层系直接连接到与门层；

(2)、输入层系经由反相器连接到与门层；

(3)、与门层的输入为1；

(4)、与门层的输入为0；

所说假神经细胞Q被定义为Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X：由第一二进门至假神经细胞Q之输入信号；

W：是输入假神经细胞间之加权；及

θ：是假神经细胞之临界值。

7、一种二进位系统学习方法，其特征是：包括允许复数二进位数据输入至其本身的输入层，由复数或门构成的或门层，由以该或门层的输出为输入的复数与门构成的与门层，以该与门层的输出为输入的输出层，由设置在所说输入层和或门层之间的假神经细胞Q构成的连接层；学习系藉由，由以下连接状态中，选择连接所说输入层至所说或门层的每一连接状态加以执行，诸状态为：

(1)、输入层系直接连接到或门层；

(2)、输入层系经由反相器连接到或门层；

(3)、或门层的输入为1；

(4)、或门层的输入为0；

所说假神经细胞Q被定义为Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X：是输入至假神经细胞Q之输入信号；

W：是输入与假神经细胞间之加权；及

θ：是假神经细胞之临界值。

8、一种二进位系统学习方法，其特征是：包括允许复数二进位数据输入至其本身的输入层，由复数与非门构成的中间与非门层，由以该中间与非门层的输出为输入的复数与非门构成的输出与非门层，以该输出与非门层的输出为输入的输出层，由设置在所说输入层和中间与非门层之间的假神经细胞Q构成的连接层；学习系藉由以下连接状态中，选择连接所说输入层至所说与非门层的每一连接状态加以执行，诸状态为：

(1)、输入层系直接连接到中间与非门层；

(2)、输入层系经由反相器连接到中间与非门层；

(3)、中间与非门层的输入为1；

(4)、中间与非门层的输入为0；

所说假神经细胞Q被定义为Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X：是输入假神经细胞Q之输入信号；

W：是输入与假神经细胞间之加权；及

θ：是假神经细胞之临界值。

9、一种二进位系统学习方法，其特征是：包括允许复数二进位数据输入至其本身的输入层，由复数或非门构成的中间或非门层，由以该中间或非门层的输出为输入的复数或非门构成的输出或非门层，以该输出或非门层的输出为输入的输出层，由设置在所说输入层和中间或非门层之间的假神经细胞Q构成的连接层；学习系藉由以下连接状态中，选择连接所说输入层至所说中间或非门层的每一连接状态加以执行，诸状态为：

(1)、输入层系直接连接到中间或非门层；

(2)、输入层系经由反相器连接到中间或非门层；

(3)、中间或非门层的输入为1；

(4)、中间或非门层的输入为0；

所说假神经细胞Q被定义为Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X：是输入假神经细胞Q之输入信号；

W：是输入与假神经细胞间之加权；及

θ：是假神经细胞之临界值。

10、一种二进位系统学习方法，其特征是：包括允许复数二进位数据输入至其本身的输入层，由复数互斥或门构成的中间互斥或门层，由以该中间互斥或门层的输出为输入的复数互斥或门构成的输出互斥或门层，以该输出互斥或门层的输出为输入的输出层，由设置在所说输入层和中间互斥或门层之间的假神经细胞Q构成的连接层；学习系藉由以下连接状态中，选择连接所说输入层至所说中间互斥或门层的每一连接状态加以执行，诸状态为：

(1)、输入层系直接连接到中间互斥或门层；

(2)、输入层系经由反相器连接到中间互斥或门层；

(3)、中间互斥或门层的输入为1；

(4)、中间互斥或门层的输入为0；

所说假神经细胞Q被定义为Q＝f(WX，θ)，其中

f：是一临界函数，S型函数或部分线性函数；

X；是输入假神经细胞Q之输入信号；

W：是输入与假神经细胞间之加权；及

θ：是假神经细胞之临界值。

11、按权利要求1、2、3、6、7、8、9及10中任一项中所述之二进位系统学习方法，其特征是：加权W及临界θ之修改系使用梯度下降法加以执行。

12、按权利要求1、2、3、6、7、8、9及10中任一项中所述之二进位系统学习方法，其特征是：每一基本逻辑门中之准电位能量通过准电位能量来表达所说连接层之连接状态一起计算，学习系借助修改连接状态之准电位能量加以执行。

Images