CN1150847A

CN1150847A - 使用神经网络的计算机和使用该神经网络的方法

Info

Publication number: CN1150847A
Application number: CN95192898A
Authority: CN
Inventors: 沙-平·托马斯·王
Original assignee: Motorola Inc
Current assignee: Motorola Solutions Inc
Priority date: 1994-05-02
Filing date: 1995-03-28
Publication date: 1997-05-28
Also published as: US5740325A; DE19581638C2; CA2189148A1; GB2302192A; DE19581638T1; WO1995030194A1; US5583964A; DE29521338U1; GB9622325D0; AU2126995A

Abstract

一种可以作成集成电路的计算装置。由一个微处理器(30)和一个或多个神经网络协处理器(32)构成，微处理器(30)一般执行多个程序，这些程序用于将数据传送给神经网络协处理器(32)，并所述神经网络协处理器(32)被用于计算复杂的算术函数，直接存储器存取(DMA)也被用于传输数据。每个神经网络协处理器(32)以基本上类似于常规存储装置的方式连接到所述微处理器上。协处理器(32)不需要任何指令并且预加载选通函数和加权值来简单地执行算术运算。另外。协处理器(32)并行执行多个算术运算，且从所述协处理器中简单地读出这种运算的结果。

Description

使用神经网络的计算机和使用该神经网络的方法

本发明与转让给本发明同一受让人的下述发明相关：

(1)题为“使用加法器电路的人工神经和使用该加法器电路的方法”，申请号为07/076,602。

(2)题为“神经网络和使用该神经网络的方法”申请号：07/076,601。

上述相关发明的内容在此作为参考而被包括在本发明的描述中以作为本发明描述的参考材料。

本发明涉及一种计算机结构，特别涉及一种利用一个微处理器和至少一个神经网络协处理器(co-processor)的计算机结构，所述神经网络协处理器能够执行高速并行计算并能在VLSI(超大规模集成)芯片上实现。

人工神经网络在诸如语音识别、处理控制、光学符识别、信号处理和图象处理等各种计算环境中得到广泛的应用。以前的处理装置可以利用包括被称之为“神经电路”的多个基本逻辑元件组成的神经网络来实现。

神经电路是神经网络的基本部件。一个神经电路具有多个输入端和一个输出端。如在以上所指出的相关发明发明(1)中所描述的，常规神经电路的结构通常包括一个乘法电路、一个求和电路、一个用于执行非线性函数(诸如二进制阈值和S型函数)的电路和一个用作加权输入连接神经键的电路。上述相关发明(1)在一个实施例中公开了一种神经电路，该电路仅包括一个加法器，作为其主要的处理元件。

如在以上相关发明(2)中所讨论的，共有20种以上的公知神经网络结构，其中，“后传送”、“感知器”和“中继段网络”是最为熟知的。相关发明(2)在一个实施例中公开了一种神经网络，这种网络不需要进行重复的训练，这对于每一给定组的输入向量来讲，所提供的总计数最小，并且这种网络的结构可以被很容易地实现。

众所周知，常规的处理装置(冯·纽曼型)包括两个基本部件，即一个计算单元和一个被该计算单元从中存取指令和数据以顺序执行其功能的存储单元。提高其计算能力的唯一方法就是提高计算速度，即提高每单位时间可以执行的运算的数量。

图1示出了现有技术的冯·纽曼型处理装置。通常为了执行一个功能，CPU1(中央处理单元)重复执行构成任一冯·纽曼计算机运算基础的下述顺序的步骤：首先，CPU1通过CPU总线4从主存储器3中取出一个指令。然后，CPU1使主存储器3输出数据，并根据前述指令，在所述数据的基础上执行一个算法或逻辑算法，最后，CPU1将所执行运算的结果存入主存储器3。

冯·纽曼计算机的一个主要缺点是它在一个时间内只能执行一种运算，并且，虽然可以在一个非常短的时间内执行所述运算，但串行地执行多种运算这样一个事实极大地阻碍了计算速度的提高。其结果是可以想到使计算机的结构能够同时执行多种运算。

图2示出了现有技术的一种多处理器计算机。所述多处理器计算机包括多个通过互连网络14彼此进行通信的冯、纽曼计算机。由于它每次能够执行大量运算这样一个事实，所述多处理器计算机使传统的冯·纽曼计算机提高了计算能力。但是，多处理器计算机非常昂贵，且制造和编程部很困难。在一个多处理器计算机上执行软件的应用需要一个非常复杂的编译程序。另外，处理器之间的频繁通信导致了“通信瓶颈”，该通信瓶颈降低了多处理器计算机的整体计算能力。

图3示出了一个现有技术的具有算术协处理器的冯·纽曼计算机。CPU20通过CPU总线26被连接到算术协处理器22和主存储器24上。CPU20通常执行与图1所示的上述CPU1相同的功能。但是，另外CPU20，还要控制所述运算及向所述算术协处理器22的数据传输。算术协处理器22是一个逻辑电路，它是为利用比CPU 20更加少的时间执行算术运算而特别设计的。通常，一个算术协处理器包括一个适用电子电路，用于执行诸如浮点乘法和除法以及诸如正弦、余弦、正切等超越函数的算术运算。尽管算术处理器可以提高计算能力，但图3所示之结构也具有在一个时间内只能执行一个运算的基本缺点。另外，由所述协处理器所加速的算术操作是由所述算术协处理器的电路预先确定的，因此，该算术功能的校量受到限制，并且不是软件可再配置的。

在某些(但不是所有)情况下，上述现有技术结构提供了令人满意的计算能力。在需要强大的计算能力的情况下，现有技术的解决办法通常都不能够以适当的价格提供足够的计算性能。为此，现在特别需要一种能够执行各种复杂算术操作的计算装置，这种装置能够在每个单位时间执行大量的运算，并且很容易进行编程，实现这种装置耗资也较少。

在所附的权利要求书中指出了本发明的特性。通过结合附图对本发明的详细描述，本发明的其它特性将变得很明显，并且使本发明易于理解。

图1示出了现有技术的冯·纽曼计算机。

图2示出了现有技术的多处理器计算机。

图3示出了一个具有算术协处理器的冯·纽曼计算机。

图4示出了一个根据本发明的一个最佳实施例的计算装置的原理图，该装置包括一个神经网络协处理器和一个微处理器。

图5示出了根据本发明一个最佳实施例的计算装置的原理图，该装置包括嵌入在同一个集成电路内的至少一个神经网络协处理器和微处理器。

图6示出了根据本发明的一个计算机结构的原理图，该计算机结构包括具有多个神经网络协处理器的微处理器。

图7示出了一个根据本发明最佳实施例的神经网络协处理器的原理图，它的输入被顺序接收并且它具有多个输出端。

图8表示操作图4、图5和图6所示每种计算装置的方法的流程图。

图9示出了根据本发明一个最佳实施例向所述神经网络协处理器写入选通函数的方法。

图10示出了根据本发明一个最佳实施例向所述神经网络协处理器写入加权值的方法。

在本发明的一个实施例中，提供了一个包括连接到至少一个神经网络协处理器上的微处理器的计算装置。

根据本发明的一个方面，提供了一个包括用于执行通用程序的一个微处理器的计算装置，其中，所述微处理器具有至少一个用于传送数据的输出端口和至少一个用于接收数据的输入端口，还具有一个用于执行算术运算的神经网络协处理器，其中，所述协处理器响应至少一个微处理器输出端口并产生至少一个输出，且其中，所述微处理器输入端口响应至少一个协处理器输出。

根据本发明的另一个方面，提供了一种包括用于执行通用程序的一个微处理器的计算装置，所述微处理器具有至少一个用于传送数据的输出端口和至少一个用于接收数据的输入端口，以及至少一个用于执行算术运算的神经网络协处理器。所述协处理器响应至少一个微处理器的输出端口并产生至少一个协处理器输出。至少一个微处理器输入端口响应至少一个协处理的输出，所述协处理器包括用于存储选通函数的多个第一存储装置，和用于存储加权值的多个第二存储装置。运行所述计算装置的方法包括下述步骤：(a)微处理器向所述多个第一存储装置传送选通函数；(b)微处理器向所述多个第二存储装置传送加权值；(c)微处理器向至少一个神经网络协处理器传送至少一个协处理器输入；和(d)所述协处理器利用所述选通函数、加权值和至少一个协处理器输入计算算术函数，和所述协处理器产生至少一个协处理器输出以用作所述算术函数运算的结果。

与常规的计算装置相比较，根据本发明构成的计算装置包括一个神经网络协处理器，该协处理器是一个可以执行各种函数运算的软件，并且可以很容易地进行编程。在一个实施例中，所述神经网络协处理器是由一个微处理器构成的，该微处理器可以很简单地将多个预定数据值传送给所述协处理器。本发明的一个优点就是提供了一种计算装置，这种计算装置包括一个不需要如常规存储装置所需要的一系列计算机指令并且有一个简单的接口的协处理器。

另外，与常规计算装置相比较，根据本发明构成的计算装置使用了一个神经网络协处理器，这个协处理器可以同时执行多种算术运算并提供了极大提高的计算能力。

由此可以很明显地看出，根据本发明构成的计算装置极大地减少了计算时间，并极大地减少了成本以及编程实现的复杂性。

据此，本发明的一个优点就是提供一种计算装置，该装置可以在极大地提高计算速度和有效地减少成本的前提下执行多种复杂的算术函数。

本发明的另一个优点就是提供一种计算装置，该装置包括至少一个在所述微处理器芯片中嵌入的神经网络协处理器。这实现了有效地减少为实现所述计算装置所需的区域。

本发明的另一个优点是提供了一种计算装置，该装置包括一个神经网络协处理器，该神经网络协处理器可以同时执行多种算术运算，并可由软件构成以计算大量不同的算术函数运算。

本发明的再一个优点是提供一种计算装置，该计算装置使用直接存储器存取(DMA)通过一个互联总线在至少一个神经网络协处理器和其它装置之间传送数据外，从而导致所述计算装置解题能力的极大提高。

本发明的再一个优点是提供了一种用于操作根据本发明的一个装置的方法。

本专业技术领域以内的普通技术人员可以理解，本发明的计算装置可以利用集成电路、印刷电路板或它们的相互组合而实现，并且，在本描述中，术语“中央处理单元”(CPU“1”“通用处理器”和“微处理器”可以互换，如同术语“神经电路”和“神经”以及“术和电路”/“求和器”等一样可以互换一样。

图4示出了本发明最佳实施例的计算装置的原理图，它包括一个神经网络协处理器和一个微处理器。微处理器30是一个CPU或任何一种包括通用处理单元的其它的数字控制装置。微处理器30通过总线34连接到主存储器31，I/O控制器33和神经网络协处理器32上。所述微处理器执行通用程序，并可以控制连接到总线34上多个装置之间的数据流动。所述I/O。控制器是一个装置，用于控制总线34和没有连接到总线34上的外部设备之间的数据流动。

总线34是一个数字总线，并且对于本专业技术领域以内的普通技术人员来讲很明显，总线的宽度可以是8，16，32或任一其它所希望的比特。

微处理器30执行通常存储在主存储器31中的软件程序。但是，本专业技术领域以内的普通技术人员可以理解，微处理器30也可以包括一个用于存储可执行软件程序的内部存储器。

虽然微处理器30是一个能够执行多种不同算法的通用处理器，在最佳实施例的某些环境中它也可以被经常进行访问以对微处理器30的功能进行限定去控制主存储器、神经网络协处理器和经过总线的数据传输。本专业技术领域内的普通技术人员可以理解，数据传输可以通过由微处理器30简单地执行用于在总线34上移动数据的一系列指令来实现。但在本发明的最佳实施例中，被称之为直接存储器存取(DMA)的技术被用于通过总线传输数据。

DMA可被用来在与总线连接的任何装置之间进行数据传输。在最佳实施例中，DMA被用来在神经网络协处理器32和其它装置之间传送数据。在数据的DMA传送期间不需要微处理器，微处理器在DMA传送期间可用于其它的任务。通常，在DMA传送期间，经过总线不中断地传送大量的数据串。

通过向一个装置提供信号以向总线写入数据和通过向其它装置提供信号以同时从所述总线读出同一数据，包括在神经网络协处理器32内的DNA控制器15启动附着在总线34上的两个装置之间的DMA数据传输。虽然图4所示的DMA控制装置被设置在协处理器32之内，但对于本专业技术领域内的普通技术人员来讲，很明显所述DMA控制装置也可以包括在微处理器30，主存储器31、I/O控制器33之内或作为一个单独的装置附着在总线34上。对于本专业技术领域以内的普通技术人员来讲也很清楚在DMA传输期间写入到总线34上的数据可以同时被一个或多个附着到该总线上装置读出。

协处理器32可以从与总线32连接的任一其它装置中接收数据，这些装置包括主存储器31，I/O控制器33和微处理器30，并且它可以在总线上向包括主存储器31，I/O控制器33和微处理器30在内的任一其它设备输出数据。由协处理器32所接收的数据包括控制函数、神经加权值(多项式系数)和协处理器的输入，其中在本发明中这些数据的含义描述如下。

所述神经网络协处理器32通常用于计算多项式展开式。后面将详细描述可以由协处理器32执行的多项展开式的形式。

图5示出了一个根据本发明最佳实施例的计算装置的原理图，该装置包括嵌入到同一个集成电路内的至少一个神经网络协处理器和微处理器。将多个神经网络协处理器和一个微处理器嵌入到一个单一的芯片上的优点在于计算装置消耗较小的能量和空间。

混合微处理器35是一个包括一个微处理器和至少一个神经网络协处理器的集成电路。包含在混合微处理器35之中的微处理器执行的功能类似于图4所示之微处理器30，同样，主存储器36、总线37和I/O控制器38的作用分别类似于图4所示的上述主存储器31、总线34和I/控制器33。混合微处理器35，主存储器36和I/控制器38通过数据总线37连接到一起。

包含在混合微处理器35之内的神经网络协处理器通常用于计算多项展开式。可以由所述神经网络协处理器计算的多项展开式的形式将在下面描述。

另外，混合微处理器35的神经网络协处理器可以从微处理器或包括主存储器36和I/控制器38在内的与总线连接的装置中接收数据，并可以向所述微处理器和在所述总线上的任一装置输出数据，所述任一装置包括主存储器36和I/O控制器38。由神经网络协处理器接收的数据包括控制函数、神经加权值(多项式系数)和多个协处理器的输入，其中，这些数据在本发明中的含义将在下面描述。

DMA控制装置还包括在图5所描述的计算装置中。图5所示DMA控制装置的功能与图4所示DMA控制装置功能相同。在最佳实施例中，所述DMA控制装置被设置在主存储器36中，但是，对于本专业技术领域以内的普通技术人员来讲很明显，所述的DMA控制装置可以设置在混合微处理器35、I/O控制器38之内或可以作为一个单独的装置与总线37连接。对于本专业技术领域以内的普通技术人员来讲同样清楚的是在DMA传输期间写到总线37上的数据可以同时被一个或多个与所述总线连接的装置读出。

图6示出了一个根据本发明的计算装置的原理图，该装置包括具有多个神经网络协处理器的一个微处理器。微处理器40执行的功能与图4所示之微处理器30的功能相似，同样，主存储器39和总线41的用途分别类似于图4所示的主存储器31和总线34。

与图5所示等效的DMA控制装置包括在图6所示的计算装置中。

神经网络协处理器42、44和46可以从微处理器40或从与总线41连接的任何设备，其中包括主存储器39或其它神经网络协处理器接收数据，它们可以向微处理器40或包括主存储器39或其它神经网络协处理器输出数据。由神经网络协处理器接收的数据包括选通函数，神经加权值(多项式系数)和多个协处理器的输入，其中这些数据在本发明中的含义将在下面描述。

神经网络协处理器42、44和46通常被用于计算多项扩展式。可以由这些神经网络协处理器执行的多项扩展式的形式将在后面详细描述。图6所示计算装置的优点在于所述的神经网络协处理器允许并行地执行较大量的计算，其结果是显著地提高了该计算装置的计算能力。

在图6仅示出了在所述计算装置中的三个神经网络协处理器的情况下，本专业技术领域以内的普通技术人员应当理解如果一个特定的应用需要多于或少于三个协处理器的话，可以使用任意数量的神经网络协处理器。

每个神经网络协处理器都可以被用于同时执行不同多项扩展式的计算。例如，神经网络协处理器42可以计算Y1＝1.02+5.6X₁+3X₂，而神经网络协处理器44计算Y2＝3.14X₁ ³+11X₂ ³，神经网络协处理器46计算Y3＝0.2X₂ ²，其中，X₁和X₂是由微处理器40传送给多个协处理器中每一个协处理器的协处理器输入，Y₁、Y₂和Y₃分别是协处理器42、44和46的输出值。

对于本专业技术领域以内的普通技术人员可以理解本发明的神经网络协处理器不受上述例中计算三个多项扩展式Y₁、Y₂和Y₃的限制，且上述的例子也不限制可由这里所描述的计算装置进行计算的多项扩展式的形式。另外对于一个本专业技术领域的普通人员来讲很明显可以使用一个或任意所希望数量的神经网络协处理器去同时计算上述的多项扩展式Y₁、Y₂和Y₃。

本发明的神经网络协处理器的运算是以使用一个多项展开式和不严格地说以使用诸如正弦、余弦、指数/对数，但是叶变换和勒让德多项式的正交函数、诸如沃特拉函数或径向基础函数等的非线性基础函数或多项展开式和正交函数的接合为基础的。

最佳实施例使用了一个多项展开式，其一般情况由下述等式1表示：

其中，Xi表示所述协处理器的输入，它可以是诸如Si＝fi(z_i)的一个函数，其中zj是一个任意变量，且其中，下标i和j可以是任意正整数；其中，Y表示神经网络协处理器的输出；其中，Wi-1表示用于第i个神经的数；其中，g_1i，…，g_ni表示用于第i个神经的控制函数，且在最佳实施例中是等于或大于零的整数；和n表示协处理器输入端的数量。

等式1中的每一项表示与该神经相关的神经输出、权和控制函数。在神经网络中使用的多项展开式的项的数量是以包括可得到神经的数量、训练例的数量等因素的数量为基础的。应当理解，多项扩展式较高阶的项比起较低阶的项具有较小意义。因此，在最佳实施例中，根据上述的各种因素选择较低阶的项。另外，由于与各种输入相关的测量疔以是变化的，所以在使用它们之前可能对这些输入进行规格化。

等式2是等式1的另一种表现形式，它示出了高达第三阶项的多个项：

y = w_{0} + Σ_{i = 1}^{n} w_{i} x_{i} + Σ_{i = 1}^{n} w_{f 1 (i)} {x_{i}}^{2}

+ Σ_{i = 1}^{n} Σ_{j = i + 1}^{n} w_{f 2 (i, j)} x_{i} x_{j} + Σ_{i = 1}^{n} w_{f 3 (i)} {x_{i}}^{3}

+ Σ_{i = 1}^{n} Σ_{j = i + 1}^{n} w_{f 4 (i, j)} {x_{i}}^{2} x_{j}

+ Σ_{i = 1}^{n} Σ_{j = i + 1}^{n} w_{f 5 (i, j)} x_{i} {x_{j}}^{2}

+ Σ_{i = 1}^{n} Σ_{j = i + 1}^{n} Σ_{k = i + j + 1}^{n} w_{f 6 (i, j, k)} x_{i} x_{j} x_{k}

等式2

其中，多个变量与等式1具有相同的含义；其中，f1(i)是一个范围从n+1到2n的下标(index)函数；f_2(i，j)是一个范围从2n-1到2n+(n)(n-1)/2的下标函数；和f_3(i，j)是从范围2n+1+(n)(n-1)/2到3n+(n)(n-1)/2的下标函数。且f4到f6以类似方式表示。

本专业技术领域内的普通技术人员可以认识到控制函数可以被插入到由等式2表示的多个项中。等式2可以被如下表示：y＝w₀+w₁x₁+w₂x₂+...w_ix_i+...+...w_nx_n+w_n+1x₁ ²+...+w_2nx_n ²+w_2n+1x₁x₂+w_2n+2x₁x₃+...+w_3n-1x₁x_n+w_3nx₂x₃+w_3n+1x₂x₄+...w_2n+(n)(n-1)/2x_n-1x_n+...+w_N-1x₁g_1Nx₂g_2N...x_ng_nN+...

等式3

其中所述变量的意义与等式1相同。

应当注意，尽管只在等式3的最后表示项中明显地出现了控制函数项g_in，但应当理解，对于每一个其它的项都具有它的明显出的gin项(例如对于W1X1项g₁₂＝1，而对于其它的项，g₁₂＝0，i=2，3，…，n)。N是一个任意正整数，并且表示在所述网络中的第N个神经。

图7示出了根据本发明一个最佳实施例的神经网络协处理器的原理图，它的输入被顺序接收，并且它具有多个输出。

多个协处理器的输入X1，X2，…Xn被提供给输入端口50。输入端口输出的X1、X2…Xn通过总线52被顺序分配给隐含层的每一个神经电路56、58、60和62。虽然只示出了4个神经电路N1、N2、Nn-1和Nn，但所述隐含层可以包括任意数量的神经电路。换言之，输入端口的输出可以通过总线顺序地分配给神经电路56，58，60和62和所述隐含层内所有其它神经电路(未示出)中的每一个。

在本发明的最佳实施例中，每个神经提供一个选通函数gni给所述多个协处理器输入端的每一个，以产生相应的控制输入，其中，变量g和下标i和n具有与上述等式1相同的含义。任一给定的神经电路都可以向每个不同的协处理器输入端提供不同的选通函数以供其接收。例如，神经56向协处理器输入端X₁提供选通函数g₁₁，以供其从输入端口50加以接收，它提供选通函数g₂₁给协处理器输入端X₂，等等。控制输入和神经相乘以形成一个乘积，然后该乘积来以一个权W_i-1的产生所述神经电路的输出，其中，变量W和下标i具有与等式1相同的含意。

利用协处理器输出层的求和电路对神经电路的输出求和以产生协处理器的输出。例如，利用求和电路64对神经电路56和58的输出求和以产生神经网络协处理器输出Y1，利用求和电路66对神经电路60和62的输出求和以产生神经网络协处理器输出Y_n。

图7仅示出了在所述输出层中的两个求和电路，但本专业技术领域以内的普通技术人员可以理解，所述协处理器可以包括任意数量的求和电路。另外，求和电路中的任一个都可以接收每一个神经电路的输出，并且该输出可以被一个的求和电路所接收。

多个权W₀、W₁、…、W_i-1被馈送给输入端口50，其中变量W和下标i具有与等式1相同的含义。通常，具有至少一个与每个神经电路相对应的权。多个权通过总线52被顺序地分配给它们的相应神经电路。如在上述相关发明No.1中所描述的，每个神经电路包括一个用于存储多个权的装置。存储在每个神经电路中的权根据运行在这里所描述的计算装置的环境而被周期性地刷新。如果在一个神经电路中存储有一个以上的权，那么可以利用所述的DMA控制装置或所述微处理对每个权进行单个存取或并行的多个存取。

多个选通函数g₁₁、g₁₂、…、g_ni被馈送给输入端口50，其中变量g和下标i和n具有与上述等式1相同的含义。通常，与每个神经电路相对应的有多个选通函数。所述的选通函数通过总线52被顺序地分配给与它们相应的神经电路。在本发明的最佳实施例中，每个神经电路包括一个用于存储与其相应的多个控制函数的装置。每个神经电路的控制函数可以根据运行这里所描述的计算装置的环境进行周期性地刷新。用于进行存储的装置允许所述DMA控制装置或所述的微处理器对其控制函数进行单独存取或并行的多个函数存取。

图8示出了操作图4、图5和图6所示计算装置中每一个的方法。如方框72所示，至少有一个选通函数被写入所述神经网络协处理器。虽然方框72指出了一个用于写入选通函数的微处理器，但对于本专业技术领域内的普通技术人员很明显，一个DMA控制装置也可以执行所述写入。任意数量的选通函数可以被写入一个或任意数量的神经网络协处理器。

接着，如方框74所示，至少有一个权被写入所述神经网络协处理器。虽然框74示出了用于写入权的微处理器，但对于本专业内的普通技术人员很明显，所述DMA控制装置也可以执行所述写入。任一数量的权可以被写入一个或任意数量的神经网络协处理器中。

接着如框76所示，至少有一个协处理器输入被写入所述神经网络协处理器。在这个步骤期间，可以顺序地或同时地传送一个以上的协处理器输入给所述协处理器。另外，协处理器的多个输入可以同时被写入到神经网络协处理器中的多个预定神经网络协处理器中。虽然在框76中示出了使用微处理器写入所述协处理器输入，但对于本专业技术领域内的普通技术人员很明显，DMA控制装置也可以执行所述写入。

如框73所示，神经网络协处理器对利用了所述选通函数，加权值和协处理器输入的算术函数进行计算。作为算术函数运算的结果，所述协处理器产生一个输出。

接着，如判断框78所示，执行一个检查，以确定多个神经网络协处理器输出中的一个是否作好了读出准备。利用微处理器或DMA控制装置执行这个判断。如果还没有输出作好读出准备，那么流程返回到框76。否则流程前进到框80。

接着在框80，已经准备好的协处理器输出被微处理器或DMA控制装置读出。

最后，如判断框82所示，执行一个检查，以判断是否还有任意其它的协处理器输入需要被写入所述协处理器。如果还有较多的协处理器输入需要被写入，那么流程返回到框76，否则该流程结束。

图9示出了一种根据本发明的一个最佳实施例用于将选通函数写入所述神经网络协处理器的方法。如下判断框86所示，执行一个检查，以确定是使用全局模式、顺序模式或是成组模式来写入所述选通函数。如果是使用全局模式写入选通函数，那么，流程前进到框88。如果使用成组模式写入选通函数，那么，流程前进到框92。如果使用顺序模式写入选通函数，那么，流程前进到框96。

关于框88，通过经过总线向所有神经网络协处理器传送单一的选通函数实现全局模式传输，其中可以有一个或任意数量的附着到所述总线上的协处理器。虽然框88示出的是用一个微处理器来广播所述的选通函数，但对于本专业技术领域以内的普通技术人员来讲很明显，DMA控制装置可以传送所述值。

接着，如框90所示，每个协处理器将所有它的选通函数设置得等于被传送的选通函数。在完成框90的基础上，流程结束。

在进入框92的基础上开始选通函数的成组模式传输。如框92所示，通过同时向多个神经网络协处理器中的一些预定协处理器传送一个或多个选通函数来实现块模式传输。虽然框92示出了使用微处理器传送所述选通函数，但对于本专业技术领域以内的普通技术人员来讲很明显，DMA控制装置也可以广播所述值。

接着如框94所示，如果一个协处理器接收了至少一个选通函数，那么，至少有一个选通函数被写入到所述协处理器内多个神经电路中的一些预定神经电路内。

接着，如判断框98所示，执行一个检查，确定是否还有选通函数需要写入协处理器。如果还有较多的选通函数需要写入，那么，流程返回到框86，否则流程结束。

在进入框96的基础上开始选通函数的顺序模式传输。如框96所示，一个或多个选通函数被写入到神经网络协处理器内的一个预定神经电路。虽然在框96内示出的是使用微处理器写入所述的选通函数，但对于本专业领域的技术人员很明显DMA控制装置可以写入所述值。

接着，如判断框98所示，执行一个检查，确定是否还有其它的选通函数需要被写入所述协处理器。如果还有较多的选通函数需要写入，那么，流程返回到框86，否则流程结束。

图10示出了根据本发明最佳实施例向神经网络协处理器写入权的方法。一般说来，图10所示的方法与图9所示方法类似，除了在图10中向所述神经网络协处理器写入的是权而不是选通函数外。

如在判断框100所示，进行一个检查，以确定是使用全局模式、顺序模式还是成组模式写入所述的权。如果使用全局模式写入所述权，那么，流程前进到框102。如果使用成组模式写入所述的权，那么，流程前进到框106。如果使用顺序模式写入所述权，那么，流程前进到框110。

关于框102，通过经过总线向所有的神经网络协处理器传送一个单一的权来实现全局模式传输，其中，可以具有一个或任意数量的附着到所述总线上的协处理器。虽然框102示出的是以微处理器传送所述权，但本专业技术领域以内的普通技术人员很清楚，DMA控制装置可以传送所述权。

接着，如框104所示，每个协处理器将所有它的权设置为等于所传送的权。在完成框104的基础上，流程结束。

在进入框106的基础上开始所述权的成组模式传输。如框106所示，一个或多个权可以被同时传送给所述神经网络协处理器的一些预定协处理器。虽然在框106示出的是使用微处理器写入所述权，但本专业技术领域的普通技术人员很清楚，DMA控制单元可以写入所述的权。

接着如框108所示，如果一个协处理器接收了至少一个权，那么，至少有一个权被写入到所述协处理器内多个神经电路的一些预定的神经电路中。

接着如判断框112所示，执行一个检查，确定是否还有其它的权需要写入所述协处理器。如果还有较多的权需要写入，那么，流程返回到框100，返之，流程结束。

在进入框110的基础上开始权的顺序模式传送。如框110所示，一个或多个权被写入到神经网络协处理器内的一个预定神经电路中。虽然框110示出的是用微处理器写入所述权，但对于本专业技术领域以内的普通技术人员来讲，很明显DMA控制装置可以写入所述权。

接着如在判断框112所示，执行一个检查，确定是否还有其它的权需要写入所述的协处理器。如果还有较多的权需要写入，那么，流程返回到框100，否则流程结束。

这里披露了一个计算装置的概念以及包括最佳实施例在内的一系列实施例，所述计算装置包括一个用于执行命令和控制程序的微处理器和至少一个用于执行计算复杂算术运算的神经网络协处理器。

由于这里所描述的计算装置的各实施例都可以同时执行多种算术运算，所以它们使用的计算时间极大地减少了。

另外，这里还披露了一种用于计算多项式的计算装置，该计算装置的形式是由权和选通函数所确定的，从而可以极大地减少成本和编程及实现的复杂性。

另外，对于本专业技术领域以内的普通技术人员来讲很明显，所披露的发明可以作出多种修改，并给出很多除上述特别规定的最佳形式以外的很多实施例。

应当理解，本发明的概念可以多种方式变化。例如，下面是一种方式，即把这些系统构成元件看作是一定数量的神经网络协处理器、在每一个协处理器内的一定数量的神经或神经电路和在所述微处理器和至少一个神经网络协处理器之间的互连装置而加以设计选择。这种设计选择通常要取决于集成电路技术、实现的类型(例如，模拟、数字、软件等)、压模尺寸以及引出端子等等。

很明显，上述多项展开式的含项程度取决于所希望度的程度。

因此，使用所附权利要求来覆盖落入本发明实质精神和范围以内的关于本发明的修改。

Claims

1.一种计算装置，其特征在于，包括：

一个微处理器，用于执行通用程序，其中所述的微处理器具有至少一个用于传送数据的输出端口和至少一个用于接收数据的输入端口；

一个神经网络协处理器，用来执行算术运算，其中所述的协处理器响应所述至少一个微处理器输出端口并产生至少一个输出，且其中所述至少一个微处理器输入端口响应所述至少一个协处理器输出；和

耦合到所述神经网络协处理器上的DMA控制装置，用于将多个输入中连续的一些输入传送给所述神经网络协处理器；

所述的神经网络协处理器包括：

一个输入端口，用于接收所述多个输入的连续的一些输入并产生相应输出；

多个神经，其中的每一个神经具有至少一个输入并产生一个输出；

用于将所述的输入端口的输出分配给所述多个神经中每一神经的至少一个输入的装置；和

多个求和器，其中的每一个对所述多个神经的一些预定神经的输出进行求和，并产生所述至少一个协处理器输出；

每一所述神经包括：

第一存储装置，该装置响应所述输入端口的输出存储至少一个加数值，其中所述至少一个加权值中的每一个可由所述微处理器进行存取，且其中所述至少一个加权值中的每一个可由所述DMA控制装置进行存取；和

第二存储装置，该装置响应所述输入端口的输出存储多个选通函数，其中所述选通函数中的每一个可由所述微处理器进行存取，且所述选通函数中的每一个可由所述DMA控制装置进行存取。

2.如权利要求1所述的计算装置，其特征在于，所述的神经包括一个线性传输函数。

3.如权利要求1所述的计算装置，其特征在于，可以利用一个以上的求和器对某些所述神经中的至少一个的输出进行求和。

4.如权利要求1所述的计算装置，其特征在于，所述的协处理器包括至少一个输入，且其中所述微处理器重复执行一个程序，所述程序将数据传输给所述协处理器的所述至少一个输入，且所述程序传送来自所述协处理器所述至少一个输出的数据。

5.如权利要求1所述的计算装置，其特征在于，所述微处理器执行一个程序，所述程序将所述至少一个加权值传输给所述第一存储装置。

6.如权利要求1所述的计算装置，其特征在于，所述微处理器执行一个程序，所述程序将所述多个选通函数传输给所述第二存储装置。

7.如权利要求1所述的计算装置，其特征在于，所述计算装置被包含在一个集成电路内。

8.如权利要求1所述的计算装置，其特征在于，所述的计算装置被包含在一个印刷电路板上。

9.如权利要求1所述的计算装置，其特征在于，所述的神经网络协处理器计算一个多项展开式。

10.如权利要求9所述的计算装置，其特征在于，所述的多项展开式具有如下形式：

y = Σ_{i = 1}^{\infty} w_{i - 1} x_{1} g_{1 i} x_{2} g_{2 i} . . . x_{n} g_{ni}

其中Y表示所述神经网络协处理器的输出；W_i-1表示第i个神经的加权值；X₁，X₂，…，X_n表示到所述神经网络协处理器的输入；

g_1i，…，g_ni表示用于提供给所述输入端的第i个神经的控制函数；和其中n是一个正整数。