CN110826706A - 用于神经网络的数据处理方法和装置 - Google Patents

用于神经网络的数据处理方法和装置 Download PDF

Info

Publication number
CN110826706A
CN110826706A CN201810906496.7A CN201810906496A CN110826706A CN 110826706 A CN110826706 A CN 110826706A CN 201810906496 A CN201810906496 A CN 201810906496A CN 110826706 A CN110826706 A CN 110826706A
Authority
CN
China
Prior art keywords
function
data
current data
input
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810906496.7A
Other languages
English (en)
Other versions
CN110826706B (zh
Inventor
施佳鑫
李慧敏
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810906496.7A priority Critical patent/CN110826706B/zh
Priority to US16/502,687 priority patent/US11651198B2/en
Priority to JP2019125658A priority patent/JP2020027611A/ja
Priority to KR1020190083131A priority patent/KR102420661B1/ko
Publication of CN110826706A publication Critical patent/CN110826706A/zh
Application granted granted Critical
Publication of CN110826706B publication Critical patent/CN110826706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Neurology (AREA)
  • Devices For Executing Special Programs (AREA)
  • Stored Programmes (AREA)

Abstract

本申请实施例公开了用于神经网络的数据处理方法和装置。神经网络中设置有至少一个激励函数。该方法的一具体实施方式包括：响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；输出第二输出数据。该实施方式可以通过预设函数来表达目标函数，从而免去为目标函数创建对应的查找表，进而有助于减低对存储空间的占用。而且在计算不同激励函数时，可以减少查找表的更换，有利于提升处理性能。

Description

用于神经网络的数据处理方法和装置
技术领域
本申请实施例涉及人工智能技术领域，具体涉及用于神经网络的数据处理方法和装置。
背景技术
人工神经网络(Artificial Neural Networks，ANNs))是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。一般简称为神经网络或类神经网络。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接的信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依据网络的连接方式、权重值和激励函数的不同而不同。
发明内容
本申请实施例提出了用于神经网络的数据处理方法和装置。
第一方面，本申请实施例提出了一种用于神经网络的数据处理方法，神经网络中设置有至少一个激励函数，包括：响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；输出第二输出数据。
在一些实施例中，目标函数包括sigmoid非线性函数，预设函数包括tanh双曲正切函数；以及根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据，包括：确定当前数据除以二的商值，以作为预设函数的输入数据。
在一些实施例中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则确定当前数据除以二的商值，包括：将当前数据的阶码减去一，得到当前数据除以二的商值。
在一些实施例中，根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据，包括：将第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的目标函数的第二输出数据。
在一些实施例中，若求和的值为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则确定求和的值除以二的商值，包括：将求和的值的阶码减去一，得到求和的值除以二的商值。
在一些实施例中，预设函数对应的查找表中包括正数输入区间和/或负数输入区间。
在一些实施例中，目标函数包括tanh双曲正切函数，预设函数包括sigmoid非线性函数；以及根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据，包括：确定当前数据与二的乘积，以作为预设函数的输入数据。
在一些实施例中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则确定当前数据与二的乘积，包括：将当前数据的阶码加上一，得到当前数据与二的乘积。
在一些实施例中，根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据，包括：确定第一输出数据与二的乘积，且将乘积减去一的差值，作为以当前数据为输入的目标函数的第二输出数据。
在一些实施例中，若第一输出数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则确定第一输出数据与二的乘积，包括：将第一输出数据的阶码加上一，得到第一输出数据与二的乘积。
第二方面，本申请实施例提出了一种用于神经网络的数据处理装置，神经网络中设置有至少一个激励函数，包括：第一转换单元，被配置成响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；查找单元，被配置成在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；第二转换单元，被配置成根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；输出单元，被配置成输出第二输出数据。
在一些实施例中，目标函数包括sigmoid非线性函数，预设函数包括tanh双曲正切函数；以及第一转换单元被配置成：确定当前数据除以二的商值，以作为预设函数的输入数据。
在一些实施例中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则第一转换单元进一步被配置成：将当前数据的阶码减去一，得到当前数据除以二的商值。
在一些实施例中，第二转换单元被配置成：将第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的目标函数的第二输出数据。
在一些实施例中，若求和的值为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则第二转换单元进一步被配置成：将求和的值的阶码减去一，得到求和的值除以二的商值。
在一些实施例中，预设函数对应的查找表中包括正数输入区间和/或负数输入区间。
在一些实施例中，目标函数包括tanh双曲正切函数，预设函数包括sigmoid非线性函数；以及第一转换单元还被配置成：确定当前数据与二的乘积，以作为预设函数的输入数据。
在一些实施例中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则第一转换单元还进一步被配置成：将当前数据的阶码加上一，得到当前数据与二的乘积。
在一些实施例中，第二转换单元还被配置成：确定第一输出数据与二的乘积，且将乘积减去一的差值，作为以当前数据为输入的目标函数的第二输出数据。
在一些实施例中，若第一输出数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则第二转换单元还进一步被配置成：将第一输出数据的阶码加上一，得到第一输出数据与二的乘积。
第三方面，本申请实施例提出了一种人工智能芯片，包括：存储部件，其上存储有一个或多个程序；调度部件，被配置成根据待执行指令进行指令调度；至少一个通用执行部件，被配置成接收调度部件发送的指令，执行对应的程序；和/或根据调度部件发送的指令生成子指令，并将生成的子指令发送至对应的专用执行部件；至少一个专用执行部件，被配置成接收至少一个通用执行部件发送的指令，执行对应的程序，其中，一个或多个专用执行部件执行对应的程序时实现如上述第一方面中任一实施例所描述的方法。
第四方面，本申请实施例提出了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被执行部件执行时实现如上述第一方面中任一实施例所描述的方法。
第五方面，本申请实施例提出了一种电子设备，包括：处理器、存储装置和至少一个如上述第三方面中所描述的人工智能芯片。
本申请实施例提出的用于神经网络的数据处理方法和装置，在确定获取当前数据的激励函数是目标函数的情况下，可以根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据。接着，可以在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据。之后，可以根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据。并可以输出第二输出数据。也就是说，利用预设函数来表达目标函数，可以免去为目标函数创建对应的查找表，从而有助于减低对存储空间的占用。而且在计算不同的激励函数时，可以减少查找表的更换，有利于提升整体的处理性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于神经网络的数据处理方法的一个实施例的流程图；
图3是根据本申请的用于神经网络的数据处理方法的又一个实施例的流程图；
图4是根据本申请的用于神经网络的数据处理方法的一个应用场景的示意图；
图5是根据本申请的用于神经网络的数据处理装置的一个实施例的结构示意图；
图6是根据本申请的人工智能芯片的一个实施例的结构示意图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于神经网络的数据处理方法和装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端101、102、103，网络104和服务器105。网络104可以用以在终端101、102、103与服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端101、102、103通过网络104与服务器105进行交互，以接收或发送消息等。终端101、102、103上可以安装有各种客户端应用，例如模型训练和测试类应用、模型预测类应用、网页浏览器、购物类应用和即时通讯工具等。
这里的终端101、102、103可以是硬件，也可以是软件。当终端101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、智能手表、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如可以是对终端101、102、103上安装的各种应用提供支持的后台服务器。后台服务器可以对用户在应用上的操作行为进行分析处理，并可以将处理结果(如与操作行为对应的响应信息)返回给终端101、102、103。
此外，服务器105中可以安装有人工智能芯片106。人工智能芯片(AI(ArtificialIntelligence)芯片)106也被称为AI加速器或计算卡，即专门用于处理人工智能应用中的大量计算任务的模块。例如服务器105的CPU(Central Processing Unit，中央处理器)可以将获取的训练数据和/或测试数据，通过如PCIE(peripheral component interconnectexpress，一种高速串行计算机扩展总线标准)传输给人工智能芯片106。此时，人工智能芯片106可以利用这些数据进行模型训练和/或测试。再例如CPU可以将获取的待分析数据传输给人工智能芯片106。此时，人工智能芯片106可以将待分析数据输入已训练的模型中，从而利用该模型进行分析。
这样，CPU可以根据人工智能芯片106的处理结果(如训练后的模型数据、模型的测试结果数据或模型的分析结果数据等)，执行进一步地处理分析。也就是说，其他非计算任务仍可以由服务器105的CPU负责。可以理解的是，利用人工智能芯片106代替服务器105的CPU来实现部分处理功能，可以降低CPU的工作负荷，从而有助于提高服务器105的整体处理性能。
这里的服务器105同样可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于神经网络的数据处理方法一般由人工智能芯片106执行。相应地，用于神经网络的数据处理装置一般设置于人工智能芯片106中。
应该理解，图1中的终端、网络、服务器和人工智能芯片的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、服务器和人工智能芯片。
继续参见图2，其示出了根据本申请的用于神经网络的数据处理方法的一个实施例的流程200。该用于神经网络的数据处理方法可以包括以下步骤：
步骤201，响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据。
在本实施例中，用于神经网络的数据处理方法的执行主体(例如图1所示的人工智能芯片106)可以通过有线连接方式或无线连接方式，接收或获取数据。并可以利用这些数据对存储于其上的神经网络模型进行训练或测试。也可以利用存储于其上的神经网络模型对这些数据进行分析处理。其中，神经网络模型可以是基于机器学习技术而创建的现有的各种学习模型。该神经网络模型可以具有现有的各种神经网络结构(例如DenseBox、VGGNet、ResNet、SegNet等)。并且神经网络模型中通常会设置有至少一个节点(即激励函数)。
在本实施例中，执行主体可以确定获取当前数据的激励函数是否为目标函数。即确定需要将当前数据作为输入的激励函数是否为目标函数。并且在确定获取当前数据的激励函数是目标函数的情况下，可以根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据。
可以理解的是，在构建神经网络模型时，每个节点采用的激励函数是已知的。这样，执行主体可以根据当前数据所在的节点，从而确定该节点的激励函数是否为目标函数。或者执行主体可以根据当前运行程序中激励函数的相关编码来确定其是否为目标函数。这里的当前数据可以是神经网络模型的初始输入数据；也可以是神经网络模型中任一节点的输入数据，即前一节点的输出数据。其中，目标函数和预设函数可以是神经网络模型中所使用的任意两种激励函数。例如非线性激励函数sigmoid、tanh(hyperbolic tangent，双曲正切)和relu(rectified linear unit，修正线性单元)中的任意两种。需要说明的是，在目标函数和预设函数确定的情况下，两者之间的换算关系可以通过计算得到，且通常是不变的。
在本申请的一些可选地实现方式中，目标函数可以为：
Figure BDA0001760753200000081
预设函数可以为：
Figure BDA0001760753200000082
两者之间的换算关系为：
Figure BDA0001760753200000083
由此可见，tanh(x)函数的输入数据是sigmoid(x)函数的输入数据的两倍。此时，确定当前数据与二的乘积，即为预设函数的输入数据。
可以理解的是，计算机中传输的数据通常为浮点数。且浮点数一般采用以二为基数，包括尾数和阶码的表示方式。例如x＝M×2E。其中，M表示尾数，可以为正数，也可以为负数；E表示阶码。再例如x＝(-1)S×M×2E。其中，S表示符号位，即正或负。此时，尾数M仅可以为正数。
在这里，执行主体可以利用计算公式(如浮点数的乘法)直接计算当前数据与二的乘积。但这种计算方法通常效率较低。为了提高数据的处理效率，通过观察可以发现，对于当前数据与二的乘积，可以将当前数据的阶码加一即可。即执行主体可以将当前数据的阶码加上一，从而得到当前数据与二的乘积。也就是说，由当前数据x转换得到的预设函数的输入数据2x＝M×2E+1或(-1)S×M×2E+1。这样可以减少大量的计算过程，从而实现高效处理。
步骤202，在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据。
在本实施例中，执行主体可以在已存储的预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据。这里的查找表通常可以用于描述输入范围内的激励函数的近似输出值。即取激励函数曲线中的若干个点。连接相邻的两个点，可以得到一条直线。用这条直线的纵坐标值可以近似替代横坐标位于该两点之间的函数值。并且为了让近似值尽可能地接近真实值，通常需要取更多的点进行连接。
现有技术中，一般对于每种激励函数，都会创建与之对应的查找表。并且通常采用查找表的方式来实现相应激励函数的计算。例如sigmoid函数和tanh函数所对应的查找表往往是不同的。也就是说，在预设函数对应的查找表中，查找到以输入数据为横坐标的点，并将该点对应的纵坐标确定为第一输出数据。
步骤203，根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据。
在本实施例中，在得到第一输出数据后，执行主体可以根据目标函数与预设函数之间的换算关系，转换得到以当前数据为输入的目标函数的第二输出数据。
在本实施例的一些可选地实现方式中，若目标函数为tanh函数，预设函数为sigmoid函数，则执行主体可以确定第一输出数据与二的乘积。并且可以将乘积减去一的差值，作为以当前数据为输入的目标函数的第二输出数据。即tanh(x)＝2×sigmoid(2x)-1。
在这里，执行主体同样可以利用计算公式来求得第二输出数据。可选地，若第一输出数据为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式，则执行主体也可以将第一输出数据的阶码加上一，从而得到第一输出数据与二的乘积。这样可以不需要使用浮点数的乘法，有助于提升处理效率。最后，通过浮点数的减法计算乘积与一的差值，得到目标函数的第二输出数据。
步骤204，输出第二输出数据。
在本实施例中，根据步骤203中转换得到的目标函数的第二输出数据，执行主体可以输出该第二输出数据。这里的输出可以包括(但不限于)以下至少一种：对第二输出数据进行存储；将第二输出数据从目标函数当前所在的节点传输至下一节点，即作为下一节点的激励函数的输入数据；或者将第二输出数据(如作为模型的输出)传输给其他电子设备(例如图1所示的服务器105)。
需要说明的是，在硬件设计上，每个查找表一般只有一个读端口。而在实际运行过程中，往往会存在很多并行计算。这就可能会产生几个计算通路同时都需要读查找表的情况。因此，需要在每个节点都存储一份各种激励函数对应的查找表。这样会占用存储器的大量存储空间。而本申请通过预设函数来表达目标函数，可以不再需要对目标函数的查找表进行创建和存储。尤其是将比较常见的激励函数作为目标函数，这样可以节省大量的存储空间。而且将常见的激励函数作为预设函数，在计算不同的激励函数时，可以有助于减少或免去查找表的更换，有利于提升整体的处理性能。
本实施例中的用于神经网络的数据处理方法，在确定获取当前数据的激励函数是目标函数的情况下，可以根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据。接着，可以在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据。之后，可以根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据。并可以输出第二输出数据。也就是说，利用预设函数来表达目标函数，可以免去为目标函数创建对应的查找表，从而有助于减低对存储空间的占用。而且在计算不同的激励函数时，可以减少查找表的更换过程，有利于提升整体的处理性能。
请参见图3，其示出了根据本申请的用于神经网络的数据处理方法的又一个实施例的流程300。该用于神经网络的数据处理方法可以包括以下步骤：
步骤301，响应于获取当前数据的激励函数是sigmoid函数，确定当前数据除以二的商值，以作为tanh函数的输入数据。
在本实施例中，用于神经网络的数据处理方法的执行主体(例如图1所示的人工智能芯片106)可以通过有线连接方式或无线连接方式，接收或获取数据。并可以利用这些数据对存储于其上的神经网络模型进行训练或测试。也可以利用存储于其上的神经网络模型对这些数据进行分析处理。其中，神经网络模型可以是基于机器学习技术而创建的现有的各种学习模型。并且神经网络模型中通常会设置有至少一个节点(即激励函数)。
在本实施例中，可以确定获取当前数据的激励函数是否为sigmoid函数。并且在确定获取当前数据的激励函数是sigmoid函数的情况下，可以确定当前数据除以二的商值，以作为tanh函数的输入数据。此时，两者之间的转换关系为：
Figure BDA0001760753200000111
在这里，执行主体可以利用计算公式直接确定商值。作为示例，若当前数据为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式。也就是说，执行主体可以采用这种表示方式来记录浮点数。则执行主体可以将当前数据的阶码减去一，从而快速得到当前数据除以二的商值。即x/2＝M×2E-1或(-1)S×M×2E-1。这样可以避免浮点数的除法计算，进一步提高处理效率。
步骤302，在tanh函数对应的查找表中，查找到以输入数据为输入的tanh函数的第一输出数据。
在本实施例中，执行主体可以在tanh函数对应的查找表中，查找到以输入数据为输入的tanh函数的第一输出数据。可以参见图2实施例的步骤202中的相关描述，此处不再赘述。
可以理解的是，tanh函数的输出以零为中心，且位于-1到1的区间内。也就是说，tanh函数基于零点对称，即tanh(-x)＝-tanh(x)。由此可知，tanh函数的查表实现可以不需要完整的查找表。此时，tanh函数对应的查找表中可以包括正数输入区间和/或负数输入区间。因此，为了进一步地节省存储空间，执行主体中可以仅存储查找表的正数部分(或负数部分)。而负数部分(或正数部分)可以通过正数部分(或负数部分)来计算得到。
步骤303，将第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的sigmoid函数的第二输出数据。
在本实施例中，执行主体可以将步骤302中得到的第一输出数据与一求和。并且可以将求和的值除以二，从而将商值作为以当前数据为输入的sigmoid函数的第二输出数据。在这里，若求和的值为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式。则执行主体可以先采用浮点数的加法计算得到求和的值。之后，可以将求和的值的阶码减去一，从而得到求和的值除以二的商值。这样，可以免去浮点数的除法计算，有助于提高处理效率。
步骤304，输出第二输出数据。
在本实施例中，在确定以当前数据为输入的sigmoid函数的第二输出数据的情况下，执行主体可以输出该第二输出数据。可以参见图2实施例的步骤204中的相关描述，此处不再赘述。
本实施例中的用于神经网络的数据处理方法，可以将常见的sigmoid激励函数用常见的tanh激励函数来表达。这样，不仅可以节省大量的存储空间，而且在计算这两种常见的激励函数时，可以不需要进行查找表的更换。从而可以大大减少查找表的更换次数，有助于大幅提升处理性能。此外，因为tanh激励函数本身的特点，可以仅存储查找表的正数部分或负数部分。这样可以进一步地降低存储空间的占用。
进一步参见图4，图4是根据上述各实施例的用于神经网络的数据处理方法的一个应用场景的示意图。在图4的应用场景中，服务器105中可以安装有人工智能芯片A和人工智能芯片B。其中，人工智能芯片A主要可以用于与神经网络模型的训练和测试相关的数据处理。而人工智能芯片B主要可以用于与神经网络模型的预测和分析相关的数据处理。
在这里，用户可以使用终端101向服务器105发送模型训练指令。服务器105中的CPU在接收到该指令后，可以从本地的存储器中获取训练数据和模型数据。并可以将获取的数据传输给人工智能芯片A。需要说明的是，CPU也可以从云端等其他设备中获取上述数据。或者这些数据也可以存储在人工智能芯片A中。这样，CPU在接收到终端101发送的模型训练指令后，可以向人工智能芯片A发送相应的指令。
此时，人工智能芯片A可以利用训练数据对模型进行训练。并且在训练过程中可以运行用于神经网络的数据处理方法，包括：
首先，若获取当前数据的激励函数是目标函数，则可以根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；然后，可以在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；接着，可以根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；之后，可以将第二输出数据作为当前数据，并输入到下一节点的激励函数中，直至模型训练结束。
这样一来，CPU可以将训练后的模型存放在存储器或人工智能芯片B中。同时，服务器105可以向终端101发送用于描述训练结果的反馈信息。其中，反馈信息可以包括以下至少一项：模型训练结束、训练后的模型的存储位置、模型训练失败、错误原因或出错位置等。
在本应用场景中，利用人工智能芯片来代替服务器中的CPU进行模型训练，可以降低CPU的负载。同时，人工智能芯片通过采用上述各实施例中的用于神经网络的数据处理方法，有助于提高模型的训练效率。这样，可以提升服务器的整体性能，减少用户的等待时长，从而提高用户体验。
继续参见图5，作为对上述各图所示方法的实现，本申请提供了一种用于神经网络的数据处理装置的一个实施例。该装置实施例与上述各实施例所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于神经网络的数据处理装置500可以包括：第一转换单元501，被配置成响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；查找单元502，被配置成在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；第二转换单元503，被配置成根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；输出单元504，被配置成输出第二输出数据。其中，神经网络中设置有至少一个激励函数。
在本实施例的一些可选地实现方式中，目标函数可以包括sigmoid非线性函数，预设函数可以包括tanh双曲正切函数；以及第一转换单元501可以被配置成：确定当前数据除以二的商值，以作为预设函数的输入数据。
可选地，若当前数据为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式，则第一转换单元501可以进一步被配置成：将当前数据的阶码减去一，得到当前数据除以二的商值。
在一些实施例中，第二转换单元503可以被配置成：将第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的目标函数的第二输出数据。
进一步地，若求和的值为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式，则第二转换单元503可以进一步被配置成：将求和的值的阶码减去一，得到求和的值除以二的商值。
作为示例，预设函数对应的查找表中可以包括正数输入区间和/或负数输入区间。
在一些应用场景中，目标函数可以包括tanh双曲正切函数，预设函数可以包括sigmoid非线性函数；以及第一转换单元501还可以被配置成：确定当前数据与二的乘积，以作为预设函数的输入数据。
可选地，若当前数据为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式，则第一转换单元501还可以进一步被配置成：将当前数据的阶码加上一，得到当前数据与二的乘积。
在一些实施例中，第二转换单元503还可以被配置成：确定第一输出数据与二的乘积，且将乘积减去一的差值，作为以当前数据为输入的目标函数的第二输出数据。
进一步地，若第一输出数据为浮点数，且浮点数可以采用以二为基数，包括尾数和阶码的表示方式，则第二转换单元503还可以进一步被配置成：将第一输出数据的阶码加上一，得到第一输出数据与二的乘积。
可以理解的是，该装置500中记载的诸单元与参考图2和图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于该装置500及其中包含的单元，在此不再赘述。
本申请实施例还提出了一种人工智能芯片。该人工智能芯片的结构可以参见图6，其示出了本申请的人工智能芯片的一个实施例的结构示意图。如图6所示，本实施例中的人工智能芯片可以包括存储部件601、调度部件602、至少一个通用执行部件603和至少一个专用执行部件604。
在本实施例中，存储部件601可以是能够实现信息存储功能的电路或器件。例如可以是静态随机存取存储器(Static Random-Access Memory，SRAM)、随机访问存储器(RAM)、内存条、安全数码卡(Secure Digital Memory Card，SD卡)或快闪存储器卡(TF卡，又称microSD)等。存储部件601中可以存储有一个或多个程序。
调度部件602可以是能够实现指令的调度分发功能的电路或器件。调度部件602可以对待执行指令进行解析，从而确定执行什么操作，即做什么。之后，可以将待执行指令发送给对应的通用执行部件603，即能够执行待执行指令所指示的操作的通用执行部件603。调度部件602可以设置在处理器中，也可以单独设置。
需要说明的是，待执行指令可以是其他电子设备或电子器件(如图1所示的服务器105中的CPU)发送给人工智能芯片的。也可以是人工智能芯片根据待处理数据而生成的。例如，在确定获取当前数据的激励函数为目标函数时，生成用于表征执行上述各实施例中所描述的数据处理方法的待执行指令。
通用执行部件603可以是能够实现常用操作功能的电路或器件。这里的常用操作功能可以(但不限于)包括人工智能应用中通常会使用的算法，如前向传播算法、反向传播算法等。这样，用户可以根据所需的操作功能，对各通用执行部件603进行组合。从而有助于降低芯片的开发周期和开发成本。
这里的常用操作功能也可以包括指令的调度分发功能。即通用执行部件603同样可以对调度部件602发送的指令(即待执行指令)进行解析。之后根据解析结果，可以生成至少一个子指令。并且可以将生成的至少一个子指令分别发送给对应的专用执行部件604。在这里，若某个专用执行部件604能够实现待执行指令所指示的操作，则通用执行部件603可以将待执行指令作为子指令。若需要多个专用执行部件604才能实现待执行指令所指示的操作，则通用执行部件603可以生成多个子指令。
也就是说，通用执行部件603既可以单独执行完成相应的操作，也可以协助调度部件602进行指令调度。这样有助于降低调度部件602的工作负荷，提高芯片整体的处理效率。
在本实施例中，专用执行部件604可以是能够实现指定操作功能的电路或器件。这里所说的指定操作功能可以与常用操作功能相对。即可以包括人工智能应用中不常使用的算法，如上述各实施例中所描述的数据处理方法。因此，专用执行部件604往往要根据不同用户的需求来进行设计。
可选地，至少一个专用执行部件604可以是对各通用执行部件603能够实现的常用操作功能进行拆分，并根据拆分后的操作功能而设计得到的。此时，各通用执行部件603可以与各专用执行部件604均通信连接。这样，通过组合不同的专用执行部件604，可以实现更多的操作功能，并且有利于减少执行部件的数量。
需要说明的是，人工智能芯片中可以设置有一个或多个存储部件601。并且其上存储有其他各部件所需的程序等数据。此时，调度部件602、通用执行部件603和专用执行部件604可以通过串行总线或数据接口等，从存储部件601中读取程序等数据。
在一些应用场景中，为了提高数据处理效率，调度部件602、通用执行部件603和专用执行部件604中也可以分别设置有存储部件601。并且不同部件中的存储部件601可以存储该部件所需的数据。例如调度部件602中的存储部件601可以存储有指令调度程序。
本实施例中的人工智能芯片，针对深度学习训练和预测，能够满足高密度的计算和访存需求。从而可以改善传统CPU、GPU等通用处理器在深度学习场景下的处理性能。同时，对深度学习中的数据处理方法进行了优化，这样有助于提高软、硬件整体的执行效率。
此外，描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在执行部件中。例如可以描述为：一种执行部件包括第一转换单元、查找单元、第二转换单元和输出单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如输出单元还可以被描述为“输出第二输出数据的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的人工智能芯片中所包含的；也可以是单独存在，而未装配入该人工智能芯片中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该人工智能芯片执行时，使得该人工智能芯片：响应于获取当前数据的激励函数是目标函数，根据目标函数与预设函数之间的换算关系，将当前数据转换为预设函数的输入数据；在预设函数对应的查找表中，查找到以输入数据为输入的预设函数的第一输出数据；根据换算关系和第一输出数据，转换得到以当前数据为输入的目标函数的第二输出数据；输出第二输出数据。
需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
下面参见图7，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的终端101、102、103或服务器105)的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701也可以通过人工智能芯片712进行数据的处理分析。CPU701、ROM 702、RAM 703以及人工智能芯片712通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括触摸屏、按键、鼠标、麦克风、摄像头等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例可以包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序。该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被人工智能芯片712执行时，执行本申请的方法中限定的上述功能。
可以理解的是，附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (19)

1.一种用于神经网络的数据处理方法，所述神经网络中设置有至少一个激励函数，包括：
响应于获取当前数据的激励函数是目标函数，根据所述目标函数与预设函数之间的换算关系，将当前数据转换为所述预设函数的输入数据；
在所述预设函数对应的查找表中，查找到以所述输入数据为输入的所述预设函数的第一输出数据；
根据所述换算关系和所述第一输出数据，转换得到以当前数据为输入的所述目标函数的第二输出数据；
输出所述第二输出数据。
2.根据权利要求1所述的方法，其中，所述目标函数包括sigmoid非线性函数，所述预设函数包括tanh双曲正切函数；以及
所述根据所述目标函数与预设函数之间的换算关系，将当前数据转换为所述预设函数的输入数据，包括：
确定当前数据除以二的商值，以作为所述预设函数的输入数据。
3.根据权利要求2所述的方法，其中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述确定当前数据除以二的商值，包括：
将当前数据的阶码减去一，得到当前数据除以二的商值。
4.根据权利要求2所述的方法，其中，所述根据所述换算关系和所述第一输出数据，转换得到以当前数据为输入的所述目标函数的第二输出数据，包括：
将所述第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的所述目标函数的第二输出数据。
5.根据权利要求4所述的方法，其中，若求和的值为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述确定求和的值除以二的商值，包括：
将求和的值的阶码减去一，得到求和的值除以二的商值。
6.根据权利要求2-5中任一所述的方法，其中，所述预设函数对应的查找表中包括正数输入区间和/或负数输入区间。
7.根据权利要求1所述的方法，其中，所述目标函数包括tanh双曲正切函数，所述预设函数包括sigmoid非线性函数；以及
所述根据所述目标函数与预设函数之间的换算关系，将当前数据转换为所述预设函数的输入数据，包括：
确定当前数据与二的乘积，以作为所述预设函数的输入数据。
8.根据权利要求7所述的方法，其中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述确定当前数据与二的乘积，包括：
将当前数据的阶码加上一，得到当前数据与二的乘积。
9.根据权利要求7所述的方法，其中，所述根据所述换算关系和所述第一输出数据，转换得到以当前数据为输入的所述目标函数的第二输出数据，包括：
确定所述第一输出数据与二的乘积，且将乘积减去一的差值，作为以当前数据为输入的所述目标函数的第二输出数据。
10.根据权利要求9所述的方法，其中，若所述第一输出数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述确定所述第一输出数据与二的乘积，包括：
将所述第一输出数据的阶码加上一，得到所述第一输出数据与二的乘积。
11.一种用于神经网络的数据处理装置，所述神经网络中设置有至少一个激励函数，包括：
第一转换单元，被配置成响应于获取当前数据的激励函数是目标函数，根据所述目标函数与预设函数之间的换算关系，将当前数据转换为所述预设函数的输入数据；
查找单元，被配置成在所述预设函数对应的查找表中，查找到以所述输入数据为输入的所述预设函数的第一输出数据；
第二转换单元，被配置成根据所述换算关系和所述第一输出数据，转换得到以当前数据为输入的所述目标函数的第二输出数据；
输出单元，被配置成输出所述第二输出数据。
12.根据权利要求11所述的装置，其中，所述目标函数包括sigmoid非线性函数，所述预设函数包括tanh双曲正切函数；以及
所述第一转换单元被配置成：
确定当前数据除以二的商值，以作为所述预设函数的输入数据。
13.根据权利要求12所述的装置，其中，若当前数据为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述第一转换单元进一步被配置成：
将当前数据的阶码减去一，得到当前数据除以二的商值。
14.根据权利要求12所述的装置，其中，所述第二转换单元被配置成：
将所述第一输出数据与一求和，且确定求和的值除以二的商值，以作为以当前数据为输入的所述目标函数的第二输出数据。
15.根据权利要求14所述的装置，其中，若求和的值为浮点数，且浮点数采用以二为基数，包括尾数和阶码的表示方式，则所述第二转换单元进一步被配置成：
将求和的值的阶码减去一，得到求和的值除以二的商值。
16.根据权利要求12-15中任一所述的装置，其中，所述预设函数对应的查找表中包括正数输入区间和/或负数输入区间。
17.一种人工智能芯片，包括：
存储部件，其上存储有一个或多个程序；
调度部件，被配置成根据待执行指令进行指令调度；
至少一个通用执行部件，被配置成接收所述调度部件发送的指令，执行对应的程序；和/或根据所述调度部件发送的指令生成子指令，并将生成的子指令发送至对应的专用执行部件；
至少一个专用执行部件，被配置成接收所述至少一个通用执行部件发送的子指令，执行对应的程序，其中，一个或多个专用执行部件执行对应的程序时实现如权利要求1-10中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被执行部件执行时实现如权利要求1-10中任一所述的方法。
19.一种电子设备，包括：处理器、存储装置和至少一个如权利要求17所述的人工智能芯片。
CN201810906496.7A 2018-08-10 2018-08-10 用于神经网络的数据处理方法和装置 Active CN110826706B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810906496.7A CN110826706B (zh) 2018-08-10 2018-08-10 用于神经网络的数据处理方法和装置
US16/502,687 US11651198B2 (en) 2018-08-10 2019-07-03 Data processing method and apparatus for neural network
JP2019125658A JP2020027611A (ja) 2018-08-10 2019-07-05 ニューラルネットワークのためのデータ処理方法および装置
KR1020190083131A KR102420661B1 (ko) 2018-08-10 2019-07-10 신경망을 위한 데이터 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810906496.7A CN110826706B (zh) 2018-08-10 2018-08-10 用于神经网络的数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN110826706A true CN110826706A (zh) 2020-02-21
CN110826706B CN110826706B (zh) 2023-10-03

Family

ID=69405097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810906496.7A Active CN110826706B (zh) 2018-08-10 2018-08-10 用于神经网络的数据处理方法和装置

Country Status (4)

Country Link
US (1) US11651198B2 (zh)
JP (1) JP2020027611A (zh)
KR (1) KR102420661B1 (zh)
CN (1) CN110826706B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200299A (zh) * 2020-09-09 2021-01-08 厦门星宸科技有限公司 神经网络计算装置、数据处理方法及装置
CN113283921A (zh) * 2020-02-19 2021-08-20 华为技术有限公司 一种业务数据的处理方法、装置及云服务器
CN113379031A (zh) * 2021-06-01 2021-09-10 北京百度网讯科技有限公司 神经网络的处理方法、装置、电子设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114690624A (zh) * 2020-12-25 2022-07-01 佛山市顺德区美的电热电器制造有限公司 工作模式确定方法、系统、设备、存储介质
CN113657588B (zh) * 2021-08-19 2023-08-18 山东云海国创云计算装备产业创新中心有限公司 一种实现光学神经网络的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
AU2013237728A1 (en) * 2005-11-15 2013-10-24 Bernadette Garner Method for Training Neural Networks
AU2015207873A1 (en) * 2005-11-15 2015-08-20 Bernadette Garner Method for training neural networks
EP3035205A1 (en) * 2014-12-19 2016-06-22 Intel Corporation Reconfigurable functional unit and method for artificial neural networks
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN107729984A (zh) * 2017-10-27 2018-02-23 中国科学院计算技术研究所 一种适用于神经网络激活函数的计算装置及方法
US20180129933A1 (en) * 2016-11-10 2018-05-10 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and Apparatus for Processing Data Sequence

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067182A (ja) 2001-08-28 2003-03-07 Matsushita Electric Works Ltd 演算装置および演算方法
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US10223635B2 (en) 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
JP2018092294A (ja) * 2016-12-01 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 演算装置、演算方法及びコンピュータプログラム
US10949766B2 (en) * 2017-10-15 2021-03-16 Gsi Technology Inc. Precise exponent and exact softmax computation
US11645493B2 (en) * 2018-05-04 2023-05-09 Microsoft Technology Licensing, Llc Flow for quantized neural networks
US11775805B2 (en) * 2018-06-29 2023-10-03 Intel Coroporation Deep neural network architecture using piecewise linear approximation
US20200264876A1 (en) * 2019-02-14 2020-08-20 Microsoft Technology Licensing, Llc Adjusting activation compression for neural network training
US11861761B2 (en) * 2019-11-15 2024-01-02 Intel Corporation Graphics processing unit processing and caching improvements
US11995767B2 (en) * 2020-08-17 2024-05-28 Intel Corporation Apparatus and method for compressing ray tracing acceleration structure build data
US12002145B2 (en) * 2020-08-17 2024-06-04 Intel Corporation Apparatus and method for efficient graphics processing including ray tracing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
AU2013237728A1 (en) * 2005-11-15 2013-10-24 Bernadette Garner Method for Training Neural Networks
AU2015207873A1 (en) * 2005-11-15 2015-08-20 Bernadette Garner Method for training neural networks
EP3035205A1 (en) * 2014-12-19 2016-06-22 Intel Corporation Reconfigurable functional unit and method for artificial neural networks
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
US20180129933A1 (en) * 2016-11-10 2018-05-10 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and Apparatus for Processing Data Sequence
CN107729984A (zh) * 2017-10-27 2018-02-23 中国科学院计算技术研究所 一种适用于神经网络激活函数的计算装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季渊;陈文栋;冉峰;张金艺;DAVID LILJA;: "具有二维状态转移结构的随机逻辑及其在神经网络中的应用", 电子与信息学报, no. 08 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283921A (zh) * 2020-02-19 2021-08-20 华为技术有限公司 一种业务数据的处理方法、装置及云服务器
CN112200299A (zh) * 2020-09-09 2021-01-08 厦门星宸科技有限公司 神经网络计算装置、数据处理方法及装置
CN112200299B (zh) * 2020-09-09 2024-04-12 星宸科技股份有限公司 神经网络计算装置、数据处理方法及装置
CN113379031A (zh) * 2021-06-01 2021-09-10 北京百度网讯科技有限公司 神经网络的处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11651198B2 (en) 2023-05-16
US20200050924A1 (en) 2020-02-13
KR102420661B1 (ko) 2022-07-14
JP2020027611A (ja) 2020-02-20
CN110826706B (zh) 2023-10-03
KR20200018237A (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110826706B (zh) 用于神经网络的数据处理方法和装置
US10656962B2 (en) Accelerate deep neural network in an FPGA
CN109165736B (zh) 应用于卷积神经网络的信息处理方法和装置
US11574239B2 (en) Outlier quantization for training and inference
US11275561B2 (en) Mixed precision floating-point multiply-add operation
WO2020207174A1 (zh) 用于生成量化神经网络的方法和装置
CN114862656B (zh) 基于多gpu的分布式深度学习模型训练代价的获取方法
US11900263B2 (en) Augmenting neural networks
CN109598344B (zh) 模型生成方法和装置
CN111966361A (zh) 用于确定待部署模型的方法、装置、设备及其存储介质
CN110009101B (zh) 用于生成量化神经网络的方法和装置
CN109840072B (zh) 信息处理方法和装置
CN110503181B (zh) 用于生成多层神经网络的方法和装置
CN108509179B (zh) 用于检测人脸的方法、用于生成模型的装置
CN113361677B (zh) 神经网络模型的量化方法和装置
CN108229668B (zh) 基于深度学习的运算实现方法、装置和电子设备
CN114692824A (zh) 一种神经网络模型的量化训练方法、装置和设备
CN111709784A (zh) 用于生成用户留存时间的方法、装置、设备和介质
CN111353585A (zh) 神经网络模型的结构搜索方法和装置
US20230214705A1 (en) Model-agnostic input transformation for neural networks
CN117876091B (zh) 信息发送方法、装置、电子设备和计算机可读介质
CN115829053B (zh) 模型运行策略确定方法、装置、电子设备以及存储介质
US20210406689A1 (en) Random Action Replay for Reinforcement Learning
CN109670577B (zh) 模型生成方法和装置
CN110825438B (zh) 用于模拟人工智能芯片的数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant