CN111373418A - 学习设备和学习方法、识别设备和识别方法、程序和记录介质 - Google Patents
学习设备和学习方法、识别设备和识别方法、程序和记录介质 Download PDFInfo
- Publication number
- CN111373418A CN111373418A CN201880074223.9A CN201880074223A CN111373418A CN 111373418 A CN111373418 A CN 111373418A CN 201880074223 A CN201880074223 A CN 201880074223A CN 111373418 A CN111373418 A CN 111373418A
- Authority
- CN
- China
- Prior art keywords
- learning
- unit
- elements
- neural network
- element values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 210000004027 cell Anatomy 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000007476 Maximum Likelihood Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003050 axon Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
该学习设备包括：神经网络单元，基于学习对象数据的多个元素值被输入到神经网络单元；以及学习单元，该学习单元训练神经网络单元。神经网络单元具有多个学习元，每个学习元包括：多个输入节点，该多个输入节点对多个元素值中的每个执行预定加权；以及输出节点，该输出节点对多个加权元素值进行求和并输出所述和，并且根据每个学习元的输出值，学习单元更新每个学习元的多个输入节点的加权系数或者向神经网络单元添加新的学习元。
Description
【技术领域】
本发明涉及学习设备和学习方法，识别设备和识别方法，程序和存储介质。
【背景技术】
近年来，使用多层神经网络的深度学习作为机器学习方案引起关注。深度学习是使用被称为反向传播的计算方案，来计算当大量的训练数据被输入到多层神经网络时的输出误差，并执行学习以使误差最小。
专利文献1至专利文献3公开了神经网络处理设备，其能够通过将大型神经网络定义为多个子网络的组合来以较少的努力和操作处理负荷构建神经网络。此外，专利文献4公开了优化神经网络的结构优化设备。
【引文列表】
【专利文献】
PTL1：日本专利申请特开第2001-051968号
PTL2：日本专利申请特开第2002-251601号
PTL3：日本专利申请特开第2003-317073号
PTL4：日本专利申请特开第H09-091263号
【发明内容】
【技术问题】
然而，在深度学习中，需要大量高质量的数据作为训练数据，并且学习需要很长时间。尽管专利文献1至专利文献4提出了减少用于构建神经网络的努力或操作处理负荷的方案，但是需要具有能够以更简单的算法执行学习从而进一步减少系统负载等的神经网络的学习设备。
本发明的示例目的是提供学习设备和学习方法，程序以及具有能够以更简单的算法执行学习的神经网络的存储介质。此外，本发明的另一个示例目的是提供识别设备和识别方法，程序以及被配置为通过使用这种神经网络来实现高识别率的存储介质。
【技术解决方案】
根据本发明的一个示例方面，提供了一种学习设备，该学习设备包括：神经网络单元，基于学习对象数据的多个元素值被输入到该神经网络单元；以及学习单元，该学习单元训练神经网络单元，其中，神经网络单元具有多个学习元，每个学习元包括：多个输入节点，该多个输入节点对多个元素值中的每个执行预定加权；以及输出节点，该输出节点对多个加权元素值求和并输出和，并且其中，根据每个学习元的输出值，学习单元更新每个学习元的多个输入节点的加权系数或者向神经网络单元添加新的学习元。
此外，根据本发明的另一个示例方面，提供了一种识别设备，该识别设备包括：神经网络单元，基于识别对象数据的多个元素值被输入到该神经网络单元；以及识别单元，该识别单元基于神经网络单元的输出来识别所述识别对象数据，其中，神经网络单元具有多个学习元，每个学习元包括：多个输入节点，该多个输入节点对多个元素值中的每个执行预定加权；以及输出节点，该输出节点对多个加权元素值求和并输出和，其中，多个学习元中的每个与指示训练信息的多个类别中的任何一个相关联，其中，每个学习元的多个输入节点被配置为使得多个元素值中的每个根据相应类别以预定权重被输入，并且其中，基于每个学习元的输出值和与每个学习元相关联的类别，识别单元识别所述识别对象数据所属的类别。
此外，根据本发明的又一个示例方面，提供了一种学习设备的学习方法，该学习设备包括具有多个学习元的神经网络单元，每个学习元包括：多个输入节点，基于学习对象数据的多个元素值被输入到该多个输入节点；以及输出节点，该输出节点以多个元素值的各自预定权重对多个元素值求和并输出和，学习方法包括：将基于学习对象数据将多个元素值输入到学习元的多个输入节点；以及根据每个学习元的输出值，通过更新学习元的多个输入节点的加权系数或向神经网络单元添加新的学习元来训练神经网络单元。
此外，根据本发明的又一个示例方面，提供了一种使用包括具有多个学习元的神经网络单元的识别设备的识别方法，其中，每个学习元包括：多个输入节点，基于识别对象数据的多个元素值被输入到该多个输入节点；以及输出节点，该输出节点以多个元素值的预定权重对多个元素值求和并输出和，并且每个学习元中与指示训练信息的多个类别中的任何一个相关联，识别方法包括：将基于识别对象数据的多个元素值输入到多个学习元的多个输入节点，并且基于每个学习元的输出值和与每个学习元相关联的类别，识别所述识别对象数据所属的类别。
此外，根据本发明的又一个示例方面，提供一种由基于学习对象数据来执行学习的学习设备执行的程序，程序使计算机用作：神经网络单元，该神经网络单元具有多个学习元，每个学习元包括基于学习对象数据的多个元素值被输入到的多个输入节点以及对多个加权元素值求和并输出和的输出节点；以及单元，该单元根据每个学习元的输出值，更新每个学习元的多个输入节点的加权系数或向神经网络单元添加新的学习元。
此外，根据本发明的又一个示例方面，提供一种由基于识别对象数据执行识别的识别设备执行的程序，程序使计算机用作：神经网络单元，该神经网络单元具有多个学习元，其中，每个学习元包括基于识别对象数据的多个元素值被输入到的多个输入节点以及对多个加权元素值求和并输出和的输出节点，并且每个学习元与指示训练信息的多个类别中的任何一个相关联；以及单元，该单元基于每个学习元的输出值和与每个学习元相关联的类别，识别所述识别对象数据所属的类别。
【有利效果】
根据本发明，可以构建能够以更简单的算法执行学习并且实现高识别率的神经网络。
【附图说明】
【图1】
图1是示出根据本发明的第一示例实施例的学习/识别设备的配置示例的示意图。
【图2】
图2是示出根据本发明的第一示例实施例的学习/识别设备中的神经网络单元的配置示例的示意图。
【图3】
图3是示出根据本发明的第一示例实施例的学习/识别设备中的学习元的配置示例的示意图。
【图4】
图4是示出根据本发明的第一示例实施例的学习/识别设备中的学习方法的流程图。
【图5】
图5是示出其中学习对象数据和元素值的一个示例的图。
【图6】
图6是示出根据本发明的第一示例实施例的学习/识别设备中的识别方法的流程图。
【图7】
图7是示出根据本发明的第一示例实施例的学习/识别设备的硬件配置的示例的示意图。
【图8】
图8是示出根据本发明的第二示例实施例的学习/识别设备的配置示例的示意图。
【图9】
图9是示出对学习对象数据和识别对象数据执行预处理的一个示例的图。
【图10】
图10是示出根据本发明的第三示例实施例的学习设备的配置示例的示意图。
【图11】
图11是示出根据本发明的第四示例实施例的识别设备的配置示例的示意图。
【具体实施方式】
【第一示例实施例】
将参考图1至图7描述根据本发明的第一示例实施例的学习/识别设备。图1是示出根据本示例实施例的学习/识别设备的配置示例的示意图。图2是示出根据本示例实施例的学习/识别设备中的神经网络单元的配置示例的示意图。图3是示出根据本示例实施例的学习/识别设备中的学习元的配置示例的示意图。图4是示出根据本示例实施例的学习/识别设备中的学习方法的流程图。图5是示出其中学习对象数据和元素值的一个示例的图。图6是示出根据本示例实施例的学习/识别设备中的识别方法的流程图。图7是示出根据本示例实施例的学习/识别设备的硬件配置的示例的示意图。
首先，将参考图1至图3描述根据本示例实施例的学习/识别设备的一般配置。如图1所示，根据本示例实施例的学习/识别设备100具有提取单元10，神经网络单元20，确定单元30，学习单元40，识别单元50和输出单元60。学习单元40具有权重校正单元42和学习元生成单元44。
提取单元10根据数据的形式从外部输入学习对象数据或识别对象数据中提取预定数量的预定元素值(模式数据)。
例如，神经网络单元20可以由包括如图2所示的输入层和输出层的两层人工神经网络形成。输入层具有元(神经元)22，其数量对应于从单个学习对象数据或识别对象数据中提取的元素值的数量。例如，当从单个学习对象数据或识别对象数据生成的元素值的数量为M时，输入层至少包括M个元221、222、…、22i、…、22M。输出层包括元(神经元)24，例如，N个元241、242、…，24j、…、24N，其数量对应于至少与学习对象数据相关联的训练信息的类别的数量。
从提取单元10供应的M个元素值I1、I2、…、Ii、…、IM分别输入到输入层的元221、222、…、22i、…、22M。每个元221、222、…、22i、…、22M将输入元素值I输出到每个元241、242、…、24i、…、24M。
用于针对元素值I的预定加权的加权系数ω被设置给连接元22和元24的每个分支(轴突)。例如，如图3所示，加权系数ω1j、ω2j、…、ωij、…、ωMj被设置给将元221、222、…、22i、…、22M连接到元24i的分支。从而，元24j执行以下方程(1)所示的操作并输出输出值Oj。
【数学函数1】
注意，在本说明书中，一个元24、将元素值I1至IM输入到元24的分支(输入节点)、以及从元24输出输出值O的分支(输出节点)可以被统称为学习元26。
确定单元30将从学习对象数据提取的多个元素值与学习元的输出值之间的相关值与预定阈值进行比较并且确定相关值是否大于或等于阈值或者小于阈值。相关值的一个示例是用于学习元的输出值的似然度。注意，确定单元30的功能可以被视为提供给了学习元26中的每个。
学习单元40是根据确定单元30的确定结果训练神经网络单元20的功能块。当上述相关值大于或等于预定阈值时权重校正单元42更新设置用于学习元26的输入节点的加权系数ω。此外，当上述相关值小于预定阈值时学习元生成单元44将新的学习元26添加到神经网络单元20。
识别单元50基于从学习对象数据提取的多个元素值与学习元的输出值之间的相关值来识别识别对象数据的类别。输出单元60输出由识别单元50识别的结果。
注意，根据本示例实施例的学习/识别设备100可以由具有学习功能的学习设备和具有识别功能的识别设备形成。在这种情况下，学习设备可以至少具有提取单元10，神经网络单元20，确定单元30和学习单元40。此外，识别设备可以至少具有提取单元10，神经网络单元20和识别单元50。注意，学习/识别设备100，学习设备和识别设备不一定具有提取单元10，并且可以被配置为使得通过另一个设备等从学习对象数据或识别对象数据提取的元素值被直接输入到神经网络单元20。
接下来，将参考图4和图5描述根据本示例实施例的使用学习/识别设备100的学习方法。注意，尽管这里将进行的描述假设为学习对象数据是包括0到9的10种手写字符的单色二维图像的情况以便于更容易的理解，但是学习对象数据的类型没有特别限制。例如，学习对象数据可以是图像数据、语音数据等。
首先，学习元26作为初始状态被设置用于神经网络单元20，学习元26的数量对应于与学习对象数据相关联的训练信息的类别的数量。例如，当使神经网络单元20学习0至9的手写字符时，训练信息的类别数是10，即0至9，并且设置了对应于类别数量的10个学习元26。每个学习元26与训练信息的类别相关联。
接下来，在提取单元10中获取学习对象数据(步骤S101)。这里，作为学习对象数据的一个示例，假设了如在图5中的左侧所示的包括手写字符“2”的单色二维图像。
接下来，在提取单元10，从获取的学习对象数据中提取指示学习对象数据的特征的元素值(步骤S102)。可以根据所获取的学习对象数据的类型等适当地选择元素值。例如，关于在图5中所示的学习对象数据，如在右侧的放大图中所示，所拍摄的图像基于像素划分，并且每个像素可以与每个元素值相关。此外，对应于白色像素的元素值可以被定义为0，并且对应于黑色像素的元素值可以被定义为1。例如，在图5的示例中，对应于第p个像素的元素值Ip为1，并且对应于第q个像素的元素值Iq为0。对应于单个学习对象数据的元素值是元素值I1至IM。
接下来，由提取单元10提取的元素值I1至IM被输入到神经网络单元20。输入到神经网络单元20的元素值I1至IM经由元221至22M被输入到与关于所获取的学习对象数据的训练信息的类别相关联的学习元26。例如，从在图5中所示的学习对象数据中提取的元素值I1至IM被输入到与类别“2”相关联的学习元26。
接下来，确定被输入元素值I1至IM的学习单元26是否处于没有为每个输入节点设置加权系数ω的状态，即，没有执行学习的初始状态(步骤S103)。
如果学习元26处于初始状态(步骤S103，“是”)，输入到神经网络单元20的元素值I1至IM的值被设置为用于关注的学习元26的输入节点的加权系数ω的初始值(步骤S104)。例如，如图5所示，当获取与类别“2”相关联的学习对象数据时，对应于元素值I1至IM的加权系数ω被设置为用于与类别“2”相关联的学习元26的每个输入节点。例如，在图5的示例中，对应于学习元26j的第p个像素的输入节点的加权系数ωpj为1，并且对应于学习元26j的第q个像素的输入节点的加权系数ωqj为0。
另一方面，如果学习元26不处于初始状态(步骤S103，“否”)，则元素值I1至IM被输入到关注的学习元26，并获得输出值O。在这种情况下，由于加权系数ω已经被设置为用于关注的学习元26的输入节点，因此基于方程(1)计算输出值O。
接下来，在确定单元30中基于关注的学习元26的输出值O计算元素值I1至IM与学习元26的输出值O之间的相关值(这里，关于学习元的输出值的似然度P)(步骤S105)。似然度P的计算方法没有特别限制。例如，可以基于以下方程(2)来计算学习元26j的似然度Pj。
【数学函数2】
方程(2)指示出似然度Pj是由学习元26j的输出值Oj与学习元26j的多个输入节点的加权系数ωij的累计值之比率所表示。替选地，方程(2)指示出似然度Pj是由当输入多个元素值时获得的学习元26j的输出值与基于多个输入节点的加权系数ωij的多个学习元26j的输出的最大值之比率来表示。
接下来，在确定单元30，将计算出的似然度P的值与预定阈值进行比较以确定似然度P的值是否大于或等于阈值(步骤S106)。
如果在与关于所获取的学习对象数据的训练信息的类别相关联的学习元26中存在其似然度P的值大于或等于阈值的一个或多个学习元26(步骤S106，“是”)，处理处理进入步骤S107。在步骤S107中，在与关注的类别相关联的学习元26中具有最大似然度P的值的学习元26的输入节点的加权系数ω被更新。例如，可以基于以下方程(3)来校正学习元26j的输入节点的加权系数ωij。
ωij＝(在第i个像素出现黑色的次数)/(学习的次数)…(3)
方程(3)表示学习元26的多个输入节点中的每个的加权系数ω由从对应输入节点输入的元素值I的累计平均值所确定。以这种方式，关于其似然度P大于或等于预定阈值的学习对象数据的信息被累积到每个输入节点的加权系数ω，从而用于对应于黑色发生次数更多的像素的输入节点的加权系数ω的值更大。学习元26的这种学习算法近似于被称为是人脑学习原理的赫布法则(Hebb’s rule)。
另一方面，如果在与获取的学习对象数据的训练信息的类别相关联的学习元26中没有似然度P的值大于或等于阈值的学习元26(步骤S106，“否”)，处理进入步骤S108。在步骤S108中，生成与关注的类别相关联的新的学习元26。以与学习元26处于初始状态的情况相同的方式将元素值I1至IM的每个值设置到新生成的学习元26的各个输入节点作为加权系数ω的初始值。
例如，当学习对象数据是手写字符时，在字符的倾角不一样之类的情况下，即使训练信息的类别相同也期望似然度的值小于阈值。通过添加与相同类别相关联的学习元26，能够学习属于相同类别的各种形式的学习对象数据并因此提高识别率。
关于用于确定似然度P的阈值，其中更大的值提高了识别率但是增加了学习元26的数量，这需要大量的时间用于学习。相反地，更小的阈值降低了识别率但是减少了学习元26的数量，这减少了用于学习所需的时间。根据学习对象数据和识别对象数据的类型、形式等适当地设置阈值的设置值以获得期望的识别率或学习时间是可取的。
以这种方式，能够基于所获取的学习对象数据来学习神经网络单元20。
接下来，对所有学习对象数据执行上述从步骤S101到步骤S108的处理(步骤S109，S110)以相关地训练神经网络单元20。
在根据本示例实施例的使用学习/识别设备100的学习方法中，在深度学习等中使用的反向传播不被应用，并且能够通过单个路径进行学习。因此，可以简化神经网络单元20中的学习处理。此外，由于每个学习元26是独立的，因此容易添加、删除或更新学习数据。
接下来，将通过使用图6描述使用根据本示例实施例的学习/识别设备100识别对象数据的识别方法。
首先，在提取单元10中获取识别对象数据(步骤S201).
接下来，在提取单元10，从获取的识别对象数据中提取指示识别对象数据的特征的元素值I1至IM(步骤S202)。可以以与学习对象数据的情况相同的方式，根据所获取的识别对象数据的类型等适当地选择元素值I。
接下来，将由提取单元10提取的元素值I1至IM输入到如上述训练的神经网络单元20。输入到神经网络单元20的元素值I1至IM经由元221至22M输入到各个学习元26。从而，从所有学习元26获得根据元素值I1至IM的输出值O。
接下来，在识别单元50，基于从学习元26输出的输出值O来计算元素值I1至IM与学习元26的输出值O之间的相关值(这里，相关值是关于学习元的输出值的似然度P)(步骤S203)。似然度P的计算方法没有特别限制。例如，可以基于上述方程(2)来计算学习元26j的似然度Pj。注意，还可以认为每个学习元26具有计算似然度P的功能。
接下来，基于计算出的所有学习元26的似然度P来识别识别对象数据所属的类别(步骤S204)。识别识别对象数据所属的类别的方法没有特别限制。例如，在与所有学习元26中具有最大似然度P的学习元26相关联的类别可以被识别为识别对象数据所属的类别。替选地，可以按照似然度P的降序从所有学习元26中提取预定数量的学习元26，并且可以将与提取的学习元26的最大数量相关联的类别识别为识别对象数据所属的类别。
注意，在识别出识别对象数据所属的类别之后，可以通过使用从识别对象数据提取的元素值I1至IM来训练神经网络单元20。例如，在喜欢已识别类别的学习元26中，可以通过使用从关注的识别对象数据中提取的元素值I1至IM来更新具有最大似然度的学习元26的输入节点的加权系数ω。即，根据本示例实施例的学习/识别设备100可以执行所谓的动态学习并且可以使用识别对象数据容易地执行附加学习处理。
接下来，将参考图7描述根据本示例实施例的学习/识别设备100的硬件配置示例。图7是示出根据本示例实施例的学习/识别设备的硬件配置的示例的示意图。
如图7所示，学习/识别设备100可以通过与一般信息处理设备相似的硬件配置来实现。例如，学习/识别设备100具有中央处理单元(CPU)200、主存储单元202、通信单元204和输入/输出接口单元206。
CPU 200是负责学习/识别设备100的整体控制或操作处理的控制/操作设备。主存储单元202是用于数据的工作区域或数据的临时保存区域的存储单元并且由诸如随机存取存储器(RAM)的存储器设备形成。通信单元204是用于经由网络发送和接收数据的接口。输入/输出接口单元206是连接到用于发送和接收数据的外部输出设备210，输入设备212，存储设备214等的接口。CPU 200，主存储单元202，通信单元204和输入/输出接口单元206通过系统总线208彼此连接。例如，存储设备214可以由由诸如只读存储器(ROM)、磁盘、半导体存储器等的非易失性存储器形成的硬盘设备等形成。
主存储单元202可以用作用于构建包括多个学习元26的神经网络单元20并执行操作的工作区域。CPU用作控制在主存储单元202中构建的神经网络单元20中的操作处理的控制单元。在存储设备214中，可以存储包括关于受到训练的学习元26的信息的学习元信息。此外，当读取存储在存储设备214中的学习元信息并且在主存储单元202中构建神经网络单元时，这种配置可以用于识别各种识别对象数据。理想的是CPU 200被配置为为了主存储单元202中构建的神经网络单元中的多个学习元并行地执行操作处理。
通信单元204是基于诸如以太网(注册商标)、Wi-Fi(注册商标)等的标准的通信接口，并且是用于与其他设备进行通信的模块。可以经由通信单元204从另一个设备接收学习元信息。例如，频繁使用的学习元信息被预先存储在存储设备214中，并且不经常使用的学习元信息可以从另一个设备加载。
输入设备212是键盘、鼠标、触摸屏等并且用于由用户将预定信息输入到学习/识别设备100。此外，输入设备212还可以用作用于输入学习对象数据或识别对象数据的单元。例如，当学习对象数据或识别对象数据是二维图像时，图像读取设备可以被应用为输入设备212。
学习对象数据或识别对象数据也可以被配置为经由通信单元204从存储设备214或另一个设备加载。例如，输出设备210包括诸如液晶显示设备的显示器。可以经由输出设备210执行对学习结果或识别结果的通知。
根据本示例实施例的学习/识别设备100的每个单元的功能可以通过实施作为诸如嵌入有程序的大规模集成电路(LSI)的硬件组件的电路组件，以类似硬件的方式来实现。替选地，功能也可以通过将提供功能的程序存储在存储设备214中，将程序加载到主存储单元202并且由CPU 200执行程序，以类似软件的方式来实现。
如上所述，根据本示例实施例，可以实现具有能够以更简单的算法执行学习并且实现高识别率的神经网络的学习/识别设备。
【第二示例实施例】
将参考图8和图9描述根据本发明的第二示例实施例的学习/识别设备。与根据第一示例实施例的学习/识别设备的组件相同的组件将用相同的参考进行标记，并且将省略或简化其描述。图8是示出根据本示例实施例的学习/识别设备的配置示例的示意图。图9是示出对学习对象数据和识别对象数据执行预处理的一个示例的图。
如图8所示，除了提取单元10还具有预处理单元12之外，根据本示例实施例的学习/识别设备与根据第一示例实施例的学习/识别设备100相同。预处理单元12是对输入到提取单元10的学习对象数据和识别对象数据执行预处理的功能块。
对学习对象数据和识别对象数据执行的预处理是用于提高对学习对象数据和识别对象数据的识别率的处理，并且对其细节没有特别限制。例如，这种预处理可以是规范化处理、池化处理或特征提取处理等。
图9是示出当学习对象数据或识别对象数据是包括手写字符的单色二维图像时的规范化处理和池化处理的示例的示意图。图9(a)示出了在执行预处理之前学习对象数据或识别对象数据的一个示例。图9(b)和图9(c)是对图9(a)的数据执行规范化处理的示例。如本文使用的规范化处理是将数据的字符部分扩展到整个数据区域的处理。图9(b)是在保持字符的纵横比(aspect)时以相同的比率在垂直和水平方向上放大字符部分的示例。图9(c)是忽略字符的纵横比并以不同的比率分别在垂直和水平方向上放大字符部分的示例。图9(d)、图9(e)和图9(f)是对图9(c)的数据执行池化处理的示例。如本文使用的池化处理是将由多个像素构成的块采样为一个像素的处理。图9(d)是将2×2像素的块转换为一个像素的示例。图9(e)是将4×4像素的块转换为一个像素的示例。图9(f)是将7×7像素的块转换为一个像素的示例。
在发明人使用的系统的研究结果中，当对60000个数据未执行预处理时(对应于图9(a))的识别率为89.4％，并且学习时间为383秒。另一方面，当保持字符的纵横比并执行规范化时(对应于图9(b))的识别率为95.1％，并且学习时间为495秒。此外，当忽略字符的纵横比并执行规范化(对应于图9(c))时的识别率为97.1％，并且学习时间为566秒。如上所述，当执行数据的规范化处理时，虽然学习时间趋于增加，但是识别率可以显著提高。
另一方面，当对2×2像素的块执行池化处理(对应于图9(d))时的识别率为96.5％，并且学习时间为135秒。当对4×4像素的块执行池化处理(对应于图9(e))时的识别率为85.4％，并且学习时间为21秒。此外，当对7×7像素的块执行池化处理(对应于图9(f))时的识别率为30.5％，并且学习时间为2秒。在池化处理中，虽然识别率根据其程度而显著降低，但是识别率的提高和学习时间的减少两者可以通过选择适当的程度来实现。
在预处理单元12中执行的处理可以不是像规范化处理或池化处理那样直接对学习对象数据和识别对象数据执行处理的处理。例如，受过训练的深度学习模型的特征提取单元可以用作预处理单元12。即，从受过训练的深度学习模型提取的特征量可以用作输入到神经网络单元20的元素值。
在预处理单元12中执行的处理不一定需要是单一类型，并且可以组合两个或多个处理。
如上所述，根据本示例实施例，可以实现具有能够以更简单的算法执行学习并且实现高识别率的神经网络的学习/识别设备。
【第三示例实施例】
将参考图10描述根据本发明的第三示例实施例的学习设备。与根据第一和第二示例实施例的学习/识别设备的组件相同的组件将用相同的参考进行标记，并且将省略或简化其描述。图10是示出根据本示例实施例的学习设备的配置示例的示意图。
如图10所示，根据本示例实施例的学习设备300具有神经网络单元20和学习单元40。
基于学习对象数据的多个元素值被输入到神经网络单元20。神经网络单元20具有多个学习元，每个学习元包括对多个元素值中的每个执行预定加权的多个输入节点以及对多个加权元素值求和并输出和的输出节点。
学习单元更新学习元26的多个输入节点的加权系数ω或根据学习元26的输出值向神经网络单元20添加新的学习元26。
利用这种配置，可以实现具有能够以更简单的算法执行学习并且实现高识别率的神经网络的学习设备。
【第四示例实施例】
将参考图11描述根据本发明的第四示例实施例的识别设备。与根据第一和第二示例实施例的学习/识别设备的组件相同的组件将用相同的参考进行标记，并且将省略或简化其描述。图11是示出根据本示例实施例的识别设备的配置示例的示意图。
如图11所示，根据本示例实施例的识别设备400具有神经网络单元20和识别单元50。
基于识别对象数据的多个元素值被输入到神经网络单元20。神经网络单元20具有每个学习元包括对多个元素值中的每个执行预定加权的多个输入节点以及对多个加权元素值求和并输出和的输出节点的多个学习元26。多个学习元26中的每个与指示训练信息的多个类别中的任何一个相关联。学习元26的多个输入节点被配置为使得多个元素值中的每个根据相应类别以预定权重被输入。
识别单元50基于神经网络单元20的输出来识别识别对象数据。识别单元50基于学习元26的输出值和与学习元相关联的类别来识别识别对象数据所属的类别。
利用这种配置，可以实现具有能够以更简单的算法执行学习并且实现高识别率的神经网络的识别设备。
【变型示例实施例】
本发明不限于上述示例实施例，并且各种变型是可能的。
例如，将示例实施例中的任一个的一部分配置添加到另一个示例实施例中的示例，或者将示例实施例中的任一个的一部分配置替换为另一个示例实施例的一部分的示例也是本发明的示例实施例之一。
此外，在上述示例实施例中，作为示例已经示出了包括黑色手写字符的单色二维图像作为学习对象数据和识别对象数据。然而，在上述配置中，例如，可能无法适当地识别在黑色背景上写入白色字符的图像数据。在这种情况下，可以为单一类型的类别提供多种类型的学习元26。例如，在上述示例中，可以设置通过对应于白色像素的元素值为0并且对应于黑色像素的元素值为1的定义而训练的学习元26，以及通过对应于白色像素的元素值为1并且对应于黑色像素的元素值为0的定义而训练的学习元26。利用这种配置，可以进一步提高识别率。
此外，在上述示例实施例中，尽管示出了将从学习对象数据提取的元素值仅输入到与关注的学习对象数据上的训练信息的类别相关联的学习元26的示例，但是提取的元素值可以被输入到所有学习元26。在这种情况下，当将初始值设置到学习元26的加权系数ω并且输入节点的加权系数ω被更新时，例如，与关于获取的学习对象数据的训练信息的类别相关联的学习元26可以是必要条件。
此外，在上述示例实施例中，尽管通过使用包括训练信息的学习对象数据训练神经网络单元20，但是学习对象数据不一定需要包括训练信息。例如，将从学习对象数据提取的多个元素值输入到所有学习元26，训练具有最大似然度P的学习元26，并且输入的学习对象数据和具有最大似然度P的学习元26彼此相关。因此，能够基于学习对象数据的特征来训练神经网络单元20并对学习对象数据进行分类。在以这种方式对学习训练数据进行分类之后，可以根据已分类的学习对象数据为学习元26附加标签。
此外，每个示例实施例的范围包括一种处理方法，该处理方法：在存储介质中存储使每个示例实施例的配置操作以便实施上述每个示例实施例的功能的程序；读取作为代码的存储在存储介质中的程序；并且在计算机中执行程序。即，每个示例实施例的范围还包括计算机可读存储介质。此外，每个示例实施例不仅包括存储上述程序的存储介质，还包括程序本身。
作为存储介质，例如，可以使用软盘(注册商标)、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡或ROM。此外，每个示例实施例的范围包括在OS上操作以与另一个软件或插件板的功能协作执行处理的示例，而不限于通过存储在存储介质中的单个程序执行处理的示例。
注意，上述每个示例实施例仅是在实施本发明中包含的实施例，并且本发明的技术范围不应由这些示例实施例以限制的方式解释。即，本发明可以以各种形式实施而不脱离其技术概念或主要特征。
以上公开的示例实施例的全部或部分可以被描述为但不限于以下附记。
(附记1)
一种学习设备，包括：
神经网络单元，基于学习对象数据的多个元素值被输入到该神经网络单元；以及
学习单元，该学习单元训练神经网络单元，
其中，神经网络单元具有多个学习元，每个学习元包括：多个输入节点，该多个输入节点对多个元素值中的每个执行预定加权；以及输出节点，该输出节点对多个加权元素值求和并输出所述和，并且
其中，根据每个学习元的输出值，学习单元更新每个学习元的多个输入节点的加权系数或者向神经网络单元添加新的学习元。
(附记2)
根据附记1的学习设备，其中，当多个元素值与每个学习元的输出值之间的相关值小于预定阈值时学习单元添加新的学习元。
(附记3)
根据附记2的学习设备，其中，学习单元将多个元素值中的每个设置为新的学习元的多个输入节点中的每个的加权系数的初始值。
(附记4)
根据附记1的学习设备，其中，当多个元素值与每个学习元中的输出值之间的相关值大于或等于预定阈值时学习单元更新学习元的多个输入节点的加权系数。
(附记5)
根据附记4的学习设备，其中，当存在每个学习元具有大于或等于阈值的相关值的多个学习元时，学习单元更新具有最大相关值的学习元的多个输入节点的加权系数。
(附记6)
根据附记4或附记5的学习设备，
其中，多个学习元中的每个与指示训练信息的多个类别中的任何一个相关联，以及
其中，学习单元更新与输入学习对象数据所属的类别相关联的学习元的加权系数。
(附记7)
根据附记4至附记6中的任何一个的学习设备，其中，学习单元基于从相应输入节点中的一个输入的每个元素值来更新学习元的多个输入节点中的每个的加权系数。
(附记8)
根据附记2至附记7的学习设备，其中，相关值是关于每个学习元的输出值的似然度。
(附记9)
根据附记8的学习设备，其中，似然度是当输入多个元素值时获得的每个学习元的输出值，与根据为多个输入节点中的每个设置的加权系数的每个学习元的输出的最大值之比率。
(附记10)
根据附记1至附记9中的任何一个的学习设备进一步包括：从执行预定预处理之后获得的学习对象数据中提取多个元素值的提取单元。
(附记11)
根据附记10的学习设备，其中，预处理是规范化处理、池化处理或特征提取处理。
(附记12)
根据附记1至附记11中的任何一个的学习设备进一步包括：存储单元，该存储单元是是用于构建包括多个学习元的神经网络单元并执行操作的工作区域；以及控制单元，该控制单元控制在神经网络单元中的操作处理，
其中，控制单元对于存储单元中构建的神经网络单元中的多个元素值，在多个学习元中并行地执行操作处理。
(附记13)
一种识别设备，包括：
神经网络单元，基于识别对象数据的多个元素值的神经网络单元被输入到该神经网络单元；以及
识别单元，该识别单元基于神经网络单元的输出来识别所述识别对象数据，
其中，神经网络单元具有多个学习元，每个学习元包括：多个输入节点，该多个输入节点对多个元素值中的每个执行预定加权；以及输出节点，该输出节点对多个加权元素值求和并输出和，
其中，多个学习元中的每个与指示训练信息的多个类别中的任何一个相关联，
其中，每个学习元的多个输入节点被配置为使得多个元素值中的每个根据相应类别以预定权重被输入，并且
其中，基于每个学习元的输出值和与每个学习元相关联的类别，识别单元识别所述识别对象数据所属的类别。
(附记14)
根据附记13的识别设备，其中，识别单元识别与具有多个元素值与每个学习元的输出值之间的最大相关值的学习元相关联的类别，作为识别对象数据所属的类别。
(附记15)
根据附记13的识别设备，其中，识别单元按照多个元素值和每个学习元的输出值之间的相关值的降序，从多个学习元当中提取预定数量的学习元，并且将与提取的学习元的最大数量相关联的类别识别为识别对象数据所属的类别。
(附记16)
根据附记13至附记15中的任何一个的识别设备进一步包括：通过使用多个元素值来更新学习元的多个输入节点中的每个的加权系数的学习单元。
(附记17)
一种学习设备的学习方法，学习设备包括具有多个学习元的神经网络单元，多个学习元中的每个学习元包括：多个输入节点，基于学习对象数据的多个元素值被输入到该多个输入节点；以及输出节点，该输出节点以多个元素值的各自预定权重对多个元素值求和并输出所述和，学习方法包括：
将基于学习对象数据的多个元素值输入到学习元的多个输入节点；以及
根据每个学习元的输出值，通过更新学习元的多个输入节点的加权系数或向神经网络单元添加新的学习元来训练神经网络单元。
(附记18)
一种使用识别设备的识别方法，识别设备包括具有多个学习元的神经网络单元，其中，每个学习元包括：多个输入节点，基于识别对象数据的多个元素值被输入到该多个输入节点；以及输出节点，该输出节点以多个元素值的预定权重对多个元素值求和并输出所述和，并且每个学习元与指示训练信息的多个类别中的任何一个相关联，识别方法包括：
基于识别对象数据将多个元素值输入到多个学习元的多个输入节点；以及
基于每个学习元的输出值和与每个学习元相关联的类别，识别所述识别对象数据所属的类别。
(附记19)
一种由基于学习对象数据执行学习的由学习设备执行的程序，程序使计算机用作：
神经网络单元，该神经网络单元具有多个学习元，每个学习元包括：多个输入节点，基于学习对象数据的多个元素值被输入该多个输入节点；以及输出节点，该输出节点对多个加权元素值求和并输出所述和；以及
单元，该单元根据每个学习元的输出值，更新每个学习元的多个输入节点的加权系数或向神经网络单元添加新的学习元。
(附记20)
一种由基于识别对象数据执行识别的识别设备执行的程序，程序使计算机用作：
神经网络单元，该神经网络单元具有多个学习元，其中，每个学习元包括：多个输入节点，基于识别对象数据的多个元素值被输入到该多个输入节点；以及输出节点，该输出节点对多个加权元素值求和并输出所述和，并且每个学习元与指示训练信息的多个类别中的任何一个相关联；以及
单元，该单元基于每个学习元的输出值和与每个学习元的相关联的类别，识别所述识别对象数据所属的类别。
(附记21)
一种存储有根据附记19或附记20所述的程序的计算机可读存储介质。
本申请基于并要求于2017年11月22日提交的日本专利申请第2017-224329号的优先权的权益，该申请的公开内容通过引用完全并入本文。
【参考标记列表】
10 提取单元
12 预处理单元
20 神经网络单元
22,24 元
26 学习元
30 确定单元
40 学习单元
42 权重校正单元
44 学习元生成单元
50 识别单元
60 输出单元
100 学习/识别设备
200 CPU
202 主存储单元
204 通信单元
206 输入/输出接口单元
208 系统总线
210 输出设备
212 输入设备
214 存储设备
300 学习设备
400 识别设备
Claims (21)
1.一种学习设备，包括：
神经网络单元，基于学习对象数据的多个元素值被输入到所述神经网络单元；以及
学习单元，所述学习单元训练所述神经网络单元，
其中，所述神经网络单元具有多个学习元，每个所述学习元包括：多个输入节点，所述多个输入节点对所述多个元素值中的每个元素值执行预定加权；以及输出节点，所述输出节点对所加权的所述多个元素值求和并输出所述和，以及
其中，根据每个所述学习元的输出值，所述学习单元更新每个所述学习元的所述多个输入节点的加权系数或者向所述神经网络单元添加新的学习元。
2.根据权利要求1所述的学习设备，其中，
当所述多个元素值与每个所述学习元的所述输出值之间的相关值小于预定阈值时，所述学习单元添加所述新的学习元。
3.根据权利要求2所述的学习设备，其中，
所述学习单元将所述多个元素值中的每个元素值设置为所述新的学习元的多个输入节点中的每个输入节点的加权系数的初始值。
4.根据权利要求1所述的学习设备，其中，
当所述多个元素值与每个所述学习元的输出值之间的相关值大于或等于预定阈值时，所述学习单元更新所述学习元的所述多个输入节点的所述加权系数。
5.根据权利要求4所述的学习设备，其中，
当存在均具有大于或等于所述阈值的所述相关值的多个所述学习元时，所述学习单元更新具有最大相关值的学习元的所述多个输入节点的所述加权系数。
6.根据权利要求4或权利要求5所述的学习设备，
其中，所述多个学习元中的每个学习元与指示训练信息的多个类别中的任意一个类别相关联，以及
其中，所述学习单元更新与被输入的所述学习对象数据所属的类别相关联的所述学习元的所述加权系数。
7.根据权利要求4至权利要求6中的任意一项所述的学习设备，其中，
所述学习单元基于从所述输入节点中的相应的一个输入节点输入的所述元素值中的每个元素值，更新所述学习元的所述多个输入节点中的每个输入节点的所述加权系数。
8.根据权利要求2至权利要求7中的任意一项所述的学习设备，其中，
所述相关值是关于每个所述学习元的所述输出值的似然度。
9.根据权利要求8所述的学习设备，其中，
所述似然度是当输入所述多个元素值时所获得的每个所述学习元的所述输出值与根据对于所述多个输入节点中的每个输入节点所设置的加权系数的每个所述学习元的输出的最大值之比率。
10.根据权利要求1至权利要求9中的任意一项所述的学习设备，进一步包括：
提取单元，所述提取单元从执行预定的预处理之后获得的所述学习对象数据来提取所述多个元素值。
11.根据权利要求10所述的学习设备，其中，
所述预处理是规范化处理、池化处理或特征提取处理。
12.根据权利要求1至权利要求11中的任意一项所述的学习设备，进一步包括：
存储单元，所述存储单元是被用于构建包括所述多个学习元的所述神经网络单元并执行操作的工作区域；以及
控制单元，所述控制单元控制在所述神经网络单元中的操作处理，
其中，所述控制单元对于在所述存储单元中构建的所述神经网络单元中的所述多个元素值，在所述多个学习元中并行地执行操作处理。
13.一种识别设备，包括：
神经网络单元，基于识别对象数据的多个元素值被输入到所述神经网络单元；以及
识别单元，所述识别单元基于所述神经网络单元的输出来识别所述识别对象数据，
其中，所述神经网络单元具有多个学习元，每个所述学习元包括：多个输入节点，所述多个输入节点对所述多个元素值中的每个元素值执行预定加权；以及输出节点，所述输出节点对所加权的所述多个元素值求和并输出所述和，
其中，所述多个学习元中的每个学习元与指示训练信息的多个类别中的任意一个类别相关联，
其中，每个所述学习元的所述多个输入节点被配置为，使得根据对应的类别以预定权重来输入所述多个元素值中的每个元素值，以及
其中，基于每个所述学习元的输出值和与每个所述学习元相关联的类别，所述识别单元识别所述识别对象数据所属的类别。
14.根据权利要求13所述的识别设备，其中，
所述识别单元将与具有所述多个元素值和每个所述学习元的输出值之间的最大相关值的学习元相关联的类别，识别作为所述识别对象数据所属的类别。
15.根据权利要求13所述的识别设备，其中，
所述识别单元按照所述多个元素值和每个所述学习元的输出值之间的相关值的降序，从所述多个学习元当中提取预定数量的所述学习元，并且将与所提取的所述学习元的最大数量相关联的类别识别为所述识别对象数据所属的类别。
16.根据权利要求13至权利要求15中的任意一项所述的识别设备，进一步包括：
通过使用所述多个元素值来更新所述学习元的所述多个输入节点中的每个输入节点的加权系数的学习单元。
17.一种学习设备的学习方法，所述学习设备包括：
神经网络单元，所述神经网络单元具有多个学习元，每个所述学习元包括：多个输入节点，基于学习对象数据的多个元素值被输入到所述多个输入节点；以及输出节点，所述输出节点以对于所述多个元素值的各自预定权重对所述多个元素值求和并输出所述和，
所述学习方法包括：
将基于学习对象数据的多个元素值输入到所述学习元的所述多个输入节点；以及
根据每个所述学习元的输出值，通过更新所述学习元的所述多个输入节点的加权系数或向所述神经网络单元添加新的学习元，来训练所述神经网络单元。
18.一种识别方法，所述识别方法使用包括具有多个学习元的神经网络单元的识别设备，其中，
每个所述学习元包括：多个输入节点，基于识别对象数据的多个元素值被输入到所述多个输入节点；以及输出节点，所述输出节点以对于所述多个元素值的预定权重对所述多个元素值求和并输出所述和，并且
每个所述学习元与指示训练信息的多个类别中的任意一个类别相关联，
所述识别方法包括：
将基于识别对象数据的多个元素值输入到所述多个学习元的所述多个输入节点；以及
基于每个所述学习元的输出值和与每个所述学习元相关联的类别，识别所述识别对象数据所属的类别。
19.一种由基于学习对象数据执行学习的学习设备执行的程序，所述程序使计算机用作：
神经网络单元，所述神经网络单元具有多个学习元，每个所述学习元包括：多个输入节点，基于学习对象数据的多个元素值被输入到所述多个输入节点；以及输出节点，所述输出节点对所加权的所述多个元素值求和并输出所述和；以及
下述单元，该单元根据每个所述学习元的输出值，更新每个所述学习元的所述多个输入节点的加权系数或向所述神经网络单元添加新的学习元。
20.一种由基于识别对象数据执行识别的识别设备执行的程序，所述程序使计算机用作：
神经网络单元，所述神经网络单元具有多个学习元，每个所述学习元包括：多个输入节点，基于识别对象数据的多个元素值被输入到所述多个输入节点；以及输出节点，所述输出节点对所述多个加权元素值求和并输出所述和，并且每个所述学习元与指示训练信息的多个类别中的任意一个类别相关联；以及
下述单元，该单元基于每个所述学习元的输出值和与每个所述学习元相关联的类别，识别所述识别对象数据所属的类别。
21.一种计算机可读存储介质，其存储有根据权利要求19或权利要求20所述的程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-224329 | 2017-11-22 | ||
| JP2017224329 | 2017-11-22 | ||
| PCT/JP2018/042781 WO2019102984A1 (ja) | 2017-11-22 | 2018-11-20 | 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111373418A true CN111373418A (zh) | 2020-07-03 |
Family
ID=66631047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880074223.9A Pending CN111373418A (zh) | 2017-11-22 | 2018-11-20 | 学习设备和学习方法、识别设备和识别方法、程序和记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11599791B2 (zh) |
| JP (1) | JP6908302B2 (zh) |
| CN (1) | CN111373418A (zh) |
| WO (1) | WO2019102984A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6908302B2 (ja) * | 2017-11-22 | 2021-07-21 | Ｎｅｃソリューションイノベータ株式会社 | 学習装置、識別装置及びプログラム |
| US11244477B1 (en) * | 2018-08-21 | 2022-02-08 | Perceive Corporation | Compressive sensing based image processing |
| US11922314B1 (en) * | 2018-11-30 | 2024-03-05 | Ansys, Inc. | Systems and methods for building dynamic reduced order physical models |
| KR20200072307A (ko) * | 2018-12-12 | 2020-06-22 | 삼성전자주식회사 | 뉴럴 네트워크에서의 부하 균형을 위한 장치 및 방법 |
| JP6787444B1 (ja) * | 2019-05-23 | 2020-11-18 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム |
| US11610134B2 (en) * | 2019-07-08 | 2023-03-21 | Vianai Systems, Inc. | Techniques for defining and executing program code specifying neural network architectures |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991263A (ja) | 1995-09-20 | 1997-04-04 | Hitachi Medical Corp | ニューラルネットワーク構造最適化装置ならびに方法 |
| JPH09259101A (ja) * | 1996-03-22 | 1997-10-03 | Nec Corp | カテゴリ分類方法 |
| JP2001051968A (ja) | 1999-08-05 | 2001-02-23 | Fuji Xerox Co Ltd | ニューラルネットワーク構築方法及びニューラルネットワーク処理装置 |
| JP2002251601A (ja) | 2001-02-22 | 2002-09-06 | Fuji Xerox Co Ltd | ニューラルネットワーク処理装置 |
| JP2003317073A (ja) | 2002-04-24 | 2003-11-07 | Fuji Xerox Co Ltd | ニューラルネットワーク処理装置 |
| US8301356B2 (en) * | 2008-10-06 | 2012-10-30 | GM Global Technology Operations LLC | Engine out NOx virtual sensor using cylinder pressure sensor |
| US9495619B2 (en) | 2014-12-30 | 2016-11-15 | Facebook, Inc. | Systems and methods for image object recognition based on location information and object categories |
| JP2017194782A (ja) * | 2016-04-19 | 2017-10-26 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| WO2018023356A1 (en) * | 2016-08-01 | 2018-02-08 | Microsoft Technology Licensing, Llc | Machine translation method and apparatus |
| US10949736B2 (en) * | 2016-11-03 | 2021-03-16 | Intel Corporation | Flexible neural network accelerator and methods therefor |
| JP7005191B2 (ja) * | 2017-06-30 | 2022-01-21 | キヤノンメディカルシステムズ株式会社 | 画像処理装置、医用画像診断装置、及びプログラム |
| DE102017219365B4 (de) * | 2017-10-27 | 2023-03-30 | Zf Friedrichshafen Ag | Vorrichtung und Verfahren zur adaptiven Fahrzeugregelung |
| JP6908302B2 (ja) * | 2017-11-22 | 2021-07-21 | Ｎｅｃソリューションイノベータ株式会社 | 学習装置、識別装置及びプログラム |
| US20210125039A1 (en) * | 2018-06-11 | 2021-04-29 | Nec Solution Innovators, Ltd. | Action learning device, action learning method, action learning system, program, and storage medium |
-
2018
- 2018-11-20 JP JP2019555305A patent/JP6908302B2/ja active Active
- 2018-11-20 CN CN201880074223.9A patent/CN111373418A/zh active Pending
- 2018-11-20 WO PCT/JP2018/042781 patent/WO2019102984A1/ja active Application Filing
- 2018-11-20 US US16/648,807 patent/US11599791B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6908302B2 (ja) | 2021-07-21 |
| US11599791B2 (en) | 2023-03-07 |
| WO2019102984A1 (ja) | 2019-05-31 |
| JPWO2019102984A1 (ja) | 2020-07-09 |
| US20200285957A1 (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111373418A (zh) | 学习设备和学习方法、识别设备和识别方法、程序和记录介质 | |
| CN108764195B (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
| CN109948149B (zh) | 一种文本分类方法及装置 | |
| US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
| CN110969020A (zh) | 基于cnn和注意力机制的中文命名实体识别方法、系统及介质 | |
| JP2007128195A (ja) | 画像処理システム | |
| CN110222330B (zh) | 语义识别方法及装置、存储介质、计算机设备 | |
| US11449734B2 (en) | Neural network reduction device, neural network reduction method, and storage medium | |
| CN110738102A (zh) | 一种人脸识别方法及系统 | |
| JP2010157118A (ja) | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム | |
| CN110188449B (zh) | 基于属性可解释的服装信息推荐方法、系统、介质及设备 | |
| CN112488923A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN113642400A (zh) | 基于2s-agcn的图卷积动作识别方法、装置及设备 | |
| CN111428645A (zh) | 人体关键点的检测方法、装置、电子设备及存储介质 | |
| CN111488732A (zh) | 一种变形关键词检测方法、系统及相关设备 | |
| CN113435531B (zh) | 零样本图像分类方法、系统、电子设备及存储介质 | |
| CN114299304A (zh) | 一种图像处理方法及相关设备 | |
| CN111738226B (zh) | 一种基于cnn和rcnn模型的文本识别方法及装置 | |
| CN115148292A (zh) | 基于人工智能的dna模体预测方法、装置、设备及介质 | |
| CN114970732A (zh) | 分类模型的后验校准方法、装置、计算机设备及介质 | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
| CN116266394A (zh) | 多模态的情绪识别方法、设备及存储介质 | |
| WO2021059527A1 (ja) | 学習装置、学習方法、及び、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200703 |
|
| WD01 | Invention patent application deemed withdrawn after publication |