CN110097183A - 信息处理方法以及信息处理系统 - Google Patents

信息处理方法以及信息处理系统 Download PDF

Info

Publication number
CN110097183A
CN110097183A CN201910062261.9A CN201910062261A CN110097183A CN 110097183 A CN110097183 A CN 110097183A CN 201910062261 A CN201910062261 A CN 201910062261A CN 110097183 A CN110097183 A CN 110097183A
Authority
CN
China
Prior art keywords
learning model
data
lightweight
information processing
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910062261.9A
Other languages
English (en)
Other versions
CN110097183B (zh
Inventor
中田洋平
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018177762A external-priority patent/JP7107797B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110097183A publication Critical patent/CN110097183A/zh
Application granted granted Critical
Publication of CN110097183B publication Critical patent/CN110097183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种能够抑制因轻量化造成的学习模型的性能降低的信息处理方法以及信息处理系统。在信息处理方法中利用计算机，获得解回归问题的神经网络型的学习模型，获得输入数据以及针对所述输入数据的正确解答数据，进行所述学习模型的网络的轻量化，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。

Description

信息处理方法以及信息处理系统
技术领域
本申请涉及信息处理方法以及信息处理系统。
背景技术
近些年，不断地对深度学习(deep learning)方式的神经网络进行研究开发。然而，在深度学习方式的神经网络中，由于学习处理的运算量庞大，因此需要大规模的计算资源和非常长的运算时间。因此，需要抑制运算量。
例如，在专利文献1中公开的运算方法是，在多层神经网络的某个层中，进行标量量化，在下一个层，进行被标量量化的向量与权重矩阵的相乘。据此，在专利文献1，能够减少多层神经网络中的运算量。
(现有技术文献)
(专利文献)
专利文献1 国际公开第2017/149722号
然而，在专利文献1公开的以往技术中，由于学习模型的轻量化，会有学习模型的性能降低的可能性。例如，在解回归问题的神经网络型的学习模型中，由于学习模型的轻量化，而输出的分辨率变得粗糙，从而会导致学习模型的输出的正确性降低。
发明内容
于是，本申请提供一种能够抑制因轻量化造成的学习模型的性能降低的信息处理方法、以及信息处理系统。
为了达成上述目的，本申请的一个形态所涉及的信息处理方法利用计算机，获得解回归问题的神经网络型的学习模型，获得输入数据以及针对所述输入数据的正确解答数据，进行所述学习模型的网络的轻量化，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。
另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过对系统、方法、集成电路、计算机程序以及记录介质进行任意的组合来实现。
通过本申请的信息处理方法等，能够抑制因轻量化造成的学习模型的性能降低。
附图说明
图1是举例示出实施方式所涉及的信息处理系统的方框图。
图2是举例示出由实施方式所涉及的信息处理系统进行的网络的变更的模式图。
图3是举例示出实施方式所涉及的信息处理系统的工作的流程图。
符号说明
1 信息处理系统
20 学习部(第一获得部)
30 轻量化部
40 网络解析部(第二获得部)
50 变更部
具体实施方式
本申请的一个形态所涉及的信息处理方法利用计算机，获得解回归问题的神经网络型的学习模型，获得输入数据以及针对所述输入数据的正确解答数据，进行所述学习模型的网络的轻量化，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。
据此，能够通过变更学习模型的节点数，来抑制因轻量化造成的影响，即能够抑制分辨率的降低的影响。例如，通过增加向回归问题分配的节点数，从而能够提高学习模型的输出的分辨率。因此，能够抑制因轻量化带来的学习模型的性能降低。
并且，本申请的一个形态所涉及的信息处理系统具备：第一获得部，获得解回归问题的神经网络型的学习模型；第二获得部，获得输入数据以及针对所述输入数据的正确解答数据；轻量化部，对所述学习模型的网络进行轻量化；以及变更部，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。
并且，本申请的一个形态所涉及的信息处理方法利用计算机，为了对物体进行检测，而获得解回归问题的神经网络型的学习模型，获得输入图像数据以及针对所述输入图像数据的正确解答数据，进行所述学习模型的网络的轻量化，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入图像数据输入到所述轻量化后的学习模型而得到的。
即使在这些信息处理系统以及信息处理方法中，也能够实现与上述相同的作用效果。
并且，在本申请的一个形态所涉及的信息处理方法中，所述节点数的变更包括，以满足所述轻量化后的学习模型所要求的所述性能的条件的方式来对所述节点数进行的变更。
据此，能够按照学习模型的性能，来控制是否对节点数进行变更。
并且，在本申请的一个形态所涉及的信息处理方法中，进一步判断示出所述性能的信息是否满足所述性能的条件，在示出所述性能的信息不满足所述性能的条件的情况下，所述节点数的变更包括节点的添加。
据此，通过使分配给回归问题的节点数增加，从而能够提高针对该回归问题的学习模型的输出的分辨率。
并且，在本申请的一个形态所涉及的信息处理方法中，所述节点数的变更包括，在所述轻量化后的学习模型满足计算上的限制的条件的范围内对所述节点数进行的变更。
据此，能够生成满足利用轻量化后的学习模型的计算机的硬件需求的分割后的学习模型。例如，只要在满足处理速度、运算量、以及存储容量这种计算上的限制的条件的情况下，轻量化后的学习模型的节点数则可以增加。
并且，在本申请的一个形态所涉及的信息处理方法中，示出所述性能的信息包括，与所述输出数据和所述正确解答数据的差分对应的信息。
据此，能够根据针对学习模型的输出的正确度的评价指标，来控制是否对节点数进行变更。
并且，在本申请的一个形态所涉及的信息处理方法中，所述轻量化包括按照计算精度从浮点(floating point)向定点(fixed-point)的变更，而对所述学习模型的权重进行的变更。
据此，能够生成即使像嵌入式系统这种浮点处理困难的硬件也能够利用的学习模型。
并且，在本申请的一个形态所涉及的信息处理方法中，所述节点数的变更包括所述学习模型的输出层的节点数的增加。
据此，由于在神经网络中，输出层的节点与其他的层的节点相比，会给学习模型的输出带来影响，因此，针对学习模型的性能，能够有效地变更节点数。
并且，在本申请的一个形态所涉及的信息处理方法中，所述输出层的节点数的增加包括节点分配的变更。
据此，可以不必改变节点数，就能够使输出层的节点数增加。因此，能够抑制计算资源的增大。
并且，在本申请的一个形态所涉及的信息处理方法中，所述正确解答数据的变更包括，按照基于示出所述性能的信息而决定的所述回归问题的分割形态的变更。
据此，能够生成适合于变更了节点数的学习模型的正确解答数据。因此，能够恰当地进行变更了节点数的学习模型的学习处理。
以下，参照附图对实施方式进行具体说明。另外，以下将要说明的实施方式均为示出本申请的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等为一个例子，其主旨并非是对本申请进行限定。并且，对于以下的实施方式的构成要素之中示出最上位概念的独立技术方案中所没有记载的构成要素作为任意的构成要素来说明。
另外，各个图为模式图，并非严谨的图示。并且，在各个图中，对于实质上相同的构成赋予相同的符号，并省略或简化重复的说明。
以下，对本申请的实施方式所涉及的信息处理方法、以及信息处理系统进行说明。
(实施方式)
[构成]
图1是举例示出实施方式所涉及的信息处理系统1的方框图。
如图1所示，信息处理系统1是生成学习模型的系统。例如，学习模型是对映入到图像的物体进行检测的物体检测模型。物体检测模型进行检测对象物的类别的估计(也称为标记)、检测对象物的大小以及位置的估计的范围的估计等。检测对象物的类别是指检测对象物的种类等，例如，狗、马、人等。
信息处理系统1具备：学习部20、轻量化部30、网络解析部40、变更部50、第一存储部11、第二存储部12、第三存储部13、以及第四存储部14。
学习部20从第一存储部11获得网络结构数据，针对具有由该网络结构数据、以及从第二存储部12获得的学习用输入数据和学习用正确解答数据示出的网络结构的神经网络型的学习模型，进行学习处理。具体而言，学习部20从第二存储部12获得学习用输入数据(换而言之，学习用数据)以及学习用正确解答数据，利用通过将学习用输入数据输入到学习模型而得到的输出数据与学习用正确解答数据的差分，来更新学习模型的参数即节点的权重。当参数的更新结束时，学习部20输出学习后的学习模型(以下也称作已学习模型)。已学习模型的参数例如是神经网络的权重向量、偏置值以及批标准化的比例缩放值。学习部20是第一获得部的一个例子。
进一步，学习部20利用从后述的变更部50获得的变更后的网络结构数据和分割后的正确解答数据、以及从第二存储部12获得的学习用输入数据，执行学习模型的再学习。学习部20将通过再学习而得到的已学习模型存放到第三存储部13。
轻量化部30从学习部20获得已学习模型，进行已学习模型的轻量化。轻量化是指，已学习模型的参数的量化。例如，参数的量化是指，为了减少数据量，而将以浮点(floatingpoint)表示的参数转换为以定点(fixed-point)表示的参数。轻量化部30输出轻量化后的学习模型(以下称为，已轻量化模型)。
网络解析部40从轻量化部30获得已轻量化模型，并且从第二存储部12获得评价用输入数据以及评价用正确解答数据，对已轻量化模型的性能进行解析。具体而言，网络解析部40算出通过将评价用输入数据输入到已轻量化模型而得到的输出数据、与评价用正确解答数据的差值，并根据该差值对性能进行解析。网络解析部40输出解析信息，该解析信息是示出已轻量化模型的性能的解析结果。在此，差值是与差分对应的信息的一个例子。差值的大小意味着已轻量化模型的性能。即，差值越小，则已轻量化模型的性能越佳。另外，已轻量化模型的性能包括已轻量化模型的、作为正确性的程度的正確度。另外，该性能可以是精确率(Precision)、召回率(Recall)、mAP(mean Average Precision：平均精度均值)、AUC(Area Under the Curve：ROC曲线下方的面积大小)等。并且，在学习模型为将图像作为输入的物体检测模型的情况下，输入数据为图像信息，输出数据为物体检测结果。网络解析部40是第二获得部的一个例子。
变更部50从网络解析部40获得解析信息，并按照解析信息，对分配给回归问题的学习模型的节点数进行变更。学习模型的节点数的变更是指，针对回归问题所分配的节点数的增加或减少。具体而言，变更部50对输出层的节点数进行变更。例如，输出层的节点数的变更包括，网络内的节点分配的变更、或向网络的节点的添加。
变更部50按照解析信息，判断是否对学习模型的节点数进行变更。例如，变更部50判断已轻量化模型的性能是否满足规定的性能条件。例如，判断已轻量化模型的输出数据的正确度是否小于阈值。在正确度小于阈值的情况下，性能不能满足规定条件。
在判断为满足规定的性能条件的情况下，变更部50决定回归问题的分割形态，并按照回归问题的分割形态来变更节点数。
利用图2来举例说明。图2是举例示出由实施方式所涉及的信息处理系统1进行的网络的变更的模式图。变更部50在判断为已轻量化模型的输出数据的正确度小于阈值时，以使该正确度提高的方式来决定回归问题的分割数。变更部50按照决定的分割数来决定添加节点数。例如，变更部50在将回归问题的分割数决定为n时，针对输出层的各节点添加n-1个节点。
例如，变更部50在输出层的各节点分别被决定了4位(bit)的精度(表现)的情况下，在求8位的精度(表示)的输出数据时，针对输出层的各节点添加一个节点。例如，原来的节点对应于8位之中的上位的4位，添加节点对应于下位的4位。于是，变更部50将节点数变更后的学习模型的网络结构数据输出到学习部20。
另外，变更部50基于限制条件来变更节点数。如图1所示，变更部50从第四存储部14获得变更时限制数据。变更时限制数据示出，在搭载了已轻量化模型的计算机，需要已轻量化模型承担的计算上的限制的条件。计算上的限制的条件是，处理速度、运算量、以及存储容量这种处理器以及存储器等硬件的使用条件。变更部50在已轻量化模型满足计算上的限制的条件的范围内，对学习模型的节点数进行变更。变更后的节点数按照所希望的性能而被决定下限，并且按照计算上的限制的条件而被决定上限。
并且，变更部50从第二存储部12获得正确解答数据，通过按照回归问题的分割形态来变更正确解答数据，从而生成分割后的正确解答数据。例如，变更部50在回归问题的分割数被决定为n、且针对输出层的各节点分别添加n-1个节点的情况下，将变更后的正确解答数据的精度表现设为n倍。变更部50例如通过将正确解答数据分割为n个数据，从而将正确解答数据的精度表现设为n倍。变更部50将分割后的正确解答数据输出到学习部20。
例如，将浮点32位型的正确解答数据作为k个回归问题的分割形态来处理、并且各节点以及权重的精度表示被决定为4位的情况下，将浮点32位型的正确解答数据转换为k×4位的精度表示，作为k个正确解答数据来分割。
第一存储部11存放解回归问题的神经网络型的学习模型的网络结构数据。另外，也可以存放变更后的网络结构数据。
第二存储部12存放用于学习模型的学习处理或性能评价的输入数据以及正确解答数据。
另外，输入数据包括评价用输入数据和学习用输入数据，正确解答数据包括评价用正确解答数据和学习用正确解答数据。
第三存储部13存放包括通过问题转换后的再学习而得到的已学习模型的已学习模型。
第四存储部14存放转换时限制数据。
[工作]
接着，对本实施方式中的信息处理系统1的工作进行说明。
图3是举例示出实施方式所涉及的信息处理系统1的工作的流程图。
如图3所示，首先，学习部20针对具有从第一存储部11获得的网络结构数据所示的网络结构的神经网络型的学习模型，执行学习处理(S11)。学习部20将已学习模型输出到轻量化部30。
接着，轻量化部30从学习部20获得已学习模型，进行该已学习模型的轻量化(S12)。并且，轻量化部30将这种已轻量化模型输出到网络解析部40。
接着，网络解析部40从轻量化部30获得已轻量化模型，且从第二存储部12获得评价用输入数据以及评价用正确解答数据。网络解析部40算出通过将评价用输入数据输入到已轻量化模型而得到的输出数据与评价用正确解答数据的差值(S13)。网络解析部40根据该差值对性能进行解析。网络解析部40输出解析信息，该解析信息是示出已轻量化模型的性能的解析结果。
关于差值的算出将举一个例子来说明。网络解析部40将图像信息(输入数据的一个例子)输入到已轻量化模型。在已轻量化模型，被映入到图像的检测对象物的范围(即位置以及大小)通过解回归问题而被估计。于是，网络解析部40得到已轻量化模型的估计结果(换而言之，物体检测结果)，即得到输出数据。网络解析部40分别算出通过已轻量化模型进行的物体检测结果中的检测对象物的范围、与评价用正确解答数据的检测对象物的范围的差值。并且，网络解析部40将算出的差值输出到变更部50。
接着，变更部50按照解析信息判断是否对学习模型的节点数进行变更，即判断差值是否满足规定条件(S14)。对差值是否满足规定条件的判断例如是，已轻量化模型的输出数据的正确度是否小于阈值的判断。
接着，在差值满足规定条件的情况下(S14的“是”)，变更部50按照从网络解析部40获得的解析信息，来决定回归问题的分割形态(S15)，并按照回归问题的分割形态，来变更学习模型的节点数(S16)。具体而言，变更部50在判断为已轻量化模型的输出数据的正确度小于阈值的情况下，以使该正确度提高的方式来决定回归问题的分割数。变更部50对分配给一个回归问题的输出层的节点数进行变更。
若举一个例子来说明则是，在不对分配给回归问题的学习模型的节点数进行变更的情况下，即针对一个回归问题分配的节点为一个的情况下，已学习模型以4位被轻量化为解回归问题的模型时，分辨率成为100/24＝6.25，作为输入数据的真值设为67，则已轻量化模型的估计值为68.75。另外，4位仅为一个例子，并非受此所限，可以取决于设备所具有的功能。但是，在将针对一个回归问题分配的节点增加为2个的情况下，已学习模型以4位被轻量化为解回归问题的模型时，分辨率成为100/28＝0.390625，作为输入数据的真值被设为67，则已轻量化模式的估计值为67.1875。这样，通过针对一个解回归问题增加节点，从而能够实现输出数据的高阶度化。
并且，若对节点数的变更进行说明，变更部50从第四存储部14获得变更时限制数据，在搭载了已轻量化模型的计算机，在满足需要已轻量化模型承担的计算上的限制的条件的范围内，来变更针对一个回归问题分配的节点数。即，变更部50通过处理速度、运算量、以及存储容量这些处理器以及存储器等硬件的使用条件，来决定针对一个回归问题分配的节点数。并且，变更部50将变更后的学习模型的网络结构数据输出到学习部20。
另外，在差值不满足规定条件的情况下(S14的“否”)，则结束处理。
接着，变更部50从第二存储部12获得正确解答数据，通过按照回归问题的分割形态来变更正确解答数据，从而生成分割后的正确解答数据(S17)。变更部50将分割后的正确解答数据输出到学习部20。
接着，学习部20利用变更后的学习模型的网络结构数据以及分割后的正确解答数据、和从第二存储部12获得的学习用输入数据，来执行学习模型的学习处理(S18)。
学习部20将包括通过問題分割后的学习而得到的已学习模型的已学习模型存放到第三存储部13。
[效果等]
这样，在该信息处理系统1，通过变更学习模型的节点数以及正确解答数据，从而能够抑制因轻量化而造成的影响，即能够抑制分辨率的降低。信息处理系统1例如通过使分配到回归问题的节点数增加，从而能够提高学习模型的输出的分辨率。因此，能够抑制因轻量化造成的学习模型的性能降低。
(其他的实施方式)
以上基于实施方式对本申请的一个或多个形态所涉及的信息处理方法、以及信息处理系统进行了说明，但是，本申请并非受该实施方式所限。
例如，上述的实施方式所涉及的信息处理方法、以及信息处理系统中包括的各处理部，可以作为典型的集成电路的LSI来实现。这些可以被单独的制成一个芯片，也可以将其中的一部分或全部制成一个芯片。
并且，集成电路化并非受LSI所限，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后，可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够对LSI内部的电路单元的连接或设定进行再构成的可重装处理器。
另外，在上述的各实施方式中，各构成要素也可以由专用的硬件来构成，或者可以通过执行适于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部，读出被记录在硬盘或半导体存储器等记录介质的软件程序并执行来实现。
并且，以上所采用的数字均是为了对本申请进行具体说明的例子，本实施方式并非受这些例子中的数字所限。
并且，方框图中的功能块的划分均为一个例子，可以将多个功能块作为一个功能块来实现，也可以将一个功能块划分为多个功能块、还可以将一部分功能转移到其他的功能块中。并且，可以将具有类似的功能的多个功能块的功能，由单一的硬件或软件并行或分时处理。
并且，流程图中的各个步骤的执行顺序是为了对本申请进行具体说明而列举的例子，也可以是上述以外的顺序。并且，上述的步骤的一部分可以与其他的步骤同时(并行)执行。
关于以上的一个或多个形态所涉及的信息处理方法、以及信息处理系统，虽然基于实施方式进行了说明，但是本申请的实施方式并非受这些形态所限。在不脱离本申请的主旨的范围内，将本领域技术人员所能够想到的各种变形执行于本实施方式而得到的形态、或对不同的实施方式中的构成要素进行组合而构成的形态均包含在一个或多个形态的范围内。
本申请能够适用于具有计算上的限制的嵌入式设备。

Claims (11)

1.一种信息处理方法，利用计算机，
获得解回归问题的神经网络型的学习模型，
获得输入数据以及针对所述输入数据的正确解答数据，
进行所述学习模型的网络的轻量化，
按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。
2.如权利要求1所述的信息处理方法，
所述节点数的变更包括，以满足所述轻量化后的学习模型所要求的所述性能的条件的方式来对所述节点数进行的变更。
3.如权利要求2所述的信息处理方法，
进一步，判断示出所述性能的信息是否满足所述性能的条件，
在示出所述性能的信息不满足所述性能的条件的情况下，所述节点数的变更包括节点的添加。
4.如权利要求1至3的任一项所述的信息处理方法，
所述节点数的变更包括，在所述轻量化后的学习模型满足计算上的限制的条件的范围内对所述节点数进行的变更。
5.如权利要求1至3的任一项所述的信息处理方法，
示出所述性能的信息包括，与所述输出数据和所述正确解答数据的差分对应的信息。
6.如权利要求1至3的任一项所述的信息处理方法，
所述轻量化包括，按照计算精度从浮点向定点的变更，来对所述学习模型的权重进行的变更。
7.如权利要求1至3的任一项所述的信息处理方法，
所述节点数的变更包括所述学习模型的输出层的节点数的增加。
8.如权利要求7所述的信息处理方法，
所述输出层的节点数的增加包括节点分配的变更。
9.如权利要求1至3的任一项所述的信息处理方法，
所述正确解答数据的变更包括，按照基于示出所述性能的信息而决定的所述回归问题的分割形态的变更。
10.一种信息处理系统，具备：
第一获得部，获得解回归问题的神经网络型的学习模型；
第二获得部，获得输入数据以及针对所述输入数据的正确解答数据；
轻量化部，对所述学习模型的网络进行轻量化；以及
变更部，按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入数据输入到所述轻量化后的学习模型而得到的。
11.一种信息处理方法，利用计算机，
为了对物体进行检测，而获得解回归问题的神经网络型的学习模型，
获得输入图像数据以及针对所述输入图像数据的正确解答数据，
进行所述学习模型的网络的轻量化，
按照示出利用输出数据以及所述正确解答数据而算出的轻量化后的学习模型的性能的信息，来变更分配给所述回归问题的所述学习模型的节点数以及所述正确解答数据，所述输出数据是通过将所述输入图像数据输入到所述轻量化后的学习模型而得到的。
CN201910062261.9A 2018-01-29 2019-01-23 信息处理方法以及信息处理系统 Active CN110097183B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862623139P 2018-01-29 2018-01-29
US62/623139 2018-01-29
JP2018177762A JP7107797B2 (ja) 2018-01-29 2018-09-21 情報処理方法及び情報処理システム
JP2018-177762 2018-09-21

Publications (2)

Publication Number Publication Date
CN110097183A true CN110097183A (zh) 2019-08-06
CN110097183B CN110097183B (zh) 2024-03-01

Family

ID=65199327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910062261.9A Active CN110097183B (zh) 2018-01-29 2019-01-23 信息处理方法以及信息处理系统

Country Status (3)

Country Link
US (1) US11100321B2 (zh)
EP (1) EP3518153A1 (zh)
CN (1) CN110097183B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003657A1 (en) * 2020-06-30 2022-01-06 Samsung Electronics Co., Ltd. A method and system for processing data efficiently in a model inference phase in a communication device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238560A (ja) * 1989-03-13 1990-09-20 Sharp Corp 自己拡張形ニユーラル・ネットワーク
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US20040059695A1 (en) * 2002-09-20 2004-03-25 Weimin Xiao Neural network and method of training
WO2015118686A1 (ja) * 2014-02-10 2015-08-13 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法
US20150242709A1 (en) * 2014-02-21 2015-08-27 Kabushiki Kaisha Toshiba Learning apparatus, density measuring apparatus, learning method, computer program product, and density measuring system
CN106663038A (zh) * 2014-06-30 2017-05-10 亚马逊科技公司 用于机器学习的特征处理配方
CN106815782A (zh) * 2017-01-23 2017-06-09 重庆汇集源科技有限公司 一种基于神经网络统计学模型的房地产估值方法及系统
CN106951611A (zh) * 2017-03-07 2017-07-14 哈尔滨工业大学 一种基于使用者行为的严寒地区建筑节能设计优化方法
CN107025598A (zh) * 2017-04-06 2017-08-08 中国矿业大学 一种基于极限学习机的个人信用风险评估方法
CN107154258A (zh) * 2017-04-10 2017-09-12 哈尔滨工程大学 基于负相关增量学习的声纹识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
EP3192015A1 (en) * 2014-09-09 2017-07-19 Intel Corporation Improved fixed point integer implementations for neural networks
US20160328644A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
WO2017149722A1 (ja) 2016-03-03 2017-09-08 三菱電機株式会社 演算装置および演算方法
CN108198116A (zh) * 2016-12-08 2018-06-22 同方威视技术股份有限公司 用于安检中被检人员分级的方法及装置
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
US11138514B2 (en) * 2017-03-23 2021-10-05 Futurewei Technologies, Inc. Review machine learning system
US11295210B2 (en) * 2017-06-05 2022-04-05 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
US11023593B2 (en) * 2017-09-25 2021-06-01 International Business Machines Corporation Protecting cognitive systems from model stealing attacks
US10657259B2 (en) * 2017-11-01 2020-05-19 International Business Machines Corporation Protecting cognitive systems from gradient based attacks through the use of deceiving gradients

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238560A (ja) * 1989-03-13 1990-09-20 Sharp Corp 自己拡張形ニユーラル・ネットワーク
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US20040059695A1 (en) * 2002-09-20 2004-03-25 Weimin Xiao Neural network and method of training
WO2015118686A1 (ja) * 2014-02-10 2015-08-13 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法
US20150242709A1 (en) * 2014-02-21 2015-08-27 Kabushiki Kaisha Toshiba Learning apparatus, density measuring apparatus, learning method, computer program product, and density measuring system
CN106663038A (zh) * 2014-06-30 2017-05-10 亚马逊科技公司 用于机器学习的特征处理配方
CN106815782A (zh) * 2017-01-23 2017-06-09 重庆汇集源科技有限公司 一种基于神经网络统计学模型的房地产估值方法及系统
CN106951611A (zh) * 2017-03-07 2017-07-14 哈尔滨工业大学 一种基于使用者行为的严寒地区建筑节能设计优化方法
CN107025598A (zh) * 2017-04-06 2017-08-08 中国矿业大学 一种基于极限学习机的个人信用风险评估方法
CN107154258A (zh) * 2017-04-10 2017-09-12 哈尔滨工程大学 基于负相关增量学习的声纹识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOFAN LIN等: "Towards Accurate Binary Convolutional Neural Network", <PART OF ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)>, pages 1 - 9 *
陈丽等: "基于边采样的网络表示学习模型", 《软件学报》, pages 1 - 17 *

Also Published As

Publication number Publication date
US20190236354A1 (en) 2019-08-01
US11100321B2 (en) 2021-08-24
EP3518153A1 (en) 2019-07-31
CN110097183B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US11720822B2 (en) Gradient-based auto-tuning for machine learning and deep learning models
KR102611938B1 (ko) 신경망을 사용한 통합 회로 플로어 플랜 생성
JP7520995B2 (ja) ニューラルネットワークを使った集積回路配置の生成
US11640563B2 (en) Automated data processing and machine learning model generation
US10832138B2 (en) Method and apparatus for extending neural network
Schorn et al. Automated design of error-resilient and hardware-efficient deep neural networks
US20160275398A1 (en) Cardinality estimation using artificial neural networks
US11538237B2 (en) Utilizing artificial intelligence to generate and update a root cause analysis classification model
CN110956272A (zh) 实现数据处理的方法和系统
CN109669985A (zh) 在微服务环境中使用相关数据分配执行任务
JP7091209B2 (ja) 情報処理方法及び情報処理システム
CN108509324B (zh) 选择计算平台的系统和方法
US11620525B2 (en) Dropout for accelerated deep learning in heterogeneous architectures
CN106033425A (zh) 数据处理设备和数据处理方法
WO2020209860A1 (en) Leveraging lagging gradients in machine-learning model training
KR102142943B1 (ko) 클라우드 기반의 인공지능 연산 서비스 방법 및 이를 수행하는 장치
US12079734B1 (en) Compilation time reduction for memory and compute bound neural networks
US20190101911A1 (en) Optimization of virtual sensing in a multi-device environment
Han et al. SlimML: Removing non-critical input data in large-scale iterative machine learning
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
US20220382246A1 (en) Differentiable simulator for robotic cutting
JP2023552048A (ja) ハードウェアアクセラレータのためのニューラルアーキテクチャスケーリング
CN110097184A (zh) 信息处理方法以及信息处理系统
CN110097183A (zh) 信息处理方法以及信息处理系统
CN116324807A (zh) 神经架构和硬件加速器搜索

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment