CN110826721A - 信息处理方法及信息处理系统 - Google Patents

信息处理方法及信息处理系统 Download PDF

Info

Publication number
CN110826721A
CN110826721A CN201910671225.2A CN201910671225A CN110826721A CN 110826721 A CN110826721 A CN 110826721A CN 201910671225 A CN201910671225 A CN 201910671225A CN 110826721 A CN110826721 A CN 110826721A
Authority
CN
China
Prior art keywords
data
learning model
difference
information processing
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671225.2A
Other languages
English (en)
Inventor
石井育规
中田洋平
浦部弘章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019048768A external-priority patent/JP7171478B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110826721A publication Critical patent/CN110826721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G06F9/30014—Arithmetic instructions with variable precision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供信息处理方法及信息处理系统，即使从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚，也能够减小第1学习模型的输出数据与第2学习模型的输出数据之差。信息处理方法取得第1学习模型(50)的针对输入数据的第1输出数据、针对输入数据的正解数据、以及通过第1学习模型(50)的变换而得到的第2学习模型(60)的针对输入数据的第2输出数据；计算与第1输出数据和正解数据的差分对应的第1差分数据、以及与第2输出数据和正解数据的差分对应的第2差分数据；使用第1差分数据及第2差分数据，进行第1学习模型(50)的学习。

Description

信息处理方法及信息处理系统
技术领域
本发明涉及通过机械学习得到学习模型的信息处理方法及信息处理系统。
背景技术
以往，已知如下技术：利用变换工具，根据在第1运算处理环境中学习的第1学习模型生成适合于第2计算机环境的第2学习模型，在第2运算处理环境中利用所生成的第2学习模型。
例如，在非专利文献1中，记载有如下技术：用于减小在对第1学习模型和利用变换工具从第1学习模型进行变换而得到的第2学习模型输入了相同的数据的情况下发生的、第1学习模型的输出数据与第2学习模型的输出数据之差的技术。
非专利文献1：Quantization and Training of Neural Networks forEfficient Integer－Arithmetic－Only Inference.https：//arxiv.org/abs/1712.05877
发明内容
但是，在从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚(即变换工具是黑箱)的情况下，不能利用上述以往技术。
所以，本发明的目的是提供一种即使从第1学习模型变换为第2学习模型变换的变换工具的变换处理内容不清楚，也能够减小在对第1学习模型和第2学习模型输入了相同的数据的情况下发生的、第1学习模型的输出数据与第2学习模型的输出数据之差的信息处理方法及信息处理系统。
有关本发明的一技术方案的信息处理方法，使用计算机进行如下处理：取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；使用上述第1差分数据及上述第2差分数据，进行上述第1学习模型的学习。
有关本发明的一技术方案的信息处理系统具备：取得部，取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；计算部，计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；以及学习部，使用上述第1差分数据及上述第2差分数据进行上述第1学习模型的学习。
发明效果
根据有关本发明的一技术方案的信息处理方法及信息处理系统，即使从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚，也能够减小在对第1学习模型和第2学习模型输入了相同的数据的情况下发生的、第1学习模型的输出数据与第2学习模型的输出数据之差。
附图说明
图1是表示有关第1实施方式的信息处理系统的结构的框图。
图2是表示有关第1实施方式的变换部将第1学习模型变换为第2学习模型的状况的一例的示意图。
图3是表示有关第1实施方式的学习部进行第1学习模型的再学习的状况的一例的示意图。
图4是有关第1实施方式的学习模型的第1更新处理的流程图。
图5是表示有关第2实施方式的信息处理系统的结构的框图。
图6是表示在有关第2实施方式的信息处理系统中用于第1学习模型的再学习的数据的生成的一例的示意图。
图7是有关第2实施方式的学习模型的第2更新处理的流程图。
标号说明
1、1A 信息处理系统
10 取得部
20 计算部
30 学习部
40 变换部
50 第1学习模型
60 第2学习模型
具体实施方式
(得到本发明的一技术方案的缘由)
近年来，在ADAS(Advanced Driver－Assistance System：高级驾驶辅助系统)、自动驾驶系统等车载装入系统中，对于使用机械学习的识别系统，要求使用学习模型进行推论。
通常，应用于车载装入系统的学习模型是通过如下方式生成的，即：对通过具有比车载装入系统高的性能的计算机系统中的学习而得到的第1学习模型应用变换工具，变换为适合于车载装入系统的第2学习模型。
例如，通过将在个人计算机中通过浮动小数点运算处理进行学习并通过浮动小数点运算进行推论的第1学习模型变换为在车载装入系统中进行整数运算处理的第2学习模型，生成应用于车载装入系统的学习模型。
第1学习模型的处理和第2学习模型的处理并不一定准确地相同。因此，即使在对第1学习模型和第2学习模型输入了相同的数据的情况下，也有在第1学习模型的输出和第2学习模型的输出间发生差的情况。
在公开了从第1学习模型变换为第2学习模型的变换工具的变换处理内容的情况下，例如能够通过利用非专利文献1中记载的技术来减小上述差。但是，在从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚的情况下，不能利用非专利文献1所记载的技术。
发明人鉴于这样的问题，想到了下述信息处理方法及信息处理系统。
有关本发明的一技术方案的信息处理方法，使用计算机进行以下处理：取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；使用上述第1差分数据及上述第2差分数据，进行上述第1学习模型的学习。
根据上述信息处理方法，第1学习模型除了第1差分数据以外，还使用第2差分数据进行学习。此外，在第1学习模型的学习中，不需要反映从第1学习模型变换为第2学习模型的变换工具的变换处理内容。因此，根据上述信息处理方法，即使从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚，也能够减小在对第1学习模型和第2学习模型输入了相同的数据的情况下发生的第1学习模型的输出数据与第2学习模型的输出数据之差。
此外，也可以是，在上述学习中，对上述第1差分数据及上述第2差分数据进行加权。由此，在第1学习模型的学习中，能够对重视第1学习模型的输出的程度和重视第2学习模型的输出的程度赋予差别来进行学习。
此外，也可以是，在上述加权中，使上述第1差分数据的权重比上述第2差分数据的权重大。由此，在第1学习模型的学习中，与第2学习模型的输出相比能够重视第1学习模型的输出而进行学习。换言之，能够抑制第1学习模型的特性(或性能)过于接近第2学习模型的特性(或性能)。
此外，也可以是，在上述学习中，还使用上述第1差分数据与上述第2差分数据的差分。由此，在第1学习模型的学习中，能够考虑第1学习模型的输出与第2学习模型的输出的差分来进行学习。这两个差分数据的差分越小，可以说在第1学习模型及第2学习模型之间特性(或性能)越接近。因此，能够高效地进行减小第1学习模型的输出数据与第2学习模型的输出数据之差的学习。
此外，也可以是，在上述学习中，对上述第1差分数据、上述第2差分数据、以及上述第1差分数据与上述第2差分数据的差分进行加权。由此，在第1学习模型的学习中，能够对重视第1学习模型的输出的程度、重视第2学习模型的输出的程度、和重视第1学习模型的输出与第2学习模型的输出的差分的程度赋予差别来进行学习。
此外，也可以是，上述第1学习模型及上述第2学习模型是神经网络型的学习模型。由此，能够用比较周知的数学模型实现第1学习模型和第2学习模型。
有关本发明的一技术方案的信息处理系统具备：取得部，取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；计算部，计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；以及学习部，使用上述第1差分数据及上述第2差分数据进行上述第1学习模型的学习。
根据上述信息处理系统，第1学习模型除了第1差分数据以外，还使用第2差分数据进行学习。此外，在第1学习模型的学习中，不需要反映从第1学习模型变换为第2学习模型的变换工具的变换处理内容。因此，根据上述信息处理系统，即使从第1学习模型变换为第2学习模型的变换工具的变换处理内容不清楚，也能够减小在对第1学习模型和第2学习模型输入了相同的数据的情况下发生的、第1学习模型的输出数据与第2学习模型的输出数据之差。
以下，参照附图对有关本发明的一技术方案的信息处理方法及信息处理系统的具体例进行说明。这里表示的实施方式都表示本发明的一具体例。因而，在以下的实施方式中表示的数值、形状、构成要素、构成要素的配置及连接形态、以及步骤(工序)及步骤的顺序等是一例，并不限定本发明。以下的实施方式的构成要素中的在独立权利要求中没有记载的构成要素，是可任意地附加的构成要素。此外，各图是示意图，并不一定是严密地图示的。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
(第1实施方式)
首先，对有关第1实施方式的信息处理系统进行说明。该信息处理系统是将进行浮动小数点运算处理的第1学习模型变换为进行整数运算处理的第2学习模型的系统，是使第1学习模型进行再学习以减小在对第1学习模型和第2学习模型输入了相同的数据的情况下发生的、第1学习模型的输出数据与第2学习模型的输出数据之差的系统。
[1－1.信息处理系统的结构]
图1是表示有关第1实施方式的信息处理系统1的结构的框图。
如图1所示，信息处理系统1包括取得部10、计算部20、学习部30、变换部40、第1学习模型50和第2学习模型60而构成。
信息处理系统1例如也可以由包括处理器和存储器而构成的个人计算机实现。在此情况下，信息处理系统1的各构成要素例如可以通过由处理器执行存储在存储器中的1个以上的程序来实现。此外，信息处理系统1例如可以通过由分别包括处理器和存储器而构成的可相互通信的多个计算机装置协调动作来实现。在此情况下，信息处理系统1的各构成要素例如可以通过由某1个以上的处理器执行存储在某1个以上的存储器中的1个以上的程序来实现。
第1学习模型50是使用浮动小数点型变量进行处理的机械学习模型。这里，假设第1学习模型50是神经网络型的学习模型，是进行了学习以从图像中识别在该图像中作为被摄体包含的人物的人识别器来进行说明。对第1学习模型50而言，例如如果作为输入数据而输入图像，则输出表示识别出的人物的位置的坐标和该人物的可靠度作为输出数据。
第2学习模型60是通过后述的变换部40从第1学习模型50进行变换以使得使用整数型变量进行处理的机械学习模型。这里，第2学习模型60与第1学习模型50同样，假设是神经网络型的学习模型，是进行了学习以从图像中识别在该图像中作为被摄体包含的人物的人识别器来进行说明。第2学习模型60例如与第1学习模型50同样，如果作为输入数据而输入图像，则示出表示识别出的人物的位置的坐标和该人物的可靠度作为输出数据。
第2学习模型60与第1学习模型50相比进行数值运算精度较低的处理，但另一方面，即使是不能处理浮动小数点型变量的系统即不能利用第1学习模型50的系统也能够利用。
例如，在比较缺乏计算机资源、不能处理浮动小数点型变量但能够处理整数型变量的车载装入系统中，虽然不能利用第1学习模型50，但能够利用第2学习模型60。
此外，第2学习模型60例如适合在比运算的精度更重视伴随着运算的耗电量的减少的系统中利用。
变换部40将使用浮动小数点型变量进行处理的第1学习模型50变换为使用整数型变量进行处理的第2学习模型60。
图2是表示变换部40将第1学习模型50变换为第2学习模型60的状况的一例的示意图。
如图2所示，在第1学习模型50由被层级化的使用浮动小数点型变量进行处理的多个权重(这里，例如是第1权重51、第2权重52、第3权重53)构成的情况下，变换部40将使用浮动小数点型变量进行处理的多个权重分别变换为使用整数型变量进行处理的多个权重(这里，例如是第1权重61、第2权重62、第3权重63)。
第1学习模型50是使用浮动小数点型变量进行处理的学习模型，相对于此，第2学习模型60是使用整数型变量进行处理的学习模型。因此，即使向第1学习模型50和第2学习模型60输入了相同的图像A，从第1学习模型50输出的输出数据A1和从第2学习模型60输出的输出数据A2也并不一定一致。即，在将输入数据是图像A的情况下的正解数据设为正解数据A的情况下，在与输出数据A1和正解数据A的差分对应的第1差分数据(后述)和与输出数据A2和正解数据A的差分对应的第2差分数据(后述)间发生差。
再次回到图1，继续对信息处理系统1的结构进行说明。
取得部10取得第1学习模型50的针对输入数据的第1输出数据、第2学习模型60的对于该输入数据的第2输出数据、以及对于该输入数据的正解数据。
计算部20根据由取得部10取得的第1输出数据、第2输出数据和正解数据，计算与第1输出数据和正解数据的差分对应的第1差分数据(以下，在数式等中有将第1差分数据称作“Loss1”的情况)、以及与第2输出数据和正解数据的差分对应的第2差分数据(以下，在数式等中有将第2差分数据称作“Loss2”的情况)。
这里，作为不需要被限定的一例，第1差分数据(Loss1)假设是按照以下的(式1)计算的正解数据和第1输出数据的L2范数。
Loss1＝||正解数据－第1输出数据||2 (式1)
此外，作为不需要被限定的一例，第2差分数据(Loss2)假设是按照以下的(式2)计算的正解数据和第2输出数据的L2范数。
Loss2＝||正解数据－第2输出数据||2 (式2)
学习部30使用第1差分数据及第2差分数据使第1学习模型50再学习。
图3是表示学习部30使第1学习模型50再学习的状况的一例的示意图。
如图3所示，学习部30根据第1差分数据和第2差分数据，计算由(式3)表示的差分数据(以下，也有在数式等中将差分数据称作“LOSS”的情况)。另外，用来计算第1差分数据、第2差分数据的正解数据、第1输出数据、第2输出数据也可以通过被输出的数据数量而被标准化。
LOSS＝λ1*Loss1+λ2*Loss2+λ3*||Loss1－Loss2|| (式3)
这里，λ1、λ2、λ3是在差分数据的计算中对第1差分数据、第2差分数据及第1差分数据与第2差分数据的差分进行加权的数值，处于满足以下的(式4)～(式7)的关系。
λ1+λ2+λ3＝1 (式4)
1>λ1>0 (式5)
1>λ2>0 (式6)
1>λ3≧0 (式7)
学习部30如果计算出差分数据，则如图3所示，使用以计算出的差分数据为误差的误差逆传播法来更新权重，从而使第1学习模型50再学习。
发明人关于学习部30对第1学习模型50的再学习，将计算差分数据的(式3)中的λ1、λ2、λ3的值的组合变更而反复进行了实验。结果，发明人得到了如下见解：为了减少第1学习模型的输出数据与第2学习模型的输出数据之差，优选的是λ1比λ2大，即在计算差分数据时，在对第1差分数据、第2差分数据及第1差分数据与第2差分数据的差分的加权中，优选的是使上述第1差分数据的权重比上述第2差分数据的权重大。推测这是因为，通过比进行数值运算精度更低的处理的第2学习模型60的输出更重视进行数值运算精度更高的处理的第1学习模型50的输出来使第1学习模型50再学习，能够精度更好地进行第1学习模型的输出数据与第2学习模型的输出数据之差的减小。
[1－2.信息处理系统的动作]
以下，对上述结构的信息处理系统1所进行的处理进行说明。
信息处理系统1进行使用第1差分数据和第2差分数据来更新第1学习模型50和第2学习模型60的学习模型的第1更新处理。
图4是学习模型的第1更新处理的流程图。
学习模型的第1更新处理例如通过针对一个输入数据，由第1学习模型50输出第1输出数据、由第2学习模型60输出第2输出数据后，由利用信息处理系统1的用户对信息处理系统1进行执行学习模型的第1更新处理的操作而开始。
在开始了学习模型的第1更新处理的情况下和后述的步骤S80的处理结束的情况下，取得部10取得针对一个输入数据的第1输出数据、针对一个输入数据的第2输出数据和针对一个输入数据的正解数据(步骤S10)。
如果由取得部10取得第1输出数据、第2输出数据和正解数据，则计算部20根据所取得的第1输出数据、第2输出数据和正解数据，使用(式1)计算与第1输出数据和正解数据的差分对应的第1差分数据，使用(式2)计算与第2输出数据和正解数据的差分对应的第2差分数据(步骤S20)。
如果计算出第1差分数据和第2差分数据，则学习部30根据第1差分数据和第2差分数据，使用(式3)计算差分数据(步骤S30)。接着，学习部30检查计算出的差分数据是否比预先设定的规定的阈值大(步骤S40)。
在步骤S40的处理中，在计算出的差分数据比预先设定的规定的阈值大的情况下(步骤S40：是)，学习部30使用以计算出的差分数据为误差的误差逆传播法将权重进行更新，从而使第1学习模型50再学习(步骤S50)。接着，再学习后的第1学习模型50更新针对一个输入数据的第1输出数据(步骤S60)。
如果第1输出数据被更新，则变换部40将再学习后的第1学习模型50变换为第2学习模型60(步骤S70)。接着，变换后的第2学习模型60更新针对一个输入数据的第2输出数据(步骤S80)。
如果步骤S80的处理结束，则信息处理系统1再次向步骤S10的处理前进，重复步骤S10以后的处理。
在步骤S40的处理中，在计算出的差分数据不比预先设定的规定的阈值大的情况下(步骤S40：否)，信息处理系统1结束学习模型的第1更新处理。
[1－3.考察]
如上述那样，根据信息处理系统1，第1学习模型50除了第1差分数据以外，还使用基于第2学习模型60的第2差分数据进行再学习。此外，在第1学习模型50的再学习中，不需要反映从第1学习模型50向第2学习模型60的变换处理内容。因此，根据信息处理系统1，即使从第1学习模型50向第2学习模型60的变换处理内容不清楚，也能够减小在对第1学习模型50和第2学习模型60输入了相同的数据的情况下发生的、第1学习模型50的输出数据与第2学习模型60的输出数据之差。
(第2实施方式)
接着，对有关第2实施方式的信息处理系统进行说明。另外，关于与第1实施方式相同的结构省略说明。
[2－1.信息处理系统的结构]
图5是表示有关第2实施方式的信息处理系统1A的结构的框图。
如图5所示，信息处理系统1A除了取得部10、计算部20、学习部30、变换部40、第1学习模型50和第2学习模型60以外，还具备判定部70。
判定部70如图6所示，使用第1输出数据及第2输出数据生成第3差分数据。具体而言，判定部70关于第1输出数据及第2输出数据分别判定是否是真数据。并且，判定部70基于判定结果生成第3差分数据。例如，判定部70是GAN(Generative Adversarial Network，生成式对抗网络)中的Discriminator(判别器)。判定部70生成第1输出数据是真数据的第1概率(或是伪数据的概率)及第2输出数据是真数据的第2概率(或是伪数据的概率)作为判定结果。并且，判定部70使用第1概率及第2概率生成第3差分数据。例如，第3差分数据按照下式(式8)计算。
Loss3＝log(D(第1输出数据))+log(1－D(第2输出数据))…(式8)
这里，D表示Discriminator。在上述式子中，判定部70(即Discriminator)生成第1输出数据、第2输出数据是真数据的概率。
学习部30使用第1差分数据及第3差分数据使第1学习模型50再学习。
学习部30根据第1差分数据和第3差分数据，计算由下述(式9)表示的差分数据(即LOSS)。
LOSS＝λ4*Loss1+λ5*Loss3…(式9)
这里，λ4、λ5是在差分数据的计算中对第1差分数据、第3差分数据进行加权的数值。
学习部30通过使用以计算出的差分数据为误差的误差逆传播法来更新权重，使第1学习模型50再学习。
[2－2.信息处理系统的动作]
以下，对上述结构的信息处理系统1A所进行的处理进行说明。图7是学习模型的第2更新处理的流程图。
首先，取得部10取得针对一个输入数据的第1输出数据、针对一个输入数据的第2输出数据和针对一个输入数据的正解数据(步骤S10)。
如果由取得部10取得第1输出数据和第2输出数据，则判定部70判定所取得的第1输出数据和第2输出数据的真伪(步骤S110)。例如，判定部70计算第1输出数据是真数据的概率及第2输出数据是真数据的概率。
判定部70根据判定结果计算第3差分数据(步骤S120)。例如，判定部70使用上述(式8)计算第3差分数据。
计算部20根据所取得的第1输出数据和正解数据计算第1差分数据(步骤S130)。
学习部30根据计算出的第1差分数据和第3差分数据计算差分数据(步骤S140)。例如，学习部30使用上述(式9)计算差分数据。
以后的处理与第1实施方式的处理实质上是相同的，所以省略说明。
[2－3.考察]
这样，根据有关第2实施方式的信息处理系统1A，第1学习模型50除了第1差分数据以外，还使用用来使第1输出数据与第2输出数据接近的第3差分数据进行再学习。通过以使第2输出数据与第1输出数据接近的方式执行第1学习模型50的学习，能够使第2学习模型60的识别性能与第1学习模型50接近。因而，即使从第1学习模型50向第2学习模型60的变换处理内容不清楚，也能够减小在对第1学习模型50和第2学习模型60输入了相同的数据的情况下发生的、第1学习模型50的输出数据与第2学习模型60的输出数据之差。
进而，在第1学习模型50的再学习中，通过还使用第1差分数据，能够在使第2学习模型60的识别性能接近于第1学习模型60的识别性能的同时，抑制第1学习模型50的性能劣化(即第2学习模型60的性能劣化)。
(其他的实施方式)
以上，基于第1实施方式及第2实施方式对有关本发明的1个或多个技术方案的信息处理系统进行了说明，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对本实施方式施以了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在本发明的1个或多个技术方案的范围内。
(1)在第1实施方式中，设为第1学习模型50是使用浮动小数点型变量进行处理的学习模型、第2学习模型60是使用整数型变量进行处理的学习模型而进行了说明。但是，如果第2学习模型60是通过第1学习模型50的变换而得到的学习模型，则并不一定需要限定于第1学习模型50是使用浮动小数点型变量进行处理的学习模型、第2学习模型60是使用整数型变量进行处理的学习模型的例子。
作为一例，也可以是，第1学习模型50是将要处理的图像中的各像素的像素值作为量化后的8比特的RGB数据进行处理的学习模型，第2学习模型60是将要处理的图像中的各像素的像素值作为量化后的4比特的RGB数据进行处理的学习模型。在此情况下，即使是例如因要处理的数据的数据传输速率的制约、存储要处理的数据的存储容量的制约等而不能处理像素值由8比特的RGB数据构成的图像、但能够处理像素值由4比特的RGB数据构成的图像的系统，也能够利用第2学习模型60。此外，在此情况下，例如在与运算的精度相比更重视伴随着运算的耗电量的减少的系统中，有利用第2学习模型60比利用第1学习模型50更适当的情况。
此外，作为另一例，也可以是，第1学习模型50是使用32比特浮动小数点型变量进行处理的学习模型，第2学习模型60是使用16比特浮动小数点型变量进行处理的学习模型。在此情况下，即使是例如不能处理32比特浮动小数点型变量、但能够处理16比特浮动小数点型变量的系统，也能够利用第2学习模型60。此外，在此情况下，例如在与运算的精度相比更重视伴随着运算的耗电量的减少的系统中，有利用第2学习模型60比利用第1学习模型50更适当的情况。
此外，作为另一例，也可以是，第1学习模型50是将要处理的图像中的各像素的像素值作为RGB颜色空间的数据来处理的学习模型，第2学习模型60是将要处理的图像中的各像素的像素值作为YCbCr颜色空间的数据来处理的学习模型。在此情况下，即使是例如将要处理的图像中的各像素的像素值不能作为RGB颜色空间的数据来处理、但能够作为YCbCr颜色空间的数据来处理的系统，也能够利用第2学习模型60。
(2)信息处理系统1所具备的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成到1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM(Read Only Memory)、RAM(Random Access Memory)等而构成的计算机系统。在ROM中存储有计算机程序。通过由微处理器按照计算机程序动作，系统LSI实现其功能。
另外，这里设为系统LSI，但根据集成度的差异，也有称作IC、LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现替代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
(3)本发明的一形态不仅是这样的信息处理系统，也可以是将信息处理系统中包含的特征性的结构部作为步骤的信息处理方法。此外，本发明的一形态也可以是使计算机执行信息处理方法中包含的特征性的各步骤的计算机程序。此外，本发明的一形态也可以是记录有这样的计算机程序的计算机可读取的非暂时性的记录介质。
本发明能够广泛地利用于进行使学习模型学习的信息处理的系统。

Claims (7)

1.一种信息处理方法，其特征在于，
使用计算机进行以下处理：
取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；
计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；
使用上述第1差分数据及上述第2差分数据，进行上述第1学习模型的学习。
2.如权利要求1所述的信息处理方法，其特征在于，
在上述学习中，对上述第1差分数据及上述第2差分数据进行加权。
3.如权利要求2所述的信息处理方法，其特征在于，
在上述加权中，使上述第1差分数据的权重比上述第2差分数据的权重大。
4.如权利要求1所述的信息处理方法，其特征在于，
在上述学习中，还使用上述第1差分数据与上述第2差分数据的差分。
5.如权利要求4所述的信息处理方法，其特征在于，
在上述学习中，对上述第1差分数据、上述第2差分数据、以及上述第1差分数据与上述第2差分数据的差分进行加权。
6.如权利要求1～5中任一项所述的信息处理方法，其特征在于，
上述第1学习模型及上述第2学习模型是神经网络型学习模型。
7.一种信息处理系统，其特征在于，具备：
取得部，取得第1学习模型的针对输入数据的第1输出数据、针对上述输入数据的正解数据、以及通过上述第1学习模型的变换而得到的第2学习模型的针对上述输入数据的第2输出数据；
计算部，计算与上述第1输出数据和上述正解数据的差分对应的第1差分数据、以及与上述第2输出数据和上述正解数据的差分对应的第2差分数据；以及
学习部，使用上述第1差分数据及上述第2差分数据，进行上述第1学习模型的学习。
CN201910671225.2A 2018-08-09 2019-07-24 信息处理方法及信息处理系统 Pending CN110826721A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-150393 2018-08-09
JP2018150393 2018-08-09
JP2019048768A JP7171478B2 (ja) 2018-08-09 2019-03-15 情報処理方法、及び情報処理システム
JP2019-048768 2019-03-15

Publications (1)

Publication Number Publication Date
CN110826721A true CN110826721A (zh) 2020-02-21

Family

ID=67544094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671225.2A Pending CN110826721A (zh) 2018-08-09 2019-07-24 信息处理方法及信息处理系统

Country Status (3)

Country Link
US (1) US11715031B2 (zh)
EP (1) EP3611671A1 (zh)
CN (1) CN110826721A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788840B2 (en) * 2016-12-27 2020-09-29 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
US11755951B2 (en) * 2020-05-15 2023-09-12 Vmware, Inc. Machine learning with an intelligent continuous learning service in a big data environment
US11770535B2 (en) * 2021-02-19 2023-09-26 Samsung Display Co., Ltd. Systems and methods for joint color channel entropy encoding with positive reconstruction error
US11989871B2 (en) 2021-06-02 2024-05-21 Canon Medical Systems Corporation Model training apparatus and method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103496A (en) * 1989-09-18 1992-04-07 The United States Of America As Represented By The Secretary Of The Navy Artificial neural network system for memory modification
US6941264B2 (en) * 2001-08-16 2005-09-06 Sony Electronics Inc. Retraining and updating speech models for speech recognition
US8255165B2 (en) * 2008-12-18 2012-08-28 Exxonmobil Upstream Research Company Method for predicting differences in subsurface conditions
US10332028B2 (en) * 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
WO2017074966A1 (en) 2015-10-26 2017-05-04 Netradyne Inc. Joint processing for embedded data inference
US20180121791A1 (en) * 2016-11-03 2018-05-03 Qualcomm Incorporated Temporal difference estimation in an artificial neural network
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
EP3631691A4 (en) * 2017-05-23 2021-03-31 Intel Corporation METHODS AND APPARATUS FOR IMPROVING A NEURONAL NETWORK OF BINARY WEIGHT USING A DEPENDENCY TREE
US10776688B2 (en) * 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US11315019B2 (en) * 2017-11-15 2022-04-26 Google Llc Learning neural network structure
US10984286B2 (en) * 2018-02-02 2021-04-20 Nvidia Corporation Domain stylization using a neural network model
US20190295228A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Image in-painting for irregular holes using partial convolutions
US20190340499A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Quantization for dnn accelerators
CN112106081A (zh) * 2018-05-07 2020-12-18 谷歌有限责任公司 提供综合机器学习服务的应用开发平台和软件开发套件
US11562208B2 (en) * 2018-05-17 2023-01-24 Qualcomm Incorporated Continuous relaxation of quantization for discretized deep neural networks

Also Published As

Publication number Publication date
US11715031B2 (en) 2023-08-01
EP3611671A1 (en) 2020-02-19
US20200050943A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN110826721A (zh) 信息处理方法及信息处理系统
US20200012926A1 (en) Neural network learning device and neural network learning method
US20190279072A1 (en) Method and apparatus for optimizing and applying multilayer neural network model, and storage medium
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN113065635A (zh) 一种模型的训练方法、图像增强方法及设备
CN111222629A (zh) 一种基于自适应批规范化的神经网络模型剪枝方法及系统
CN110503152B (zh) 用于目标检测的双路神经网络训练方法及图像处理方法
CN114580281A (zh) 模型量化方法、装置、设备、存储介质及程序产品
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
JP7171478B2 (ja) 情報処理方法、及び情報処理システム
CN114071141A (zh) 一种图像处理方法及其设备
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
CN106504293B (zh) 一种指纹图像压缩方法及装置
CN116306879A (zh) 数据处理方法、装置、电子设备以及存储介质
CN114239792B (zh) 利用量化模型进行图像处理的系统、装置及存储介质
CN115292033A (zh) 模型运行方法、装置、存储介质及电子设备
US20220405576A1 (en) Multi-layer neural network system and method
CN111614358B (zh) 基于分通道量化的特征提取方法、系统、设备及存储介质
CN111815658B (zh) 一种图像识别方法及装置
CN113743593A (zh) 神经网络量化方法、系统、存储介质及终端
CN113902928A (zh) 图像特征的提取方法、装置及电子设备
CN113298049B (zh) 图像特征降维方法、装置、电子设备和存储介质
CN113255576B (zh) 人脸识别方法及装置
CN113822445B (zh) 模型集成预测方法、系统、电子设备及存储介质
CN111461289B (zh) 池化处理方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination