CN112912901A - 学习程序、学习方法以及学习装置 - Google Patents

学习程序、学习方法以及学习装置 Download PDF

Info

Publication number
CN112912901A
CN112912901A CN201880098669.5A CN201880098669A CN112912901A CN 112912901 A CN112912901 A CN 112912901A CN 201880098669 A CN201880098669 A CN 201880098669A CN 112912901 A CN112912901 A CN 112912901A
Authority
CN
China
Prior art keywords
learning
data
input data
learning model
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880098669.5A
Other languages
English (en)
Inventor
上村健人
安富优
河东孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN112912901A publication Critical patent/CN112912901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及学习程序、学习方法以及学习装置。学习装置向学习完毕的学习模型输入作为学习对象的输入数据。而且，按照输入至学习模型的每个输入数据，学习装置根据多个特征量，使用与多个特征量中的每个特征量对应的多个恢复器来生成恢复数据，其中，与各输入数据对应地由学习模型生成上述多个特征量。之后，学习装置使多个恢复器学习，以使由多个恢复器分别生成的多个恢复数据中每个数据与输入数据接近。

Description

学习程序、学习方法以及学习装置
技术领域
本发明涉及学习程序、学习方法以及学习装置。
背景技术
在顺序学习等深度学习中，直接保存学习数据会带来信息泄漏等风险，因此以作为转换原始学习数据的形式的学习模型的特征量来保持。另外，在作为分别学习多个学习模型的学习数据，利用获取源不同的数据的情况下，也进行以特征量的形式来保持在之前的学习中利用的学习数据的处理。
像这样，在以特征量来保持的情况下，评价特征量中剩余多少原始学习数据的信息。例如，已知有在学习完毕的神经网络中求出特征量相同的输入数据，基于输入数据来推断通过特征量保持的信息，判断是否能够保持特征量的技术。
专利文献1:国际公开第二016/132468号
专利文献2:日本特开2017－174298号公报
专利文献3:日本特开2016－126597号公报
专利文献4:日本特开2017－126112号公报
然而，通过上述技术获得的输入数据未必是适合判断是否可以保持用于学习的学习数据的数据。例如，为了将输入数据x应用于学习完毕的学习模型而获得的特征量z转换为原始的输入数据x的形式，利用梯度法求出最佳地获得特征量z的输入数据x′。然而，由于存在多个获得某个特征量z的输入数据，所以利用梯度法获得的输入数据x′未必是对风险评价等的判断有用的数据。
发明内容
在一个侧面，目的在于提供一种能够适当地进行数据保持的判断的学习程序、学习方法以及学习装置。
在第一方案中，学习程序使计算机执行如下处理：按照输入至学习模型的每个输入数据，根据多个特征量，使用与上述多个特征量中每个特征量对应的多个恢复器生成恢复数据，其中，与各输入数据对应地由上述学习模型生成多个特征量。学习程序使计算机执行如下处理：使上述多个恢复器学习，以使由上述多个恢复器分别生成的多个恢复数据中每个数据与上述输入数据接近。
根据一个实施方式，能够适当地进行数据保持的判断。
附图说明
图1是对实施例1的学习装置的整体例进行说明的图。
图2是对参考技术进行说明的图。
图3是表示实施例1的学习装置的功能结构的功能框图。
图4是对学习模型的学习例进行说明的图。
图5是对特征量进行说明的图。
图6是对解码器的学习进行说明的图。
图7是对评价方法的一个例子进行说明的图。
图8是对评价方法的其它例子进行说明的图。
图9是表示处理的流程的流程图。
图10是对实施例2的学习例进行说明的图。
图11是对实施例3的学习例进行说明的图。
图12是对实施例4的学习例进行说明的图。
图13是对硬件构成例进行说明的图。
具体实施方式
以下，基于附图对本发明的学习程序、学习方法以及学习装置的实施例进行详细说明。此外，本发明并不被本实施例所限定。另外，各实施例能够在不矛盾的范围内适当地组合。
实施例1
[整体例]
图1是对实施例1的学习装置的整体例进行说明的图。图1所示的学习装置10学习车、人等进行图像分类等的学习模型。具体而言，学习装置10为了执行使用机械学习、深度学习(深度学习(DL)·Deep Learning)等的学习处理，而能够对每个现象正确地辨别(分类)学习数据，学习神经网络(NN：Neural Network)等。
一般地，在深度学习等中，由于学习数据的量越多学习模型越提高，所以学习数据的量越多越好，但另一方面，收集学习数据很难。因此，也考虑使用获取目的地不同的学习数据，来进行多个学习模型的学习。但是，在使用顾客数据的业务环境中，在学习某位顾客数据结束后还继续保持、或用于其它顾客任务(学习)等会带来合同上的问题、信息泄漏的风险。由于这样的原因，存在以作为转换原始学习数据的形式的特征量来保持的情况。通过以特征量来保持能够减少风险，但正确地评价特征量中剩有多少原始学习数据的信息很重要。
因此，实施例1的学习装置10学习恢复器，该恢复器根据由学习模型生成的多个特征量来生成多个恢复数据，基于解码器的解码结果，来评价保持对象的特征量。具体而言，学习装置10对输入至学习模型的每个学习数据，根据与各学习数据对应地由学习模型生成的各特征量，使用与各特征量对应的恢复器来生成恢复数据。而且，学习装置10使多个恢复器学习，以使由多个恢复器分别生成的多个恢复数据中每个数据与学习数据接近。
若以图1为例进行说明，则学习装置10使用多个学习数据中的每个数据，学习使用NN的学习模型。之后，学习装置10将用于学习模型的原始学习数据输入至学习完毕的学习模型，从NN的各中间层获取特征量A、特征量B、特征量C。然后，学习装置10将特征量A输入至恢复器A生成恢复数据A，以恢复数据A与原始学习数据的误差变小的方式，学习恢复器A。同样地，学习装置10将特征量B输入至恢复器B生成恢复数据B，以恢复数据B与原始学习数据的误差变小的方式，学习恢复器B。同样地，学习装置10将特征量C输入至恢复器C生成恢复数据C，以恢复数据C与原始学习数据的误差变小的方式，学习恢复器C。
像这样，学习装置10使用将原始学习数据输入至学习完毕的学习模型而获得的各特征量，来学习各恢复器。然后，在各恢复器的学习完成后，学习装置10将各学习数据输入至学习完毕的学习模型来获取各特征量，将各特征量输入至学习完毕的各恢复器生成各恢复数据。之后，学习装置10基于各恢复数据的恢复程度，来决定可保持的特征量。
即，学习装置10在深度学习中选择作为原始学习数据的代替而保存的特征量时，能够根据从各特征量解码的解码数据的解码程度，来选择所保持的特征量，所以能够适当地进行特征量保持的判断。
[参考技术]
在这里，作为评价保持对象的特征量的技术，对通常所利用的参考技术进行说明。首先，对参考技术和实施例1中均共用的针对神经网络的深度学习进行说明。
深度学习是针对学习模型利用梯度法学习参数，以对训练数据x获得所希望的y的方法，其中，上述学习模型以具有能够对输入x进行微分的参数的函数转换而获得输出y。所谓的深度学习的学习模型并不限于由线性转换f(x)＝Ax+b和非线性激活函数g构成的模型y＝gN(fN(…g1(f1(x)))，也包含由任意的能够微分的运算h构成的模型h＝hN(…h2(h1(x)))。
接下来，对参考技术进行具体说明。图2是对参考技术进行说明的图。如图2所示，在参考技术中，在学习模型中将用于学习的原始学习数据输入至学习完毕的学习模型来生成特征量。接着，利用梯度法推断作为特征量的输入数据。例如，在将特征量设为z、将输入的学习数据设为x的情况下，利用梯度法计算推断数据x※＝argminx d(f(x)，z)。在这里，f是能够进行表示从x到z的转换的微分的学习模型的式子，d是能够进行微分的距离函数或者误差函数(平方误差)。
之后，将推断数据输入至学习完毕的学习模型，获取与推断数据对应的推断特征量，以该推断特征量和根据原始学习数据获得的特征量的误差变小的方式来推断推断数据。这样的参考技术是根据特征量来推断原始学习数据的技术，由于能够根据一个特征量推断多个学习数据，所以无法判断特征量本身是否是可以保持的水平的特征量。因此，在实施例1中，通过生成用于判断特征量本身是否是可以保持的水平的特征量的指标，来改善参考技术的问题。
[功能结构]
图3是表示实施例1的学习装置10的功能结构的功能框图。如图3所示，学习装置10具有通信部11、存储部12、控制部20。
通信部11是控制其它装置的通信的处理部，例如是通信接口等。例如，通信部11从管理者的终端接收处理开始指示。另外，通信部11从管理者的终端等接收作为学习对象的学习数据(输入数据)并储存至学习数据DB13。
存储部12是存储程序、数据的存储装置的一个例子，例如是存储器、硬盘等。该存储部12存储学习数据DB13、学习结果DB14。
学习数据DB13是存储用于学习模型的学习的学习数据的数据库。这里存储的学习数据可以是由管理者等赋予了正确答案标签的有标签数据，也可以是未赋予正确答案标签的无标签数据。此外，学习数据能够采用图像、视频、文档、图表等各种数据。
学习结果DB14是存储学习结果的数据库。例如，学习结果DB14存储由控制部20进行的学习数据的判别结果(分类结果)、通过机械学习、深度学习学习的各种参数。
控制部20管理学习装置10整体的处理的处理部，例如处理器等。该控制部20具有模型学习部21、解码器学习部22、评价部23。此外，模型学习部21、解码器学习部22、评价部23是由处理器等所具有的电子电路、处理器等执行的工序的一个例子。
模型学习部21是执行使用NN等的学习模型的学习的处理部。具体而言，模型学习部21使用存储于学习数据DB13的学习数据来执行NN的学习，并将学习结果储存至学习结果DB14。
图4是对学习模型的学习例进行说明的图。如图4所示，模型学习部21读出存储于学习数据DB13的带有正确答案标签的学习数据。然后，模型学习部21将学习数据输入至NN得到输出结果。之后，模型学习部21以输出结果与正确答案标签的误差变小的方式，学习NN。此外，学习方法能够采用梯度法、误差反向传播法等公知的方法。另外，模型学习部21也能够继续进行学习处理直到NN的判定精度为阈值以上，并能够在预先决定的次数、完成所有学习数据的学习等任意的时机结束。
解码器学习部22是按每个解码器具有学习部，使用原始学习数据来学习各解码器的处理部，上述解码器是作为使用NN的学习模型的解码器，根据特征量来恢复数据。具体而言，解码器学习部22从学习结果DB14读出各种参数，并构建包含设定有各种参数的神经网络等的学习模型。然后，解码器学习部22对作为学习模型的NN所具有的中间层的每一个设定解码器。然后，解码器学习部22利用各解码器根据各特征量生成恢复数据，并学习各解码器，以使各恢复数据与原始学习数据接近。
在这里，使用图5和图6具体地进行说明。图5是对特征量进行说明的图，图6是对解码器的学习进行说明的图。在这里，如图5所示，对NN具有输入输入x的输入层、3个中间层以及输出y的输出层的情况进行说明。在该情况下，在第一个中间层获得的信息是特征量A，在第二个中间层获得的信息为特征量B，在第三个中间层获得的信息为特征量C。因此，解码器学习部22准备与特征量A对应的解码器A、与特征量B对应的解码器B、与特征量C对应的解码器C，并执行各解码器的学习。
具体而言，如图6所示，解码器学习部22的解码器A学习部22a将原始学习数据输入至学习完毕的学习模型(NN)，并获取特征量A。然后，解码器A学习部22a将特征量A输入至解码器A，生成恢复数据A。之后，解码器A学习部22a计算恢复数据A与原始学习数据的误差(以下有记载为恢复误差的情况)，并以该误差变小的方式，学习解码器A。
同样地，解码器学习部22的解码器B学习部22b将原始学习数据输入至学习完毕的学习模型(NN)，获取特征量B。然后，解码器B学习部22b将特征量B输入至解码器B，生成恢复数据B。之后，解码器B学习部22b计算恢复数据B与原始学习数据的误差，以该误差变小的方式，来学习解码器B。
同样地，解码器学习部22的解码器C学习部22c将原始学习数据输入至学习完毕的学习模型(NN)，获取特征量C。然后，解码器C学习部22c将特征量C输入至解码器C，生成恢复数据C。之后，解码器C学习部22c计算恢复数据C与原始学习数据的误差，以该误差变小的方式，学习解码器C。
此外，各学习部将解码器的学习结果储存至学习结果DB14。另外，误差例如能够采用平方误差等，解码器的学习能够采用梯度法、误差反向传播法等。另外，解码器的学习也能够继续学习处理直到NN的判定精度为阈值以上，并能够在预先决定的次数等任意的时机结束。另外，学习器的数量是一个例子，能够任意地设定变更。
评价部23是对每个学习数据，使用学习完毕的各解码器评价各特征量的恢复的程度的处理部。具体而言，评价部23从学习结果DB14读出与学习模型对应的各种参数，并构建包含设定有各种参数的神经网络等的学习模型，并且从学习结果DB14读出与各解码器对应的各种参数，构建包含设定有各种参数的神经网络等的各解码器。然后，评价部23将保持对象的学习数据输入至学习完毕的学习模型，获取各特征量。接着，评价部23将各特征量输入至对应的学习完毕的解码器，生成各解码数据。然后，评价部23判定各解码数据的恢复状况，决定要保持的特征量。
图7是对评价方法的一个例子进行说明的图。如图7所示，评价部23将原始学习数据输入至学习完毕的学习模型。而且，评价部23将从学习完毕的学习模型获得的特征量A、特征量B、特征量C分别输入至学习完毕的解码器A、学习完毕的解码器B、学习完毕的解码器C，生成恢复数据A、解码数据B、解码数据C。
之后，评价部23计算恢复数据A与原始学习数据的平方误差A、恢复数据B与原始学习数据的平方误差B、恢复数据B与原始学习数据的平方误差C。然后，评价部23从平方误差A、平方误差B、平方误差C中确定小于允许保持的预先设定的阈值并且最接近阈值的平方误差B。其结果是，评价部23决定保持成为平方误差B的恢复源的特征量B。
另外，评价部23也能够将恢复数据本身提示给作为原始学习数据的提供源的用户使其进行评价。图8是对评价方法的其它例子进行说明的图。如图8所示，评价部23利用与图7相同的方法，使用原始学习数据以及各恢复器，生成恢复数据A、解码数据B、解码数据C。而且，评价部23将恢复数据A、解码数据B、解码数据C提示给用户。在这里，用户判断为恢复数据A以及恢复数据C过度恢复，并判断为恢复数据B恢复到不知道原始学习数据的程度。在该情况下，评价部23决定为保持与恢复数据B对应的特征量B。此外，图8的方法在学习数据是图像数据等的情况下特别有效。
[处理的流程]
图9是表示处理的流程的流程图。如图9所示，模型学习部21若被指示处理开始(S101：是)，则对学习模型进行初始化(S102)。
接着，模型学习部21读入存储于学习数据DB13的学习数据(S103)，使用学习数据来学习学习模型(S104)。然后，在精度不是阈值以上的情况下(S105：否)，模型学习部21返回到S103反复学习。另一方面，若精度为阈值以上(S105：是)，则模型学习部21将学习结果输出至学习结果DB14(S106)。
之后，解码器学习部22若初始化各解码器(S107)，则读入存储至学习数据DB13的学习数据(S108)，使用学习数据以及学习完毕的学习模型来学习各解码器(S109)。
接着，在精度不是阈值以上的情况下(S110：否)，解码器学习部22返回到S108反复学习。另一方面，若精度为阈值以上(S110：是)，则解码器学习部22将学习结果输出至学习结果DB14(S111)。
之后，评价部23对保持对象的学习数据分别根据学习完毕的学习模型生成各特征量，并将各特征量输入至学习完毕的各解码器生成各解码数据，评价各特征量(S112)。
[效果]
如上所述，学习装置10能够使逆转换器学习而获得从特征量向原始数据的恢复器，并能够以使恢复数据与原始学习数据的误差直接最小化的方式学习。另外，学习装置10为了使保持对象的特征量和原始学习数据成为能够比较的形式，能够将特征量尽可能地转换为恢复到原始数据的形式。其结果是，学习装置10能够基于根据各特征量生成的恢复数据，适当地进行多个特征量中每个特征量的评价。
实施例2
然而，学习装置10的各解码器也能够学习向比自身所使用的特征量靠前的其它特征量的恢复，而不是原始学习数据。由此，能够减少各个恢复器的学习的难度的偏差。因此，在实施例2中，对不是学习向原始学习数据的恢复，而是向前面的特征量的恢复的例子进行说明。此外，这里对恢复到从前一个中间层输出的特征量的例子进行说明，但恢复对象并不限定于此，也可以是比与自身对应的中间层靠前的中间层。
图10是对实施例2的学习例进行说明的图。如图10所示，解码器学习部22将原始学习数据输入至学习完毕的学习模型。于是，解码器A学习部22a将从学习完毕的学习模型输出的特征量A输入至解码器A生成恢复数据A，并以恢复数据A与原始学习数据的误差亦即恢复误差变小的方式，学习解码器A。
另一方面，解码器B学习部22b将从学习完毕的学习模型获得的特征量B输入至解码器B，生成恢复到从前一个中间层获得的特征量A的恢复数据B。而且，解码器B学习部22b以从前一个中间层获得的特征量A与恢复数据B的误差亦即恢复误差变小的方式，来学习解码器B。另外，对于解码器C也同样地、解码器C学习部22c将从学习完毕的学习模型获得的特征量C输入至解码器C，生成恢复到从前一个中间层获得的特征量B的恢复数据C。而且，解码器C学习部22c以从前一个中间层获得的特征量B与恢复数据C的误差亦即恢复误差变小的方式，学习解码器C。
此外，在各解码器的学习后执行的特征量的评价能够采用与实施例1相同的方法。例如，评价部23计算恢复数据A与原始学习数据的平方误差A、恢复数据B与特征量A的平方误差B、恢复数据C与特征量B的平方误差C，并基于阈值，来决定所保持的特征量。
实施例3
然而，学习装置10在恢复器的学习时，也可以不是使用恢复数据与原始学习数据的误差，而是使用再次转换为特征量时的误差来学习。由此，能够考虑特征量转换的方法，来学习恢复器，恢复数据的恢复精度提高的结果是也能够提高特征量的评价精度。
图11是对实施例3的学习例进行说明的图。如图11所示，解码器学习部22将原始学习数据输入至学习完毕的学习模型。于是，解码器A学习部22a将所输出的特征量(原始特征量A)输入至解码器A生成恢复数据A，计算恢复数据A与原始学习数据的误差亦即恢复误差A1。
接着，解码器学习部22将恢复数据A输入至学习完毕的学习模型。然后，解码器A学习部22a获取从学习完毕的学习模型输出的特征量(恢复特征量A)，并计算原始特征量A与恢复特征量A的误差亦即恢复误差A2。之后，解码器A学习部22a以恢复误差A1以及恢复误差A2变小的方式，学习解码器A。此外，也能够仅使用恢复误差A2来执行学习。另外，对于其它解码器也同样地使用2个恢复误差来执行学习。
实施例4
然而，在实施例1－3中，对在结束学习模型的学习后，执行各解码器的学习的例子进行了说明，但并不限定于此。例如，也能够并行地学习学习模型和各解码器。
图12是对实施例4的学习例进行说明的图。如图12所示，若向学习模型输入赋予了正确答案标签的学习数据，则学习装置10并行地执行学习模型和各解码器的学习。
具体而言，模型学习部21若输入学习数据，则以正确答案标签与输出标签的误差变小的方式，学习学习模型。与该动作并行地、解码器A学习部22a将从学习模型获取的特征量A输入至解码器A生成恢复数据A，以恢复数据A与原始学习数据的恢复误差变小的方式，学习解码器A。同样地，解码器B学习部22b将从学习模型获取的特征量B输入至解码器B生成恢复数据B，以恢复数据B与原始学习数据的恢复误差变小的方式，学习解码器B。
像这样，学习装置10由于能够使用各学习数据，同时平行地学习学习模型和各解码器，所以能够缩短总学习时间。
实施例5
那么，以上对本发明的实施例进行了说明，但本发明除上述的实施例以外，也可以以各种不同的方式来实施。
[解码器的学习数据]
在上述实施例中，对将用于学习模型的学习的学习数据也用于解码器的学习的例子进行了说明，但并不限定于此，也能够使用不同的学习数据来学习学习模型的学习和解码器的学习。
例如，学习装置10使用数据X来学习学习模型，并生成学习完毕的学习模型M。接着，学习装置10向学习模型M输入数据X，获取数据X的特征量X。之后，学习装置10将作为其它数据的数据Y输入至学习模型M，获取数据Y的特征量Y。然后，学习装置10利用与实施例1相同的方法，使用数据Y和特征量Y来学习恢复器R。
之后，学习装置10向学习完毕的恢复器R输入特征量X生成恢复数据X′。然后，学习装置10利用与实施例1相同的方法对原始的数据X和恢复数据X′进行比较，评价特征量X。
通过这样，在利用数据X学习的学习完毕模型以及数据X的特征量泄漏时，学习装置10能够评价得到它们的第三方能够将数据X本身恢复到何种程度。例如，若考虑到由第三方进行的数据恢复，则由于第三方保持学习数据X的特征量，但不具有学习数据X本身，所以尝试根据所拥有的其它数据Y和将数据Y通过学习模型而获得的数据Y的特征量来学习恢复器。之后，考虑第三方向进行了学习的恢复器输入数据X的特征量，尝试原始数据X的恢复。
针对于此，学习装置10能够评价由使用与学习模型M的学习数据不同的数据恢复的恢复器根据特征量恢复的学习数据的恢复程度。因此，学习装置10能够执行也考虑了信息泄漏时的危险性的评价。
[学习模型、解码器]
在上述实施例中，以将NN应用于学习模型以及解码器的情况为例进行了说明，但并不限定于此，也能够采用其它的一般的深度学习、机械学习。另外，NN的学习方法能够采用反向误差传播方法等公知的各种方法。另外，对于在学习NN时计算的误差，能够采用如平方误差等那样，在深度学习的学习时所利用的公知的各种误差计算方法。另外，各NN的中间层的数量、特征量的数量、恢复器的数量等只是一个例子，能够任意地设定变更。另外，不仅可以对NN的每个中间层设置恢复器，还可以仅对NN的多个中间层中的指定的中间层设置恢复器。另外，作为上述的特征量的一个例子，在学习对象为图像的情况下，可举出图像内的边缘、对比度、图像内的眼睛、鼻的位置等。
[评价对象]
在上述实施例中，对于各学习数据，对进行特征量的评价的例子进行了说明，但并不限定于此，也可以仅对由管理者等指定的学习数据进行上述特征量的评价，判定能否保持。
[系统]
除非另有说明，否则对于在上述文档中、附图中所示的处理步骤、控制步骤、具体的名称、包含各种数据、参数的信息能够任意地变更。另外，在实施例中说明的具体例、分布、数值等只是一个例子，能够任意地变更。
另外，图示出的各装置的各构成要素是功能概念性的要素，未必一定在物理上如图示那样构成。即，各装置的分散、统一的具体方式并不限于图示的方式。换句话说，能够根据各种负荷、使用状况等，将其全部或者一部分以任意的单位功能性或者物理地分散/统一而构成。进一步，在各装置中进行的各处理功能的全部或者任意的一部分由CPU以及由该CPU解析执行的程序来实现、或者可以作为由有线逻辑构成的硬件来实现。
[硬件]
图13是对硬件构成例进行说明的图。如图13所示，学习装置10具有通信装置10a、HDD(Hard Disk Drive：硬盘驱动器)10b、存储器10c、处理器10d。另外，图13所示的各部通过总线等相互连接。
通信装置10a是网络接口卡等，进行与其它装置的通信。HDD10b存储使图3所示的功能动作的程序、DB。
处理器10d通过从HDD10b等读出与图3所示的各处理部相同的处理的程序并在存储器10c中展开，使执行在图3等中说明的各功能的工序动作。即，该工序执行与学习装置10所具有的各处理部相同的功能。具体而言，处理器10d从HDD10b等读出具有与模型学习部21、解码器学习部22、评价部23等相同的功能的程序。而且，处理器10d执行进行与模型学习部21、解码器学习部22、评价部23等相同的处理的工序。
像这样，学习装置10作为通过读出程序并执行来执行学习方法的信息处理装置来动作。另外，学习装置10通过利用介质读取装置从记录介质读出上述程序，并执行所读出的上述程序也能够实现与上述的实施例相同的功能。此外，在该其它实施例中所说的程序并不限定于由学习装置10执行的程序。例如，在其它计算机或者服务器执行程序的情况下、这些结构配合执行程序的情况下，也能够同样地应用本发明。
该程序能够经由因特网等网络分发。另外，该程序记录于硬盘、软盘(FD)、CD－ROM、MO(Magneto－Optical disk：磁光盘)、DVD(Digital Versatile Disc：数字多功能光盘)等计算机可读取的记录介质，能够通过计算机从记录介质读出而执行。
附图标记说明：10…学习装置；11…通信部；12…存储部；13…学习数据DB；14…学习结果DB；20…控制部；21…模型学习部；22…解码器学习部；22a…解码器A学习部；22b…解码器B学习部；22c…解码器C学习部；23…评价部。

Claims (9)

1.一种学习程序，使计算机执行如下处理：
按照输入至学习模型的每个输入数据，根据多个特征量，使用与上述多个特征量分别对应的多个恢复器生成恢复数据，其中，与各输入数据对应地由上述学习模型生成上述多个特征量；以及
使上述多个恢复器学习，以使由上述多个恢复器分别生成的多个恢复数据中每个数据与上述输入数据接近。
2.根据权利要求1所述的学习程序，使上述计算机执行如下处理：
向学习完毕的上述多个恢复器输入上述输入数据，由上述多个恢复器分别生成多个恢复数据；
计算上述多个恢复数据中的每个数据与上述输入数据的误差；以及
基于上述误差，从作为上述多个恢复数据中的每个数据的生成源亦即上述多个特征量，选择所保持的特征量。
3.根据权利要求1所述的学习程序，其中，
上述学习模型是包含神经网络的学习模型，
上述生成的处理使用与上述神经网络所具有的各中间层建立对应关系的上述多个恢复器，根据从上述各中间层输出的上述多个特征量中的每个特征量生成上述多个恢复数据。
4.根据权利要求3所述的学习程序，其中，
上述生成的处理使用上述多个恢复器生成将从靠前的中间层输出的特征量作为恢复对象的恢复数据，其中，上述靠前的中间层是比与上述多个恢复器中的每个恢复器建立对应关系的中间层靠前的中间层，
上述学习的处理使上述多个恢复器中的每个恢复器学习，以使上述恢复数据与作为上述恢复对象的特征量的误差变小。
5.根据权利要求1所述的学习程序，使上述计算机执行如下处理：
对上述多个恢复器中的每个恢复器，将上述恢复数据输入至上述学习模型，获取上述恢复数据的特征量亦即恢复特征量，上述恢复特征量是由上述学习模型生成的特征量，
上述学习的处理使上述多个恢复器中的每个恢复器学习，以使上述恢复数据与上述输入数据的误差、以及恢复对象的上述特征量与上述恢复特征量的误差中的每个误差变小。
6.根据权利要求1所述的学习程序，使上述计算机执行如下处理：
向上述学习模型输入被赋予正确答案标签的第一输入数据，基于来自上述学习模型的输出结果与上述正确答案标签的误差，使上述学习模型学习，
向学习完毕的上述学习模型输入与上述第一输入数据不同的第二输入数据，根据由上述学习完毕的学习模型生成的多个特征量，使用与上述多个特征量分别对应的多个恢复器生成恢复数据，
使上述多个恢复器学习，以使由上述多个恢复器分别生成的多个恢复数据中的每个数据与上述第二输入数据接近。
7.根据权利要求6所述的学习程序，使上述计算机执行如下处理：
向使用上述第二输入数据学习的学习完毕的上述多个恢复器输入上述第一输入数据，获取由上述多个恢复器中的每个恢复器生成的多个恢复数据，
计算上述多个恢复数据中的每个数据与上述第一输入数据的误差，
基于上述误差，从上述多个恢复数据中的每个数据的生成源亦即多个特征量中，选择要保持的特征量。
8.一种学习方法，由计算机执行如下处理：
按照输入至学习模型的每个输入数据，根据多个特征量，使用与上述多个特征量分别对应的多个恢复器生成恢复数据，其中，与各输入数据对应地由上述学习模型生成上述多个特征量；以及
使上述多个恢复器学习，以使由上述多个恢复器分别生成的多个恢复数据中每个数据与上述输入数据接近。
9.一种学习装置，具有：
生成部，按照输入至学习模型的每个输入数据，根据多个特征量，使用与上述多个特征量中每个特征量对应的多个恢复器生成恢复数据，与各输入数据对应地由上述学习模型生成上述多个特征量；以及
学习部，使上述多个恢复器学习，以使由上述多个恢复器分别生成的多个恢复数据中每个数据与上述输入数据接近。
CN201880098669.5A 2018-10-18 2018-10-18 学习程序、学习方法以及学习装置 Pending CN112912901A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/038883 WO2020079815A1 (ja) 2018-10-18 2018-10-18 学習プログラム、学習方法および学習装置

Publications (1)

Publication Number Publication Date
CN112912901A true CN112912901A (zh) 2021-06-04

Family

ID=70282951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098669.5A Pending CN112912901A (zh) 2018-10-18 2018-10-18 学习程序、学习方法以及学习装置

Country Status (5)

Country Link
US (1) US20210232854A1 (zh)
EP (1) EP3869418A4 (zh)
JP (1) JP7192873B2 (zh)
CN (1) CN112912901A (zh)
WO (1) WO2020079815A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915632A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 事件检测装置以及事件检测方法
WO2016132468A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
WO2018011842A1 (ja) * 2016-07-11 2018-01-18 株式会社Ｕｅｉ 階層ネットワークを用いた演算処理システム
JP6352512B1 (ja) * 2017-08-22 2018-07-04 株式会社 ディー・エヌ・エー 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5558672A (en) * 1978-10-27 1980-05-01 Nec Corp Digital facsimile unit
JP6098841B2 (ja) 2015-01-06 2017-03-22 マツダ株式会社 車両用歩行者画像取得装置
JP2017126112A (ja) 2016-01-12 2017-07-20 株式会社リコー サーバ、分散型サーバシステム、及び情報処理方法
JP6561004B2 (ja) 2016-03-25 2019-08-14 株式会社デンソーアイティーラボラトリ ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915632A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 事件检测装置以及事件检测方法
WO2016132468A1 (ja) * 2015-02-18 2016-08-25 株式会社日立製作所 データ評価方法および装置、故障診断方法および装置
WO2018011842A1 (ja) * 2016-07-11 2018-01-18 株式会社Ｕｅｉ 階層ネットワークを用いた演算処理システム
JP6352512B1 (ja) * 2017-08-22 2018-07-04 株式会社 ディー・エヌ・エー 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造

Also Published As

Publication number Publication date
WO2020079815A1 (ja) 2020-04-23
EP3869418A4 (en) 2021-10-06
US20210232854A1 (en) 2021-07-29
JP7192873B2 (ja) 2022-12-20
JPWO2020079815A1 (ja) 2021-09-09
EP3869418A1 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
CN109308318B (zh) 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN110210513B (zh) 数据分类方法、装置及终端设备
Creswell et al. Adversarial information factorization
KR102042168B1 (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
JP7395960B2 (ja) 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置
KR102370910B1 (ko) 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법
Huang et al. Deep prototypical networks for imbalanced time series classification under data scarcity
CN110427978B (zh) 面向小样本学习的变分自编码器网络模型和装置
CN111445021A (zh) 学习方法、学习设备和计算机可读记录介质
US11010692B1 (en) Systems and methods for automatic extraction of classification training data
US20210232854A1 (en) Computer-readable recording medium recording learning program, learning method, and learning device
CN114118259A (zh) 一种目标检测方法及装置
Pajot et al. Unsupervised adversarial image inpainting
WO2021095509A1 (ja) 推定システム、推定装置および推定方法
JP2019159835A (ja) 学習プログラム、学習方法および学習装置
US20180268816A1 (en) Generating device, generating method, and non-transitory computer readable storage medium
CN111783936A (zh) 卷积神经网络构建方法、装置、设备及介质
JP2010272004A (ja) 判別装置及び判別方法、並びにコンピューター・プログラム
Anumasa et al. Delay differential neural networks
CN115545169A (zh) 基于gru-ae网络的多视角业务流程异常检测方法、系统以及设备
CN117217324A (zh) 一种模型训练方法以及相关设备
JP2022174517A (ja) 機械学習プログラム、機械学習方法および情報処理装置
Tailor et al. Learning to Defer to a Population: A Meta-Learning Approach
WO2021111832A1 (ja) 情報処理方法、情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination