CN111837143A - 学习装置及学习方法 - Google Patents

学习装置及学习方法 Download PDF

Info

Publication number
CN111837143A
CN111837143A CN201880091109.7A CN201880091109A CN111837143A CN 111837143 A CN111837143 A CN 111837143A CN 201880091109 A CN201880091109 A CN 201880091109A CN 111837143 A CN111837143 A CN 111837143A
Authority
CN
China
Prior art keywords
learning
data
neural network
unit
reference label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091109.7A
Other languages
English (en)
Inventor
藤野友也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111837143A publication Critical patent/CN111837143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

学习部(10)基于按照学习用数据的每个要素而分配了OK标签和NG标签的学习基准标签，将学习用数据的要素作为输入而学习神经网络，输出将属于NG判定组的数据中的至少一个判定为NG的识别器。动态更新部(11)在由学习部(10)进行的神经网络的学习的中途，动态地更新学习基准标签。

Description

学习装置及学习方法
技术领域
本发明涉及对使用了神经网络的识别器进行学习的学习装置及学习方法。
背景技术
通常，为了进行异常检测而使用的学习用图像数据大多情况下以图像单位来判定是正常(以下记载为OK)还是异常(以下记载为NG)。
另一方面，在判定为NG的学习用图像数据中，存在NG要素的图像区域大多为局部，大部分的区域与判定为OK的学习用图像数据在局部没有变化。
一直以来，存在针对由多个要素构成的学习用数据而使用按照每个要素判定出OK或NG的学习用数据的机器学习。
例如，在专利文献1中，记载了如下技术：将输入图像分割为多个图像区域，按照每个分割后的图像区域来赋予区分前景和背景的标签。在该技术中，基于与被赋予了前景或背景确定的标签的图像区域之间的连续性，来估计被赋予了不确定的标签的像素是前景还是背景。
现有技术文献
专利文献
专利文献1：日本特开2012-208913号公报
发明内容
发明要解决的问题
在针对图像、动态图像或多维数据通过机器学习来识别OK与NG的情况下，在学习用数据中，大多提供通过手工来判定出OK或NG的数据。但是，构成学习用数据的全部要素为NG的情况较少，仅根据不确定的要素而判定为NG的情况较多。当使用这样的学习用数据时，存在如下问题：将本来是OK的要素错误地学习为NG，学习结果的识别器的识别精度下降。
本发明用于解决上述问题，其目的在于，得到一种能够提供进行高精度的识别的识别器的学习装置及学习方法。
用于解决问题的手段
本发明的学习装置具备学习部及动态更新部。学习部输入由多个要素构成的学习用数据和定义了属于组的数据中的至少一个被判定为NG的组信息，使用按照学习用数据的每个要素而分配了OK标签或NG标签的学习基准标签，将学习用数据的多个要素作为输入而学习神经网络，由此，作为使用学习结果的神经网络，输出将属于组的数据中的至少一个判定为NG的识别器。动态更新部在由学习部进行的神经网络的学习的中途，动态地更新学习基准标签。在该结构中，学习部使用学习用数据及组信息，生成学习用数据的每个要素的学习基准标签的初始值，逐次使用由动态更新部从学习基准标签的初始值更新的学习基准标签，反复学习神经网络，使用每次反复学习的神经网络的输出值，计算学习用数据的要素能够成为NG的NG指标值。动态更新部基于以统计的方式对按照每个学习的反复次数的推移而得到的NG指标值的变化倾向进行检验的结果，更新学习基准标签。
发明的效果
根据本发明，学习装置能够提供通过将属于组的数据的至少一个判定为NG来进行高精度的识别的识别器。
附图说明
图1是示出本发明的实施方式1的学习装置的结构的框图。
图2是示出实施方式1的学习装置的详细结构的框图。
图3是示出学习用数据DB的内容的一例的图。
图4是示出NG判定组DB的内容的一例的图。
图5是示出学习基准标签缓冲器的内容的一例的图。
图6是示出神经网络的结构的一例的图。
图7是示出NG指标值缓冲器的内容的一例的图。
图8是示出历史缓冲器的内容的一例的图。
图9是示出NG候选缓冲器的内容的一例的图。
图10A是示出用于实现实施方式1的学习装置的功能的硬件结构的框图。图10B是示出执行用于实现实施方式1的学习装置的功能的软件的硬件结构的框图。
图11是示出实施方式1的学习方法的流程图。
图12是示出学习基准标签生成处理的流程图。
图13是示出神经网络管理处理的流程图。
图14是示出NG指标值的历史管理处理的流程图。
图15是示出NG指标值的统计性的检验处理的流程图。
图16是示出学习基准标签更新处理的流程图。
图17是示出神经网络参数更新处理的流程图。
具体实施方式
以下，为了更加详细地说明本发明，按照附图对其具体实施方式进行说明。
实施方式1.
图1是示出本发明的实施方式1的学习装置1的结构的框图。
学习装置1使用从学习用数据数据库(以下记载为学习用数据DB)2输入的学习用数据和从NG判定组数据库(以下记载为NG判定组DB)3输入的NG判定组信息，更新神经网络初始参数，由此，生成提供学习结果的识别器的神经网络参数。
学习用数据DB2所存储的学习用数据是由多个要素构成的数据。例如，在学习用数据为图像数据的情况下，将该图像数据表示的图像分割为多个而得到的各个图像区域是要素。NG判定组DB3所存储的NG判定组信息是定义了将属于NG判定组的数据中的至少一个判定为NG的信息。
学习装置1具备学习部10及动态更新部11。学习部10从学习用数据DB2输入学习用数据，从NG判定组DB3输入NG判定组信息，使用学习用数据的每个要素的学习基准标签，将学习用数据的多个要素作为输入，来学习神经网络。学习基准标签是按照学习用数据的每个要素而分配了OK标签或NG标签的信息。学习部10输出提供识别器的神经网络参数，该识别器将属于NG判定组的数据中的至少一个判定为NG。
此外，学习部10使用学习用数据及NG判定组信息，生成学习用数据的每个要素的学习基准标签的初始值，逐次使用由动态更新部11从学习基准标签的初始值动态地更新的学习基准标签，反复学习神经网络。学习部10使用每次反复学习的神经网络的输出值，计算学习用数据的要素能够成为NG的指标值(以下记载为NG指标值)。
动态更新部11在由学习部10进行的神经网络的学习的中途，动态地更新学习基准标签。具体而言，动态更新部11以统计的方式检验按照每个学习的反复次数的推移而得到的NG指标值的变化倾向，基于统计性的检验结果，更新学习基准标签。动态更新部11通过使用NG指标值的变化倾向的统计性的检验结果，将在学习基准标签中分配给本来为OK的要素的NG标签更新为OK标签。
图2是示出实施方式1的学习装置1的详细结构的框图。如图2所示，学习部10具备学习基准标签缓冲器10a、学习基准标签生成部10b、神经网络管理部10c、神经网络更新部10d及NG指标值缓冲器10e。动态更新部11具备历史缓冲器11a、NG候选缓冲器11b、历史管理部11c、检验部11d及学习基准标签更新部11e。
神经网络初始参数是定义神经网络的初始状态的参数。例如，神经网络初始参数包括神经网络中的隐藏单元的节点数、在节点间赋予的权重参数、偏置参数及学习率参数的初始值。这些参数是在下述的参考文献1中记载的参数。学习装置1通过更新神经网络初始参数，生成提供识别器的神经网络参数，该识别器将属于NG判定组的数据中的至少一个判定为异常。
(参考文献1)C.M.ビショップ，元田浩(监译)，“パターン認識と機械学習上”，丸善出版，pp.225-247.
在学习用数据DB2中存储有由多个要素构成的学习用数据。图3是示出学习用数据DB2的内容的一例的图。在图3中，学习用数据由通过“数据ID”来识别的多个要素构成，多个要素分别由“数据值序列”构成。例如，在图3中，记载了构成某个学习用数据的数据ID为D0001的要素、数据ID为D0002的要素、数据ID为D0003的要素、数据ID为D0004的要素、…。
在NG判定组DB3中存储有由NG判定组的识别信息和属于NG判定组的学习用数据的要素的识别信息构成的NG判定组信息。图4是示出NG判定组DB3的内容的一例的图。构成学习用数据的多个要素分别与图3同样地通过“数据ID”来识别。NG判定组通过“NG判定组ID”来识别。例如，数据ID为D0001的要素、数据ID为D0002的要素、数据ID为D0004的要素属于NG判定组ID为G001的NG判定组，这些要素的至少一个被判定为NG。
在学习基准标签缓冲器10a中存储有学习用数据的每个要素的学习基准标签。图5是示出学习基准标签缓冲器10a的内容的一例的图。如图5所示，学习基准标签信息具有学习用数据的要素的数据ID、OK标志及NG标志。构成学习用数据的多个要素分别与图3同样地通过“数据ID”来识别。在被分配了OK标签的要素中，对与该要素对应的OK标志设定值1，对与该要素对应的NG标志设定值0。相反，在被分配了NG标签的要素中，对与该要素对应的OK标志设定值0，对与该要素对应的NG标志设定值1。
学习基准标签生成部10b基于学习用数据是否属于NG判定组的判定结果，生成学习基准标签的初始值。例如，学习基准标签生成部10b判定在登记于学习用数据DB2的要素的数据ID中是否存在与NG判定组DB3中的属于NG判定组的要素相同的数据ID。在判定为是与属于NG判定组的要素相同的数据ID的情况下，学习基准标签生成部10b生成对与该要素对应的OK标志设定值0、对NG标志设定值1的学习基准标签，并存储于学习基准标签缓冲器10a。
神经网络管理部10c管理如下的神经网络的学习：将与学习用数据DB2所存储的数据ID对应的要素，分配给学习基准标签缓冲器10a中的与上述数据ID对应的OK标志及NG标志中的值为1的标志所对应的类(OK类或NG类)。
图6是示出神经网络的结构的一例的图。如图6所示，神经网络由输入层、隐藏层及输出层构成。当将构成学习用数据的要素的数据值序列x1、x2、…、xN向输入层输入时，计算对输入层的节点和隐藏层的节点之间的权重参数与x1、x2、…、xN的乘积和进行非线性转换而得到的z1、z2、…、zM。接下来，将对隐藏层的节点和输出层的节点之间的权重参数与z1、z2、…、zM的乘积和进行非线性转换而得到的y1、y2从输出层输出。
输出值y1、y2是每个类的NG评价值，输出值y1表示要素属于OK类的程度，输出值y2表示要素属于NG类的程度。当输入到神经网络的要素(数据值序列)为y1＞y2时，判定为属于OK类，当输入到神经网络的要素为y1≦y2时，判定为属于NG类。NG指标值也可以是以分母不成为0的方式进行了校正的y2与y1的比率，以下，将y2-y1设为NG指标值。
另外，在图6中示出了隐藏层为1层的神经网络，但由神经网络管理部10c管理的神经网络也可以是隐藏层为多层的神经网络。
神经网络更新部10d基于由神经网络管理部10c得到的NG指标值，更新神经网络参数，由此，输出提供学习结果的识别器的神经网络参数。例如，神经网络更新部10d使用参考文献1所记载的参数最佳化方法，更新神经网络参数。神经网络更新部10d在学习的反复次数达到阈值或者满足了学习的结束条件的情况下，将在该阶段最佳化而更新的神经网络参数向学习装置1的外部输出。
在NG指标值缓冲器10e中，存储有在神经网络的学习反复的过程中得到的学习用数据的每个要素的NG指标值。图7是示出NG指标值缓冲器10e的内容的一例的图。在NG指标值缓冲器10e中，设定有学习用数据的要素的数据ID、和该要素的NG指标值中的由神经网络管理部10c计算出的时间点的NG指标值。
在历史缓冲器11a中，按照学习用数据的每个要素而存储有学习的反复次数及与其对应的NG指标值。图8是示出历史缓冲器11a的内容的一例的图。在历史缓冲器11a中，设定有学习反复次数为1次、100次及200次时的NG指标值。例如，在数据ID为D0001的要素中，在学习反复次数为1次时得到的NG指标值为0.55，在学习反复次数为100次时得到的NG指标值为0.35，在学习反复次数为200次时得到的NG指标值为0.12。
在NG候选缓冲器11b中，按照学习用数据的每个要素而存储有学习反复次数、NG候选等级、OK确定标志及NG确定标志。图9是示出NG候选缓冲器11b的内容的一例的图。在NG候选缓冲器11b中，如图9所示，设定有学习用数据的要素的数据ID、NG候选等级、OK确定标志及NG确定标志。NG候选等级根据NG指标值在过去取的值而变化。
NG候选是在学习基准标签中被分配了NG标签的要素，NG候选等级成为与对应于NG候选的要素的NG指标值相应的等级。
OK确定标志是表示要素被确定为OK的标志。例如，如果对OK确定标志设定了值0，则表示与该OK确定标志对应的要素未被确定为OK，在设定了值1的情况下，表示与该OK确定标志对应的要素被确定为OK。另一方面，NG确定标志是表示要素被确定为NG的标志。例如，如果对NG确定标志设定了值0，则表示与该NG确定标志对应的要素未被确定为NG，在设定了值1的情况下，表示与该NG确定标志对应的要素被确定为NG。
历史管理部11c将按照学习的每个反复而得到的学习用数据的每个要素的NG指标值存储于历史缓冲器11a。例如，历史管理部11c将NG指标值缓冲器10e所存储的NG指标值与该时间点的学习反复次数一起存储于历史缓冲器11a。由此，在历史缓冲器11a中，存储有按照事先设定的学习反复次数(在图8的例子中为1次、100次、200次)而得到的NG指标值。
检验部11d以统计的方式检验历史缓冲器11a所存储的NG指标值的变化倾向，基于该统计性的检验结果，按照学习用数据的每个要素来更新NG候选缓冲器11b的内容。例如，检验部11d从历史缓冲器11a提取与处理对象的要素对应的每个学习反复次数的推移的NG指标值的时间序列。接着，检验部11d以统计的方式检验从历史缓冲器11a提取出的NG指标值的时间序列，确认NG指标值的变化倾向。
检验部11d针对NG指标值的时间序列进行无规则性的检体。在通过无规则性的检验而确认为在NG指标值的变化中没有规则性的情况下，检验部11d将该要素维持为NG候选。在确认为具有规则性的情况下，检验部11d针对NG指标值的时间序列进行倾向性的检验。当通过倾向性的检验而确认为NG指标值为上升倾向时，检验部11d将该要素维持为NG候选。
检验部11d在NG指标值的时间序列具有规则性且确认到上升倾向时，将该要素判断为NG确定，对NG候选缓冲器11b中的与该要素对应的NG确定标志设定值1。另一方面，检验部11d在NG指标值的时间序列具有规则性且确认到下降倾向时，将该要素判断为OK确定，对NG候选缓冲器11b中的与该要素对应的OK确定标志设定值1。
作为无规则性的检验及倾向性的检验的方法，也可以使用在下述的参考文献2中记载的检验方法。
(参考文献2)武藤真介著、“統計解析ハンドブック”，朝仓书店，pp.398-399，402-403.
学习基准标签更新部11e将通过检验部11d被确定为OK的学习用数据的要素的学习基准标签从NG标签更新为OK标签。例如，学习基准标签更新部11e在学习用数据的要素通过检验部11d被确定为OK的情况下，对与该要素对应的学习基准标签中的OK标志设定值1，对NG标志设定值0。
学习装置1中的学习部10及动态更新部11的功能通过处理电路来实现。即，学习装置1具备用于执行后述的图11中的步骤ST1至步骤ST5的处理的处理电路。该处理电路也可以为专用的硬件，但也可以为执行存储器所存储的程序的CPU(Central ProcessingUnit)。
图10A是示出用于实现学习装置1的功能的硬件结构的框图。图10B是示出执行用于实现学习装置1的功能的软件的硬件结构的框图。在图10A及图10B中，信息输入接口100是对从未图示的外部装置向图1及图2所示的学习装置1的信息的输入进行中继的接口。例如，图2所示的神经网络管理部10c经由信息输入接口100从外部装置输入神经网络初始参数。外部装置也可以是与学习装置1独立设置的存储装置。例如，学习装置1也可以利用存在于云端上的存储装置。
DB输入输出接口101是对学习装置1与数据库102之间的数据的交换进行中继的接口。数据库102是图1及图2所示的学习用数据DB2及NG判定组DB3。例如，学习部10具备的学习基准标签生成部10b经由DB输入输出接口101从学习用数据DB2及NG判定组DB3输入数据。另外，数据库102也可以构建在与学习装置1独立设置的存储装置中。例如，学习装置1经由DB输入输出接口101，从在存在于云端的存储装置中构建的数据库102输入数据。
图2所示的学习基准标签缓冲器10a、NG指标值缓冲器10e、历史缓冲器11a及NG候选缓冲器11b构建在图10A所示的内置于处理电路104的存储器中，或者构建在图10B所示的存储器106中。信息输出接口103是对从学习装置1向未图示的外部装置的信息的输出进行中继的接口。例如，图2所示的神经网络更新部10d经由信息输出接口103向外部装置输出神经网络参数。外部装置例如举出利用神经网络参数提供的识别器的异常检测装置。
在上述处理电路为图10A所示的专用的硬件的处理电路104的情况下，处理电路104例如对应于单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)、或者它们的组合。可以通过不同的处理电路来实现学习装置1中的学习部10及动态更新部11的功能，也可以将这些功能统一通过1个处理电路来实现。
在上述处理电路为图10B所示的处理器105的情况下，学习装置1中的学习部10及动态更新部11的功能通过软件、固件或者软件与固件的组合来实现。另外，软件或固件被记述为程序而存储在存储器106中。
处理器105通过读出并执行存储器106所存储的程序，来实现学习装置1中的学习部10及动态更新部11的功能。
即，学习装置1具备用于存储程序的存储器106，在由处理器105该程序执行时，结果上执行图11所示的步骤ST1至步骤ST5的处理。这些程序使计算机执行学习部10及动态更新部11的步骤或方法。存储器106也可以是存储有用于使计算机作为学习部10及动态更新部11发挥功能的程序的计算机可读存储介质。
存储器106例如对应于RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、DVD等。
针对学习部10及动态更新部11的功能，也可以由专用的硬件实现一部分，并由软件或固件实现一部分。例如，学习部10通过作为专用的硬件的处理电路来实现功能，动态更新部11通过处理器105读出并执行存储器106所存储的程序来实现功能。这样，处理电路能够通过硬件、软件、固件或者它们的组合来实现上述功能。
接着对动作进行说明。
图11是示出实施方式1的学习方法的流程图。
在步骤ST1中，学习基准标签生成部10b对与学习用数据的多个要素中的属于NG判定组的要素对应的OK标志设定值0，对NG标志设定值1，由此，生成学习用数据的每个要素的学习基准标签。此外，神经网络管理部10c使用神经网络初始参数，构建初始状态的神经网络。
在步骤ST2中，神经网络管理部10c向神经网络输入学习用数据的要素，基于神经网络的输出结果，计算每个要素的NG指标值。接着，神经网络管理部10c基于NG指标值，判定对象的要素属于OK类及NG类中的哪一方。接下来，神经网络管理部10c使用误差函数，对与对象的要素对应的学习基准标签的初始值及由动态更新部11更新的学习基准标签与判定出的类进行误差评价。对于误差函数，可以使用参考文献1中记载的函数。此外，历史管理部11c将每次反复学习时得到的NG指标值存储于历史缓冲器11a。
在步骤ST3中，检验部11d基于以统计的方式检验历史缓冲器11a所存储的NG指标值的变化倾向而得到的结果，针对NG候选的要素，评价是否应确定为OK或者NG。学习基准标签更新部11e基于检验部11d的评价结果，更新学习基准标签。例如，学习基准标签更新部11e将与由检验部11d确定为OK的要素对应的学习基准标签从NG标签更新为OK标签。
在步骤ST4中，神经网络更新部10d基于由神经网络管理部10c得到的NG指标值，更新神经网络参数。针对构成学习用数据的多个要素，分别反复进行步骤ST2至步骤ST4的一系列的学习处理。
当学习的反复结束时，神经网络更新部10d将在前述的一系列的学习中更新的神经网络参数作为学习结果而输出(步骤ST5)。
接着，对学习基准标签生成处理详细进行说明。
图12是示出学习基准标签生成处理的流程图，示出生成学习基准标签的初始值的处理。
学习基准标签生成部10b依次读出登记于学习用数据DB2的学习用数据的每个要素的数据ID，执行以后的处理。
学习基准标签生成部10b判定在从学习用数据DB2读出的要素的数据ID中是否存在与登记于NG判定组DB3中的属于NG判定组的要素的数据ID相同的数据ID(步骤ST1a)。
在判定为对象的要素的数据ID与属于NG判定组的要素的数据ID相同的情况下(步骤ST1a；是)，学习基准标签生成部10b对与对象的要素对应的OK标志设定值0，对NG标志设定值1(步骤ST2a)。另一方面，在判定为对象的要素的数据ID与属于NG判定组的要素的数据ID不同的情况下(步骤ST1a；否)，学习基准标签生成部10b对与对象的要素对应的OK标志设定值1，对NG标志设定值0(步骤ST3a)。
学习基准标签生成部10b在对与对象的要素对应的OK标志及NG标志设定值时，将对象的要素的数据ID和OK标志及NG标志的值存储于学习基准标签缓冲器10a(步骤ST4a)。
学习基准标签生成部10b针对登记于学习用数据DB2的学习用数据的全部要素，重复执行步骤ST1a至步骤ST4a的一系列的处理。通过该处理而生成学习基准标签的初始值。
接着，对神经网络管理处理详细进行说明。
图13是示出神经网络管理处理的流程图，示出计算每个要素的NG指标值的处理。
在初次处理中，神经网络管理部10c基于神经网络初始参数，构建初始状态的神经网络(步骤ST1b)。
接着，神经网络管理部10c将从学习用数据DB2读出的学习用数据的要素(数据值序列Di)向神经网络输入，得到在输出层计算的输出值y1＿i及y2＿i(步骤ST2b)。如上所述，输出值y1＿i表示要素属于OK类的程度，输出值y2＿i表示要素属于NG类的程度。当输入到神经网络的要素(数据值序列Di)为y1＿i＞y2＿i时，判定为属于OK类，当输入到神经网络的要素为y1＿i≦y2＿i时，判定为属于NG类。神经网络管理部10c对判定出的类与学习基准标签进行误差评价。
在步骤ST3b中，神经网络管理部10c计算y2＿i-y1＿i作为NG指标值NGEi，将计算出的NG指标值NGEi与和其对应的要素的数据ID一起存储于NG指标值缓冲器10e。
另外，虽然将y2＿i-y1＿i设为NGEi，但也可以将y1＿i和y2＿i的比率设为NGEi，还可以将考虑了y1＿i和y2＿i的分布的距离设为NGEi。
神经网络管理部10c针对登记于学习用数据DB2的学习用数据的全部的要素，重复执行步骤ST2b至步骤ST3b的一系列的处理。
接着，对NG指标值的历史管理处理详细进行说明。
图14是示出NG指标值的历史管理处理的流程图。
首先，历史管理部11c判定学习反复次数是否能够被固定数(例如，100)除尽(步骤ST1c)。学习反复次数是重复进行图11所示的步骤ST2至步骤ST4的基于学习部10的一系列的处理的次数。
在判定为学习反复次数能够被固定数除尽的情况下(步骤ST1c；是)，历史管理部11c从NG指标值缓冲器10e提取数据ID及与其对应的要素的NG指标值的序列(步骤ST2c)。
接着，历史管理部11c对提取出的数据ID及NG指标值的序列追加当前的学习反复次数并存储于历史缓冲器11a(步骤ST3c)。
之后，历史管理部11c结束图14的处理，转移至检验部11d的处理。
另一方面，在判定为学习反复次数无法被固定数除尽的情况下(步骤ST1c；否)，历史管理部11c结束图14的处理，转移至神经网络更新部10d的处理。
接着，对NG指标值的统计性的检验处理详细进行说明。
图15是示出NG指标值的统计性的检验处理的流程图。
检验部11d从历史缓冲器11a提取与第j个要素(对象的要素)的数据ID对应的、每个学习反复次数的NG指标值的序列Vj，将提取出的NG指标值的序列Vj换算成NG候选等级的序列Lj(步骤ST1d)。根据当前的NG指标值属于利用固定数对序列Vj在过去取的值的范围进行等分割后的第几个范围，来决定序列Lj。
例如，在将NG指标值的序列Vj在过去取的值的范围分割为五部分的情况下，如图9所示，将NG候选等级的分配设为-2、-1、0、+1、+2。
NG候选等级0对应于NG指标值在过去取的中间的范围。NG候选等级+1对应于NG指标值比中间的范围大的范围，NG候选等级+2对应于NG指标值比与NG候选等级+1对应的范围大的范围。NG候选等级-1对应于NG指标值比中间的范围小的范围，NG候选等级-2对应于NG指标值比与NG候选等级-1对应的范围小的范围。
另外，由于初次只有1个NG指标值，因此，序列Vj在过去取的值的范围为0。将此时的NG候选等级设为0。
检验部11d判定是否对属于对象的要素(NG候选)所属的NG判定组的要素中的、对象的要素以外的全部要素所对应的OK确定标志设定了值1(步骤ST2d)。此时，在对与任意要素对应的OK确定标志设定了值0的情况下(步骤ST2d；否)，检验部11d参照NG候选缓冲器11b，判定是否对与对象的要素对应的NG确定标志和OK确定标志都设定了值0(步骤ST3d)。
在对NG确定标志或OK确定标志设定了值1的情况下(步骤ST3d；否)，检验部11d利用当前的学习反复次数、对象的要素的当前的NG候选等级、对象的要素的当前的OK确定标志及NG确定标志的值，来更新NG候选缓冲器11b中的与对象的要素对应的数据(步骤ST4d)。
之后，检验部11d从历史缓冲器11a中继续提取与第j+1个要素的数据ID对应的NG指标值的序列Vj+1，重复进行从步骤ST1d起的处理。
在对属于对象的要素所属的NG判定组的要素中的、对象的要素以外的全部要素所对应的OK确定标志设定了值1的情况下(步骤ST2d；是)，检验部11d将应该对与对象的要素对应的NG确定标志设定的值决定为“1”(步骤ST5d)。之后，转移至步骤ST4d的处理，检验部11d对NG候选缓冲器11b中的与对象的要素对应的NG确定标志设定值1而进行更新。
在对与对象的要素对应的NG确定标志和OK确定标志均设定了值0的情况下(步骤ST3d；是)，检验部11d针对NG候选等级的序列Lj，进行基于固定的可靠系数(例如，0.95)的无规则性的检验(步骤ST6d)。检验部11d基于针对NG候选等级的序列Lj的无规则性的检验结果，判定NG候选等级的序列Lj是否具有规则性(步骤ST7d)。
在NG候选等级的序列Lj中未确认到规则性且判定为每次反复学习时NG指标值的变化倾向随机地变化的情况下(步骤ST7d；否)，检验部11d不对对象的要素进行OK确定，也不进行NG确定。之后，转移至步骤ST4d的处理。
在NG候选等级的序列Lj中确认到规则性且判定为每次反复学习时NG指标值的变化倾向规则的情况下(步骤ST7d；是)，检验部11d针对NG候选等级的序列Lj进行上升方向的倾向性的检验(步骤ST8d)。检验部11d基于针对NG候选等级的序列Lj的倾向性的检验结果，判定NG候选等级的序列Lj中是否存在上升倾向(步骤ST9d)。
在NG候选等级的序列Lj中存在上升倾向的情况下(步骤ST9d；是)，检验部11d判断为在每次反复学习时，NG指标值变大，转移至步骤ST5d的处理。由此，将应该对与对象的要素对应的NG确定标志设定的值决定为“1”，确定NG。
另一方面，在NG候选等级的序列Lj未确认到上升倾向的情况下(步骤ST9d；否)，检验部11d针对NG候选等级的序列Lj进行下降方向的倾向性的检验(步骤ST10d)。检验部11d基于针对NG候选等级的序列Lj的上述倾向性的检验结果，判定在NG候选等级的序列Lj中是否存在下降倾向(步骤ST11d)。
在NG候选等级的序列Lj中也未确认到下降倾向的情况下(步骤ST11d；否)，检验部11d转移至步骤ST4d的处理，将序列Lj的值决定为当前的NG候选等级，并反映到NG候选缓冲器11b。
在NG候选等级的序列Lj中确认到下降倾向的情况下(步骤ST11d；是)，检验部11d判断为在每次反复学习时，NG指标值变小，将应该对与对象的要素对应的OK确定标志设定的值决定为“1”(步骤ST12d)。之后，转移至步骤ST4d的处理，检验部11d对NG候选缓冲器11b中的与对象的要素对应的OK确定标志设定值1而进行更新。
接着，对学习基准标签的更新处理详细进行说明。
图16是示出学习基准标签更新处理的流程图。
学习基准标签更新部11e从NG候选缓冲器11b提取对OK确定标志设定了值1的要素的数据ID，作为无重复的序列U(步骤ST1e)。在序列U中包括对OK确定标志设定了值1的要素的数据ID。
接着，学习基准标签更新部11e确定学习基准标签缓冲器10a中的与序列U所包含的数据ID相同的数据ID的记录，以确定出的记录中的OK标志成为值1、NG标志成为值0的方式更新学习基准标签(步骤ST2e)。在由学习部10进行的神经网络的学习的中途执行该处理，因此，学习基准标签被动态地更新。
接着，对神经网络参数的更新处理详细进行说明。
图17是示出神经网络参数更新处理的流程图。
神经网络更新部10d从NG指标值缓冲器10e中，提取由神经网络管理部10c根据以当前时间点的神经网络参数构建的神经网络的输出结果计算出的NG指标值。
神经网络更新部10d基于从NG指标值缓冲器10e提取出的NG指标值，将神经网络参数最佳化(步骤ST1f)。例如，神经网络更新部10d基于从NG指标值缓冲器10e提取出的NG指标值，使用参考文献1中记载的梯度下降优化法，将当前时间点的神经网络参数最佳化。在每次反复学习时逐次进行该最佳化。
接下来，神经网络更新部10d判定学习反复次数是否成为既定值(例如，10000)以上(步骤ST2f)。
在学习反复次数小于既定值的情况下(步骤ST2f；否)，神经网络更新部10d结束图17的处理，转移至由神经网络管理部10c进行的从图11的步骤ST2起的处理。
另一方面，在学习反复次数为既定值以上的情况下(步骤ST2f；是)，神经网络更新部10d将该时间点的神经网络参数作为学习结果而输出(步骤ST3f)。使用学习结果的神经网络参数构建的神经网络作为如下的识别器而发挥功能，该识别器将属于NG判定组的数据中的至少一个判定为NG。
接着，对通过实施方式1的学习装置1得到的识别器进行说明。
这里，考虑虽然存在针对组(事例组)整体而判定为NG的历史、但不知道组内的哪个要素是NG的状况，例如如下状况：存在3个组，针对其中的2个组的整体判定为NG，针对剩一个组的整体判定为OK。将判定为NG的1个组设为NG判定组(1){E11(OK)，E12(NG)，E13(OK)}，将判定为NG的另1个组设为NG判定组(2){E21(NG)，E22(OK)，E23(OK)}。将判定为OK的组设为OK判定组(3){E31(OK)，E32(OK)，E33(OK)}。
NG判定组(1)仅第2个要素为NG，剩余的要素为OK。此外，NG判定组(2)仅第1个要素为NG，剩余的要素为OK。但是，由于这些组包括NG的要素，因此，组整体上判定为NG。在要素E的()内示出要素单位的OK或NG，但在将3个组作为学习用数据而处理的阶段，每个要素的OK及NG是不清楚的。
在识别器的学习阶段，仅仅知道针对组整体的OK或NG的判定结果，因此，在按照每个要素来识别OK和NG的情况下，将E11(OK)、E12(NG)、E13(OK)、E21(NG)、E22(OK)、E23(OK)这6个要素全部视作NG来学习。即，它们之中的4个要素本来为OK，但被错误地作为NG而学习。由此，学习结果的识别器的识别精度下降。
例如，在判定组(4){E41(OK)，E42(OK)，E43(OK)}和组(5){E51(OK)，E52(OK)，E53(NG)}的OK及NG的情况下，在以往的识别器中，本来为OK的要素被错误地作为NG而学习，因此，可能将属于组(4)的要素的任意一个判定为NG。当将属于组(4)的要素的任意要素判定为NG时，组(4)整体也被判定为NG。这样，以往的识别器的要素单位的识别精度低，组单位的识别精度也低。
与此相对，在实施方式1的学习装置1中，基于以统计的方式检验了NG指标值的变化倾向而得到的结果，更新按照每个要素而分配了OK标签或NG标签的学习基准标签。由此，学习部10几乎不会将本来为OK的要素错误地作为NG来学习，能够学习进行高精度的识别的识别器。
此外，学习结果的识别器将属于NG判定组的数据中的至少一个判定为NG，因此，如果组(5)是NG判定组，组(5)被适当地判定为NG，组(4)被判定为OK。
如以上那样，实施方式1的学习装置1具备学习部10及动态更新部11。学习部10使用学习基准标签，将学习用数据的多个要素作为输入来学习神经网络，由此，使用学习结果的神经网络，输出将属于组的数据中的至少一个判定为NG的识别器。动态更新部11在由学习部10进行的神经网络的学习的中途，动态地更新学习基准标签。在该结构中，学习部10逐次使用由动态更新部11从学习基准标签的初始值更新的学习基准标签，反复学习神经网络，使用每次反复学习的神经网络的输出值，计算与学习用数据的要素对应的NG指标值。动态更新部11基于以统计的方式检验了按照每个学习的反复次数的推移而得到的NG指标值的变化倾向的结果，更新学习基准标签。由于学习结果的识别器将属于组的数据中的至少一个判定为NG，因此，学习装置1能够提供进行高精度的识别的识别器。
另外，本发明不限于上述实施方式，在本发明的范围内，能够进行实施方式的任意的结构要素的变形或者省略实施方式的任意的结构要素。
产业利用性
本发明的学习装置能够提供进行高精度的识别的识别器，因此，例如能够利用于异常检测系统。
标号说明
1学习装置，2学习用数据DB，3 NG判定组DB，10学习部，10a学习基准标签缓冲器，10b学习基准标签生成部，10c神经网络管理部，10d神经网络更新部，10e NG指标值缓冲器，11动态更新部，11a历史缓冲器，11b NG候选缓冲器，11c历史管理部，11d检验部，11e学习基准标签更新部，100信息输入接口，101 DB输入输出接口，102数据库，103信息输出接口，104处理电路，105处理器，106存储器。

Claims (4)

1.一种学习装置，其特征在于，
所述学习装置具备：
学习部，其输入由多个要素构成的学习用数据和定义了属于组的数据中的至少一个被判定为NG的组信息，使用按照所述学习用数据的每个要素而分配了OK标签或NG标签的学习基准标签，将所述学习用数据的多个要素作为输入而学习神经网络，由此，使用作为学习结果的神经网络，输出将属于所述组的数据中的至少一个判定为NG的识别器；以及
动态更新部，其在由所述学习部进行的神经网络的学习的中途，动态地更新所述学习基准标签，
所述学习部使用所述学习用数据及所述组信息，生成所述学习用数据的每个要素的所述学习基准标签的初始值，
所述学习部逐次使用由所述动态更新部从所述学习基准标签的初始值更新的所述学习基准标签，反复学习神经网络，
所述学习部使用每次反复学习的神经网络的输出值，计算所述学习用数据的要素能够成为NG的NG指标值，
所述动态更新部基于以统计的方式对按照每个学习的反复次数的推移而得到的NG指标值的变化倾向进行检验的结果，更新所述学习基准标签。
2.根据权利要求1所述的学习装置，其特征在于，
所述学习部具备：
学习基准标签缓冲器，其存储有所述学习用数据的每个要素的所述学习基准标签；
学习基准标签生成部，其生成所述学习基准标签的初始值，其中，在所述学习用数据的要素不属于所述组的情况下，对所述学习基准标签的初始值分配OK标签，在所述学习用数据的要素属于所述组的情况下，对所述学习基准标签的初始值分配NG标签；
神经网络管理部，其使用神经网络的输出值，计算所述学习用数据的要素的NG指标值，从OK类及NG类中，基于NG指标值来判定所述学习用数据的要素所属的类，对所述学习基准标签的初始值及由所述动态更新部更新的所述学习基准标签与判定出的类进行误差评价；以及
神经网络更新部，其基于由所述神经网络管理部计算出的NG指标值，更新神经网络参数。
3.根据权利要求1或2所述的学习装置，其特征在于，
所述动态更新部具备：
历史缓冲器，其存储有按照每个学习的反复次数而得到的NG指标值；
NG候选缓冲器，其按照所述学习用数据的每个要素而存储有学习的反复次数、与NG指标值相应的NG候选等级、表示所述学习用数据的要素被确定为OK的OK确定标志、以及表示所述学习用数据的要素被确定为NG的NG确定标志；
历史管理部，其将按照每次反复学习而得到的NG指标值存储于所述历史缓冲器；
检验部，其使用所述NG候选等级的推移，以统计的方式检验所述历史缓冲器所存储的NG指标值的变化倾向，基于检验结果来确定NG候选的要素的OK或NG，更新所述NG候选缓冲器中的所述OK确定标志或所述NG确定标志；以及
学习基准标签更新部，其将与NG候选的要素中的由所述检验部确定为OK的要素对应的所述学习基准标签从NG标签更新为OK标签。
4.一种学习方法，其特征在于，
所述学习方法具备如下步骤：
学习部输入由多个要素构成的学习用数据和定义了属于组的数据中的至少一个被判定为NG的组信息，使用按照所述学习用数据的每个要素而分配了OK标签或NG标签的学习基准标签，将所述学习用数据的多个要素作为输入而学习神经网络，由此，使用作为学习结果的神经网络，输出将属于所述组的数据中的至少一个判定为NG的识别器；以及
动态更新部在由所述学习部进行的神经网络的学习的中途，动态地更新所述学习基准标签，
所述学习部使用所述学习用数据及所述组信息，生成所述学习用数据的每个要素的所述学习基准标签的初始值，
逐次使用由所述动态更新部从所述学习基准标签的初始值更新的所述学习基准标签，反复学习神经网络，
使用每次反复学习的神经网络的输出值，计算所述学习用数据的要素能够成为NG的NG指标值，
所述动态更新部基于以统计的方式对按照每个学习的反复次数的推移而得到的NG指标值的变化倾向进行检验的结果，更新所述学习基准标签。
CN201880091109.7A 2018-03-16 2018-03-16 学习装置及学习方法 Pending CN111837143A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010446 WO2019176087A1 (ja) 2018-03-16 2018-03-16 学習装置および学習方法

Publications (1)

Publication Number Publication Date
CN111837143A true CN111837143A (zh) 2020-10-27

Family

ID=67908184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091109.7A Pending CN111837143A (zh) 2018-03-16 2018-03-16 学习装置及学习方法

Country Status (7)

Country Link
US (1) US20200387792A1 (zh)
EP (1) EP3748549B1 (zh)
JP (1) JP6701467B2 (zh)
KR (1) KR20200108912A (zh)
CN (1) CN111837143A (zh)
TW (1) TW201939363A (zh)
WO (1) WO2019176087A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238610B2 (ja) * 2019-06-04 2023-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168799A (ja) * 1993-09-22 1995-07-04 Fuji Electric Co Ltd ニューラルネットワークの学習装置
JP2006226708A (ja) * 2005-02-15 2006-08-31 Nagoya Electric Works Co Ltd 良否判定装置、良否判定方法および良否判定プログラム
US20150120624A1 (en) * 2013-10-30 2015-04-30 Sony Corporation Apparatus and method for information processing
US20150193698A1 (en) * 2014-01-06 2015-07-09 Nec Corporation Data processing device
WO2017090098A1 (ja) * 2015-11-25 2017-06-01 株式会社日立製作所 設備管理装置および方法
JP2017102906A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6182242B1 (ja) * 2016-06-13 2017-08-16 三菱電機インフォメーションシステムズ株式会社 データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
US20180246846A1 (en) * 2017-02-27 2018-08-30 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US20180308230A1 (en) * 2016-01-26 2018-10-25 Fujifilm Corporation Crack information detection device, method of detecting crack information, and crack information detection program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707864A (zh) 2011-03-28 2012-10-03 日电（中国）有限公司 基于混合标记的对象分割方法和系统
US10339471B2 (en) * 2017-01-17 2019-07-02 International Business Machines Corporation Ensemble based labeling
US11436428B2 (en) * 2017-06-06 2022-09-06 Sightline Innovation Inc. System and method for increasing data quality in a machine learning process
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168799A (ja) * 1993-09-22 1995-07-04 Fuji Electric Co Ltd ニューラルネットワークの学習装置
JP2006226708A (ja) * 2005-02-15 2006-08-31 Nagoya Electric Works Co Ltd 良否判定装置、良否判定方法および良否判定プログラム
US20150120624A1 (en) * 2013-10-30 2015-04-30 Sony Corporation Apparatus and method for information processing
US20150193698A1 (en) * 2014-01-06 2015-07-09 Nec Corporation Data processing device
WO2017090098A1 (ja) * 2015-11-25 2017-06-01 株式会社日立製作所 設備管理装置および方法
JP2017102906A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20180308230A1 (en) * 2016-01-26 2018-10-25 Fujifilm Corporation Crack information detection device, method of detecting crack information, and crack information detection program
JP6182242B1 (ja) * 2016-06-13 2017-08-16 三菱電機インフォメーションシステムズ株式会社 データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
US20180246846A1 (en) * 2017-02-27 2018-08-30 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
EP3748549A4 (en) 2021-05-05
TW201939363A (zh) 2019-10-01
WO2019176087A1 (ja) 2019-09-19
EP3748549A1 (en) 2020-12-09
US20200387792A1 (en) 2020-12-10
JPWO2019176087A1 (ja) 2020-05-28
JP6701467B2 (ja) 2020-05-27
KR20200108912A (ko) 2020-09-21
EP3748549B1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN110310114B (zh) 对象分类方法、装置、服务器及存储介质
CN116577677B (zh) 退役动力电池的放电测试系统及其方法
EP3871155A1 (en) Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
WO2021038886A1 (ja) 学習方法、学習プログラムおよび学習装置
CN112633461A (zh) 应用辅助系统和方法以及计算机可读记录介质
CN116596582A (zh) 一种基于大数据的销售信息预测方法及装置
CN115423040A (zh) 互动营销平台的用户画像识别方法及ai系统
CN113541985A (zh) 物联网故障诊断方法、模型的训练方法及相关装置
CN114494800A (zh) 预测模型训练方法、装置、电子设备及存储介质
US11373285B2 (en) Image generation device, image generation method, and image generation program
CN111837143A (zh) 学习装置及学习方法
CN110717037A (zh) 对用户分类的方法和装置
CN110766086A (zh) 基于强化学习模型对多个分类模型进行融合的方法和装置
CN111126420A (zh) 一种建立识别模型的方法及装置
CN115439079A (zh) 项目分类方法及装置
CN111709479B (zh) 一种图像分类方法和装置
CN111242449A (zh) 一种企业情报流失预测方法
CN111798001A (zh) 基于学习的数据处理系统及模型更新方法
CN117077018B (zh) 基于机器学习的数据处理方法、装置及存储介质
CN113989596B (zh) 图像分类模型的训练方法及计算机可读存储介质
CN113449523A (zh) 异常地址文本的确定方法、装置、电子设备和存储介质
CN113780376A (zh) 一种分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination