CN111183437A - 判别装置以及机器学习方法 - Google Patents

判别装置以及机器学习方法 Download PDF

Info

Publication number
CN111183437A
CN111183437A CN201980004214.7A CN201980004214A CN111183437A CN 111183437 A CN111183437 A CN 111183437A CN 201980004214 A CN201980004214 A CN 201980004214A CN 111183437 A CN111183437 A CN 111183437A
Authority
CN
China
Prior art keywords
learning
learning data
unit
data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980004214.7A
Other languages
English (en)
Inventor
并木勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111183437A publication Critical patent/CN111183437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能够检测注解的错误的判别装置以及机器学习方法。本发明的判别装置(1)具备：子数据集提取部(34)，其从附加有标签的多个学习数据中提取用于学习的子学习数据集与用于验证的子验证数据集；学习部(110)，其进行基于子学习数据集的监督学习，并生成根据上述对象物的数据来判别标签的学习完毕模型；判别部(120)，其针对子验证数据集所含的各个学习数据，进行使用了学习完毕模型的判别处理；验证结果记录部(40)，其将判别处理的结果与学习数据关联地记录；以及正确错误检测部(42)，其基于与各个学习数据关联地记录的判别处理的结果，检测存在被附加的标签错误的可能性的学习数据。

Description

判别装置以及机器学习方法
技术领域
本发明涉及判别装置以及机器学习方法，特别是涉及检测注解的错误的判别装置以及机器学习方法。
背景技术
以往，执行通过拍摄机构拍摄在工厂中被制造出的产品等的对象物的外观并基于拍摄到的图像的产品的分选作业、对正常品与存在划伤、缺损等的缺陷品进行分类的外观检查等(例如，专利文献1～3等)。作为基于拍摄到对象物的外观的图像而进行该对象物的外观检查的方法，存在使用利用了深度神经网络等的机器学习器的机器学习的方法。在采取这样的方法的情况下，作为通过使用了图像的外观检查系统进行学习的前阶段，进行被称为注解的作业。在注解中，进行使表示在图像是否存在不良位置的标签与各个图像数据关联的被称为注解的作业。在注解中，作业人员一张一张地确认图像，通过目视观察来判断在图像内的对象物是否存在不良位置。
现有技术文献
专利文献
专利文献1：日本特开2015－021756号公报
专利文献2：日本特开2005－052926号公报
专利文献3：日本特开2013－140090号公报
这样向图像的注解通常由人手动地进行，因此能够在对象物存在明显的变形、伤痕等的情况下，适当地附加次品的标签，但针对对象物的特征的位置、尺寸(例如，开在产品上的孔的位置、尺寸等)之类的与合格品比较时的微妙的差别，往往会看漏，从而匹配地进行注解较困难。另外，因人的纰漏，可能容易引起即便在对象物明显存在不良的情况下也视为合格品、将合格品视为次品的情况。
因这样的人为失误而使注解不始终如一，从而无法进行能够准确地判断不良的学习器(学习完毕模型)的学习。其结果是，引起机器学习的检查结果的正确率未达到实用等级的情况。人类为了改正这样的错误，需要通过目视观察来再次确认所有的注解，但这成为非常麻烦的作业。这样的问题不专门出现于图像的外观检查所使用的机器学习器，在进行使用了由人进行注解由此被制作的学习数据的机器学习的情况下产生相同的问题。
发明内容
对此，本发明的目的在于提供一种能够检测注解的错误的判别装置以及机器学习方法。
本发明反复进行基于从学习数据的集合提取的学习数据与验证数据的标签的判别处理，并对该判别结果实施统计的处理，由此检测错误的可能性较高的注解，将其向作业人员提示而进行更正。通过该方法，能够提高注解的精度，由此使机器学习器更加准确地学习，使用通过这样的学习而生成的学习完毕模型，从而提高对象物的判别的精度。
更具体而言，通过以下的顺序检测注解的错误。顺序1)从学习数据集选出预先决定的数量或者比例的学习数据。选出的方法优选随机地选出等以难以引起偏颇的方式选出的方法。
顺序2)将在顺序1中选出的学习数据的集合设为子学习数据集。
顺序3)将在顺序1中未选出的剩余的学习数据的集合设为子验证数据集。
顺序4)使用子学习数据集而与通常的学习相同地进行学习器的学习。
顺序5)使用在顺序4中生成的学习器相对于子验证数据集进行判别。
顺序6)使在顺序5中判别出的各学习数据的判别次数增加1，若其判别结果与注解一致，则使该学习数据的正解次数增加1。
顺序7)改变顺序1中的选择方法，并且使顺序1～6进行预先决定的次数。
顺序8)将各学习数据的正解次数除以判别次数而得的值计算为该学习数据的注解正确的概率。
顺序9)将在顺序8中计算出的各学习数据的概率低于预先决定的阈值的学习数据作为存在注解错误的可能性的学习数据向用户进行提示，促使进行注解是否正确的再次确认、若有必要则进行修正。
顺序10)在修正注解的错误后，使用所有的学习数据集进行学习。
而且，本发明的一个方式为一种判别装置，其检测注解的错误，上述判别装置具备：学习数据存储部，其存储由多个学习数据构成的学习数据集；数据获取部，其获取要判别的对象物的数据，并作为学习数据存储于上述学习数据存储部；标签附加部，其对上述学习数据附加标签；子数据集提取部，其从存储于上述学习数据存储部的学习数据集中提取用于学习的子学习数据集与用于验证的子验证数据集；学习部，其进行基于上述子学习数据集的监督学习，生成根据上述对象物的数据来判别标签的学习完毕模型；判别部，其针对上述子验证数据集所含的各个学习数据，进行使用了上述学习完毕模型的判别处理；验证结果记录部，其将上述判别部对各个学习数据的判别处理的结果与该学习数据关联地记录于上述学习数据存储部；正确错误检测部，其基于与各个学习数据关联地记录于上述学习数据存储部的判别处理的结果，检测存在被上述标签附加部附加的标签错误的可能性的学习数据，上述子数据集提取部的子学习数据集与子验证数据集的提取、上述学习部的学习完毕模型的生成以及上述判别部的判别处理被执行预定的次数，上述正确错误检测部基于上述判别部执行了预定的次数的判别处理的结果计算被上述标签附加部附加的标签正确的概率，基于计算出的标签正确的概率，检测存在被上述标签附加部附加的标签错误的可能性的学习数据。
本发明的另一方式为一种机器学习方法，其检测注解的错误，上述机器学习方法执行如下的步骤：学习数据存储步骤，存储由多个学习数据构成的学习数据集；第1步骤，获取要判别的对象物的数据；第2步骤，对在上述第1步骤中获取的上述学习数据附加标签；第3步骤，从在上述第2步骤中附加标签的学习数据的集合中提取用于学习的子学习数据集与用于验证的子验证数据集；第4步骤，进行基于上述子学习数据集的监督学习，生成根据上述对象物的数据来判别标签的学习完毕模型；第5步骤，针对上述子验证数据集所含的各个学习数据，进行使用了上述学习完毕模型的判别处理；第6步骤，将相对于上述第5步骤中的各个学习数据的判别处理的结果与该学习数据关联地记录；第7步骤，基于在上述第6步骤中与各个学习数据关联地记录的判别处理的结果，检测存在被附加的标签错误的可能性的学习数据，上述第3步骤～第5步骤被执行预定的次数，上述第7步骤基于在上述5步骤中被执行了预定的次数的判别处理的结果计算附加于各个学习数据的标签正确的概率，基于计算出的标签正确的概率，检测存在被附加的标签错误的可能性的学习数据。
本发明的效果如下。
根据本发明，能够针对作业人员手动作业进行的相对于对象物的数据的注解(标签的附加)，自动地检测存在错误的可能性的标签，修正这样检测出错误的标签，由此能够生成基于正确的学习数据的学习完毕模型。
附图说明
图1是表示具备一个实施方式的机器学习装置的判别装置的主要部分的简要的硬件构成图。
图2是一个实施方式的判别装置的简要的功能框图。
图3是例示存储于学习数据存储部的学习数据集的图。
图4是在一个实施方式的判别装置上执行的处理的简要的流程图。
具体实施方式
以下，基于附图，对本发明的实施方式进行说明。
图1是表示具备第1实施方式的机器学习装置的判别装置的主要部分的简要的硬件构成图。在本实施方式中，使用将检测注解的错误的机器学习方法安装于外观检查所使用的判别装置上的情况的例子进行说明。
图1是表示本发明的一个实施方式的判别装置的主要部分的简要的硬件构成图。本实施方式的判别装置1能够安装为设置于工厂的个人计算机、管理设置于工厂的设备的单元计算机、主计算机、边缘计算机、云服务器等计算机。图1示出了作为设置于工厂的个人计算机而安装有判别装置1的情况的例子。
本实施方式的判别装置1具备的CPU11是整体地控制判别装置1的处理器。CPU11经由总线20而读出储存于ROM12的系统·程序，根据该系统·程序来控制判别装置1整体。在RAM13临时储存有临时的计算数据、作业人员经由输入装置71输入的各种数据等。
非易失性存储器14例如由利用未图示的电池支持的存储器、SSD等构成，即使关闭判别装置1的电源也保持存储状态。在非易失性存储器14储存有存储判别装置1的动作的设定信息的设定区域、从输入装置71输入的程序、数据等经由未图示的外部存储装置、网络读入的学习数据集等。存储于非易失性存储器14的程序、各种数据也可以在执行时/利用时展开于RAM13。另外，在ROM12预先写入有包含用于解析学习数据集的公知的解析程序、用于控制与后述的机器学习装置100的交流的程序等的系统·程序。
拍摄装置4例如是具有CCD等拍摄元件的电子照相机，且是具有通过拍摄在拍摄面(CCD阵列表面上)检测二维图像的功能的公知的受光设备。拍摄装置4例如安装于未图示的机器人的手，通过该机器人向拍摄成为判别对象的对象物的拍摄位置移动，经由接口19将拍摄该对象物而得的图像数据交付给CPU11。拍摄装置4的对象物拍摄的控制也可以通过判别装置1执行程序而进行。另外，也可以通过来自控制机器人的机器人控制器、其他的装置的控制，进行拍摄装置4的对象物拍摄的控制。
在显示装置70经由接口17而输出并显示被存储器读入的各数据、作为执行程序等的结果而得的数据、拍摄装置4拍摄而得的对象物的图像数据、从后述的机器学习装置100输出的数据等。另外，由键盘、指示设备等构成的输入装置71接受基于作业人员的操作的指令、数据等，经由接口18而交付给CPU11。
接口21是用于将判别装置1与机器学习装置100连接的接口。机器学习装置100具备：统御机器学习装置100整体的处理器101、存储系统·程序等的ROM102、用于进行机器学习的各处理的临时的存储的RAM103、以及使用于学习模型等的存储的非易失性存储器104。机器学习装置100能够观测能够由判别装置1经由接口21获取的各信息(例如，学习数据集等)。另外，判别装置1经由接口21获取从机器学习装置100输出的处理结果。
图2是第1实施方式的判别装置1与机器学习装置100的简要的功能框图。图2所示的各功能模块通过图1所示的判别装置1具备的CPU11以及机器学习装置100的处理器101执行各个系统·程序，并控制判别装置1以及机器学习装置100的各部分的动作而实现。
本实施方式的判别装置1具备：数据获取部30、标签附加部32、子数据集提取部34、验证结果记录部40、正确错误检测部42，另外，判别装置1具备的机器学习装置100具备学习部110、判别部120。
数据获取部30从拍摄装置4获取要判别的对象物的数据。数据获取部30也可以经由未图示的外部存储装置、网络而获取要判别的对象物的数据。在本实施方式中，要判别的对象物是进行外观检查的产品等，因此数据获取部30获取的对象物的数据成为图像数据。此时，数据获取部30也可以进行将获取的数据向在判别装置1的内部处理的数据形式变换的前处理。例如，在对象物的数据如本实施方式那样为图像的情况下，也可以进行通过凭借日本特开2017－091079号公报等而成为公知的图像处理方法，检测图像数据内的对象物的位置、姿势，并以检测出的位置、姿势剪下预先决定的区域的部分图像之类的处理。数据获取部30获取的对象物的数据作为学习数据存储于在非易失性存储器14内被确保为存储区域的学习数据存储部50。此外，针对存储于学习数据存储部50的各个学习数据，也可以将判别次数/正解次数关联地存储。在该情况下，在通过数据获取部30存储于学习数据存储部50的阶段，预先将与该学习数据关联的判别次数/正解次数复位为0。
标签附加部32相对于数据获取部30获取并存储于学习数据存储部50的学习数据(对象物的数据)附加(注解)标签，并将附加的标签与该学习数据关联地存储于学习数据存储部50。标签附加部32例如将作业人员边观察显示于显示装置70的学习数据边操作输入装置71而对各学习数据附加的标签与该学习数据关联地存储于学习数据存储部50。标签附加部32例如也可以若基于自动地进行对象物的数据的判别的数理的算法而计算出的判别值为预先决定的预定的第1阈值以上则成为合格品，若为预先决定的预定的第2阈值以下则为次品，以此自动地附加标签。另外，自动附加的结果也可以显示于显示装置70而供作业人员进行确认或者修正。标签附加部32附加的标签例如只要当在外观检查中判别对象物是合格品还是次品的情况下使用合格品/次品这2种标签即可，但除此之外，也可以根据判别装置1的判别的目的，例如附加3种以上的标签(大/中/小、种类A/种类B/…、等)。
子数据集提取部34从存储于学习数据存储部50的多个学习数据中提取预先决定的预定的数量或者预定的比例的学习数据作为子学习数据集，提取其他的学习数据作为子验证数据集。子数据集提取部34提取的各个子数据集优选以难以引起偏颇的方式进行提取，例如也可以从存储于学习数据存储部50的学习数据中随机地提取作为子学习数据集的学习数据、使用系统提取法等的统计的标本提取法。另外，子数据集提取部34也可以优先提取后述的判别次数较少的学习数据作为子验证数据集。
学习部110进行使用了子数据集提取部34提取出的子学习数据集的监督学习，生成(学习)用于根据对象物的数据来推断判别结果(标签)的学习完毕模型。本实施方式的学习部110例如也可以构成为使用神经网络作为学习模型，将子数据集提取部34提取出的子学习数据集所含的各个学习数据中的对象物的数据设为输入数据，进行将标签设为输出数据的监督学习。在这样构成的情况下，作为学习模型，也可以使用具备输入层、中间层、输出层这三层的神经网络，但也能够构成为采用使用了形成三层以上的层的神经网络的所谓的深度学习的方法，由此进行更加有效的学习以及推断。在本实施方式的学习部110的学习中，例如能够采取相对于学习模型输入图像数据的各像素值并计算一致度，使计算出的一致度与被附加的标签的误差相对于学习模型反向传播，而更新学习模型的参数的方法(误差反向传播法)等。另外，学习部110可以构成为进行使用了SVM、其他的学习模型的机器学习，也可以考虑判别装置1判别的对象物的数据的特性等选择适当的学习模型。学习部110生成的学习完毕模型存储于在非易失性存储器104上设置的学习模型存储部130，并用于判别部120的基于子验证数据集的推断处理。
判别部120针对子数据集提取部34提取出的子验证数据集所含的各个学习数据，进行使用了学习部110所生成的学习完毕模型的判别(判别结果的推断)。判别部120针对子验证数据集所含的各个学习数据，作为相对于存储于学习模型存储部130的学习完毕模型的输入，对该学习数据的对象物的数据进行判别处理，将作为其结果的判别结果向验证结果记录部40输出。
验证结果记录部40针对子验证数据集所含的学习数据，即通过判别部120进行了判别的各学习数据，将判别的结果与该学习数据关联地存储于学习数据存储部50。验证结果记录部40使由判别部120判别后的学习数据的判别次数增加1，另外，在判别部120的判别结果与被标签附加部32附加于该学习数据的标签一致的情况下，使该学习数据的正解次数增加1。
上述的、子数据集提取部34的子学习数据集以及子验证数据集的提取处理、学习部110的使用了子学习数据集的学习完毕模型的生成处理、判别部120的相对于子验证数据集的判别处理、以及验证结果记录部40的判别部120的判别结果的记录处理反复进行预定的次数。该反复次数也可以基于存储于学习数据存储部50的学习数据的数量而决定。另外，针对存储于学习数据存储部50的所有的学习数据，也可以重复该反复处理，直至验证结果记录部40记录的判别次数成为预先预定的次数以上。
请注意在反复的次数中，子数据集提取部34提取的子学习数据集以及子验证数据集成为每次不同的数据集。这样，在各种子数据集的组合中，进行学习部110的学习与判别部120的判别。然后，作为其结果，对各学习数据进行多次的判别处理，验证结果记录部40记录各个学习数据的判别次数以及正解次数。
正确错误检测部42针对存储于学习数据存储部50的各个学习数据，将正解次数除以判别次数而得的值计算为附加于该学习数据的标签(注解)正确的概率。正确错误检测部42也可以针对标签正确的概率低于预先决定的预定的阈值的学习数据，即使存在附加于该学习数据的标签错误的可能性，也显示于显示装置70。作业人员观察该显示，再次确认标签是否正确，根据需要操作输入装置71而进行标签的修正。例如如图3所例示的那样，正确错误检测部计算出的标签正确的概率也可以与学习数据关联地存储于学习数据存储部50。
在具备这样的结构的判别装置1中，针对相对于获取的学习数据被附加的标签，基于与附加于其他的学习数据的标签的关系性，判别存在不正确的可能性的标签。作业人员能够基于该判别结果进行标签的修正。然后，通过作业人员进行再次确认，使用推断为进行了正确的标签附加的学习数据的集合，能够重新进行学习部110的学习完毕模型的生成。这样生成的学习完毕模型基于正确的注解被生成，因此能够预料能够使用该学习完毕模型以较高的精度进行对象物的判别。
图4是本实施方式的判别装置1检测注解的错误的处理的简要的流程图。
·[步骤SA01]数据获取部30获取对象物的数据，并作为学习数据存储于学习数据存储部50。
·[步骤SA02]标签附加部32相对于在步骤SA01中获取的对象物的数据基于作业人员的操作等进行注解(标签附加)，并与学习数据关联地存储于学习数据存储部50。
·[步骤SA03]判定是否仍存在对象物的数据。在仍存在对象物的数据的情况下，使处理移至步骤SA01，在不存在对象物的数据的情况下，使处理移至步骤SA04。
·[步骤SA04]子数据集提取部34从存储于学习数据存储部50的学习数据的集合中，提取子学习数据集以及子验证数据集。
·[步骤SA05]学习部110进行使用了在步骤SA04中提取出的子学习数据集的监督学习，并生成学习完毕模型。
·[步骤SA06]判别部120针对在步骤SA04中提取的子验证数据集所含的各个学习数据，进行使用了在步骤SA05中构建的学习完毕模型的判别处理。
·[步骤SA07]验证结果记录部40将步骤SA06中的判别结果作为各学习数据的判定次数/正解次数与学习数据关联地记录于学习数据存储部50。
·[步骤SA08]判定步骤SA04～SA07是否被重复了预定次数。在重复了预定次数的情况下，使处理移至步骤SA09，在未重复预定次数的情况下，使处理移至步骤SA04。
·[步骤SA09]正确错误检测部42基于存储于学习数据存储部50的学习数据的判定次数/正解次数，计算附加于各个学习数据的标签的正确的概率，基于计算出的标签正确的概率，提取存在被附加错误的标签的可能性的学习数据，并将该学习数据显示于显示装置70。
·[步骤SA10]标签附加部32基于作业人员的操作修正被附加于学习数据的标签。
作为本实施方式的判别装置1的一个变形例，判别装置1也可以构成为在显示装置70显示在被给予的学习数据或者使用于学习/判别的学习模型中难以正确地判别标签的情况，即学习数据集的判别的困难性。困难性的判断只要基于正确错误检测部42计算出的被附加于各个学习数据的标签正确的概率进行即可。正确错误检测部42例如也可以在存储于学习数据存储部50的学习数据的集合中，针对被附加的标签正确的概率实施统计的处理，在附加于学习数据集的标签正确的概率的平均显著低的情况下、分散值较高的情况等下，基于统计分布，判断在被给予的学习数据或者使用于学习/判别的学习模型中难以正确地判别标签的情况，即学习数据集的判别的困难性。
作为本实施方式的判别装置1的另一变形例，也可以将附加于判别装置1判别的对象物的标签设为坐标值、角度、分量等的连续值、连续值的组，而不是该对象物所属的分类(合格品/次品等的离散值)。在将标签设为连续值、连续值的组的情况下，由学习部110生成的学习完毕模型以对象物的数据为输入而输出连续值(数值)或者连续值的组，从而判别部120输出连续值(数值)或者连续值的组作为推断结果。
此时，通过将附加于学习数据的标签与判别部120输出的标签的推断值之间的距离和预定的阈值进行比较，而能够决定附加于学习数据的标签是否为正解。或者也可以基于计算出的距离计算该标签正确的概率。作为一个例子，针对存储于学习数据存储部50的各个学习数据，代替正解次数而将差分累计值关联地存储，从而判别部120每当进行对子验证数据集所含的各个学习数据的判别处理，验证结果记录部40均将作为判别部120的判别结果而输出的标签的推断值与被标签附加部32附加于该学习数据的标签的差分的绝对值、或者作为判别部120的判别结果而输出的标签的推断值与被标签附加部32附加于该学习数据的标签的距离累计为差分累计值。然后，正确错误检测部42只要针对存储于学习数据存储部50的各个学习数据，基于将差分累计值除以判别次数而得的值，计算被附加于学习数据的标签正确的概率(例如，基于将各个学习数据的差分累计值除以判别次数而得的值的分布，通过公知的概率分布的统计的方法计算该标签正确的概率等)即可。
以上，对本发明的实施方式进行了说明，但本发明不仅仅限定于上述的实施方式的例子，能够通过施加适当的变更而以各种方式实施。
例如，机器学习装置100执行的学习算法、机器学习装置100执行的运算算法、判别装置1执行的控制算法等不限定于上述的算法，能够采用各种算法。
另外，在上述的实施方式中，判别装置1与机器学习装置100作为具有不同的CPU(处理器)的装置进行了说明，但机器学习装置100也可以通过判别装置1具备的CPU11与存储于ROM12的系统·程序而实现。
在上述的实施方式中，示出了作为对象物的数据使用了拍摄到在外观检查中使用的对象物的图像数据的例子，但本申请发明的注解的错误的检测方法除了图像数据以外，例如也能够应用于从对象物获取的电流/电压、压力等的物理量的波形数据、对象物发出的声响的声音数据等那样的其他的数据。即便在以任意的数据为对象的情况下，在作业人员基于自己的感觉进行注解的(附加标签的)情况下，也能够适当地应用。
附图标记说明
1-判别装置，
4-拍摄装置，
11-CPU，
12-ROM，
13-RAM，
14-非易失性存储器，
17、18、19-接口，
20-总线，
21-接口，
30-数据获取部，
32-标签附加部，
34-子数据集提取部，
40-验证结果记录部，
42-正确错误检测部，
70-显示装置，
71-输入装置，
100-机器学习装置，
101-处理器，
102-ROM，
103-RAM，
104-非易失性存储器，
110-学习部，
120-判别部，
130-学习模型存储部。
权利要求书(按照条约第19条的修改)
1.一种判别装置，该判别装置检测注解的错误，
其特征在于，
所述判别装置具备：
学习数据存储部，其存储由多个学习数据构成的学习数据集；
数据获取部，其获取要判别的对象物的数据，并作为学习数据存储于所述学习数据存储部；
标签附加部，其对所述学习数据附加标签；
子数据集提取部，其从存储于所述学习数据存储部的学习数据集中提取用于学习的子学习数据集和用于验证的子验证数据集；
学习部，其进行基于所述子学习数据集的监督学习，并生成根据所述对象物的数据来判别标签的学习完毕模型；
判别部，其针对所述子验证数据集所含的各个学习数据，进行使用了所述学习完毕模型的判别处理；
判别结果记录部，其将所述判别部对各个学习数据的判别处理的结果与该学习数据关联地记录于所述学习数据存储部；以及
正确错误检测部，其基于与各个学习数据关联地记录于所述学习数据存储部的判别处理的结果，检测存在由所述标签附加部附加的标签错误的可能性的学习数据，
所述子数据集提取部对子学习数据集和子验证数据集的提取、所述学习部对学习完毕模型的生成以及所述判别部的判别处理被执行预定的次数，
所述正确错误检测部基于所述判别部执行了预定的次数的判别处理的结果来计算由所述标签附加部附加的标签正确的概率，并基于计算出的标签正确的概率来检测存在被所述标签附加部附加的标签错误的可能性的学习数据。
2.根据权利要求1所述的判别装置，其特征在于，
所述正确错误检测部向作业人员提示计算出的标签正确的概率低于预先决定的阈值的学习数据。
3.根据权利要求1或2所述的判别装置，其特征在于，
基于所述学习数据集所含的学习数据的标签正确的概率的统计分布，判定所述学习数据集的判别的困难性。
4.一种判别装置，其特征在于，
所述判别装置具备：
提取部，其从基于附加有标签的数据的数据集中提取用于学习的子学习数据集和用于验证的子验证数据集；
判别部，其基于所述子学习数据集，针对所述子验证数据集所含的各个数据进行判别处理；以及
检测部，其基于所述判别处理的结果，检测是否存在所附加的所述标签错误的可能性的数据，
所述提取部的提取以及所述判别部的判别处理被执行预定的次数。
5.(修改后)根据权利要求4所述的判别装置，其特征在于，
所述检测部向作业人员提示计算出的标签正确的概率低于预先决定的阈值的数据。
6.(追加)根据权利要求4或5所述的判别装置，其特征在于，
基于所述数据集所含的标签正确的概率的统计分布，判定所述数据集的判别的困难性。
7.(追加)一种机器学习方法，该机器学习方法检测注解的错误，
其特征在于，
所述机器学习方法执行以下的步骤：
学习数据存储步骤，在该学习数据存储步骤中，存储由多个学习数据构成的学习数据集；
第1步骤，在该第1步骤中，获取要判别的对象物的数据；
第2步骤，在该第2步骤中，对在所述第1步骤中获取的所述学习数据附加标签；
第3步骤，在该第3步骤中，从在所述第2步骤中被附加标签的学习数据的集合中提取用于学习的子学习数据集和用于验证的子验证数据集；
第4步骤，在该第4步骤中，进行基于所述子学习数据集的监督学习，并生成根据所述对象物的数据来判别标签的学习完毕模型；
第5步骤，在该第5步骤中，针对所述子验证数据集所含的各个学习数据，进行使用了所述学习完毕模型的判别处理；
第6步骤，在该第6步骤中，将对所述第5步骤中的各个学习数据的判别处理的结果与该学习数据关联地记录；
第7步骤，在该第7步骤中，基于在所述第6步骤中与各个学习数据关联地记录的判别处理的结果，检测存在所附加的标签错误的可能性的学习数据，
所述第3步骤～第5步骤被执行预定的次数，
在所述第7步骤中，基于在所述5步骤中被执行了预定的次数的判别处理的结果来计算附加于各个学习数据的标签正确的概率，并基于计算出的标签正确的概率来检测存在被附加的标签错误的可能性的学习数据。

Claims (5)

1.一种判别装置，该判别装置检测注解的错误，
其特征在于，
所述判别装置具备：
学习数据存储部，其存储由多个学习数据构成的学习数据集；
数据获取部，其获取要判别的对象物的数据，并作为学习数据存储于所述学习数据存储部；
标签附加部，其对所述学习数据附加标签；
子数据集提取部，其从存储于所述学习数据存储部的学习数据集中提取用于学习的子学习数据集和用于验证的子验证数据集；
学习部，其进行基于所述子学习数据集的监督学习，并生成根据所述对象物的数据来判别标签的学习完毕模型；
判别部，其针对所述子验证数据集所含的各个学习数据，进行使用了所述学习完毕模型的判别处理；
判别结果记录部，其将所述判别部对各个学习数据的判别处理的结果与该学习数据关联地记录于所述学习数据存储部；以及
正确错误检测部，其基于与各个学习数据关联地记录于所述学习数据存储部的判别处理的结果，检测存在由所述标签附加部附加的标签错误的可能性的学习数据，
所述子数据集提取部对子学习数据集和子验证数据集的提取、所述学习部对学习完毕模型的生成以及所述判别部的判别处理被执行预定的次数，
所述正确错误检测部基于所述判别部执行了预定的次数的判别处理的结果来计算由所述标签附加部附加的标签正确的概率，并基于计算出的标签正确的概率来检测存在被所述标签附加部附加的标签错误的可能性的学习数据。
2.根据权利要求1所述的判别装置，其特征在于，
所述正确错误检测部向作业人员提示计算出的标签正确的概率低于预先决定的阈值的学习数据。
3.根据权利要求1或2所述的判别装置，其特征在于，
基于所述学习数据集所含的学习数据的标签正确的概率的统计分布，判定所述学习数据集的判别的困难性。
4.一种判别装置，其特征在于，
所述判别装置具备：
提取部，其从基于附加有标签的数据的数据集中提取用于学习的子学习数据集和用于验证的子验证数据集；
判别部，其基于所述子学习数据集，针对所述子验证数据集所含的各个数据进行判别处理；以及
检测部，其基于所述判别处理的结果，检测是否存在所附加的所述标签错误的可能性的数据，
所述提取部的提取以及所述判别部的判别处理被执行预定的次数。
5.一种机器学习方法，该机器学习方法检测注解的错误，
其特征在于，
所述机器学习方法执行以下的步骤：
学习数据存储步骤，在该学习数据存储步骤中，存储由多个学习数据构成的学习数据集；
第1步骤，在该第1步骤中，获取要判别的对象物的数据；
第2步骤，在该第2步骤中，对在所述第1步骤中获取的所述学习数据附加标签；
第3步骤，在该第3步骤中，从在所述第2步骤中被附加标签的学习数据的集合中提取用于学习的子学习数据集和用于验证的子验证数据集；
第4步骤，在该第4步骤中，进行基于所述子学习数据集的监督学习，并生成根据所述对象物的数据来判别标签的学习完毕模型；
第5步骤，在该第5步骤中，针对所述子验证数据集所含的各个学习数据，进行使用了所述学习完毕模型的判别处理；
第6步骤，在该第6步骤中，将对所述第5步骤中的各个学习数据的判别处理的结果与该学习数据关联地记录；
第7步骤，在该第7步骤中，基于在所述第6步骤中与各个学习数据关联地记录的判别处理的结果，检测存在所附加的标签错误的可能性的学习数据，
所述第3步骤～第5步骤被执行预定的次数，
在所述第7步骤中，基于在所述5步骤中被执行了预定的次数的判别处理的结果来计算附加于各个学习数据的标签正确的概率，并基于计算出的标签正确的概率来检测存在被附加的标签错误的可能性的学习数据。
CN201980004214.7A 2018-08-23 2019-08-01 判别装置以及机器学习方法 Pending CN111183437A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-156624 2018-08-23
JP2018156624A JP7299002B2 (ja) 2018-08-23 2018-08-23 判別装置及び機械学習方法
PCT/JP2019/030247 WO2020039882A1 (ja) 2018-08-23 2019-08-01 判別装置及び機械学習方法

Publications (1)

Publication Number Publication Date
CN111183437A true CN111183437A (zh) 2020-05-19

Family

ID=69592972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004214.7A Pending CN111183437A (zh) 2018-08-23 2019-08-01 判别装置以及机器学习方法

Country Status (5)

Country Link
US (1) US11461584B2 (zh)
JP (1) JP7299002B2 (zh)
CN (1) CN111183437A (zh)
DE (1) DE112019000093T5 (zh)
WO (1) WO2020039882A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7107331B2 (ja) 2020-04-10 2022-07-27 株式会社椿本チエイン データ収集方法、データ収集システム、データ収集装置、データ提供方法、及び、コンピュータプログラム
US11818163B2 (en) * 2020-09-18 2023-11-14 Paypal, Inc. Automatic machine learning vulnerability identification and retraining
WO2022123905A1 (ja) * 2020-12-07 2022-06-16 パナソニックＩｐマネジメント株式会社 処理システム、学習処理システム、処理方法、及びプログラム
JPWO2022239316A1 (zh) * 2021-05-11 2022-11-17
CN113592850A (zh) * 2021-08-12 2021-11-02 苏州鼎纳自动化技术有限公司 一种基于元学习的缺陷检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227863B2 (ja) 2003-08-04 2009-02-18 株式会社デンソー 視覚検査装置の教示装置及び教示方法
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US8804005B2 (en) * 2008-04-29 2014-08-12 Microsoft Corporation Video concept detection using multi-layer multi-instance learning
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP5874398B2 (ja) 2012-01-05 2016-03-02 オムロン株式会社 画像検査装置の検査領域設定方法
WO2013176750A1 (en) * 2012-05-25 2013-11-28 Security Pacific Capital Corporation Methods, systems and apparatus for automated authentication
JP6246513B2 (ja) 2013-07-16 2017-12-13 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
JP2015087903A (ja) 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
US10592820B2 (en) * 2016-06-09 2020-03-17 International Business Machines Corporation Sequential learning technique for medical image segmentation
JP6839342B2 (ja) 2016-09-16 2021-03-10 富士通株式会社 情報処理装置、情報処理方法およびプログラム
JP6817625B2 (ja) * 2016-12-14 2021-01-20 株式会社グルーヴノーツ サービス構築装置、サービス構築方法及びサービス構築プログラム
JP6729457B2 (ja) * 2017-03-16 2020-07-22 株式会社島津製作所 データ解析装置
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images

Also Published As

Publication number Publication date
DE112019000093T5 (de) 2020-05-20
JP2020030692A (ja) 2020-02-27
US11461584B2 (en) 2022-10-04
JP7299002B2 (ja) 2023-06-27
WO2020039882A1 (ja) 2020-02-27
US20200193219A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN111183437A (zh) 判别装置以及机器学习方法
CN108229488B (zh) 用于检测物体关键点的方法、装置及电子设备
US10997711B2 (en) Appearance inspection device
EP3220353B1 (en) Image processing apparatus, image processing method, and recording medium
EP2579210A1 (en) Face feature-point position correction device, face feature-point position correction method, and face feature-point position correction program
CN102473301B (zh) 动作解析装置及动作解析方法
KR20090004348A (ko) 개인 식별 장치, 개인 식별 방법, 식별 사전 데이터의 갱신방법, 및 식별 사전 데이터의 갱신 프로그램
JP6985856B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20120170835A1 (en) Determining the Uniqueness of a Model for Machine Vision
US20200334801A1 (en) Learning device, inspection system, learning method, inspection method, and program
CN110705596A (zh) 白屏检测方法、装置、电子设备及存储介质
US20210295182A1 (en) Machine learning system and machine learning method
US8542905B2 (en) Determining the uniqueness of a model for machine vision
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
JP6874864B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114365161A (zh) 作业要素分析装置和作业要素分析方法
CN112150508B (zh) 一种目标追踪方法、装置及相关设备
JP6786015B1 (ja) 動作分析システムおよび動作分析プログラム
CN113723467A (zh) 用于缺陷检测的样本收集方法、装置和设备
JP2004109105A (ja) 表面欠陥検出における疵種分類境界設定方法、及び欠陥検出方法
US11443266B2 (en) Machine learning method and machine learning apparatus performing learning relating to work process
CN115617023B (zh) 航天器姿控系统异常定位方法和装置
US11790270B2 (en) User-generated visual guide for the classification of images
CN108735295B (zh) 基于回归树模型的血液分析方法及终端设备
US20220335708A1 (en) Data cleaning device, data cleaning method and face verification method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination