CN109978815A - 检测系统、信息处理装置、评价方法及存储介质 - Google Patents

检测系统、信息处理装置、评价方法及存储介质 Download PDF

Info

Publication number
CN109978815A
CN109978815A CN201811057116.3A CN201811057116A CN109978815A CN 109978815 A CN109978815 A CN 109978815A CN 201811057116 A CN201811057116 A CN 201811057116A CN 109978815 A CN109978815 A CN 109978815A
Authority
CN
China
Prior art keywords
identifier
data
study
evaluation
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811057116.3A
Other languages
English (en)
Inventor
玉井俊规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109978815A publication Critical patent/CN109978815A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提供一种检测系统、信息处理装置、评价方法及存储介质。在进行了追加学习的情况下，用于定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器。所述检测系统具备：图像处理装置，使用识别器识别对象物是否包含检测对象；以及信息处理装置，对图像处理装置提供识别器，信息处理装置具有：评价部，使用学习用数据使识别器进行追加学习，使用与对象物的多个属性中的各个属性建立关联的评价用数据按照每一属性评价追加学习的前后的识别器的识别精度；以及输出部，按照每一属性输出识别精度。

Description

检测系统、信息处理装置、评价方法及存储介质
技术领域
本发明涉及一种检测系统、信息处理装置、评价方法及存储介质。
背景技术
在FA(Factory Automation)领域中，正普及对作为检查对象物的工件进行拍摄，通过自动分析拍摄到的图像来检查工件的技术。
在专利文献1中，记载了从以至少两个以上的不同的拍摄条件拍摄外观的合格与否已知的检查对象物而得到的图像中，选择用于识别检查对象物的合格与否的特征量，基于选择出的特征量，生成识别检查对象物的合格与否的识别器。
专利文献1：日本特开2017-049974号公报
发明内容
在欲提高通过机械学习生成的识别器的识别精度的情况下，通常，准备对象物中含有检测对象的新的学习用数据使识别器进行追加学习，来实现识别器的识别精度的提高。然而，对于通常的机械学习而言，难以预测学习结果，此外，还存在有相对于学习数据产生过度适合的过度学习的可能性，所以通过使识别器进行追加学习，从而与学习前相比较，存在有追加学习的学习用数据所含的对象物以外的识别精度变差的可能性。例如，当针对表面有金属制的光泽的对象物使识别器进行追加学习时，表面有光泽的对象物识别精度得以提高，但表面有凹凸的对象物识别精度却变差。因此，当利用追加学习的识别器时，对于预定的对象物，观察到了用户非预期的识别精度的变差，并根据欲作为识别的对象物、用户的目的，需要重新学习。
因此，本发明的目的在于，提供一种在对识别器进行了追加学习的情况下，用于定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器的方案。
本发明的一个方式涉及的检测系统具备：图像处理装置，具备拍摄部和能够进行学习的识别器，使用识别器，对由拍摄部拍摄的对象物是否包含检测对象进行识别；以及信息处理装置，对图像处理装置提供识别器，信息处理装置具有：第一存储部，存储识别器，识别器以识别对象物是否包含检测对象的方式进行了学习；第二存储部，存储评价用数据，评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价识别器的识别精度；第三存储部，存储用于使识别器进行追加学习的学习用数据；学习部，使用学习用数据使识别器进行追加学习；评价部，使用评价用数据，按照每一属性对追加学习前和追加学习后的识别器的识别精度进行评价；以及输出部，按照每一属性输出识别精度。根据该方式，能够使追加学习的影响范围可视化地呈现给用户，所以用户在对识别器进行了追加学习的情况下，能够定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器。
在上述方式中：信息处理装置也可以还具有受理部，受理部从用户受理多个属性中的至少一个属性的指定，评价部针对受理到的至少一个属性，评价追加学习前和追加学习后的识别器的识别精度。第三存储部也可以将学习用数据与多个属性中的至少一个属性建立关联地存储，输出部以能够区别与学习用数据建立关联的至少一个属性的方式进行输出。信息处理装置也可以还具有登记部，登记部从用户受理学习用数据和与该学习用数据建立关联的至少一个属性，并登记于第三存储部。根据这些方式，能够使用由用户指定的学习用数据的一部分来评价将追加学习的前后的识别器的识别精度，因此用户能够进一定量地确认识别器是否以发挥期望的识别精度的方式进行了学习。
在上述方式中，信息处理装置也可以还具有更新部，更新部进行如下处理：基于评价部的每一属性的识别精度的评价，将图像处理装置所具备的识别器更新为在学习部中进行了追加学习的识别器。更新部也可以进行如下处理：针对与学习用数据建立关联的至少一个属性，在使用评价用数据进行了评价的识别精度为与追加学习前相比追加学习后的识别精度高时，将图像处理装置所具备的识别器更新为在学习部中进行了追加学习的识别器。根据这些方式，在进行了追加学习的情况下，在进行了追加学习的检查对象物的属性中获得取得学习效果的评价结果的情况下，能够将检测装置所具备的识别器更新为追加学习完的识别器，因此能够进一步提供识别精度较高的检测装置。
在上述方式中，也可以在从用户受理到更新识别器的主旨的指示时，更新部进行用于将图像处理装置所具备的识别器更新为在学习部中进行了追加学习的识别器的处理。根据该方式，能够抑制没有用户的许可地更新检查装置的识别器的情况。
在上述方式中，登记部也可以将学习用数据与和学习用数据建立关联的至少一个属性建立关联而作为新的评价用数据，追加登记于第二存储部。根据该方式，能够增加评价用数据的数量，能够更详细地进行识别器的评价。
在上述方式中，评价部也可以从用户按照每一属性受理用于识别器的评价的评价用数据的数据数量的指定，使用受理到的数据数量的评价用数据，按照每一属性评价识别精度。根据该方式，例如针对不要的属性能够以较少的数据数量进行评价的方式来对应，能够削减信息处理装置的CPU资源及存储器资源。
本发明的其他方式涉及的信息处理装置具有：第一存储部，存储识别器，识别器以识别对象物是否包含检测对象的方式进行了学习；第二存储部，存储评价用数据，评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价识别器的识别精度；第三存储部，存储用于使识别器进行追加学习的学习用数据；学习部，使用学习用数据使识别器进行追加学习；评价部，使用评价用数据，按照每一属性对追加学习前和追加学习后的识别器的识别精度进行评价；以及输出部，按照每一属性输出识别精度。根据该方式，能够将追加学习的影响范围可视化地呈现给用户，所以用户在对识别器进行了追加学习的情况下，能够定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器。
本发明的其他方式涉及的评价方法由信息处理装置来执行，信息处理装置具有：第一存储部，存储识别器，识别器以识别对象物是否包含检测对象的方式进行了学习；第二存储部，存储评价用数据，评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价识别器的识别精度；以及第三存储部，存储用于使识别器进行追加学习的学习用数据，评价方法具有如下步骤：使用学习用数据使识别器进行追加学习；使用评价用数据，按照每一属性对追加学习前和追加学习后的识别器的识别精度进行评价；以及按照每一属性输出识别精度。根据该方式，能够将追加学习的影响范围可视化地呈现给用户，所以用户在对识别器进行了追加学习的情况下，能够定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器。
本发明的其他方式涉及存储介质，存储程序，程序使计算机作为如下单元发挥功能：第一存储单元，存储识别器，识别器以识别对象物是否包含检测对象的方式进行了学习；第二存储单元，存储评价用数据，评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价识别器的识别精度；第三存储单元，存储用于使识别器进行追加学习的学习用数据；学习单元，使用学习用数据使识别器进行追加学习；评价单元，使用评价用数据，按照每一属性对追加学习前和追加学习后的识别器的识别精度进行评价；以及输出单元，按照每一属性输出识别精度。根据该方式，能够将追加学习的影响范围可视化地呈现给用户，所以用户在对识别器进行了追加学习的情况下，能够定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器。
根据本发明，提供一种在对识别器进行了追加学习的情况下，用于能够定量地评价识别精度得以提高的对象物和除此以外的对象物而获得符合用户的目的的识别器的方案。
附图说明
图1为示意地例示本实施方式涉及的图像处理系统的应用场景的一个例子。
图2例示识别器的动作的一个例子。
图3示意地例示本实施方式涉及的管理装置的硬件构成的一个例子。
图4示意地例示本实施方式涉及的图像处理装置的硬件构成的一个例子。
图5示意地例示本实施方式涉及的管理装置的功能构成的一个例子。
图6示意地例示本实施方式涉及的图像处理装置的功能构成的一个例子。
图7例示管理装置进行的处理过程的一个例子。
图8例示进行追加学习用数据的登记及评价对象属性的设定的处理过程的一个例子。
图9例示追加学习用数据及属性指定画面的一个例子。
图10例示受理用于识别器的评价的评价用数据的数据数量的设定的画面的一个例子。
图11例示进行使用了追加学习用数据(学习用)的识别器的评价的处理过程的一个例子。
图12例示进行使用了评价用数据的识别器的评价的处理过程的一个例子。
图13例示显示评价结果的画面的一个例子。
图14例示对识别器进行更新时的处理过程的一个例子。
附图标记说明
1…图像处理系统；100…管理装置；101…处理器；102…存储器；103…存储装置；103A…程序；104…网络接口；105…显示部；106…操作部；107…存储卡读写器；107A…存储介质；108…内部总线；121A…CPU；200…图像处理装置；210…照明部；211…照明控制单元；212…照明透镜；220…控制装置；221…处理部；222…存储装置；222A…程序；222B…识别器；223…网络通信部；230…拍摄部；231…拍摄透镜；232…拍摄元件；501…追加学习部；502…评价部；503…输出部；504…受理部；505…更新部；610…受理部；620…识别部；5011…追加学习用数据DB；5012…登记部；5013…识别器DB；5013A…识别器；5014…学习处理部；5021…评价用数据DB；5022…设定部；5023…评价处理部。
具体实施方式
参照附图对本发明的优选的实施方式进行说明。另外，在各图中，标注相同附图标记的部件具有相同或同样的结构。
1应用例
首先，使用图1对应用本发明的场景的一个例子进行说明。图1示意地例示本实施方式涉及的图像处理系统1的应用场景的一个例子。图像处理系统1典型地组装于生产线等。图像处理系统1基于通过对生产线上输送的检查对象物进行拍摄而获得的图像，执行检查对象物的检查、文字的辨别这样的处理。另外，检查对象物为本发明的“对象物”的一个例子。图像处理系统1为本发明的“检测系统”的一个例子。此外，检查对象物也可以为任意的对象物，但在本实施方式中，对作为处于制造过程中的部件、零件等工件进行说明。
如图1所示，图像处理系统1包含：管理装置100、经由网络2与管理装置100进行通信的一个以上的图像处理装置200。例如，工件通过带式输送机等输送机构在预定方向上进行输送，各个图像处理装置200与该输送路径相对地配置在预先设定的位置。管理装置100为用于对一个以上的图像处理装置200进行管理的装置。图像处理装置200具备用于检查工件的识别器。图像处理装置200所具备的识别器为通过机械学习生成的识别器，如图2所示，通过识别在拍摄工件而得到的图像是否包括检测对象来进行工件的检查。以下，以检测对象为缺陷的情况作为前提进行说明，但缺陷为本发明的“检测对象”的一个例子，本实施方式并不限于缺陷，能够应用所有的检测对象。在此，缺陷为工件具有的异常，例如包含划痕、颜色等不匀、污渍、压痕、缺损、毛边、异物、打印内容的模糊、打印内容等的位置偏移等。另外，管理装置100为本发明的“信息处理装置”的一个例子。此外，缺陷为本发明的“检测对象”的一个例子。
管理装置100具备与图像处理装置200所具备的识别器相同或相同种类的识别器。此外，管理装置100的数据库中存储有用于评价识别器识别缺陷的有无时的识别精度的图像数据(以下，称作“评价用数据”。)。此时，相对于工件可能具备的某种多个属性，按照每一属性至少关联有预定数量的评价用数据，并存储于管理装置100的数据库。
在本实施方式中，工件的属性通过与工件的外观相关的特征来表现，更具体而言，也可以通过与工件的外观相关的一个或多个特征的组合来确定。此外，与工件的外观相关的特征也可以：例如组合“表面形状”、“反射率”、“透明度”等、与工件的性质相关的观点、相对于各个性质的“低、中、高”等程度、或与“平滑”、“粗糙”、“凸凹”等状态相关的观点来表现。作为与工件的外观相关的特征的具体例，例如可列举出“表面形状平滑”、“反射率高”、“透明度低”等。此外，作为工件的属性的具体例，例如可列举出“表面形状平滑、表面的反射率高且透明度低的外观”、“表面形状粗糙、表面的反射率低且透明度低的外观”等。工件的属性为本发明的“对象物的属性”的一个例子。
此外，管理装置100的数据库中存储有用于使识别器进行追加学习的图像数据(以下，称作“追加学习用数据”。)。管理装置100能够从用户受理对工件进行了拍摄的多个图像数据，并作为追加学习用数据存储于数据库。此时，也可以根据拍摄的工件具备的属性，使属性与追加学习用数据建立关联，并存储于数据库。此时，在以对表面的一部分有光泽且剩余的部分有凹凸的工件等、具备多个属性的工件进行了拍摄的图像为基础生成追加学习用数据的情况下，也可以使多个属性与追加学习用数据建立关联。另外，追加学习用数据为本发明的“学习用数据”的一个例子。
接下来，对本实施方式涉及的图像处理系统1的动作概要进行说明。首先，管理装置100使用追加学习用数据，使管理装置100所具备的识别器进行追加学习(再学习)。此时，管理装置100使用与工件可能具备的某种多个属性中的各个属性关联的评价用数据，按照每一属性评价追加学习的前后的识别器的识别精度，作为评价结果，输出追加学习的前后的多个属性中的每个属性的识别精度。管理装置100在评价结果满足预定的条件时或从参照了输出的评价结果的用户受理到预定的指示时，判断为评价结果良好，将图像处理装置200所具备的识别器更新为追加学习后的识别器。
根据本实施方式，通过使用与多个属性中的各个属性建立关联的评价用数据评价追加学习的前后的识别器的识别精度的变化，可按照对象物的属性定量地评价并输出识别精度得以提高的对象物的除此以外的对象物。如此，能够将追加学习的影响范围可视化地呈现给用户，用户能够在将识别器组装于图像处理装置200而进行运转前确认是否通过追加学习而获得符合用户的目的的识别器。由此，能够抑制利用图像处理装置200使未适当进行追加学习的识别器进行动作，而无用地消耗图像处理装置200的CPU资源、存储器资源。
另外，追加学习用数据也可以分为用于学习实际识别器的数据(以下，称作“追加学习用数据(学习用)”。)和用于评价学习完识别器的数据(以下，称作“追加学习用数据(测试用)”)。评价用数据和追加学习用数据(测试用)的区别点可以说是：前者为预先预置于管理装置100的图像数据，后者为用户准备的图像数据。
此外，管理装置100除使用了评价用数据的识别器的评价结果以外，也可以使用追加学习用数据(测试用)，对追加学习的前后的识别器的识别精度进行评价并输出评价结果。如上所述，追加学习用数据至少与一个属性建立关联，所以作为其一部分的追加学习用数据(测试用)也与该至少一个属性建立关联。由此，能够在学习的前后定量地评价具有与追加学习用数据建立关联的属性的工件的识别精度，因此用户能够更准确地确认是否识别器以发挥期望的识别精度的方式进行了学习。
2构成例
[硬件构成]
<管理装置>
接着，使用图3对本实施方式涉及的管理装置100的硬件构成的一个例子进行说明。图3示意地例示本实施方式涉及的管理装置100的硬件构成的一个例子。在图3的示例中，管理装置100也可以包含：处理器101、存储器102、HDD(Hard Disk Drive)等存储装置103、网络接口(I/F)104、显示部105、操作部106及存储卡读写器107。这些各部经由内部总线108连接为能够相互通信。
处理器101在通过使存储于存储装置103的程序(指令代码)103A向存储器102展开的基础上执行程序103A，来实现管理装置100所具备的各种功能。存储器102及存储装置103分别对易失性及非易失性数据进行存储。存储装置103除OS(Operating System)以外还保持有程序103A。
网络接口104经由网络2在图像处理装置200之间发送/接收数据。
显示部105显示通过处理器101执行程序103A而实现的各种画面等。显示部105例如由LCD(Liquid Crystal Display)这样的显示面板等构成。
操作部106受理用户操作，将表示该受理到的操作的内部指令向处理器101等输出。操作部106例如由键盘、鼠标、触摸面板、平板、语音辨别装置等构成。
存储卡读写器107从存储介质107A读出数据，并向存储介质107A写入数据。存储介质107A为，以可读取计算机以外的装置、机械等记录的程序等信息的方式，通过电、磁、光学、机械或化学作用存储该程序等信息的介质。管理装置100也可以从该存储介质107A取得程序103A。
<图像处理装置>
接着，使用图4对本实施方式涉及的图像处理装置200的硬件构成的一个例子进行说明。图4示意地例示本实施方式涉及的图像处理装置200的硬件构成的一个例子。在图4的示例中，图像处理装置200也可以包含：照明部210、控制装置220及拍摄部230。
照明部210对作为检查对象的工件照射拍摄所需的光。也就是说，照明部210在拍摄部230的拍摄范围内照射光。更具体而言，照明部210包含设置于照明基板上的多个照明控制单元211。这些单元配置在照明基板上。照明控制单元211分别包含照明透镜212和LED213。照明控制单元211根据来自控制装置220的指令来照射光。更具体而言，由LED213产生的光穿过照明透镜212向工件照射。
拍摄部230接受照明部210照射的光的反射光，并输出图像信号。该图像信号向控制装置220发送。更具体而言，拍摄部230除拍摄透镜231等光学系统以外，还包含CCD(Coupled Charged Device)、CMOS(Complementary Metal Oxide Semiconductor)图像传感器等划分为多个像素的拍摄元件232。
控制装置220对图像处理装置200的整体进行控制。即，控制装置220对照明部210及拍摄部230进行控制，并且基于来自拍摄部230的图像信号进行图像处理。更具体而言，控制装置220包含：处理部221、存储装置222、网络通信部223及外部输入输出部225。
处理部221由CPU221A、FPGA221B这样的集成电路构成。或者处理部221也可以由DSP、GPU、ASIC(Application Specific Integrated Circuit)、其他集成电路构成。
存储装置222包含：ROM(Read Only Memory)、闪存、HDD、及SSD(Solid StateDrive)这样的非易失性存储装置、和/或RAM(Random Access Memory)等非易失存储器。典型地，通过处理部221执行存储于存储装置222的程序(指令代码)222A来实现图像处理装置200所具备的各种图像处理。此外，存储装置222存储识别器222B。程序222A中记述有用于通过执行识别器222B来进行工件的检查的程序，处理部221基于程序222A的指示执行识别器222B，由此进行工件的检查。
网络通信部223为经由网络2在管理装置100之间发送/接收数据的接口。更具体而言，网络通信部223采用Ethernet(登记商标)等构成。
[功能构成]
<管理装置>
接着，使用图5对本实施方式涉及的管理装置100的功能构成的一个例子进行说明。图5示意地例示本实施方式涉及的管理装置100的功能构成的一个例子。
追加学习部501为进行与追加学习相关的处理的处理部，并包含追加学习用数据DB(DataBase)5011、登记部5012、识别器DB5013及学习处理部5014。追加学习用数据DB5011中存储有追加学习用数据。追加学习用数据DB5011为本发明的“第三存储部”的一个例子。识别器DB5013中存储有识别器5013A。识别器DB5013例如为本发明的“第一存储部”的一个例子。
登记部5012将追加学习用数据存储于追加学习用数据DB5011。具体而言，登记部5012从用户受理与工件相关的多个图像，并作为追加学习用数据登记于追加学习用数据DB5011。此时，也可以将受理到的多个图像的一部分作为追加学习用数据(学习用)，将剩余部分作为追加学习用数据(测试用)登记于追加学习用数据DB5011。此外，也可以从用户受理与学习用数据建立关联的属性(与评价用数据建立关联的多个属性中的至少一个属性)的指定，使该指定属性与追加学习用数据建立关联并登记于追加学习用数据DB5011。由于登记部5012进行从用户受理属性的指定的处理，所以也可以称作“受理部”。
识别器5013A为对任意的机械学习模型进行学习处理和评价处理而生成的识别器。机械学习模型具有预定的模型构造和通过学习处理进行变动的处理参数，并且是通过基于根据学习用数据获得的经验使该处理参数最优化从而辨别结果的精度得以提高的模型。即，本实施方式的识别器5013A更详细而言包含：预定的模型构造与最优化的处理参数的组合、即所谓“已学习模型”。机械学习模型的算法例如能够使用支持向量机、逻辑回归、神经网络、深层神经网络等，但其种类并不特别限定。
学习处理部5014进行使用追加学习用数据(学习用)使识别器5013A进行追加学习的处理。
评价部502为进行识别器5013A的评价的处理部且包含评价用数据DB5021、设定部5022及评价处理部5023。评价用数据DB5021中存储有评价用数据。评价用数据DB5021例如为本发明的“第二存储部”的一个例子。
设定部5022在对追加学习后的识别器5013A进行评价时，从用户受理作为评价对象的属性(以下，称作“评价对象属性”。)的设定。此外，设定部5022从用户受理与评价对象属性建立关联的评价用数据中的用于识别器的评价处理的评价用数据的数据数量(图像的张数)的设定。
评价处理部5023使用评价用数据按照每一属性评价：使识别器5013A进行追加学习前的识别器5013A的识别精度和使识别器5013A进行追加学习后的识别器5013A的识别精度。另外，评价处理部5023在设定有评价对象属性的情况下，按照评价对象属性所含的每一属性评价追加学习的前后的识别精度。另一方面，评价处理部5023在未设定有评价对象属性的情况下，针对全部属性的每一属性评价追加学习的前后的识别精度。评价处理部5023也可以针对登记部5012受理到的由用户指定的属性，评价追加学习的前后的识别精度。
此外，评价处理部5023在通过设定部5022设定用于识别器5013A的评价的评价用数据的数据数量的情况下，使用设定的数据数量的评价用数据进行识别器5013A的评价。另外，评价处理部5023也可以还使用追加学习用数据(测试用)对识别器5013A的识别精度进行评价。
输出部503进行如下处理：将作为评价部502的评价结果的、使识别器5013A进行追加学习前和追加学习后的按照每一属性的识别器5013A的识别精度输出至显示部105。输出部503在输出按照每一属性的识别器5013A的识别精度时，以能够区别与追加学习用数据建立关联的属性的方式输出识别精度。
受理部504进行如下处理：从用户受理是否将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A的指示。
更新部505进行将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A的处理。另外，更新包含如下处理：通过将追加学习完的识别器5013A的模型构造和处理参数发送至图像处理装置200，利用图像处理装置200使追加学习完的识别器5013A有效化。
更新部505也可以在使用评价用数据评价的每一属性的识别精度中的、与追加学习用数据关联的属性的识别精度为与追加学习前相比追加学习后的识别精度高时，将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A。此外，更新部505也可以，在使用追加学习用数据(测试用)评价的识别精度为与追加学习前相比追加学习后的识别精度高、且使用评价用数据评价的每一属性的识别精度中的、与追加学习用数据(学习用)关联的属性的识别精度为与追加学习前相比追加学习后的识别精度高时，将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A。此外，更新部505也可以进行如下处理：在由受理部504受理到进行更新的指示的情况下，将图像处理装置200所具备的识别器222B更新为学习处理部5014中进行了追加学习的识别器5013A。
<图像处理装置>
图6示意地例示本实施方式涉及的图像处理装置200的功能构成的一个例子。受理部610从管理装置100受理管理装置100中进行了追加学习的识别器5013A的设定，并作为识别器222B存储于存储装置222。识别部620使用存储于存储装置222的识别器222B，对由拍摄部230拍摄到的工件是否包含缺陷进行识别。
<其他>
在本实施方式中，对管理装置100的各功能均由处理器101来实现的示例进行说明。然而，以上的功能的一部分或全部也可以通过一个或多个专用的处理器等来实现。此外，关于图像处理装置200各个功能构成，也可以根据实施方式，适当进行功能的省略、置换及追加。
3动作例
接着，对管理装置100的动作例进行说明。以下说明的处理过程只不过为一个例子，各处理也可以实施变更。此外，对于以下说明的处理过程，能够根据实施方式，适当步骤的省略、置换及追加。
[处理过程的整体概况]
图7为例示管理装置100进行的处理过程的一个例子的流程图。首先，登记部5012从用户受理追加学习用数据和其属性的指定，将受理到的追加学习用数据与指定的属性建立关联并存储于追加学习用数据DB5011。此外，设定部5022从用户受理评价对象属性的设定(S10)。接下来，学习处理部5014使用追加学习用数据(学习用)来进行识别器5013A的追加学习(S11)。接下来，评价处理部5023使用追加学习用数据(测试用)来评价追加学习完的识别器5013A(S12)。该评价也称作验证。此外，评价处理部5023使用评价用数据按照每一属性评价追加学习完的识别器5013A(S13)。接下来，评价处理部5023将对识别器5013A进行了评价的评价结果显示于显示部105(S14)。接下来，更新部505将图像处理装置200所具备的识别器222B更新为追加学习后的识别器5013A(S15)。
[追加学习用数据的登记、评价对象属性的设定]
图8为例示进行追加学习用数据的登记及评价对象属性的设定的处理过程的一个例子的流程图。使用图8对图7的步骤S10的处理过程进行详细说明。
首先，登记部5012从用户受理追加学习用数据和其属性的指定(S101)。追加学习用数据也可以是通过用户自己对工件等进行拍摄而准备的图像数据，也可以是用户使用管理装置100所具备的用于生成追加学习用数据的画面等而生成的图像数据。追加学习用数据中也可以包含：包含缺陷的图像数据(应辨别为包含缺陷的图像数据)和不包含缺陷的图像数据(不应辨别为包含缺陷的图像数据)。包含缺陷的图像数据是指，例如包含应辨别为缺陷的尺寸、形状等缺陷的图像数据。不包含缺陷的图像数据是指，例如包含：不具有缺陷的图像数据、具有不应辨别为缺陷的(也就是说缺陷)尺寸、形状等缺陷的图像数据的两者。
登记部5012也可以将用于使用户指定与追加学习用数据建立关联的属性的画面显示于显示部105。
图9的(a)中例示追加学习用数据的一个例子，图9的(b)例示属性指定画面的一个例子。如图9的(a)所示，例如假定用户将工件的一部分具有“表面形状平滑、表面的反射率高且透明度低”的属性，剩余的部分具有“表面形状粗糙、表面的反射率低且透明度低”的属性的工件的图像登记为追加学习用数据。此时，用户通过在属性指定画面中选择“表面形状：平滑”、“反射率：高”及“透明度：低”的行和“表面形状：粗糙”、“反射率：低”及“透明度：低”的行的“追加学习用数据”栏(图9的(b)中赋予“○”的部位)，来指定追加学习数据具有与这些行对应的属性。登记部5012将属性指定画面中选择的行的“追加学习用数据”栏的显示从“-”变更为至“○”，并且将与该行对应的属性解释为与追加学习用数据建立关联的属性。
接下来，登记部5012将追加学习用数据分割为追加学习用数据(学习用)和追加学习用数据(测试用)，使它们与步骤S101的处理过程中指定的属性建立关联并登记于追加学习用数据DB5011。此时，登记部5012也可以使追加学习用数据(学习用)和追加学习用数据(测试用)与属性指定画面中指定的属性建立关联并登记于追加学习用数据DB5011(S102)。分割的方法也可以是任意的方法，但登记部5012例如也可以基于用户的指示对追加学习用数据进行分割，也可以对追加学习用数据随机地进行分割。
接下来，设定部5022受理评价对象属性的设定。此时，也可以从用户受理用于识别器5013A的评价的评价用数据的数据数量的设定(S103)。设定部5022也可以将用于从用户受理评价对象属性的设定的画面及用于受理用于评价的评价用数据的数据数量的设定的画面显示于显示部105，使用户在该画面上指定评价对象属性和按照评价对象属性进行评价所使用的数据数量。或者设定部5022也可以基于预定的规则对评价对象属性进行设定。预定的规则也可以是，例如将与追加学习用数据建立关联的属性和与该属性类似的属性设定为评价对象属性这样的规则。也可以由预先设定文件等来规定哪个属性彼此类似的信息。此外，在构成属性的多个特征中的至少一部分共用的情况下，也可以判断为属性彼此类似。另外，评价对象属性的设定是任意的，也可以通过用户的指示而省略步骤S103的处理过程。
图10中例示受理用于识别器5013A的评价的评价用数据的数据数量的设定的画面的一个例子。图10的(a)例示初始状态的数据数量的一个例子。“评价数据数量”表示用于识别器5013A的评价的评价用数据的数据数量的初始值(图10的示例中为100个数据)。“全部数据数量”按照每一属性表示评价用数据DB存储的评价用数据的数据数量。另外，在评价数据数量设定为少于全部数据数量的情况下，评价处理部5023也可以从评价用数据DB存储的评价用数据中随机地选择实际评价使用的评价用数据。
图10的(b)示出用户对用于识别器5013A的评价的评价用数据的数据数量进行了变更的情况的一个例子。用户能够按照每一属性在全部数据数量的范围内任意地变更评价用数据的数据数量。另外，在图10的(b)的示例中，“表面形状：粗糙”，“反射率：低”及“透明度：低”的属性的全部数据数量从1000增加至3000。这表示根据用户的指示，对评价用数据DB追加登记新的评价用数据。追加登记的评价用数据也可以是用户任意生成的评价用数据，也可以是过去追加学习中使用的追加学习用数据(测试用)。此外，也可以从云服务、预定的服务器等经由网络取得新的评价用数据。
由此，例如用户针对与追加学习用数据建立关联的属性、不想使识别精度变差的属性，将评价用数据的数据数量增加得多于其他属性，由此能够高精度地评价追加学习后的识别器5013A。此外，即使识别精度变差用户也会特别针对不会成为问题那样的属性减少评价用数据的数据数量，由此能够缩短使用评价用数据对识别器5013A进行评价时所要的时间。
接下来，评价处理部5023对步骤S104中是否设定有评价对象属性进行确认(S104)。在设定有评价对象属性的情况下过渡至步骤S105，在未设定有评价对象属性的情况下过渡至步骤S106。
接下来，评价处理部5023将与步骤S104中设定的评价对象属性建立关联的全部评价用数据作为对象，生成评价用数据列表(S105)。评价用数据列表也可以为，例如针对评价识别器5013A时使用的全部评价用数据，将与各个评价用数据对应的属性和具体的数据名(文件名)排列而成的列表文件。
接下来，评价处理部5023以评价用数据DB存储的全部评价用数据为对象生成评价用数据列表(S106)。步骤S106的处理过程中生成的评价用数据列表也可以为针对评价用数据DB存储的全部评价用数据，将与各个评价用数据对应的属性和具体的数据名(文件名)排列而成的列表文件。
[使用了追加学习用数据(测试用)的识别器的评价]
图11为例示进行使用了追加学习用数据(学习用)的识别器的评价的处理过程的一个例子的流程图。使用图11对图7的步骤S12的处理过程进行详细说明。
首先，评价处理部5023将从追加学习用数据DB取得的追加学习用数据(测试用)中的任意一个追加学习用数据(测试用)设定为追加学习前的识别器5013A及追加学习后的识别器5013A(S201)，将设定的追加学习用数据(测试用)识别为追加学习前的识别器5013A及追加学习后的识别器5013A(S202)。评价处理部5023预先存储识别结果。接下来，评价处理部5023对全部追加学习用数据(测试用)进行步骤S201及步骤S202的处理过程，在针对全部追加学习用数据(测试用)识别结束的情况下，进入步骤S204的处理过程(S203)。
接下来，评价处理部5023使用按照步骤S201～步骤S203的处理过程中获得的追加学习用数据(测试用)的识别结果，计算追加学习前的识别器5013A及追加学习后的识别器5013A的两者的识别器5013A的识别精度(S204)。在此，识别精度更具体而言也可以为所述的准确率及/或缺陷识别率。
[使用了评价用数据的识别器的评价]
图12为例示进行使用了评价用数据的识别器的评价的处理过程的一个例子的流程图。使用图12对图7的步骤S13的处理过程进行详细说明。
首先，评价处理部5023参照评价用数据列表，选择评价用数据列表存储的多个属性中的任意一个属性。接下来，评价处理部5023从评价用数据DB取得与选择的属性对应的评价用数据(S301)。
接下来，评价处理部5023将从评价用数据DB取得的评价用数据中的任意一个评价用数据设定为追加学习前的识别器5013A及追加学习后的识别器5013A(S302)，将设定的评价用数据识别为追加学习前的识别器5013A及追加学习后的识别器5013A(S303)。评价处理部5023预先存储识别结果。接下来，评价处理部5023针对在步骤S301的处理过程中从评价用数据DB取得的评价用数据进行步骤S302及步骤S303的处理过程，在针对设定的数据数量的评价用数据结束识别的情况下，进入步骤S305的处理过程(S304)。
接下来，评价处理部5023使用按照步骤S302～步骤S304的处理过程中获得的评价用数据的识别结果，对追加学习前的识别器5013A及追加学习后的识别器5013A的两者的识别器5013A的识别精度进行计算(S305)。在此，识别精度更具体而言也可以是准确率及/或缺陷识别率。
准确率是指，识别器5013A识别到的评价用数据中的由识别器5013A正确地识别缺陷的有无的评价用数据的比率。具体而言，准确率为使“识别为含有缺陷的评价用数据相对于含有缺陷的评价用数据的数量”及“识别为不含有缺陷的评价用数据相对于不含有缺陷的评价用数据的数量”的合计数除以“识别器5013A识别的评价用数据的数量”而获得的比率。
此外，缺陷识别率是指，识别器5013A识别到的含有缺陷的评价用数据中的由识别器5013A正确地识别为含有缺陷的评价用数据的比率。具体而言，缺陷识别率为，使“识别为含有缺陷的评价用数据相对于含有缺陷评价用数据的数量”除以“识别器5013A识别到的含有缺陷的评价用数据的数量”而获得的比率。
接下来，评价处理部5023针对与评价用数据列表存储的各评价用数据的属性相对应的全部属性进行步骤S301～步骤S305的处理过程，在针对全部属性结束识别器5013A的识别精度的计算的情况下结束处理(S306)。此外，也可以针对一部分的属性，按照每一属性计算识别精度。
图13例示显示评价结果的画面的一个例子。图13的(a)为显示评价用数据的评价结果的画面的一个例子。另外，在图8的步骤S103的处理过程中，在设定有评价对象属性的情况下，图13的(a)所示的画面中按照设定的评价对象属性所含的每一属性显示评价结果(追加学习前及追加学习后的识别精度)。另一方面，在未设定有评价对象属性的情况下，在图13的(a)所示的画面中针对全部属性按照每一属性显示评价结果。图13的(b)为显示追加学习用数据(测试用)的评价结果的画面的一个例子。用户通过参照图13的(a)的画面，能够针对与追加学习用数据建立关联的属性，确认是否识别器5013A的识别精度得以提高，并且针对与追加学习用数据不对应的属性也能够确认识别器5013A的识别精度的变化。此外，用户通过参照图13的(b)的画面，能够确认是否通过追加学习而识别器5013A的识别精度得以提高。
[识别器的更新]
图14为例示识别器更新时的处理过程的一个例子的流程图。使用图14对图7的步骤S15的处理过程进行详细说明。首先，评价处理部5023在追加学习的前后至少对使用与追加学习用数据的属性建立关联的评价用数据计算得出的识别精度和使用追加学习用数据(测试用)计算得出的识别精度的两者是否提高进行判定(S401)。在追加学习的前后识别精度未提高的情况下进入步骤S402，在追加学习的前后识别精度得以提高的情况下进入步骤S403。
另外，评价处理部5023也可以根据用户的需要，确定追加学习的前后对识别精度是否提高进行判定的范围。例如，至少针对考虑仅针对追加学习的属性(与追加学习用数据建立关联的属性)提高识别精度即可的用户，评价处理部5023也可以在追加学习的前后使用与和追加学习用数据的属性相同的属性建立关联的评价用数据计算得出的识别精度、使用追加学习用数据(测试用)计算得出的识别精度的两者得以提高的情况下，进入步骤S403的处理过程。另一方面，针对考虑针对与追加学习的属性类似的属性也不想使识别精度变差的用户，评价处理部5023也可以针对与追加学习的属性类似的属性在追加学习的前后对识别精度是否下降进行判定，在未下降的情况下进入步骤S403。哪个属性彼此类似的信息也可以通过预先设定文件等来限定。
接下来，受理部504进行如下处理：从用户受理是否将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A的指示(S402)。在受理到更新的指示的情况下进入步骤S403，在受理到不更新的指示的情况下结束处理。更新部505将图像处理装置200所具备的识别器222B更新为追加学习完的识别器5013A(S403)。
另外，在图14所示的处理过程中，无论步骤S401的处理过程的结果如何，都可以进入步骤S402的处理过程。即，在步骤S402的处理过程中，无论在追加学习的前后识别精度是否提高，都可以使用户确认是否将图像处理装置200的识别器222B更新为追加学习完的识别器5013A。由此，不会没有用户的许可地更新图像处理装置200的识别器222B，因此能够提高用户的安心感。
以上，对本发明的实施方式进行了详细说明，但以上所述的说明的所有的点只不过是本发明的例示。当然能够不脱离本发明的范围地进行各种改良、变形。
(附记1)
一种检测系统(1)，具备：图像处理装置(200)，具备拍摄部与能够(230)进行学习的识别器，使用所述识别器，对由所述拍摄部(230)拍摄的对象物是否包含检测对象进行识别；以及信息处理装置(100)，对所述图像处理装置提供所述识别器，
所述信息处理装置(100)具有：
第一存储部(5013)，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储部(5021)，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储部(5011A)，存储用于使所述识别器进行追加学习的学习用数据；
学习部(5014)，使用所述学习用数据使所述识别器进行追加学习；
评价部(5023)，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出部(503)，按照每一所述属性输出所述识别精度。
(附记2)
根据附记1所述的检测系统，其中，
所述信息处理装置(100)还具有从用户受理所述多个属性中的至少一个属性的指定的受理部(5012)，
所述评价部(5023)针对所述受理到的所述至少一个属性，评价所述追加学习前和所述追加学习后的所述识别器的识别精度。
(附记3)
根据附记1或2所述的检测系统，其中，
所述第三存储部(5011A)将所述学习用数据与所述多个属性中的至少一个属性建立关联地存储，
所述输出部(503)以能够区别与所述学习用数据建立关联的所述至少一个属性的方式进行输出。
(附记4)
根据附记3所述的检测系统，其中，
所述信息处理装置(100)还具有登记部(5012)，所述登记部从用户受理所述学习用数据和与该学习用数据建立关联的所述至少一个属性，并登记于所述第三存储部(5011A)。
(附记5)
根据附记3或4所述的检测系统，其中，
所述信息处理装置(100)还具有更新部(505)，所述更新部进行如下处理：基于所述评价部(5023)的每一所述属性的识别精度的评价，将所述图像处理装置所具备的识别器更新为在所述学习部(5014)中进行了追加学习的识别器。
(附记6)
根据附记5所述的检测系统，其中，
所述更新部(505)进行如下处理：针对与所述学习用数据建立关联的所述至少一个属性，在使用所述评价用数据进行了评价的识别精度为与所述追加学习前相比所述追加学习后的识别精度高时，将所述图像处理装置所具备的识别器更新为在所述学习部(5014)中进行了追加学习的识别器。
(附记7)
根据附记5所述的检测系统，其中，
所述更新部(505)在从用户受理到更新所述识别器的主旨的指示时，所述更新部进行用于将所述图像处理装置所具备的识别器更新为在所述学习部中进行了追加学习的识别器的处理。
(附记8)
根据附记4所述的检测系统，其中，
所述登记部(5012)将所述学习用数据与和所述学习用数据建立关联的至少一个属性建立关联而作为新的评价用数据，追加登记于所述第二存储部(5021)。
(附记9)
根据附记1至8中任一项所述的检测系统，其中，
所述评价部(5023)从用户按照每一所述属性受理用于所述识别器的评价的所述评价用数据的数据数量的指定，使用受理到的数据数量的所述评价用数据，按照每一所述属性评价所述识别精度。
(附记10)
一种信息处理装置(100)，具有：
第一存储部(5013)，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储部(5021)，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储部(5011A)，存储用于使所述识别器进行追加学习的学习用数据；
学习部(5014)，使用所述学习用数据使所述识别器进行追加学习；
评价部(5023)，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出部(503)，按照每一所述属性输出所述识别精度。
(附记11)
一种评价方法，其由信息处理装置(100)来执行，所述信息处理装置(100)具有：
第一存储部(5013)，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；第二存储部(5021)，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；以及第三存储部(5011A)，存储用于使所述识别器进行追加学习的学习用数据，
所述评价方法具有如下步骤：
使用所述学习用数据使所述识别器进行追加学习；
使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
按照每一所述属性输出所述识别精度。
(附记12)
一种存储介质，其存储程序，所述程序使计算机(100)作为如下单元发挥功能：
第一存储单元(5013)，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储单元(5021)，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储单元(5011A)，存储用于使所述识别器进行追加学习的学习用数据；
学习单元(5014)，使用所述学习用数据使所述识别器进行追加学习；
评价单元(5023)，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出单元(503)，按照每一所述属性输出所述识别精度。

Claims (12)

1.一种检测系统，具备：图像处理装置，具备拍摄部和能够进行学习的识别器，使用所述识别器，对由所述拍摄部拍摄的对象物是否包含检测对象进行识别；以及信息处理装置，对所述图像处理装置提供所述识别器，
所述信息处理装置具有：
第一存储部，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储部，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储部，存储用于使所述识别器进行追加学习的学习用数据；
学习部，使用所述学习用数据使所述识别器进行追加学习；
评价部，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出部，按照每一所述属性输出所述识别精度。
2.根据权利要求1所述的检测系统，其中，
所述信息处理装置还具有受理部，所述受理部从用户受理所述多个属性中的至少一个属性的指定，
所述评价部针对所述受理到的所述至少一个属性，评价所述追加学习前和所述追加学习后的所述识别器的识别精度。
3.根据权利要求1或2所述的检测系统，其中，
所述第三存储部将所述学习用数据与所述多个属性中的至少一个属性建立关联地存储，
所述输出部以能够区别与所述学习用数据建立关联的所述至少一个属性的方式进行输出。
4.根据权利要求3所述的检测系统，其中，
所述信息处理装置还具有登记部，所述登记部从用户受理所述学习用数据和与该学习用数据建立关联的所述至少一个属性，并登记于所述第三存储部。
5.根据权利要求3所述的检测系统，其中，
所述信息处理装置还具有更新部，所述更新部进行如下处理：
基于所述评价部的每一所述属性的识别精度的评价，将所述图像处理装置所具备的识别器更新为在所述学习部中进行了追加学习的识别器。
6.根据权利要求5所述的检测系统，其中，
所述更新部进行如下处理：
针对与所述学习用数据建立关联的所述至少一个属性，在使用所述评价用数据进行了评价的识别精度为与所述追加学习前相比所述追加学习后的识别精度高时，将所述图像处理装置所具备的识别器更新为在所述学习部中进行了追加学习的识别器。
7.根据权利要求5所述的检测系统，其中，
在从用户受理到更新所述识别器的主旨的指示时，所述更新部进行用于将所述图像处理装置所具备的识别器更新为在所述学习部中进行了追加学习的识别器的处理。
8.根据权利要求4所述的检测系统，其中，
所述登记部将所述学习用数据与和所述学习用数据建立关联的至少一个属性建立关联而作为新的评价用数据，追加登记于所述第二存储部。
9.根据权利要求1或2所述的检测系统，其中，
所述评价部从用户按照每一所述属性受理用于所述识别器的评价的所述评价用数据的数据数量的指定，使用受理到的数据数量的所述评价用数据，按照每一所述属性评价所述识别精度。
10.一种信息处理装置，具有：
第一存储部，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储部，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储部，存储用于使所述识别器进行追加学习的学习用数据；
学习部，使用所述学习用数据使所述识别器进行追加学习；
评价部，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出部，按照每一所述属性输出所述识别精度。
11.一种评价方法，其由信息处理装置来执行，所述信息处理装置具有：
第一存储部，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储部，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；以及
第三存储部，存储用于使所述识别器进行追加学习的学习用数据，
所述评价方法具有如下步骤：
使用所述学习用数据使所述识别器进行追加学习；
使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
按照每一所述属性输出所述识别精度。
12.一种存储介质，其存储程序，所述程序使计算机作为如下单元发挥功能：
第一存储单元，存储识别器，所述识别器以识别对象物是否包含检测对象的方式进行了学习；
第二存储单元，存储评价用数据，所述评价用数据与对象物的多个属性中的各个属性建立关联并且用于评价所述识别器的识别精度；
第三存储单元，存储用于使所述识别器进行追加学习的学习用数据；
学习单元，使用所述学习用数据使所述识别器进行追加学习；
评价单元，使用所述评价用数据，按照每一所述属性对所述追加学习前和所述追加学习后的所述识别器的识别精度进行评价；以及
输出单元，按照每一所述属性输出所述识别精度。
CN201811057116.3A 2017-12-14 2018-09-11 检测系统、信息处理装置、评价方法及存储介质 Pending CN109978815A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-239640 2017-12-14
JP2017239640A JP7054436B2 (ja) 2017-12-14 2017-12-14 検出システム、情報処理装置、評価方法及びプログラム

Publications (1)

Publication Number Publication Date
CN109978815A true CN109978815A (zh) 2019-07-05

Family

ID=63578999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057116.3A Pending CN109978815A (zh) 2017-12-14 2018-09-11 检测系统、信息处理装置、评价方法及存储介质

Country Status (4)

Country Link
US (1) US10860901B2 (zh)
EP (1) EP3499417A1 (zh)
JP (1) JP7054436B2 (zh)
CN (1) CN109978815A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7392425B2 (ja) * 2019-11-27 2023-12-06 オムロン株式会社 学習装置、学習方法およびプログラム
JP7437738B2 (ja) * 2020-01-09 2024-02-26 Ａｗｌ株式会社 機械学習システム、学習用データセット生成システム、及び機械学習プログラム
US11430105B2 (en) * 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
JP2022102666A (ja) * 2020-12-25 2022-07-07 新東工業株式会社 検査装置、検査方法、機械学習装置、及び機械学習方法
WO2022185364A1 (ja) * 2021-03-01 2022-09-09 日本電信電話株式会社 学習装置、学習方法およびプログラム
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263376A1 (en) * 2011-04-12 2012-10-18 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
CN105121620A (zh) * 2013-05-31 2015-12-02 富士施乐株式会社 图像处理设备、图像处理方法、程序和存储介质
CN105335692A (zh) * 2014-08-15 2016-02-17 软控股份有限公司 一种轮胎x光图像检测识别方法及系统
US20170147909A1 (en) * 2015-11-25 2017-05-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107452015A (zh) * 2017-07-28 2017-12-08 南京工业职业技术学院 一种具有重检测机制的目标跟踪系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4509075A (en) * 1981-06-15 1985-04-02 Oxbridge, Inc. Automatic optical inspection apparatus
US6849363B2 (en) * 1997-06-27 2005-02-01 Kabushiki Kaisha Toshiba Method for repairing a photomask, method for inspecting a photomask, method for manufacturing a photomask, and method for manufacturing a semiconductor device
US6577757B1 (en) * 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
US7283659B1 (en) * 2002-01-09 2007-10-16 Kla-Tencor Technologies Corporation Apparatus and methods for searching through and analyzing defect images and wafer maps
US7359544B2 (en) * 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7869647B2 (en) * 2004-04-02 2011-01-11 Agilent Technologies, Inc. System and method for processing training data for a statistical application
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
WO2012123881A2 (en) * 2011-03-16 2012-09-20 Koninklijke Philips Electronics N.V. Medical instrument for examining the cervix
US8831895B2 (en) * 2011-06-27 2014-09-09 Honeywell International Inc. Structural damage index mapping system and method
US9449259B1 (en) * 2012-07-25 2016-09-20 Hrl Laboratories, Llc Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection
US10002430B1 (en) * 2013-06-04 2018-06-19 Hrl Laboratories, Llc Training system for infield training of a vision-based object detector
JP6403261B2 (ja) * 2014-12-03 2018-10-10 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2016143354A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
KR101978995B1 (ko) * 2015-06-04 2019-05-16 가부시키가이샤 히다치 하이테크놀로지즈 결함 화상 분류 장치 및 결함 화상 분류 방법
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
JP6364037B2 (ja) * 2016-03-16 2018-07-25 セコム株式会社 学習データ選択装置
CN108369643B (zh) * 2016-07-20 2022-05-13 杭州凌感科技有限公司 用于3d手部骨架跟踪的方法和系统
JP2019049780A (ja) * 2017-09-07 2019-03-28 富士通株式会社 教師データ作成プログラム、教師データ作成装置、及び教師データ作成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263376A1 (en) * 2011-04-12 2012-10-18 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
CN105121620A (zh) * 2013-05-31 2015-12-02 富士施乐株式会社 图像处理设备、图像处理方法、程序和存储介质
CN105335692A (zh) * 2014-08-15 2016-02-17 软控股份有限公司 一种轮胎x光图像检测识别方法及系统
CN104820998A (zh) * 2015-05-27 2015-08-05 成都通甲优博科技有限责任公司 一种基于无人机动平台的人体检测与跟踪方法及装置
US20170147909A1 (en) * 2015-11-25 2017-05-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107452015A (zh) * 2017-07-28 2017-12-08 南京工业职业技术学院 一种具有重检测机制的目标跟踪系统

Also Published As

Publication number Publication date
JP7054436B2 (ja) 2022-04-14
EP3499417A1 (en) 2019-06-19
JP2019106119A (ja) 2019-06-27
US20190188543A1 (en) 2019-06-20
US10860901B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
CN109978815A (zh) 检测系统、信息处理装置、评价方法及存储介质
CN109978816B (zh) 识别装置、识别方法以及存储介质
CN109978817A (zh) 信息处理装置、识别系统、设定方法以及存储介质
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
KR101797423B1 (ko) 표면 성상 지표화 장치, 표면 성상 지표화 방법 및 프로그램
CN103714338B (zh) 图像处理装置和图像处理方法
CN103577817A (zh) 表单识别方法与装置
JPWO2016035774A1 (ja) 判定方法、判定システム、判定装置、及びそのプログラム
DE102015104732A1 (de) Informationsverarbeitungsvorrichtung, verfahren zum steuern einer informationsverarbeitungsvorrichtung, greifsystem und speichermedium
TWI761806B (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
JP6584250B2 (ja) 画像分類方法、分類器の構成方法および画像分類装置
US20160162760A1 (en) Devices, systems, and methods for learning and identifying visual features of materials
CN113240673B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
US20210190937A1 (en) Method, apparatus, and system for recognizing target object
US20210027105A1 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
CN109919941A (zh) 内螺纹缺陷检测方法、装置、系统、设备及介质
JP2010071826A (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
US11455490B2 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
CN116348897A (zh) 用于可收集物品的识别及分级系统以及相关方法
US20230196756A1 (en) Method for detecting defects and electronic device
JPH11144057A (ja) 画像認識装置および画像認識方法
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
US20160335526A1 (en) Paper Classification Based on Three-Dimensional Characteristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705

WD01 Invention patent application deemed withdrawn after publication