CN110895716A - 检查装置以及机器学习方法 - Google Patents
检查装置以及机器学习方法 Download PDFInfo
- Publication number
- CN110895716A CN110895716A CN201910863635.7A CN201910863635A CN110895716A CN 110895716 A CN110895716 A CN 110895716A CN 201910863635 A CN201910863635 A CN 201910863635A CN 110895716 A CN110895716 A CN 110895716A
- Authority
- CN
- China
- Prior art keywords
- inspection
- learning model
- learning
- index
- evaluation index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 173
- 238000010801 machine learning Methods 0.000 title claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000000052 comparative effect Effects 0.000 claims abstract description 8
- 230000002950 deficient Effects 0.000 claims description 37
- 238000003754 machining Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Pure & Applied Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
Abstract
本发明提供一种检查装置以及机器学习方法。检查装置具备：机器学习装置，其根据从检查对象取得的状态数据和表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型；学习模型评价指标计算部，其计算与机器学习装置生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标；检查指标取得部，其取得在检查中使用的检查指标；以及学习模型选择部，其关于机器学习装置生成的学习模型，可比较地显示学习模型评价指标和检查指标，接受作业人员进行的学习模型的选择，并输出该选择的结果。
Description
技术领域
本发明涉及检查装置以及机器学习方法。
背景技术
以往，作业人员目视确认在工厂等制造业的现场中生产出的产品的外观，由此进行外观检查，即进行良品和有损伤或缺陷等的次品的分类。在这种外观检查时，由于各个作业人员的经验不同从而判断基准不同，或者在由于身体变化而缺乏集中力的状态下进行检查，基于这些理由有时无法恒定地保持检查精度。在该情况下，有时将良品作为次品从生产线中去除。因此，在大多数现场，被判断为次品且暂时从生产线去除的产品通过另外的检查担当人员再次进行确认。将作为该确认的结果而判断为良品的产品再次返回生产线。由此，能够防止成品率下降。基于同样的理由，也会有通过作业人员判断为良品的工件实际上是次品的情况。此时，次品会夹杂在良品中被出货。因此，在制造业的现场，为了尽力减少出货的产品中包含的次品率(次品出货率)，会采取各种对策。
一般在进行制造业现场的外观检查的自动化时，重要的是将2个指标抑制得低。一个是上述的“次品出货率”，第二个是“再检查率”。再检查率是作为次品从生产线去除的产品的数量相对于通过生产线制造出的产品的数量的比例。即，将再检查率抑制得低意味着减少确认作业的作业量，该确认作业用于再确认在作为次品从生产线去除的产品中是否夹杂有应该作为良品的产品。这些指标取决于次品数量相对于制造出的检测对象物的总数的(“生产次品率”)。因此，如果某个生产线的“生产次品率”为已知，则构筑一种检查装置从而能够检查满足作为界限的“次品出货率”(界限次品出货率)以及作为界限的“再检查率”(表示检查对象总数中的通过检查而被排除的检查对象的比率的界限再检查率)即可。
另一方面，作为提高已自动化的外观检查的精度的尝试，通过拍摄单元拍摄产品的外观，根据拍摄到的图像来进行产品的分类。另外，进行了根据拍摄到的图像进行良品和次品的分类的机械性外观检查(例如日本特开2015-021756号公报、日本特开2005-052926号公报、日本特开2013-140090号公报)。在这样的机械性外观检查中，首先从预先准备的基准图像提取特征点。接着，将从基准图像提取出的特征点与从产品的拍摄图像提取出的特征点进行比较。最后，根据比较结果进行产品的分类和挑选。另外，在这样的机械性的外观检查中还增加了导入机器学习的事例(例如日本特开2017-049974号公报)。
通常，在机器学习特别是在使用了3层以上的神经网络的深度学习中，在被称为iteration或epoch的学习循环中生成学习模型。另外，在每次进行某种程度的循环数的计算时生成学习模型。这是由于随着学习的推进学习模型的品质并不是到哪里都会变好这样的深度学习的性质。即，有时在某个一定的循环数以上进行了学习的学习模型成为过度学习的状态。该状态的学习模型无法对未知数据给出正确的结果。因此，在深度学习中，在学习过程中生成几个学习模型，进行关于各个模型的评价。并且，从进行了评价的学习模型中选择最优的学习模型。在学习模型的评价中，使用学习时的“loss”(神经网络的输出值与训练数据所赋予的正确答案之间的误差)或“accuracy”(神经网络的输出值的正确答案率)等的值。另外，有时会使用评价了验证用数据时的“precision”(预测为正确的事物中实际正确的事物的比例)或“recall”(应该发现的事物中正确发现的事物的比例)。
但是，当在制造业现场的外观检查中使用机器学习时，学习模型例如需要分别满足上述的次品出货率和再检查率等在现场使用的评价基准(用户的要求标准)。即，即使通过一般的学习模型的评价基准判定学习结果的良好与否，也不知道是否满足现场所要求的评价基准。例如，即使学习时的一个指标即“loss”小，也不限于通过该学习模型能够达成所期待的次品出货率。即，至今没有提出一种方法而能够容易地掌握或者计算上述的“loss”或“accuracy”的值为怎样的值，则“次品出货率”或“再检查率”满足现场的条件。
因此，本公开的目的在于提供一种检查装置以及机器学习方法，其使现场的用户可容易地选择满足要求标准的学习模型。
发明内容
在本公开中，对于检查装置导入以下的结构来解决上述课题，即根据用于评价学习模型的性能的指标值与针对检查装置在现场要求的指标值之间的关系来判断学习模型的良好与否，根据该判断结果来选择学习模型。
并且，在本公开的一个方式中，在进行检查对象的检查的检查装置中具备：机器学习装置，其根据从检查对象取得的状态数据以及表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型；学习模型评价指标计算部，其计算与上述机器学习装置生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标；检查指标取得部，其取得在上述检查中使用的检查指标；以及学习模型选择部，其对于上述机器学习装置生成的学习模型，可比较地显示上述学习模型评价指标和上述检查指标，接受作业人员进行的学习模型的选择，并输出该选择的结果。
并且，本公开的另一方式为一种机器学习方法，其具备：根据从检查对象取得的状态数据和表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型的第一步骤；计算与在上述第一步骤生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标的第二步骤；取得在上述检查中使用的检查指标的第三步骤；以及关于在上述第一步骤生成的学习模型，可比较地显示上述学习模型评价指标和上述检查指标，接受作业人员进行的学习模型的选择，并输出该选择的结果的第四步骤。
通过本公开，能够根据作为检查指标而决定的要求标准来判定学习模型的评价。因此，在机器学习装置的学习过程中，即使是不具有与机器学习相关的知识的现场的作业人员，也能够容易地判断是否进行了满足作为当前所设定的检查指标而决定的要求标准的学习，并能够容易地选择适当的学习模型。
附图说明
通过参照附图对以下实施例进行说明，本公开的上述以及其他的目的和特征变得明确。这些附图中：
图1是一个实施方式的检查装置的概略硬件结构图。
图2是一个实施方式的检查装置的概略功能框图。
图3表示ROC曲线的例子。
图4表示ROC曲线与界限次品出货率以及界限再检查率的关系。
图5表示学习模型的选择画面的一例。
图6表示学习模型的选择画面的另一例。
具体实施方式
以下参照附图说明本公开的实施方式。
图1是表示本公开一实施方式的检查装置的概略硬件结构图。本实施方式的检查装置1例如安装于在工厂的产品检查现场设置的计算机中。另外，关于检查装置1，还可以作为经由网络与在工厂的产品检查现场设置的计算机相连接的单元计算机、主计算机、边缘计算机、云服务器等计算机来进行安装。图1表示了在工厂的产品检查现场设置的计算机中安装了检查装置1的情况的例子。
本实施方式的检查装置1所具备的CPU(Central Processing Unit中央处理单元)11是整体控制检查装置1的处理器。CPU11读出在经由总线22而连接的ROM(Read OnlyMemory只读存储器)12中存储的系统程序。CPU11按照该系统程序控制整个检查装置1。在RAM(Random Access Memory随机存取存储器)13中存储临时的计算数据和用于在显示装置70中进行显示的显示数据。另外，经由接口19在RAM13中存储操作员经由输入装置71输入的各种数据等。
非易失性存储器14例如由使用未图示的电池进行支援的SRAM(Static RandomAccess Memory静态随机存取存储器)或SSD(Solid State Drive固态驱动器)等构成。非易失性存储器14是即使检查装置1的电源被切断也保持存储状态的存储器。在非易失性存储器14中存储经由输入装置71输入的数据和程序。另外，经由接口12在非易失性存储器14中存储通过拍摄传感器3拍摄到的检查对象的图像数据等。非易失性存储器14中存储的数据和程序等在使用时可以在RAM13中展开。另外，在ROM12中预先写入了用于进行检查处理的系统程序和用于执行其他所需要的处理的系统程序。
拍摄传感器3例如是具有CCD(Charge Coupled Device电荷耦合器件)等拍摄元件的电子照相机。拍摄传感器3是众所周知的受光设备，其具有通过进行拍摄来在拍摄面(CCD阵列面上)上检测二维图像或距离图像的功能。拍摄传感器3例如被安装在未图示的机器人的机械手上。通过该机器人将拍摄传感器3移动到对检查对象进行拍摄的拍摄位置。拍摄传感器3将拍摄该检查对象而得到的图像数据经由接口20传递给CPU11。拍摄传感器3例如可以被固定地设置在预定位置。此时，使通过机器人的机械手而抓持的检查对象移动到可通过拍摄传感器3进行拍摄的位置。由此，拍摄传感器3能够拍摄检查对象。关于由拍摄传感器3拍摄检查对象的控制，可以通过由检查装置1执行程序来进行控制，也可以通过控制机器人的机器人控制器或来自其他装置的控制来进行控制。
接口17是用于将检查装置1与有线/无线网络7进行连接的接口。网络7连接与工厂内设置的机床一并设置的个人电脑、单元计算机、边缘计算机、主计算机等计算机5等。检查装置1和计算机5经由网络7相互进行信息的交换。
接口23是将检查装置1的总线22与机器学习装置300进行连接的接口。在机器学习装置300中，将控制整个机器学习装置300的处理器301、存储了系统程序等的ROM302、用于进行与机器学习相关的各处理中的暂时存储的RAM303以及用于存储学习模型等的非易失性存储器304经由总线305连接。机器学习装置300经由接口23观测检查装置1可取得的各个信息。另外，检查装置1根据从机器学习装置300输出的与检查对象相关的检查结果的推定来进行之后的处理。
图2是一实施方式的检查装置1的概要功能框图。图1所示的检查装置1所具备的CPU11以及机器学习装置300的处理器301执行各自的系统程序，来控制检查装置1以及机器学习装置300的各部的动作，由此实现图2所示的功能块的各个功能。
本实施方式的检查装置1具备数据取得部100、预处理部110、学习模型评价指标计算部120、检查指标取得部130、学习模型选择部140。检查装置1所具备的机器学习装置300具备学习部310、推定部320。另外，在非易失性存储器14中设置用于存储在机器学习装置300进行的学习以及推定中使用的数据的学习数据存储部200。在机器学习装置300的非易失性存储器304中设置用于存储通过学习部310进行的机器学习而构筑的学习模型的学习模型存储部330。
数据取得部100是取得从拍摄传感器3、输入装置71以及其他计算机5等输入的各种数据的功能单元。数据取得部100例如取得拍摄传感器3拍摄到的检查对象的图像数据，并存储在学习数据存储部200中。另外，数据取得部100取得表示作业人员目视检查该检查对象而得到的结果的标签数据、从其他计算机5取得的学习数据(检查对象的图像数据和该检查对象的检查结果的标签)等各种数据，并存储在学习数据存储部200中。数据取得部100可以从未图示的外部存储装置取得数据。
预处理部110根据在学习数据存储部200中存储的学习数据来生成在机器学习装置300的学习中使用的状态数据S与标签数据L的组即训练数据T。预处理部110将取得的数据转换(数值化、标准化、采样等)为在机器学习装置300中进行处理的统一形式，从而生成状态数据S和标签数据L。
预处理部110生成的状态数据S至少包含通过拍摄检查对象而得到的检查对象图像数据S1。检查对象图像数据S1例如可以是构成拍摄检查对象而得到的图像的像素的像素值的排列数据。
另外，预处理部110生成的标签数据L至少包含检查结果数据L1，该检查结果数据L1包含检查对象的检查结果的标签。检查结果数据L1例如可以是表示作业人员目视检查检查对象而得到的结果的标签。
学习部310使用由预处理部110生成的状态数据S以及标签数据L来进行有监督学习。学习部310是生成(学习)学习模型的功能单元，该学习模型学习了与检查对象的图像数据相对的该检查对象的检查结果。本实施方式的学习部310例如可以构成为进行将神经网络作为学习模型来使用的有监督学习。在这样构成的情况下，学习模型可以是具备了输入层、中间层、输出层这三层的神经网络。另外，学习模型也可以是三层以上的神经网络。即，学习部310可以使用深度学习的方法。通过使用深度学习来进行更有效的学习以及推论。将学习部310生成的学习模型存储于在非易失性存储器304中设置的学习模型存储部330中。另外，在推定部320进行的基于检查对象的图像数据来推定检查结果的推定处理中使用学习模型。
推定部320根据从预处理部110输入的状态数据S，使用在学习模型存储部330中存储的学习模型来推定检查对象的检查结果。在推定部320中，将从预处理部110输入的状态数据S(检查对象图像数据S1)作为输入数据输入给学习部310通过有监督学习而生成的(决定了参数的)学习模型。由此，推定(计算)检查对象的检查结果。例如，将推定部320推定出的检查对象的检查结果经由接口18输出给显示装置70。另外，可以将检查对象的检查结果经由网络7输出给主计算机、云计算机等其他的计算机5来使用。
学习模型评价指标计算部120是对于在学习模型存储部330中存储的学习模型，计算用于评价学习模型的学习模型评价指标的功能单元。学习模型评价指标计算部120例如对学习模型存储部330中存储的学习模型进行ROC(接收者动作特性：Receiver OperatingCharacteristic)分析，生成ROC曲线来作为学习模型评价指标。在图3中，纵轴为真阳性率(正确预测阳性的概率)，横轴为假阳性率(将阴性错误地预测为阳性的概率)。ROC曲线是在通过某个学习模型进行了检查时，使将检查对象推定为阳性的学习模型的输出值的阈值发生了变化时所描绘的曲线(图3中的用粗线描绘的实线)。学习模型评价指标计算部120可以使用在学习数据存储部200中存储的学习数据中的没有用于学习模型的学习的学习数据(状态数据S以及标签数据L)来进行学习模型的评价。另外，在本实施方式中表示使用了ROC曲线的例子，但是在检查装置1中，也可以使用ROC曲线以外的学习模型评价的指标。
学习模型评价指标计算部120可以在每次进行了预定次数的学习部310的学习时，进行学习模型的评价。另外，学习模型评价指标计算部120可以将进行了评价的学习模型及其评价结果一起备份在学习模型存储部330内。例如，在预先设定为对于每1000次的学习循环进行学习模型的评价时，学习模型评价指标计算部120在进行了1000次学习时，进行了2000次学习时，进行了3000次学习时等，在学习循环每进行了1000次时计算学习模型评价指标。学习模型评价指标计算部120将各个时间点的学习模型与学习模型评价指标相互关联起来，(与继续进行学习的学习模型不同地)存储在学习模型存储部330中。
检查指标取得部130是取得在检查装置1的检查现场所使用的检查指标的功能单元。检查指标取得部130例如可以取得作业人员经由输入装置71输入的检查指标的值。检查指标取得部130可以经由网络7从管理与工厂的生成计划相关的信息等的主计算机等计算机5取得检查指标。作为检查指标取得部130取得的检查指标的例子，例如列举界限次品出货率和界限再检查率等。
学习模型选择部140是关于多个学习模型，根据学习模型评价指标计算部120计算出的学习模型评价指标以及检查指标取得部130取得的检查指标，在显示装置70中可比较地显示各个学习模型的学习模型评价指标和检查指标，使作业人员选择在检查中使用的学习模型的功能单元。学习模型选择部140根据预先设定的指标值比较显示形式，在显示装置70中可比较地显示与各个学习模型相关的学习模型评价指标和检查指标。并且，学习模型选择部140将作业人员以显示装置70中显示的与学习模型相关的学习模型评价指标和检查指标为参考，经由输入装置71选择出的学习模型选择为在检查中使用的学习模型。学习模型选择部140将选择出的学习模型存储在学习模型存储部330中。另外，学习模型选择部140将该选择结果在显示装置70中进行显示输出，或者经由网络7输出给主计算机、云计算机等其他计算机5。
关于学习模型选择部140的显示处理，对于作为学习模型评价指标而使用ROC曲线，作为检查指标而使用界限次品出货率以及界限再检查率的情况进行说明。图4表示对于ROC曲线，绘制了满足界限次品出货率以及界限再检查率的界限线。在图4中，用粗线描绘的点划线是在图表上描绘了基于界限次品出货率并通过以下所示的式(1)计算出的值的点划线。位于该点划线上方的区域表示满足界限次品出货率的区域。另外，关于制造不良率，设为根据过去的统计等而预先知道的制造不良率。
另一方面，在图4中，用粗线描绘的虚线是在图表上描绘了基于界限再检查率并通过以下所示的式(2)计算出的值的虚线，位于该虚线左侧的区域表示满足界限再检查率的区域。另外，关于制造不良率，设为根据过去的统计等而预先知道的制造不良率。
即，如果是ROC曲线进入图中的阴影区的学习模型，则通过设定并使用与进入了该区域的部分对应的阈值(将检查对象推定为阳性即次品的学习模型的输出值的阈值)，可作为满足作为检查指标而决定的要求标准的学习模型来使用。
学习模型选择部140在将用于显示ROC曲线、界限次品出货率、界限再检查率的各个指标值的图表形式的格式预先设定为指标值比较显示形式时，关于各个学习模型，在图表形式中描绘基于作为学习模型评价指标的ROC曲线、作为检查指标的界限次品出货率以及界限再检查率并根据式(1)、式(2)计算出的直线，并在显示装置70中进行显示。此时，学习模型选择部140可以如图5例示的那样并列显示与多个学习模型相关的图表。
学习模型选择部140还可以与学习模型评价指标和检查指标的比较显示一并显示在满足作为检查指标而决定的要求标准的状态下使用学习模型的条件。例如，在上述的例子中，在使用被判定为满足作为检查指标而决定的要求标准的学习模型时，需要设定并使用与ROC曲线进入图5的阴影区域的部分对应的阈值(将检查对象推定为阳性即次品的学习模型的输出值的阈值)。如图6例示的那样，学习模型选择部140可以向显示装置70显示输出该阈值的范围，与学习模型评价指标和检查指标的比较显示一并显示。关于该阈值的范围，ROC曲线与用粗线描绘的点划线交叉的点所对应的阈值为上限值，ROC曲线与用粗线描绘的虚线交叉的点所对应的阈值为下限值。通常，ROC曲线为向右上升的线，所以离上限值越近再检查率越低，离下限值越近次品出货率越低，所以还结合该意思来进行输出。
在具备上述结构的检查装置1中，根据作为检查指标而决定的要求标准来评价学习模型。因此，在机器学习装置300的学习过程中，即使是不具备与机器学习相关的知识的现场作业人员也能够容易地判断是否进行了满足作为当前所设定的检查指标而决定的要求标准的学习。作为结果，作业人员能够容易地选择适当的学习模型。
以上，说明了本公开的实施方式，但是本公开不仅限于上述实施方式的例子，能够通过增加适当的变更以各种方式来实施。
例如，在上述实施方式中，使用通过外观检查来判断可否进行出货的例子说明了检查装置1，但是检查装置1也可以恰当地用于其他检查。例如，检查装置1也可以适用于判断机床的加工可能性的检查等。此时，检查装置1能够构成为根据作为对象的机器工作时的温度和振动、声音等来输出表示机床的故障程度的分数(如果分数低则机床的动作良好，分数高则为故障或者接近故障的状态)。此时，作为检查装置1生成的ROC曲线图的纵轴设定不良机械正确率，作为横轴设定良好可动机械不正确率。作为检查装置1处理的检查指标，例如使用界限不良加工率和界限维修率即可，上述界限不良加工率表示在实用上可允许被判断为无异常而包含在加工所使用的机床群中的不良机械的比率，上述界限维修率表示被判断为有异常而转回维修的机床的比率。通过这样设定各个参数，与上述实施方式所示的情况同样地，能够容易地选择在诊断机床是否发生故障的场景中使用的适当的学习模型。
Claims (5)
1.一种检查装置，其进行检查对象的检查，其特征在于，具备：
机器学习装置，其根据从检查对象取得的状态数据以及表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型；
学习模型评价指标计算部，其计算与上述机器学习装置生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标；
检查指标取得部，其取得在上述检查中使用的检查指标；以及
学习模型选择部，其对于上述机器学习装置生成的学习模型，可比较地显示上述学习模型评价指标和上述检查指标，接受作业人员进行的学习模型的选择，并输出该选择的结果。
2.根据权利要求1所述的检查装置，其特征在于，
上述学习模型评价指标是上述机器学习装置生成的学习模型的ROC曲线，上述检查指标是表示允许包含在出货的检查对象中的次品的比率的界限次品出货率、以及表示检查对象的总数中的通过检查而排除的检查对象的比率的界限再检查率。
3.根据权利要求1所述的检查装置，其特征在于，
上述学习模型评价指标是上述机器学习装置生成的学习模型的ROC曲线，上述检查指标是界限不良加工率和界限维修率，上述界限不良加工率表示可允许被判断为无异常而包含在加工所使用的机床群中的不良机械的比率，上述界限维修率表示被判断为有异常而转回维修的机床的比率。
4.根据权利要求1～3中的任意一项所述的检查装置，其特征在于，
上述学习模型选择部计算上述学习模型满足上述检查指标的条件，并输出计算出的上述学习模型满足上述检查指标的条件。
5.一种机器学习方法，其特征在于，具备：
第一步骤，根据从检查对象取得的状态数据和表示与该检查对象有关的检查结果的标签数据来进行机器学习，由此生成学习模型；
第二步骤，计算与在上述第一步骤生成的学习模型相关的在学习模型的评价中使用的评价指标即学习模型评价指标；
第三步骤，取得在检查中使用的检查指标；以及
第四步骤，关于在上述第一步骤生成的学习模型，可比较地显示上述学习模型评价指标和上述检查指标，接受作业人员进行的学习模型的选择，并输出该选择的结果。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018170913A JP6795562B2 (ja) | 2018-09-12 | 2018-09-12 | 検査装置及び機械学習方法 |
| JP2018-170913 | 2018-09-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110895716A true CN110895716A (zh) | 2020-03-20 |
Family
ID=69621658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910863635.7A Pending CN110895716A (zh) | 2018-09-12 | 2019-09-12 | 检查装置以及机器学习方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11521120B2 (zh) |
| JP (1) | JP6795562B2 (zh) |
| CN (1) | CN110895716A (zh) |
| DE (1) | DE102019123800A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111929311A (zh) * | 2020-10-15 | 2020-11-13 | 北京中鼎高科自动化技术有限公司 | 一种一站式智能缺陷检测系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI748344B (zh) * | 2020-02-14 | 2021-12-01 | 聚積科技股份有限公司 | 發光二極體調屏標準判定模型建立方法 |
| US11604456B2 (en) * | 2020-03-11 | 2023-03-14 | Ford Global Technologies, Llc | System for monitoring machining processes of a computer numerical control machine |
| WO2023074184A1 (ja) | 2021-10-28 | 2023-05-04 | パナソニックＩｐマネジメント株式会社 | アノテーション支援システム及びそれを利用した外観検査用モデルの学習支援システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060010166A1 (en) * | 2004-07-12 | 2006-01-12 | Quanta Computer Inc. | Production information managing system and method |
| JP2006293820A (ja) * | 2005-04-13 | 2006-10-26 | Sharp Corp | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム |
| JP2013015964A (ja) * | 2011-07-01 | 2013-01-24 | Ricoh Co Ltd | 合格率推定装置、合格率推定方法、プログラム |
| CN106406235A (zh) * | 2015-07-30 | 2017-02-15 | 发那科株式会社 | 机床、模拟装置以及机械学习器 |
| CN106557075A (zh) * | 2015-09-28 | 2017-04-05 | 发那科株式会社 | 生成最佳的加速/减速的机床 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4580226A (en) * | 1984-04-06 | 1986-04-01 | Sanford H. Robbins | Random sampling system |
| JP3334807B2 (ja) * | 1991-07-25 | 2002-10-15 | 株式会社日立製作所 | ニュ−ラルネットを利用したパタ−ン分類方法および装置 |
| JP3478370B2 (ja) * | 1997-06-17 | 2003-12-15 | 株式会社東京精密 | 自動定寸装置 |
| US6539106B1 (en) * | 1999-01-08 | 2003-03-25 | Applied Materials, Inc. | Feature-based defect detection |
| JP3759881B2 (ja) * | 2001-03-08 | 2006-03-29 | 株式会社山武 | 加工診断監視システム |
| JP4227863B2 (ja) | 2003-08-04 | 2009-02-18 | 株式会社デンソー | 視覚検査装置の教示装置及び教示方法 |
| JP5050607B2 (ja) | 2006-05-09 | 2012-10-17 | オムロン株式会社 | 検査装置、検査方法、検査プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
| JP5063632B2 (ja) * | 2009-03-10 | 2012-10-31 | 株式会社豊田中央研究所 | 学習モデル生成装置、対象物検出システム、及びプログラム |
| JP5168215B2 (ja) * | 2009-04-10 | 2013-03-21 | 株式会社デンソー | 外観検査装置 |
| US20110182495A1 (en) * | 2010-01-26 | 2011-07-28 | General Electric Company | System and method for automatic defect recognition of an inspection image |
| JP5874398B2 (ja) | 2012-01-05 | 2016-03-02 | オムロン株式会社 | 画像検査装置の検査領域設定方法 |
| US9053390B2 (en) * | 2012-08-14 | 2015-06-09 | Kla-Tencor Corporation | Automated inspection scenario generation |
| JP6003783B2 (ja) * | 2013-04-11 | 2016-10-05 | トヨタ自動車株式会社 | 製品の品質検査方法 |
| JP6246513B2 (ja) | 2013-07-16 | 2017-12-13 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
| JP2017049974A (ja) | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 識別器生成装置、良否判定方法、およびプログラム |
| US10452949B2 (en) * | 2015-11-12 | 2019-10-22 | Cognex Corporation | System and method for scoring clutter for use in 3D point cloud matching in a vision system |
| JP6684777B2 (ja) * | 2017-12-20 | 2020-04-22 | 株式会社日立製作所 | 製造物良・不良判定システムおよび製造物良・不良判定方法 |
| KR102512173B1 (ko) * | 2018-01-03 | 2023-03-21 | 주식회사 디엔솔루션즈 | 공작기계의 공구이상 검출장치 및 검출방법 |
| WO2019239606A1 (ja) * | 2018-06-15 | 2019-12-19 | 三菱電機株式会社 | 工作機械の加工寸法予測装置、工作機械の加工寸法予測システム、工作機械の設備異常判定装置、工作機械の加工寸法予測方法及びプログラム |
| JP6680430B1 (ja) * | 2018-10-04 | 2020-04-15 | 山本 隆義 | 生産ラインにおける品質と設備の統合的監視方法 |
-
2018
- 2018-09-12 JP JP2018170913A patent/JP6795562B2/ja active Active
-
2019
- 2019-09-05 DE DE102019123800.5A patent/DE102019123800A1/de active Pending
- 2019-09-11 US US16/566,881 patent/US11521120B2/en active Active
- 2019-09-12 CN CN201910863635.7A patent/CN110895716A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060010166A1 (en) * | 2004-07-12 | 2006-01-12 | Quanta Computer Inc. | Production information managing system and method |
| JP2006293820A (ja) * | 2005-04-13 | 2006-10-26 | Sharp Corp | 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム |
| JP2013015964A (ja) * | 2011-07-01 | 2013-01-24 | Ricoh Co Ltd | 合格率推定装置、合格率推定方法、プログラム |
| CN106406235A (zh) * | 2015-07-30 | 2017-02-15 | 发那科株式会社 | 机床、模拟装置以及机械学习器 |
| CN106557075A (zh) * | 2015-09-28 | 2017-04-05 | 发那科株式会社 | 生成最佳的加速/减速的机床 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111929311A (zh) * | 2020-10-15 | 2020-11-13 | 北京中鼎高科自动化技术有限公司 | 一种一站式智能缺陷检测系统 |
| CN111929311B (zh) * | 2020-10-15 | 2021-01-05 | 北京中鼎高科自动化技术有限公司 | 一种一站式智能缺陷检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019123800A1 (de) | 2020-03-12 |
| US20200082297A1 (en) | 2020-03-12 |
| US11521120B2 (en) | 2022-12-06 |
| JP2020042669A (ja) | 2020-03-19 |
| JP6795562B2 (ja) | 2020-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110895716A (zh) | 检查装置以及机器学习方法 | |
| JP6693938B2 (ja) | 外観検査装置 | |
| JP6560707B2 (ja) | 加工面品位評価装置 | |
| JP6453805B2 (ja) | 製品の異常に関連する変数の判定値を設定する生産システム | |
| JP6530779B2 (ja) | 加工不良要因推定装置 | |
| CN109807882A (zh) | 把持系统、学习装置和把持方法 | |
| CN110895717A (zh) | 检查装置以及机器学习方法 | |
| CN105929799A (zh) | 作业者品质管理方法和作业者品质管理装置 | |
| JP6903142B2 (ja) | 異常検出装置、異常検出方法及びプログラム | |
| JP2019028834A (ja) | 異常値診断装置、異常値診断方法、およびプログラム | |
| CN115056228B (zh) | 一种机器人的异常监控和处理系统及方法 | |
| TWI756628B (zh) | 營運評估裝置、營運評估方法、及程式 | |
| JP7087882B2 (ja) | 品質予測装置、品質予測方法、及び品質予測プログラム | |
| JP2024083277A (ja) | マシンラーニングモデルを用いた最適化工程アルゴリズム自動判定システム及び方法 | |
| EP2847676B1 (en) | System and method of distributed procesing for machine-vision analysis | |
| US11676055B2 (en) | System for detecting data drift in machine-learning process monitoring | |
| JP6708695B2 (ja) | 検査装置 | |
| CN111238927A (zh) | 疲劳耐久性评测方法、装置、电子设备和计算机可读介质 | |
| US20210150437A1 (en) | Installing environment estimation device and computer readable medium | |
| US20200082281A1 (en) | Verification device | |
| CN116724224A (zh) | 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置 | |
| WO2020202332A1 (ja) | 検査装置及び検査方法 | |
| CN117350984B (zh) | 一种单晶硅放肩开叉的检测方法及装置 | |
| US20230274408A1 (en) | Inspection device | |
| WO2023139750A1 (ja) | データセット作成装置及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |