CN117121052A - 图像判定装置、图像判定方法以及程序 - Google Patents

图像判定装置、图像判定方法以及程序 Download PDF

Info

Publication number
CN117121052A
CN117121052A CN202280023028.XA CN202280023028A CN117121052A CN 117121052 A CN117121052 A CN 117121052A CN 202280023028 A CN202280023028 A CN 202280023028A CN 117121052 A CN117121052 A CN 117121052A
Authority
CN
China
Prior art keywords
data set
models
training data
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280023028.XA
Other languages
English (en)
Inventor
菅泽裕也
佐藤吉宣
村田久治
杰弗里·费尔南多
周尧
N·N·昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117121052A publication Critical patent/CN117121052A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的图像判定装置具备：学习部(101)，使用包括多个第1图像和第1标签的第1训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第1模型，并且使用包括与多个第1图像不同的多个第2图像、第2标签、和第1训练数据集的至少一部分的1个以上的第2训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第2模型；图像获取部(103)，获取对象图像；和判定部(104)，针对由图像获取部(103)获取到的对象图像，输出通过至少使用1个以上的第1模型当中的1个和1个以上的第2模型当中的1个这两个而获得的对象图像的标签的判定结果。

Description

图像判定装置、图像判定方法以及程序
技术领域
本公开涉及使用了机器学习的模型的图像判定装置、图像判定方法以及程序。
背景技术
在专利文献1中，公开了能够使用学习模型来高精度地检测表示步行者等检测对象物的图像的技术。根据专利文献1，通过选择事先学习后的多个学习模型当中与由拍摄单元拍摄的图像的增益对应的一个学习模型，从而能够高精度地检测该图像中拍到的检测对象物。
在先技术文献
专利文献
专利文献1：日本特开2012-068965号公报
发明内容
发明要解决的课题
然而，由于拍摄单元的维护等各种原因，有时在由拍摄单元拍摄的图像中会产生错误。在这样的情况下，即便通过与由拍摄单元拍摄的图像的增益对应的一个学习模型对检测对象物进行检测，精度也会大幅下降。进一步地，在难以进行对图像的错误进行评价的基准的调整的情况、原本人不能一眼看出那样的错误的情况下，不能在准备、检查多个学习模型时选择学习模型，因而不能提高对检测对象物进行检测的精度。
换言之，在专利文献1中，在使机器学习的模型判定对象图像的标签的任务中，存在若在图像中产生人不能一眼看出那样的错误则不能提高判定精度这样的课题。
本公开是鉴于上述的情况而完成的，其目的在于，提供即便在使用了机器学习的模型的图像判定的精度下降的情况下也能够提高精度的图像判定装置等。
用于解决课题的手段
为了达成上述目的，本公开的一方式涉及的图像判定装置具备：学习部，使用第1训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第1模型，所述第1训练数据集包括多个第1图像和分别与所述多个第1图像相关联的第1标签，并且，使用1个以上的第2训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第2模型，所述第2训练数据集包括与所述多个第1图像不同的多个第2图像、分别与所述多个第2图像相关联的第2标签、和所述第1训练数据集的至少一部分；图像获取部，获取对象图像；和判定部，针对由所述图像获取部获取到的所述对象图像，输出通过至少使用所述1个以上的第1模型当中的1个和所述1个以上的第2模型当中的1个这两个而获得的所述对象图像的标签的判定结果。
由此，即便在使用了机器学习的模型的图像判定的精度下降的情况下也能够提高精度。
另外，这些整体性的或具体的方式既也可以通过装置、方法、集成电路、计算机程序或能够由计算机读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
发明效果
通过本公开，能够提供即便在使用了机器学习的模型的图像判定的精度下降的情况下也能够提高精度的图像判定装置等。
附图说明
图1是示出实施方式涉及的图像判定装置的功能结构的框图。
图2是示出通过软件来实现实施方式涉及的图像判定装置的功能的计算机的硬件结构的一个例子的图。
图3是用于对实施方式涉及的成为训练数据集的新旧数据集的一个例子进行说明的图。
图4是用于对实施方式涉及的成为训练数据集的新旧数据集的另一例进行说明的图。
图5是用于对实施方式涉及的成为训练数据集的新旧数据集的又一例进行说明的图。
图6A是用于对实施方式涉及的规则信息的一个例子进行说明的图。
图6B是用于对实施方式涉及的规则信息的另一例进行说明的图。
图6C是用于对实施方式涉及的规则信息的又一例进行说明的图。
图7是示出实施方式涉及的通过机器学习来选择旧机器学习模型以及新机器学习模型的组合的方法的概念的图。
图8A是示出实施方式涉及的组合对象的机器学习模型的一个例子和验证用数据集的图。
图8B是示出针对验证用数据集所包括的各图像的、组合对象的机器学习模型各自的输出的一个例子的图。
图9是示出用于使实施方式涉及的用户选择旧机器学习模型以及新机器学习模型的最佳的组合的一览表的一个例子的图。
图10是示出本实施方式中的图像判定装置的动作概要的流程图。
图11是示出实施方式涉及的训练数据1和训练数据2的图。
图12是定性地示出实施方式涉及的针对学习时数据(数据集1)和最近数据的机器学习模型的精度的图。
图13是图11所示的模型1和模型2的学习所使用的训练数据的一个例子。
具体实施方式
以下，使用附图对本公开的实施方式详细地进行说明。另外，以下说明的实施方式均示出本公开的一具体例。在以下的实施方式中示出的数值、形状、材料、规格、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子，其主旨不在于限定本公开。此外，对于以下的实施方式中的构成要素当中未记载于表示本公开的最上位概念的独立技术方案的构成要素，作为任意的构成要素来进行说明。此外，各图未必严谨地进行了图示。在各图中，对实质上相同的结构标注相同的符号，并有时省略或简化重复的说明。
(实施方式)
首先，对本实施方式涉及的图像判定装置以及图像判定方法进行说明。
[1.图像判定装置10]
以下，对本实施方式涉及的图像判定装置10的结构等进行说明。图1是示出本实施方式涉及的图像判定装置10的功能结构的框图。
图像判定装置10是由计算机等实现且即便在使用了机器学习的模型的图像判定的精度下降的情况下也能够提高精度的装置。
在本实施方式中，如图1所示，图像判定装置10具备学习部101、存储部102、图像获取部103和判定部104。另外，图像获取部103和判定部104也可以是与学习部101不同的装置，在该情况下，只要具备对保存在存储部102的模型1-1～模型2-2进行存储的存储器或存储部即可。
[1-1.硬件结构]
图2是示出通过软件来实现本实施方式涉及的图像判定装置10的功能的计算机1000的硬件结构的一个例子的图。
在对本实施方式涉及的图像判定装置10的功能结构进行说明之前，使用图2对本实施方式涉及的图像判定装置10的硬件结构的一个例子进行说明。
如图2所示，计算机1000是具备输入装置1001、输出装置1002、CPU1003、内置存储器1004、RAM1005、读取装置1007、收发装置1008以及总线1009的计算机。输入装置1001、输出装置1002、CPU1003、内置存储器1004、RAM1005、读取装置1007以及收发装置1008由总线1009连接。
输入装置1001是输入按钮、触摸板、触摸屏显示器等之类的成为用户接口的装置，接收用户的操作。另外，除接收用户的接触操作以外，输入装置1001也可以是接收通过声音实现的操作、通过遥控器等实现的远程操作的结构。
输出装置1002兼用作输入装置1001，由触摸板或触摸屏显示器等构成，向用户通知应当知晓的信息。
内置存储器1004是闪速存储器等。此外，内置存储器1004也可以预先存储有用于实现图像判定装置10的功能的程序、以及利用了图像判定装置10的功能结构的应用中的至少一方。此外，内置存储器1004也可以存储有模型1-1～模型2-2等。
RAM1005是随机存取存储器(Random Access Memory)，在执行程序或应用时被用于数据等的存储。
读取装置1007从USB(Universal Serial Bus，通用串行总线)存储器等记录介质读取信息。读取装置1007从记录有如上述那样的程序、应用的记录介质读取该程序、应用，并存储在内置存储器1004。
收发装置1008是用于通过无线或有线进行通信的通信回路。收发装置1008例如也可以与连接于网络的服务器装置进行通信，从服务器装置下载如上述那样的程序、应用，并存储在内置存储器1004。
CPU1003是中央运算处理装置(Central Processing Unit)，将存储在内置存储器1004的程序、应用复制到RAM1005，从RAM1005依次读取并执行该程序、应用所包括的命令。
接着，对本实施方式涉及的图像判定装置10的各功能结构进行说明。
在本实施方式中，作为图像判定装置10构成使用机器学习来判定制造品的检查图像的检查装置的情况来进行说明。此外，以下，作为制造品的检查图像的一个例子，作为是以光学方式拍摄形成有半导体电路的晶片而获得的图像的情况来进行说明，但不限于此。制造品的检查图像例如也可以是以光学方式拍摄二次电池的剖视图而获得的图像，只要是通过以光学方式拍摄制造品而获得的2维的图像即可。
[1-2.学习部101]
学习部101是使用成为训练数据的数据集1等来使机器学习的模型进行学习的运算装置。
更具体地，学习部101使用包括多个第1图像和分别与多个第1图像相关联的第1标签的第1训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第1模型。在本实施方式中，学习部101使用预先准备的数据集1作为训练数据来进行1种以上的模型的学习，由此获得模型1-1、模型1-2、……。
此外，学习部101使用1个以上的第2训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第2模型。在此，1个以上的第2训练数据集各自包括与多个第1图像不同的多个第2图像、分别与多个第2图像相关联的第2标签、和第1训练数据集的至少一部分。在本实施方式中，学习部101使用包括数据集1的至少1部分的数据和新的数据(更新数据)的更新数据集2作为训练数据来进行1种以上的模型的学习，由此获得模型2-1、模型2-2、……。
另外，模型2-1、模型2-2、……是在模型1-1、模型1-2、……之后获得的机器学习模型。因此，如图1所示，模型1-1、模型1-2、……能够总称为旧机器学习模型，模型2-1、模型2-2、……能够总称为新机器学习模型。
<数据集>
以下，对数据集1以及更新数据集2进行说明。
数据集1是包括在将图像判定装置10导入检查工序之前、即在检查实施前收集到的多个图像的训练数据集。更新数据集2是包括将图像判定装置10导入检查工序并在经过给定的期间后收集到的多个图像的训练数据集。如此，由于在时间上更新数据集2是在数据集1之后获取到的数据集，因而也能够将更新数据集2称为新数据集，将数据集1称为旧数据集。
在本实施方式中，数据集1以及更新数据集2所包括的图像例如是给定期间内的制造品的检查图像。在此，例如也可以是，数据集1所包括的多个图像(第1图像)各自是在给定期间当中的第1期间内获得的检查图像，数据集2所包括的多个图像(第2图像)是在给定期间当中的第1期间之后获得的检查图像。
图3是用于对实施方式涉及的成为训练数据集的新旧数据集的一个例子进行说明的图。
数据集1是包括在检查实施前收集到的大量的检查图像和分别与大量的检查图像相关联的标签的旧数据集。在图3所示的数据集1的例子中，对N1张检查图像关联了表示打痕不良的标签，对N2张检查图像关联了表示伤痕不良的标签，对N3张检查图像关联了表示合格品的标签，对N4张检查图像关联了表示缺损不良的标签。此外，数据集1是根据各种条件均衡地收集到的图像。例如根据制造条件A收集N5张，根据制造条件B收集N6张，根据制造条件C收集N7张，使得N5、N6、N7均成为给定的张数以上。
更新数据集2是包括在检查导入后例如在检查实施第100天由于模型1的判定精度下降而紧急收集到的多个检查图像和与多个检查图像分别相关联的标签的新数据集。在图3所示的更新数据集2的例子中，对M1张检查图像关联了表示不良的标签，对M2张检查图像关联了表示合格品的标签。
另外，在图3中，进一步示出了更新数据集3。更新数据集3例如是包括在检查实施第300天由于模型1以及模型2的判定精度下降而紧急收集到的多个检查图像、和与多个检查图像分别相关联的标签的新数据集。在图3所示的更新数据集3的例子中，对L1张检查图像关联了表示不良的标签，对L2张检查图像关联了表示合格品的标签。
如此，更新数据集2包括在数据集1之后获得的检查图像，更新数据集3包括在数据集1之后且在更新数据集2之后获得的检查图像。
另外，在图3中，示出了作为模型1的训练数据集而使用数据集1，作为模型2的训练数据集而使用数据集1和更新数据集2。此外，示出了作为模型2之后获得的模型3的训练数据集而使用数据集1和更新数据集3。此外，在图3中，示出了在检查导入时使用模型1来实施检查，在检查实施第100天以后并用模型1和2来实施检查，在检查实施第300天以后并用模型1和3来实施检查。当然，也可以在检查实施第300天以后并用模型1～3来实施检查。
图4是用于对实施方式涉及的成为训练数据集的新旧数据集的另一例进行说明的图。
在图4中，相较于图3，未示出更新数据集3的例子，而数据集1与图3所示的数据集1相同。更新数据集2是包括检查导入后例如在检查实施第100天由于模型1的判定精度下降而紧急收集到的40张检查图像、和与40张检查图像分别相关联的标签的新数据集。在图4所示的更新数据集2的例子中，对20张检查图像关联了表示不良的标签，对20张检查图像关联了表示合格品的标签。
如此，在图4所示的例子中，更新数据集2包括在数据集1之后获得的检查图像。此外，在图4所示的例子中，作为模型1的训练数据集而使用数据集1，作为模型2的训练数据集而使用数据集1的一部分和更新数据集2。这是因为，在更新数据集2所包括的检查图像的数量少的情况下，在减少了数据集1所包括的检查图像的数量之后将其追加于模型2的训练数据集。另外，在图4中，作为模型2的训练数据集，示出了使用数据集1的一成(×0.1)作为数据集1的一部分的例子，但不限于此，能够任意地决定。例如，也能够在减少了数据集1的打痕不良图像以外的图像之后进行追加。此外，在图4中，与图3同样示出了在检查导入时使用模型1来实施检查，在检查实施第100天以后并用模型1和2来实施检查。
如用图3以及图4说明的那样，在成为训练数据集的新旧数据集中，新数据集所包括的检查图像的数量比旧数据集所包括的检查图像的数量少。该关系能够灵活运用于开展多条制造品的生产线的情况。即，分别在多条生产线生产相同的制造品时，在所有生产线各自中收集能够通过机器学习的模型的学习来充分确保精度的数量的检查图像需要庞大的工时，较为困难。因此，只要将从多条生产线平均地收集到的检查图像作为旧数据集，将从特定的生产线收集到的未能网罗各种变动的检查图像作为新数据集，使用于模型1以及模型2即可。使用图5对该情况下的例子进行说明。
图5是用于对实施方式涉及的成为训练数据集的新旧数据集又一例进行说明的图。在图5中，示出了将新旧数据集的关系灵活运用于能够从开展多条的制造品的生产线收集的检查图像的情况下的例子。
数据集1作为旧数据集而包括从多条生产线平均收集到的大量的检查图像和分别与大量的检查图像相关联的标签。在图5所示的数据集1的例子中，对N1张检查图像关联了表示打痕不良的标签，对N2张检查图像关联了表示伤痕不良的标签，对N3张检查图像关联了表示合格品的标签，对N4张检查图像关联了表示缺损不良的标签。关于这些图像，例如从生产线A收集N5张，从生产线B收集N6张，从生产线C收集N7张，使得N5、N6、N7均成为给定的张数以上。
更新数据集2A作为新数据集而例如包括从生产线A收集到的多个检查图像和与多个检查图像分别相关联的标签。在图5所示的更新数据集2A的例子中，对M1a张检查图像关联了表示合格品的标签，对M2a张检查图像关联了表示不合格品的标签。
同样，更新数据集2B作为新数据集而例如包括从生产线B收集到的多个检查图像和与多个检查图像分别相关联的标签。在图5所示的更新数据集2B的例子中，对M1b张检查图像关联了表示合格品的标签，对M2b张检查图像关联了表示合格品的标签。
从生产线C、D收集到的更新数据集2C以及2D(未图示)也是同样的，因而省略说明。
如此，数据集1包括从所有生产线平均收集到的检查图像，而更新数据集2A～2D包括由特定的生产线获得的检查图像。
另外，在图5中，示出了作为模型1的训练数据集而使用数据集1，作为由生产线2A使用的模型2A的训练数据集而使用数据集1和更新数据集2A。同样，在图5中，示出了作为由生产线2B使用的模型2B的训练数据集而使用数据集1和更新数据集2B。由生产线2C、2D使用的模型2C、2D的训练数据集也是同样的，因而省略说明，这是为了在由特定的生产线使用的模型2A等的训练数据集中，相较于模型1的训练数据集，增大了通过特定的生产线的检查而获得的检查图像的比例。
如此，在检查导入时，分别组合使用模型1和模型2A～2D来实施生产线中的检查。
[1-3.存储部102]
存储部102由HDD(Hard Disk Drive，硬盘驱动器)或存储器等构成，存储由学习部101学习后的旧机器学习模型和新机器学习模型。在本实施方式中，存储部102存储由学习部101学习后的例如模型1-1、模型1-2、……、模型2-1、模型2-2、……等。
<机器学习模型>
以下，对本实施方式中使用的机器学习模型进行说明。
模型1-1、模型1-2、……是使用相同的数据集1作为训练数据集而学习后的1种以上的机器学习模型。模型2-1、模型2-2、……是使用包括数据集1的至少一部分和更新数据集2的相同的训练数据集而学习后的1种以上的机器学习模型。
在此，作为机器学习模型的种类，只要是逻辑回归、支持向量机、随机森林、神经网络、DNN(Deep Neural Network，深度神经网络)等进行监督学习的模型即可。此外，作为机器学习的模型的种类，也可以包括自动编码器，也可以包括使用合格品数据来生成并输出偏离值作为异常度的合格品模型。即，作为例子，本实施方式涉及的机器学习模型可以是列举出的种类当中的1种以上。
另外，存储部102不限于对图1所示的学习完毕的模型1-1、模型1-2、……、模型2-1、模型2-2、……等进行存储的情况，也可以设为对模型3-1、模型3-2、……等进而模型N-M(N和M为正整数)进行存储。
此外，在作为机器学习模型的种类而仅应用1种的情况下，图1所示的学习完毕的模型1-1、模型1-2、……、模型2-1、模型2-2、……被标示为模型1、模型2。在作为机器学习模型的种类而应用多个种类的情况下，在模型N-M当中，M表示种类，N表示使用的训练数据集的异同。即，表示同一M的值的模型N-M表示相同的种类的机器学习模型，表示同一N的值的模型N-M表示使用相同的训练数据集进行了学习。
[1-4.图像获取部103]
图像获取部103获取对象图像。
在本实施方式中，图像获取部103例如获取通过生产线的制造品的检查图像的检查而获得的检查图像作为对象图像。
[1-5.判定部104]
判定部104针对由图像获取部103获取到的对象图像，输出至少使用1个以上的第1模型当中的1个和1个以上的第2模型当中的1个这两个而获得的对象图像的标签的判定结果。在此，判定部104只要按照事先设定的规则对1个以上的第1模型各自的判定结果和1个以上的第2模型各自的判定结果进行整合，作为对象图像的标签的判定结果输出即可。
例如，设为判定部104作为图1所示的旧机器学习模型以及新机器学习模型而例如使用(并用)模型1-1和模型2-1这两个。在该情况下，判定部104使用模型1-1和模型2-1，作为对象图像的标签来判定对象图像中拍到的制造品的良否(OK/NG)等，并输出按照事先设定的规则将它们整合后的判定结果。
<事先设定的规则和整合后的判定结果>
在此，举例对事先设定的规则和将它们整合后的判定结果进行说明。
图6A是用于对实施方式涉及的规则信息的一个例子进行说明的图。在图6A中，示出了事先设定了用于在检查中减少漏检的规则的情况下的例子。此外，在图6A中，示出了例如由判定部104使用模型1-1和模型2-1这两个来判定对象图像中拍到的制造品的良否(OK/NG)，并根据事先设定的用于减少漏检的规则将它们整合后的判定结果。
即，在图6A中，示出了仅在由模型1-1以及模型2-1获得的输出(判定结果)均为OK的情况下，作为整合后的判定结果而设为OK的情况下的例子。
图6B是用于对实施方式涉及的规则信息的另一例进行说明的图。在图6B中，示出了事先设定了用于在检查中减少过检测的规则的情况下的例子。此外，在图6B中，例如由判定部104使用模型1-1和模型2-1这两个来判定对象图像中拍到的制造品的良否(OK/NG)，并根据事先设定的用于减少过检测的规则将它们整合后的判定结果。
即，在图6B中示出了在模型1-1以及模型2-1中的任一者的输出(判定结果)为OK的情况下，作为整合后的判定结果设为OK的情况下的例子。
图6C是用于对实施方式涉及的规则信息的又一例进行说明的图。在图6C中，示出了事先设定了用于减少在图6A所示的规则下即便是合格品也会判定为不良的情况的规则的情况下的例子。此外，在图6C中，也示出了例如由判定部104使用模型1-1和模型2-1这两个来判定对象图像中拍到的制造品的良否(OK/NG)，并按照事先设定的规则将它们整合后的判定结果。
在图6C中，示出了仅在由模型1-1以及模型2-1获得的判定结果均为OK的情况下，作为整合后的判定结果而设为OK，而在模型1-1以及模型2-1中的任一者的输出(判定结果)为NG时设为灰色、也就是使人确认的情况下的例子。
<旧机器学习模型以及新机器学习模型的组合的选择方法1>
在上述中，举出判定部104作为图1所示的旧机器学习模型以及新机器学习模型的组合而例如使用(并用)模型1-1和模型2-1这两个的情况的例子进行了说明，但组合的例子不限定于此。
例如，也可以通过机器学习来选择旧机器学习模型以及新机器学习模型的组合。
图7是示出实施方式涉及的通过机器学习来选择旧机器学习模型以及新机器学习模型的组合的方法的概念的图。
在图7的(a)中示出了，能够使用学习完毕的模型1-1、模型1-2以及模型1-3作为旧机器学习模型，并且能够使用学习完毕的模型2-1、模型2-2以及模型2-3作为新机器学习模型的情况下的例子。而且，在图7的(b)中示出了，从这些所有的模型中选择最佳的组合而获得的组合为模型1-1、模型2-1以及模型2-3。
例如，也可以设为通过从图7的(a)所示的新旧机器学习模型中的全部中选择两个或3个而获得的组合，例如实施逻辑回归，并根据获得的判定精度来选择最优的组合。另外，也可以取代逻辑回归而使用支持向量机、随机森林、梯度提升(Gradient Boost)、神经网络、深度学习等机器学习。
此外，例如，判定部104也可以使用另外学习的机器学习模型来选择旧机器学习模型以及新机器学习模型的最佳的组合。更具体地，判定部104也可以进一步将1个以上的第1模型各自的输出和1个以上的第2模型各自的输出作为输入，使学习完毕的第3机器学习模型选择包括1个以上的第1模型中的至少1个以及1个以上的第2模型中的至少1个的组合。而且，也可以设为判定部104输出通过使用选择的组合获得的对象图像的标签的判定结果。
在此，对于用于选择旧机器学习模型以及新机器学习模型的最佳的组合的(即组合选择用的)机器学习模型的学习方法、和旧机器学习模型以及新机器学习模型的最佳的组合方法，使用图8A、图8B以及图9来进行说明。
图8A是示出实施方式涉及的组合对象的机器学习模型的一个例子和验证用数据集的图。图8B是示出针对验证用数据集所包括的各图像的、组合对象的机器学习模型各自的输出的一个例子的图。验证用数据集例如由包括上述的数据集1以及更新数据集1等的训练数据的一部分构成。
在图8A中作为组合对象的机器学习模型的一个例子而示出了作为旧机器学习模型的学习完毕的模型1-1以及模型1-2、和作为新机器学习模型的学习完毕的模型2-1以及模型2-2。此外，验证用数据集包括多个图像，用于输入到各机器学习模型中。
即，若将验证用数据集所包括的各图像分别输入组合对象的机器学习模型，则能够获得针对图8B所示那样的各机器学习模型的各图像的输出(判定结果)。
接下来，说明例如制作从图8B所示那样的各机器学习模型的输出中选择n个作为说明变量来预测0(OK)或1(NG)等标签的组合选择用的机器学习模型。若用图8A的例子进行说明，则n＝2的情况下的组合为(模型1-1，模型2-1)、(模型1-1，模型2-2)、(模型1-2，模型2-1)、(模型1-2，模型2-2)。
另外，也可以灵活运用L1正则化、L2正则化等正则化来减少所使用的说明变量的数量。在该情况下，能够省去不作为结果使用的输出来制作组合选择用的机器学习模型。此外，不限于使用从新机器学习模型以及旧机器学习模型中包括至少1个的组合来制作组合选择用的机器学习模型的情况，也可以使用仅新机器学习模型或旧机器学习模型的组合来制作组合选择用的机器学习模型。
由此，能够对制作的组合选择用的机器学习模型的精度进行评价，并选择精度高的组合。
因此，判定部104能够使用输入旧机器学习模型和新机器学习模型的输出的组合选择用的机器学习模型，判定并选择出精度高的新旧的机器学习模型的组合。
<旧机器学习模型以及新机器学习模型的组合的选择方法2>
上述中对通过机器学习来选择旧机器学习模型以及新机器学习模型的组合的方法进行了说明，但不限于此。也可以将组合的精度等信息显示在GUI(Graphical UserInterface，图形用户界面)，并使用户选择。
更具体地，图像判定装置10也可以具备显示部，该显示部针对验证用数据集，显示通过使用包括1个以上的第1模型中的至少1个以及1个以上的第2模型中的至少1个的组合而获得的对象图像的标签的判定结果的判定精度。验证用数据集例如由第1训练数据集的一部分和1个以上的第2训练数据集各自的一部分构成。
即，图像判定装置10也可以还具备显示部或显示装置。当然，图像判定装置10也可以仅与外部的显示部或显示装置连接。而且，图像判定装置10也可以使该显示部或该显示装置显示旧机器学习模型各自的精度、新机器学习模型各自的精度、和旧机器学习模型以及新机器学习模型的组合的精度的一览，并使用户选择最佳的组合。
图9是示出实施方式涉及的用于使用户选择旧机器学习模型以及新机器学习模型的最佳的组合的一览表的一个例子的图。在图9中，作为验证用数据集的一个例子，示出了使用数据集1和更新数据集2这两种时的精度(％)。此外，作为选择组合时的判断材料的一个例子，示出了各自的判定速度(节拍时间)。
用户只要查看图9那样的一览来选择旧机器学习模型以及新机器学习模型的最佳的组合即可。
另外，图9那样的一览也可以能够进行检索、筛选或分类等简单的操作。在该情况下，也可以设为不是由用户来选择，而是由判定部104按照针对数据集1的精度来对上述的一览进行分类，选择针对数据集1的精度为90％以上等给定的精度以上且针对更新数据集2的最高的精度的组合。此外，也可以设为判定部104按照判定速度(节拍时间)对上述的一览进行分类，在给定的判定速度以内选择最优的精度的组合。
[2.图像判定装置10的动作]
以下对如以上那样构成的图像判定装置10的动作的一个例子进行说明。
图10是示出本实施方式中的图像判定装置10的动作概要的流程图。
首先，图像判定装置10使用数据集1作为训练数据来进行学习，获得1个以上的模型1，并且使用包括更新数据集2的数据集作为训练数据来进行学习，获得1个以上的模型2(S1)。更具体地，图像判定装置10的学习部101使用包括多个第1图像和分别与多个第1图像相关联的第1标签的第1训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第1模型。此外，学习部101使用1个以上的第2训练数据集来进行1种以上的机器学习模型的学习，由此获得1个以上的第2模型。在此，1个以上的第2训练数据集各自包括与多个第1图像不同的多个第2图像、分别与多个第2图像相关联的第2标签、和第1训练数据集的至少一部分。
接下来，图像判定装置10获取对象图像(S2)。在本实施方式中，图像获取部103例如获取通过生产线的制造品的检查图像的检查而获得的检查图像作为对象图像。
接下来，图像判定装置10针对对象图像，输出至少使用1个以上的模型1当中的1个和1个以上的模型2当中的1个这两个而获得的对象图像的标签的判定结果(S3)。更具体地，图像判定装置10的判定部104针对由图像获取部103获取到的对象图像，输出通过至少使用1个以上的第1模型当中的1个和1个以上的第2模型当中的1个这两个而获得的对象图像的标签的判定结果。另外，判定部104只要按照事先设定的规则对1个以上的第1模型各自的判定结果和1个以上的第2模型各自的判定结果进行整合，作为对象图像的标签的判定结果而输出即可。如此，在本实施方式中，图像判定装置10能够并用至少两个机器学习的模型来判定对象图像中拍到的制造品的良否(OK/NG)。
[3.效果等]
例如，在为了实施检查而进行检查导入前通过旧数据集学习后的模型1在检查实施后由于维护等各种原因从而模型1的判定精度下降的情况下，通过紧急收集到的新数据集来对模型2进行学习。相对于旧数据集所包括的检查图像，新数据集所包括的模型1的判定精度下降的检查图像产生人不能一眼看出的错误。
在比较例中，仅使用通过新数据集使模型1再学习而获得的模型2来实施检查。然而，有时针对与旧数据集类似的检查图像，相比于模型1，精度下降。
因此，根据本实施方式，由于并用(组合模型1以及模型2)来实施检查，因而即便针对与旧数据集类似的检查图像以及与新数据集类似的检查图像，也能够将精度维持得高。
如此，根据本实施方式，即便在使用了机器学习的模型的图像判定的精度下降的情况下也能够提高精度。
另外，精度不限于正确率，只要是适合率、再现率、根据适合率以及再现率的调和平均计算出的F值和正确率当中的至少一个的组合即可。
图11是示出实施方式涉及的训练数据1和训练数据2的图。训练数据1例如是上述的数据集1。以下，设为训练数据1是对形成有半导体电路的晶片进行检查的例如10万张检查图像，由包括在导入使用了机器学习模型的检查之前收集到的检查图像的数据集1构成。在该情况下，模型1是使用数据集1作为训练数据1而学习后的机器学习的模型。
此外，训练数据2由最近数据和训练数据1的一部分构成。模型2是使用训练数据2学习后的机器学习的模型。最近数据例如是上述的更新数据集，由在导入使用了机器学习模型的检查之后(检查导入后)收集到的检查图像构成。在此，设为最近数据是在检查导入后的例如第100天等的一定期间后判定精度下降的时期收集到的检查图像。另外，判定精度由于在检查导入后完成的检查装置的维护等各种原因而下降。
图12是定性地示出针对实施方式涉及的学习时数据(数据集1)和最近数据的机器学习模型的精度的图。图12分别使用用作训练数据1的数据集1、和包括于训练数据2而使用的最近数据作为验证用数据集，计算模型1以及模型2的精度。
如图12所示，模型1针对最近数据的精度变低，而模型2针对最近数据的精度变高。然而，模型2使用数据集1的比例相较于训练数据1下降的训练数据2来进行学习，因而有时相较于模型1，模型2针对数据集1的精度会稍微下降。即，针对学习时数据即数据集1的精度在图12所示模型1中高，而有时在模型2中成为中等程度，相较于模型1下降。因此，虽然仅通过收集判定精度下降的时期的最近数据，并使用加入学习时数据后的训练数据2来使模型1再学习，就能够提高针对与最近数据类似的检查图像的精度，但针对与学习时数据类似的检查图像的精度可能降低。最近数据中产生的错误不能由人一眼看出，因由不能确定其发生原因，不能预测今后是否能消除该原因。因此，不仅针对最近数据，还需要针对数据集1也保持高的判定精度。
因此，在本实施方式中，例如通过并用(组合)模型1和模型2，能够将针对学习时数据即数据集1的精度以及针对最近数据的精度保持为高精度。
接下来，通过在包括大量的检查图像的训练数据1(学习时数据)中加入作为少量的检查图像的最近数据后的训练数据2来对模型2进行学习，由此对精度提高何种程度进行了验证，因而对其结果进行说明。
图13是图11所示的模型1和模型2的学习所使用的训练数据的一个例子。
在图13中，训练数据1a是上述的训练数据1的一个例子，训练数据2a是上述的训练数据2的一个例子。在图13所示的例子中，训练数据1a由作为判定为合格品的数据的2444+1942＝4386张检查图像、和作为判定为不合格品的数据的1237+968＝2205张检查图像构成。此外，训练数据2a对训练数据1a追加了作为判定为合格品的数据的269+71＝340张检查图像、和作为判定为不合格品的数据的57+16＝73张检查图像。
此外，作为用于对学习完毕的模型1和模型2的判定精度进行验证的验证用数据，从最近数据中使用了用作上述的训练数据2a的数据。
其结果，模型1将验证用数据所包括的表示合格品的检查图像7481张中的1967张判定为过检测，即判定为不合格品。另一方面，模型2将验证用数据所包括的表示合格品的检查图像7481张中的155张判定为过检测，即判定为不合格品。
即，针对不使用于训练数据2a的最近数据，模型1的过检测率为26.3％，相对于此，能够确认到模型2的过检测率大幅改善为2.07％。
如此，可得知通过利用在包括大量的检查图像的训练数据1(学习时数据)中加入作为少量的检查图像的最近数据后的训练数据2来对模型2进行学习，从而精度提高。
(其他实施方式)
以上，基于各实施方式对本公开涉及的图像判定装置10等进行了说明，但本公开不限定于这些实施方式。只要不脱离本公开的主旨，则对各实施方式实施本领域技术人员想到的各种变形而获得的方式、将各实施方式中的一部分的构成要素组合而构建的另外的方式也包括于本公开的范围内。
(1)例如，作为不对第1训练数据所使用的旧数据集即数据集1本身进行更新的情况进行了说明，但不限于此。也可以在下次再学习时使用通过紧急收集到的更新数据集2更新后的数据集1作为第1训练数据来使模型1再学习。
(2)在上述的实施方式中，对第1训练数据追加数据而制作了更新数据集2，但不限于此。只要紧急收集到的数据集2有充分的量，则也可以不向第一训练数据追加，而使用该数据集2本身作为更新数据集2来使模型2学习。
(3)在上述的实施方式中，构成图像判定装置10的判定部104针对对象图像并用机器学习模型，输出对象图像的标签的判定结果，但不限于此。也可以在并用机器学习模型来判定对象图像的标签之前或之后，进一步进行规则判定。作为规则判定，考虑对在对象图像中是否包括判定对象物进行检测的判定，在该情况下，只要设为在对象图像不包括判定对象物的情况下，判定部104不进行针对对象图像并用机器学习模型的判定即可。此外，作为对在对象图像是否包括判定对象物进行检测的判定，可以判定对象图像中是否拍到了判定对象物，也可以判定对象图像的亮度等信息是否包括于可以实施判定的应用范围内。
此外，以下所示的方式也可以包括于本公开的一个或多个方式范围内。
(4)构成上述的图像判定装置10的构成要素的一部分也可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元存储有计算机程序。通过所述微处理器根据所述计算机程序动作来达成其功能。在此，计算机程序将是为了达成给定的功能而将多个表示针对计算机的指令的命令代码组合而构成。
(5)也可以设为构成上述的图像判定装置10的构成要素的一部分由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成在1个芯片上而制造的超多功能LSI，具体地，是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM存储有计算机程序。通过所述微处理器根据所述计算机程序动作，从而系统LSI达成其功能。
(6)也可以设为构成上述的图像判定装置10的构成要素的一部分由能够装卸于各装置的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。也可以设为所述IC卡或所述模块包括上述的超多功能LSI。通过微处理器根据计算机程序动作，从而所述IC卡或所述模块达成其功能。也可以设为该IC卡或该模块具有耐篡改性。
(7)此外，也可以设为构成上述的图像判定装置10的构成要素的一部分记录于能够由计算机读取所述计算机程序或所述数字信号的记录介质，例如记录于软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc，蓝光光盘)、半导体存储器等。此外，也可以设为记录于这些记录介质的所述数字信号。
此外，也可以设为构成上述的图像判定装置10的构成要素的一部分经由以电气通信线路、无线或有线通信线路、因特网为代表的网络、数据广播等来传输所述计算机程序或所述数字信号。
(8)本公开也可以设为上述示出的方法。此外，也可以设为由计算机实现这些方法的计算机程序，也可以设为由所述计算机程序构成的数字信号。
(9)此外，也可以设为，本公开是具备微处理器和存储器的计算机系统，所述存储器存储上述计算机程序，所述微处理器根据所述计算机程序动作。
(10)此外，也可以设为，通过将所述程序或所述数字信号记录于所述记录介质并进行移送，或通过经由所述网络等对所述程序或所述数字信号进行移送，从而由独立的其他计算机系统实施。
(11)也可以设为分别组合上述实施方式以及上述变形例。
产业上的可利用性
本公开能够利用于检查工序中的合格品判定等使用了机器学习的模型的图像判定装置、图像判定方法以及程序等。
符号说明
10图像判定装置
101学习部
102存储部
103图像获取部
104判定部
1000计算机
1001输入装置
1002输出装置
1003CPU
1004内置存储器
1005RAM
1007读取装置
1008收发装置
1009总线。

Claims (10)

1.一种图像判定装置，具备：
学习部，使用第1训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第1模型，所述第1训练数据集包括多个第1图像和分别与所述多个第1图像相关联的第1标签，并且，使用1个以上的第2训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第2模型，所述第2训练数据集包括与所述多个第1图像不同的多个第2图像、分别与所述多个第2图像相关联的第2标签、和所述第1训练数据集的至少一部分；
图像获取部，获取对象图像；和
判定部，针对由所述图像获取部获取到的所述对象图像，输出通过至少使用所述1个以上的第1模型当中的1个和所述1个以上的第2模型当中的1个这两个而获得的所述对象图像的标签的判定结果。
2.根据权利要求1所述的图像判定装置，其中，
所述多个第1图像各自以及所述多个第2图像各自是给定期间内的制造品的检查图像。
3.根据权利要求2所述的图像判定装置，其中，
所述多个第1图像各自是在所述给定期间当中的第1期间内获得的检查图像，
所述多个第2图像是在所述给定期间当中的所述第1期间之后获得的检查图像。
4.根据权利要求2所述的图像判定装置，其中，
所述1个以上的第2训练数据集当中的1个第2训练数据集相较于所述第1训练数据集，特定的日期时间的检查图像的比例大。
5.根据权利要求2所述的图像判定装置，其中，
所述1个以上的第2训练数据集当中的1个第2训练数据集相较于所述第1训练数据集，通过特定的生产线的检查而获得的检查图像的比例大。
6.根据权利要求1～5的任一项所述的图像判定装置，其中，
所述判定部进一步将所述1个以上的第1模型各自的输出和所述1个以上的第2模型各自的输出作为输入，使学习完毕的第3机器学习模型选择包括所述1个以上的第1模型中的至少1个以及所述1个以上的第2模型中的至少1个的组合，并输出通过使用选择的所述组合而获得的所述对象图像的标签的判定结果。
7.根据权利要求1～5的任一项所述的图像判定装置，其中，
所述判定部按照事先设定的规则对所述1个以上的第1模型各自的判定结果和所述1个以上的第2模型各自的判定结果进行整合，作为所述对象图像的标签的判定结果而输出。
8.根据权利要求1～7的任一项所述的图像判定装置，其中，
所述图像判定装置还具备：
显示部，针对包括所述第1训练数据集的一部分和所述1个以上的第2训练数据集各自的一部分的验证用数据集，显示通过使用包括所述1个以上的第1模型中的至少1个以及所述1个以上的第2模型中的至少1个的组合而获得的所述对象图像的标签的判定结果的判定精度。
9.一种图像判定方法，包括：
学习步骤，使用第1训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第1模型，所述第1训练数据集包括多个第1图像和分别与所述多个第1图像相关联的第1标签，并且，使用1个以上的第2训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第2模型，所述第2训练数据集包括与所述多个第1图像不同的多个第2图像、分别与所述多个第2图像相关联的第2标签、和所述第1训练数据集的至少一部分；
图像获取步骤，获取对象图像；和
判定步骤，针对在所述图像获取步骤中获取到的所述对象图像，输出通过至少使用所述1个以上的第1模型当中的1个和所述1个以上的第2模型当中的1个这两个而获得的所述对象图像的标签的判定结果。
10.一种程序，使计算机执行以下步骤：
学习步骤，使用第1训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第1模型，所述第1训练数据集包括多个第1图像和分别与所述多个第1图像相关联的第1标签，并且，使用1个以上的第2训练数据集进行1种以上的机器学习模型的学习来获得1个以上的第2模型，所述第2训练数据集包括与所述多个第1图像不同的多个第2图像、分别与所述多个第2图像相关联的第2标签、和所述第1训练数据集的至少一部分；
图像获取步骤，获取对象图像；和
判定步骤，针对在所述图像获取步骤中获取到的所述对象图像，输出通过至少使用所述1个以上的第1模型当中的1个和所述1个以上的第2模型当中的1个这两个而获得的所述对象图像的标签的判定结果。
CN202280023028.XA 2021-04-05 2022-03-14 图像判定装置、图像判定方法以及程序 Pending CN117121052A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-064375 2021-04-05
JP2021064375 2021-04-05
PCT/JP2022/011315 WO2022215446A1 (ja) 2021-04-05 2022-03-14 画像判定装置、画像判定方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN117121052A true CN117121052A (zh) 2023-11-24

Family

ID=83546328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280023028.XA Pending CN117121052A (zh) 2021-04-05 2022-03-14 图像判定装置、图像判定方法以及程序

Country Status (3)

Country Link
JP (1) JPWO2022215446A1 (zh)
CN (1) CN117121052A (zh)
WO (1) WO2022215446A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6693938B2 (ja) * 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
JP6844563B2 (ja) * 2018-03-13 2021-03-17 オムロン株式会社 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
JP6687962B1 (ja) * 2019-12-27 2020-04-28 クリスタルメソッド株式会社 撮影条件提案システム

Also Published As

Publication number Publication date
WO2022215446A1 (ja) 2022-10-13
JPWO2022215446A1 (zh) 2022-10-13

Similar Documents

Publication Publication Date Title
JP6693938B2 (ja) 外観検査装置
US11531901B2 (en) Imaging modality smart find maintenance systems and methods
US11120904B2 (en) Imaging modality maintenance smart dispatch systems and methods
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
US20100057667A1 (en) Detection rule-generating facility
JP6844563B2 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
WO2019146315A1 (ja) 異常検知システム、異常検知方法、および、プログラム
WO2020139908A1 (en) Imaging modality smart symptom maintenance systems and methods
US11415975B2 (en) Deep causality learning for event diagnosis on industrial time-series data
CN112633461A (zh) 应用辅助系统和方法以及计算机可读记录介质
JP2019106119A (ja) 検出システム、情報処理装置、評価方法及びプログラム
JP2018147080A (ja) 情報処理装置及び情報処理プログラム
CN113196315A (zh) 成像模态保养维护包系统和方法
JP2007184723A (ja) 検査システム及び検査方法
CN111008953B (zh) 一种数字病理图像质控的方法及装置
JP2021033564A (ja) 画像分類方法、画像分類装置および画像分類プログラム
TW201941598A (zh) 顯示裝置、顯示系統及顯示畫面產生方法
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
JP7440823B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117121052A (zh) 图像判定装置、图像判定方法以及程序
US11586853B2 (en) System and method of validating multi-vendor Internet-of-Things (IoT) devices using reinforcement learning
JP7321452B2 (ja) プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法
US20240185576A1 (en) Image determination device, image determination method, and recording medium
US20220092761A1 (en) Information processing apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination