CN112567428B - 摄影方法及摄影装置 - Google Patents

摄影方法及摄影装置 Download PDF

Info

Publication number
CN112567428B
CN112567428B CN201980053476.2A CN201980053476A CN112567428B CN 112567428 B CN112567428 B CN 112567428B CN 201980053476 A CN201980053476 A CN 201980053476A CN 112567428 B CN112567428 B CN 112567428B
Authority
CN
China
Prior art keywords
image
illumination
images
inspection
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980053476.2A
Other languages
English (en)
Other versions
CN112567428A (zh
Inventor
成瀬洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112567428A publication Critical patent/CN112567428A/zh
Application granted granted Critical
Publication of CN112567428B publication Critical patent/CN112567428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种摄影方法及摄影装置，以可有助于对象物的摄影条件的最佳化，所述摄影方法为利用包含机器学习模型的检查模块来检查对象物时的摄影方法，且包括：将具有已知的标签数据的对象物照明，以多个照明参数进行对象物的摄影而获取多个摄影图像；基于使摄影图像与照明参数相关联而得的图像数据集，生成以照明参数进行照明时的对象物的推定图像；设定对于对象物所容许的最大摄影张数；以及针对最大摄影张数以下的各张数，进行机器学习模型的学习，基于机器学习模型的推定结果与对象物的标签数据的比较结果，使照明参数及检查算法参数最佳化，且算出表示进行各张数的摄影时所期待的检查性能的指标并向用户提示。

Description

摄影方法及摄影装置
技术领域
本发明涉及一种对象物的摄影方法及摄影装置。
背景技术
制造现场的制品的外观检查为利用机器来替换人员最不发达的领域之一，为将来必须致力于劳动人口减少的、重要的自动化课题。近年来，由于深度学习(deep leaning)所代表的人工智能、机器学习技术的发展，检查的自动化技术不断地飞跃性提高。例如，专利文献1中报告了下述方法：根据所拍摄的对象物(检查对象)的图像来算出评估基准，反复求出使其最大化/最小化的拍摄、照明参数。
现有技术文献
专利文献
专利文献1：EP2887055A1
发明内容
发明所要解决的问题
然而，缺陷的看到方式视照明向对象物的照射方式而变化，而且有若同时过度照射大量的照明则反而看不到缺陷等性质，因此为了同时检测多种预期的缺陷，有时需要使照明的照射方式变化而进行多次摄影。此种情况下，以往以何种照明设定来摄影几次方可充分检测预期的缺陷是依赖于人手进行调整，最佳设计需要大量的时间。另一方面，在考虑欲自动决定必要的摄影张数的情况下，由于摄影张数直接关系到处理时间或处理速度(节拍)，而且可能以不同观点或指标进行评估，因而难以自动判断在系统设计上容许何种程度的摄影张数的增量，难以取得处理速度与缺陷的检测率的平衡。而且，除了对象物的外观检查以外，例如脸识别系统等其他利用机器学习的判断装置中也存在同样的问题。
因此，本公开是鉴于所述情况而成，在一侧面提供一种摄影方法及摄影装置，可有助于对象物的摄影条件的最佳化。
解决问题的技术手段
为了解决所述问题，本发明采用以下结构。
[1]本公开的摄影方法的一例为利用包含机器学习模型的检查模块来检查对象物时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，且所述摄影方法包括：利用可变更对具有已知的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数对所述对象物进行摄影而获取多个摄影图像；基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；设定对于所述对象物所容许的最大摄影张数；以及针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，使所述照明参数及所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
另外，对于对象物所容许的最大摄影张数例如可基于用户的指示而设定，也可预先设定规定张数。而且，所谓本公开的“检查算法参数”，表示利用机器学习模型来检查对象物时使用的检查算法的参数。
所述结构中，针对以对于对象物所容许的最大摄影张数以下的各张数(即，若将最大摄影张数设为Smax，则为作为摄影张数的拍摄数S＝1、2、……、Smax-1及Smax各自；但是，S的增量不限定于1)进行摄影的情况，实施利用检查模块来检查对象物时所用的照明参数及机器学习模型的检查算法参数的最佳化，算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。因此，用户可确认所提示的这些指标，一边考虑处理时间或处理速度(节拍)一边决定预期的摄影张数，因而可不像以往那样依赖于人手的调整，而有效率地进行摄影条件的最佳化。而且，可基于机器学习模型的推定结果与对象物的标签数据的比较结果，使利用检查模块来检查对象物时所用的照明参数与机器学习模型的检查算法参数两者同时最佳化，因而可使包含摄影条件的检查条件的设定作业简化。
[2]所述结构中，生成所述对象物的推定图像也可包括：针对多种对象物准备对应的多个所述图像数据集；以及基于多个所述图像数据集，生成以所述照明参数进行照明时的与所述多种对象物各自对应的多个所述推定图像。所述结构中，可针对多种对象物各自预先使摄影条件最佳化，因而可更迅速地进行投影了检查用的照明(例如图案光)的、对象物的检查。
[3]而且，本公开的摄影方法的另一例为利用包含机器学习模型的检查模块来检查所述对象物时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，且所述摄影方法包括：利用可变更对具有对应的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数对所述对象物进行摄影而获取多个摄影图像；基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；设定对于所述对象物所容许的最大摄影张数；以及针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。另外，所述结构中，对于对象物所容许的最大摄影张数例如也是可基于用户的指示而设定，也可预先设定规定张数。
所述结构中，针对以对于对象物所容许的最大摄影张数以下的各张数进行摄影的情况，实施利用检查模块来检查对象物时所用的照明参数的最佳化，算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。因此，用户可确认所提示的这些指标，一边考虑处理时间或处理速度(节拍)一边决定预期的摄影张数，因此可不像以往那样依赖于人手的调整，而有效率地进行摄影条件的最佳化。而且，可设为先确定检查算法参数，然后利用推定图像来确定照明参数的方式，因此机器学习模型的学习中的运算量减少，进行运算的系统的负荷降低，且可简化照明参数的设定操作。
[4]所述结构中，将所述推定图像用于学习完毕的所述机器学习模型也可包括：将包含所述推定图像及表示所述对象物的对应的被检查特征的标签数据的学习数据用于所述机器学习模型的追加学习，更新所述机器学习模型的检查算法参数的一部分或全部；以及使所述机器学习模型的检查算法参数的一部分或全部及所述照明参数最佳化，由此使所述机器学习模型的推定结果与所述标签数据一致。所述结构中，作为所述[3]的摄影方法的第二阶段，可使检查算法参数的一部分或全部与照明参数同时最佳化，因而机器学习模型可获得更良好的学习结果。
[5]所述结构中，使所述照明参数最佳化也可包括：选择使表示所述比较结果的Loss函数最小化的所述照明参数，且所述选择为，选择所述Loss函数针对规定范围的所述照明参数的Loss平均值进行最小化的所述照明参数。所述结构中，通过考虑规定范围的照明参数，从而可提高检测对象物时的针对环境变化的稳健性。
[6]所述结构中，生成所述对象物的推定图像也可包括：基于根据所述照明参数及所述图像数据集所含的所述摄影图像而确定的、所述摄影图像的加权的线性叠加的合计和，生成所述对象物的推定图像。所述结构中，可模仿线性照明状况下的对象物的推定图像。
[7]所述结构中，生成所述对象物的推定图像也可包括：基于所述图像数据集，利用与所述照明参数有关的非线性的推定函数，生成所述对象物的推定图像。所述结构中，可模仿非线性照明情况下的对象物的推定图像，可提高检查模块的普遍性(通用性)。
[8]所述结构中，也可算出多种指标作为表示所述检查性能的指标并向所述用户提示。所述结构中，用户决定或选择摄影条件(摄影张数)时的判断材料增加，因而可实现摄影条件的更合适的最佳化。
[9]本公开的摄影装置的一例为利用包含机器学习模型的检查模块来检查所述对象物时的摄影装置，所述机器学习模型是利用包含图像的学习数据所生成，且所述摄影装置包括：获取部，利用可变更对具有已知的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数对所述对象物进行摄影而获取多个摄影图像；生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；设定部，设定对于所述对象物所容许的最大摄影张数；以及控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，使所述照明参数及所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
[10]本公开的摄影装置的另一例为利用包含机器学习模型的检查模块来检查所述对象物时的摄影装置，所述机器学习模型是利用包含图像的学习数据所生成，且所述摄影装置包括：获取部，利用可变更对具有已知的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数对所述对象物进行摄影而获取多个摄影图像；生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；设定部，设定对于所述对象物所容许的最大摄影张数；以及控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
另外，本公开中，所谓“部”及“装置”，并非仅意指物理部件，也包含借由软件来实现所述“部”及“装置”所具有的功能的结构。而且，一个“部”及“装置”所具有的功能也可由两个以上的物理部件或装置来实现，或者，两个以上的“部”及“装置”的功能也可由一个物理部件或装置来实现。进而，所谓“部”及“装置”，例如为也可改称为“部件”及“系统”的概念。
发明的效果
根据本公开，针对以对于对象物所容许的最大摄影张数以下的各张数进行摄影的情况，实施利用检查模块来检查对象物时所用的照明参数及机器学习模型的检查算法参数的最佳化，算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。因此，用户可确认所提示的这些指标，决定考虑到处理时间或处理速度(节拍)的、预期的摄影张数，因而可不像以往那样依赖于人手的调整，而有效率地进行摄影条件的最佳化。换言之，可在直接评估机器学习的判定算法的判定性能本身的基础上，向用户事先提示使摄影张数(即节拍)变化时的、检查性能的变化。因而，在有关对象物的缺陷等而达成预期的检测率与节拍之间的平衡最佳化时，不用费事地依赖人手进行试误。
而且，可削减为了实现此种最佳化所必需的摄影张数及存储容量，而且，针对照明的直线性(linearity)等难以模仿的摄影条件，也可通过确保规定的摄影张数从而可靠地进行最佳化。此外，可实现设计工时的缩短及系统化的设计，可防止检查性能取决于人员技术的个人依赖化。而且，可进行对于检查算法而言良好的照明设计、及最适于所述照明的检查算法等拍摄/图像处理系统总体的直接的最佳化。
附图说明
图1为示意性地表示本公开的一实施方式的摄影装置的适用场景的一例(系统结构例)的平面图(局部立体图)。
图2为示意性地表示本公开的一实施方式的摄影装置所含的缺陷检查装置的硬件结构的平面图。
图3为示意性地表示本公开的一实施方式的摄影装置所含的缺陷检查装置的功能结构的一例的平面图。
图4A为表示本公开的一实施方式的摄影装置的处理顺序的一例的流程图，为表示照明条件设定方法中的机器学习模型的学习阶段的处理顺序的流程图。
图4B为表示本公开的一实施方式的摄影装置的处理顺序的一例的流程图，为表示照明条件设定方法中的机器学习模型的检查阶段的处理顺序的流程图。
图4C为表示本公开的一实施方式的摄影装置的相对于对象物的摄影张数(拍摄数)的检查性能的变化、及用户输入摄影张数的输入画面的一例的平面图。
图4D为表示本公开的一实施方式的摄影装置的相对于对象物的摄影张数(拍摄数)的检查性能的变化、及用户输入摄影张数的输入画面的一例的平面图。
图5为表示本公开的一实施方式的摄影装置的照明条件设定方法的一例的流程图。
图6A为表示图5的步骤的一例的流程图。
图6B为表示图5的步骤的一例的流程图。
图7为示意性地表示图5所示的照明条件设定方法的过程的平面图。
图8为表示本公开的另一实施方式的摄影装置的处理顺序的一例的流程图，图8的(a)及图8的(b)分别表示照明条件设定方法中的机器学习模型的学习阶段及检查阶段的流程图。
图9为表示本公开的另一实施方式的摄影装置的处理顺序的一例的流程图，图9的(a)及图9的(b)分别为表示照明条件设定方法的变化中的、机器学习模型的学习阶段及检查阶段的流程图。
图10为表示本公开的另一实施方式的摄影装置的处理顺序的一例的照明条件设定方法的流程图。
图11为表示本公开的另一实施方式的摄影装置的处理顺序的一例的照明条件设定方法的流程图。
图12的(a)及图12的(b)为对本公开的一实施方式的摄影装置的照明条件设定方法的照明图案进行说明的图。
图13为示意性地表示线性照明图案的一例的图。
图14为示意性地表示亮度的线性函数的一例的图。
图15的(a)及图15的(b)为用于对本公开的一实施方式的摄影装置中根据以多个摄影条件所摄影的图像获得检查结果的算法的示意图。
符号的说明
1：检查系统
2：带式输送机
4：工件
6：拍摄视野
8：上位网络
12：数据库装置
100：缺陷检查装置
102：摄像机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：摄像机接口
116：输入接口
118：显示接口
120：通信接口
122：内部总线
130：贮存器
132：图像处理程序
136：学习器参数
138：摄影图像
140：推定图像
141：图像生成部
142：设定部
142：控制部
143：检查部
144：摄影部
145：存储部
1431：学习器
L1～L4：光源
具体实施方式
以下，参照附图对本公开的一例的实施方式进行说明。但是，以下说明的实施方式仅为例示，并非意指排除以下未明示的各种变形或技术的适用。即，本公开的一例可在不偏离其主旨的范围内进行各种变形而实施。而且，以下的附图的记载中，对相同或类似的部分标注相同或类似的符号，附图为示意性，且未必与实际的尺寸或比率等一致。进而，有时附图相互间也包含相互的尺寸关系或比率不同的部分。而且，以下说明的实施方式为本公开的一部分实施方式，且当然并非所有实施方式。进而，本领域技术人员基于本公开的实施方式无需作出创造性行为所得的其他实施方式均包含于本公开的保护范围。
§1适用例
本公开中，利用照明参数可变的多个光源将对象物照明，利用适当的摄像部件(影像传感器)进行对象物的摄影而获取摄影图像。照明参数例如可包含光源的发光位置、发光强度、色调等。并且，使用通过对所得的摄影图像进行加工从而生成的推定图像来训练机器学习模型，其结果为，机器学习模型具备检查对象物的能力。可使所述摄影图像或推定图像预先与照明参数相关联，在机器学习模型的训练中，同时调整照明参数与检查算法参数而最佳化。并且，针对以对于对象物所容许的最大摄影张数以下的各张数进行摄影的情况(即，多张的摄影可谓“多重拍摄(Multi-shot)摄影”)，进行所述最佳化，算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。用户可通过确认所提示的这些指标，从而一边考虑处理时间或处理速度(节拍)一边决定预期的摄影张数。而且，与仅调整照明参数后，以所述照明参数进行照明而获取学习用的摄影图像的情况相比，可简化操作，降低系统的负荷。
此处，首先使用图1对适用本公开的一例的场景的一例进行说明。图1为示意性地表示本公开的一实施方式的摄影装置的适用场景的一例(系统结构例)的平面图(局部立体图)。检查系统1基于摄影图像来进行被检查对象的检查，所述摄影图像是通过对被检查对象进行摄影从而生成。所述被检查对象例如可举出流水线上的工件，此处的检查例如可举出工件的外观检查或外观测量。
即，检查系统1例如对进行工件4的摄影所得的输入图像执行图像分析处理，由此实现工件4的外观检查或外观测量，所述工件4为在带式输送机2上搬送的被检查对象。以下，作为图像分析处理的典型例，以检查工件4的表面有无缺陷等作为应用例进行说明，但不限于此，例如也可应用于缺陷种类的确定或外观形状的测量等。
在带式输送机2的上部，配置有作为影像传感器的摄像机102，以摄像机102的拍摄视野6包含带式输送机2的规定区域的方式构成。通过摄像机102的拍摄而生成的图像数据(以下也称为“输入图像”)向缺陷检查装置100发送。摄像机102进行的拍摄是周期性地执行，或在发生事件时执行。
缺陷检查装置100包括具有卷积神经网络(Convolutional Neural Network，CNN)引擎的学习器。使用CNN引擎由输入图像生成各类的特征检测图像。也可基于所生成的单个或多个特征检测图像，判断对象的工件有无缺陷等，或者检测缺陷的大小或位置等。
缺陷检查装置100经由上位网络8与可编程逻辑控制器(Programmable LogicController，PLC)10及数据库装置12等连接。缺陷检查装置100的检测结果也可向PLC10及/或数据库装置12发送。另外，对于上位网络8，也可除了PLC10及数据库装置12以外，还连接任意的装置。而且，缺陷检查装置100也可连接有作为用于显示处理中的状态或检测结果等的输出部的显示器104、及作为受理用户的操作的输入部的例如键盘106及鼠标108。
§2结构例
[硬件结构]
接下来，使用图2对作为本公开的一实施方式的摄影装置的检查系统1所含的缺陷检查装置100的硬件结构的一例进行说明。图2为示意性地表示缺陷检查装置100的硬件结构的平面图。
作为一例，缺陷检查装置100也可使用按照通用的计算机架构所构成的通用计算机来实现。缺陷检查装置100包含处理器110、主存储器112、摄像机接口114、输入接口116、显示接口118、通信接口120及贮存器130。这些组件典型而言经由内部总线122相互可通信地连接。
处理器110将保存于贮存器130的程序在主存储器112展开并执行，由此实现后述那样的功能及处理。主存储器112包含易失性存储器，作为处理器110执行程序所需要的工作存储器发挥功能。
摄像机接口114与摄像机102连接，获取由摄像机102所拍摄的输入图像(摄影图像138)。摄像机接口114也可对摄像机102指示拍摄时机等。
输入接口116与键盘106及鼠标108等输入部连接，获取表示用户对输入部的操作等的指令。
显示接口118向显示器104输出通过处理器110执行程序从而生成的各种处理结果。
通信接口120负责用于经由上位网络8与PLC10及数据库装置12等进行通信的处理。
贮存器130保存图像处理程序132及操作系统(Operating System，OS)134等用于使计算机作为缺陷检查装置100发挥功能的程序。贮存器130可还保存用于实现后述那样的图像检测处理的学习器参数136、作为从摄像机102获取的输入图像的摄影图像138、及作为由摄影图像138所得的测量结果的推定图像140。学习器参数136例如可包含各种机器学习模型在学习阶段与检查阶段中使用的照明参数或检查算法参数等各种参数。
保存于贮存器130的图像处理程序132也可经由数字多功能光盘(DigitalVersatile Disc，DVD)等光学记录介质或通用串行总线(Universal Serial Bus，USB)存储器等半导体记录介质等而安装于缺陷检查装置100。或者，图像处理程序132也可从网络上的服务器装置等下载。
在如此使用通用计算机来实现的情况下，也可通过以规定的顺序及/或时机调出OS134所提供的软件模块中的必要软件模块进行处理，从而实现本实施方式的功能的一部分。即，本实施方式的图像处理程序132也可不含用于实现本实施方式的功能的所有软件模块，而是通过与OS协作从而提供必要的功能。
图像处理程序132也可组入至其他程序的一部分而提供。此时，图像处理程序132自身中也可不含所述那样的组合的其他程序所含的模块，而是与所述其他程序协作执行处理。如此，本实施方式的图像处理程序132也可为组入至其他程序的形态。
另外，图2中表示使用通用计算机来实现缺陷检查装置100的示例，但不限于此，也可使用专用电路(例如特殊应用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA)等)来实现其全部或一部分功能。进而，也可使经网络连接的外部装置负责一部分处理。
如以上那样，从硬件结构的观点来看，检查系统1相当本公开的“摄影装置”的一例。而且，作为被检查对象的工件4相当于本公开的“对象物”的一例。进而，缺陷检查装置100作为本公开的“检查模块”、“获取部”的一部分、“生成部”、“设定部”的一部分、及“控制部”的一例发挥功能。而且，作为影像传感器的摄像机102相当于本公开的“获取部”的一部分的一例，键盘106及鼠标108等输入部相当于本公开的“设定部”的一部分的一例，显示器104相当于本公开的“控制部”的一部分的一例。
[功能结构]
接下来，使用图3，对作为本公开的一实施方式的摄影装置的检查系统1所含的缺陷检查装置100的功能结构的一例进行说明。图3为示意性地表示缺陷检查装置100的功能结构(功能模块)的一例的平面图。如图3所示，缺陷检查装置100可包含图像生成部141、设定/控制部142、检查部143、摄影部144及存储部145。
缺陷检查装置100的图像生成部141、设定/控制部142及检查部143可由通用处理器来实现，本公开中并无限定，也可使用专用电路(例如ASIC或FPGA等)来实现这些零件的全部或一部分功能。进而，也可使经网络连接的外部装置负责一部分处理。
图像生成部141基于作为摄影部144摄影所得的输入图像的摄影图像138，生成以可变的照明参数(不同的计划的照明参数)进行照明时的工件4的推定图像140。即，所述推定图像140并非实际摄影所得，而是模仿摄影时的照明参数进行推定所得的、以所述模仿的照明参数进行照明并摄影时的工件4的图像。
设定/控制部142将所述的与可变的照明参数对应的推定图像140及工件4的对应的标签数据用于检查部143的学习器1431的学习，基于学习器1431的推定结果与工件4的标签数据的比较结果，使检查部143利用学习完毕的学习器1431进行工件4的检查时所使用的照明参数最佳化。而且，设定部142设定进行所述最佳化时使用的最大摄影张数。进而，设定部142算出下述指标并以可向用户提示的方式显示，所述指标表示以针对所设定的最大摄影张数以下的各张数进行了最佳化的各照明参数进行所述张数的摄影时所期待的检查性能。
另外，此处的“标签数据”表示工件4的被检查特征，作为被检查特征，并无特别限制，只要表示工件4的欲检查的特征即可，例如可列举：表示工件4是合格品还是不合格品的数据、表示工件4的外观特征(例如划痕、尺寸等)的数据等。
检查部143包含所述学习器1431，可如所述那样利用训练完毕的机器学习模型来进行带式输送机2上的工件4的检查。而且，检查部143输出与工件4有关的最终检查结果。例如，在学习器1431为生成从图像提取的特征的CNN(卷积神经网络)的情况下，检查部143例如可包含将学习器1431所提取的特征用于判定基准而生成最终的检查结果的判定器。
摄影部144利用影像传感器对工件4进行摄影。所述影像传感器例如可为光圈尺寸、快门速度等摄影参数可变的一个或多个摄影装置。另外，缺陷检查装置100也可不含摄影部144，也可代替摄影部144而从外部(装置)接收工件4的摄影图像。
存储部145存储缺陷检查装置100的动作所需要的程序或数据，例如由所述贮存器130实现。另外，缺陷检查装置100也可不含存储部145，也可代替存储部145而使用外部(装置)的贮存器。
如以上那样，从功能模块的观点来看，缺陷检查装置100的摄影部144相当于本公开的“获取部”的一例，图像生成部141相当于本公开的“生成部”的一例，设定/控制部142相当于本公开的“设定部”及“控制部”的一例。
§3动作例
以下，参照图4A及图4B对本公开的一实施方式的照明条件设定方法进行说明。图4A及图4B分别为表示本公开的一实施方式的照明条件设定方法中的、机器学习模型的学习阶段及检查阶段的处理顺序的流程图。另外，以下说明的处理顺序仅为一例，各处理可在本公开的技术思想的范围内尽可能地变更。而且，以下说明的处理顺序可根据实施方式或各结构例而适当进行步骤的省略、替换及追加。
(步骤S410)
学习阶段中，首先如图4A所示，步骤S410中，摄影部144对工件4进行摄影。在以不同照明参数进行照明的情况下，可通过对工件4进行多次摄影，从而获得与工件4有关的多张摄影图像。这些摄影图像分别对应于一套照明参数，例如各套照明参数可包含哪个光源亮灯，或所亮灯的光源的亮度等参数。此处，例如对M个工件4的样本以N种照明参数进行摄影，获取M×N张摄影图像并输出。另外，M×N张的数量可设为较后述的最大摄影张数Smax更大的值。
(步骤S412)
步骤S412中，设定进行工件4的检查时对工件4的摄影所容许的最大摄影张数Smax。设定方法并无特别限制，例如用户可对输入接口116输入预期的张数(用户直接指定)，或者缺陷检查装置100的设定/控制部142可基于针对与工件4相同种类的工件的、以往的检查实绩，或者根据与节拍的关系而随时设定适当的张数(检查系统的预置)，也可设为达成所指定的检测性能的上限的、最大拍摄数，也可将达成所指定的检测性能的下限的最小拍摄数设为最大摄影张数Smax。
(步骤S414)
步骤S414中，学习器1431使用根据这些摄影图像所获取的推定图像进行学习。推定图像各自具有关联的照明参数，因而通过经过所述学习使评估函数最佳化，从而可获得经最佳化的照明参数、及作为经最佳化的学习器参数的检查算法参数，即，通过选择最佳的照明参数及检查算法参数，从而使从检查部143输出的检查结果的正解率(例如缺陷的检测率等)最佳化。此处，针对使摄影张数从1变化至最大摄影张数Smax(作为摄影张数的拍摄数S＝1、2、……、Smax-1及Smax各自；但是，S的增量不限定于1)进行摄影的各情况实施最佳化，输出最佳的照明参数及最佳的检查算法参数。另外，所谓“照明参数”是指检查部143进行工件的检查时使用的照明参数，“检查算法参数”是指检查部143进行工件的检查时使用的检查算法的参数。
进而，步骤S414中，针对工件4所容许的最大摄影张数Smax以下的各拍摄数S，算出与以最佳化而选择的照明参数及检查算法参数来检查工件4时的性能有关的指标(例如，缺陷的检测率、缺陷检测的正解率等)并输出。
(步骤S416)
接着，步骤S416中，针对工件4的最大摄影张数Smax以下的各拍摄数S，将与以最佳化的照明参数及检查算法参数来检查工件4时的性能有关的指标(例如，缺陷的检测率、缺陷检测的正解率等)经由显示接口118显示于显示器104。而且，同时显示用户可输入工件4的实际检查中的预期的摄影张数S的输入画面。另外，此步骤S416也可不在此处实施，而例如每次在后述的检查阶段中的步骤S420之前实施。
(步骤S420、步骤S422)
然后，检查阶段中，如图4B所示，在步骤S420中，以步骤S416中指定的摄影张数S，以步骤S414中获取的最佳化后的照明参数进行工件4的照明及摄影，获取S张摄影图像。接下来，步骤S422中，学习器1431使用这些摄影图像来检查工件4的缺陷，输出其推定结果。
此处，图4C及图4D为表示相对于所述工件4的摄影张数(拍摄数)的检查性能的变化、及用户输入摄影张数S的输入画面的一例的平面图，为步骤S416的显示例。图4C为使用缺陷的检测率作为检查性能的示例，例如由图表所表明，若拍摄数S为2张以上，则缺陷的检测率超过80％而稳定，用户可基于此图表，例如输入“2”张作为实际的工件4的检查时的拍摄数。而且，图4D为使用缺陷的漏检率(可能错误地判断为无缺陷的概率)及过检率(可能错误地判断为有缺陷的概率)作为检查性能的示例，例如由图表所表明，若拍摄数S为3张以上，则缺陷的漏检率及过检率均小于5％而稳定，用户可基于此图表，例如输入“3”张作为实际的工件4的检查时的拍摄数。
(步骤S422)
以下，参照图5至图7对本公开的一实施方式的照明条件设定方法的各步骤进行详细说明。图5为进一步详细表示图4A所示的照明条件设定方法的流程图。图6A的(a)及图6B的(a)为图5的步骤S54的详细过程图，图6A的(b)及图6B的(b)为图5的步骤S56的详细过程图，图6B的(c)为与表示图4B对应的检查阶段的图。图7为示意性地表示图5所示的照明条件设定方法的过程的平面图。为了方便说明，以下导入“照明模拟器”的概念。
本公开中，检查算法由学习器1431实施。学习器1431的训练的评估基准一般称为Loss值，若为良好与否的判定问题，则以交叉熵(cross entropy)等来表现通过/失败(PASS/FAIL)的正解率。若检查的内容为测量工件4的长度等回归问题，则以多维正态分布等将误差的产生分布模型化，将其对数似然函数用作Loss值。
一般而言，在机器学习的检查算法的学习中，以下述方式进行参数最佳化：预先输入多数个示教数据(若为判定问题则为通过/失败，若为回归问题则为正解值)及学习样本图像，针对这些，分别使作为能否准确推定的基准的Loss值最小化。
以下，具体表示多重拍摄摄影检查的照明及检查算法的参数的最佳化顺序。首先阐述检查算法的定义后，导入为了可实现照明的最佳化所必需的“照明模拟器”。
一般而言，由以多个摄影条件进行摄影(多重拍摄摄影)所得的图像来获得检查结果的算法大致分为(A)并列独立型与(B)相关运用型(参照图15的(a)及图15的(b))。所谓(A)并列独立型，为无关乎摄影图像的输入次序(也可不按规定次序输入规定摄影条件的图像)的类型，照明的差异仅用于增加工件4的看到方式的变化的目的。另一方面，所谓(B)相关运用型，为论及摄影图像的输入次序(按规定顺序输入规定摄影条件的图像)的类型，将由照明的差异所致的图像变化整合而并作为相关信息而运用。
在改变每次拍摄的摄影条件而进行S次摄影的情况下，将此时的照明参数(例如强度、位置、入射角等参数的集合)汇总的照明参数矢量可如以下那样表示。
[数1]
而且，如以下那样表示各次摄影的获取图像矢量，将对所述工件4的贴标(labeling)设为v。
[数2]
此时，如以下那样表示根据这些S张图像来进行异常判定的检查算法的Loss函数。
[数3]
LS(u1，u2，…，uS，v|θD)
(B)相关运用型中，引数的图像的次序也有意义，与将这些视为一个巨大的矢量等价。若举出具体例，则设想在图像的各通道输入各摄影图像而适用深度学习的框架。此时，无法将Loss函数更具体地往下写。
另一方面，(A)并列独立型的情况下，摄影条件在各引数中视为等价，是以增加独立的试行次数的含意使用，因而视情况不同，假设各次拍摄中观测的事态独立，也想到使用以下的式(1)所示那样的Loss函数。
[数4]
独立事态的概率分布以积表现，在将其对数似然函数设为Loss函数的情况下成为和，因而有时成为如上式那样的表现，但此外也想到各种形态。例如，也可取学习器对各图像的推定(判定)结果的或/与(OR/AND)或多数决(majority decision)。即便为(B)情况那样的相关可学习的学习器的结构，也只要将输入图像的顺序设为与规定的摄影条件不相关(随机重排并输入而进行学习)等，便可实现(A)情况的学习器。
此处，为了实施如上文所述的照明的最佳化，需要针对多数个学习样本图像，分别可在计算机上再现如预期那样设定照明的情况下的摄影图像。因此，本公开中，导入在给予照明参数矢量时算出以所述照明进行摄像所得的获取图像的“照明模拟器”。现今，如以下那样定义与学习用的工件4的样本集合对应的、照明模拟器的集合。另外，照明模拟器的具体的安装例将在后述的“第五变形例”中表示。
[数5]
并且，通过利用以下所示的模拟器图像来置换多重拍摄摄影的检查算法的Loss函数的引数的摄影图像uk，从而可获得下述式(2)所示的关系。其中，设多重拍摄摄影的照明参数θL由下述式(3)所表示的N×S矩阵表现。
[数6]
[数7]
使用所述照明模拟器，S张多重拍摄摄影的最佳照明参数及进行异常判定的检查算法参数可如下述式(4)所示那样求出。使用如此获得的照明参数及检查算法参数算出S张多重拍摄摄影的例如检测率。
[数8]
(步骤S50)
进而，按各步骤中的处理来进行说明，图5所示的步骤S50中，摄影部144对工件4进行摄影，此步骤S50例如可类似于步骤S410。作为最佳化的准备阶段，对所有工件4(1≤i≤M)进行用于求出各自的照明模拟器的摄影图像(1≤j≤N)的摄影，获取各自的S张摄影的照明参数及检查算法参数。
此处，各光源的照明参数可变更，例如各光源的发光位置及/或发光强度可变化，由此可获取工件4不同的照明。而且，工件4具有表示其被检查特征的已知的标签数据，例如所述标签数据可为表示工件4是合格品还是不合格品的数据，也可为表示工件4的外观特征(例如划痕、尺寸等)的数据。标签数据的内容并无限定，只要表示工件4的作为检查对象的特征即可。
(步骤S52)
步骤S52中，图像生成部141使摄影图像与对应的照明参数相关联而获得图像数据集。此图像数据集例如可包含光圈尺寸、快门速度等对应的摄影参数。所述图像数据集例如可存储于存储部145。
(步骤S54)
步骤S54中，图像生成部141基于图像数据集，生成以照明参数进行照明时的各工件的推定图像。
具体而言，如图6A的(a)及图6B的(a)所示，步骤S540中，各工件4的照明模拟器基于初始模拟器参数而生成初始推定图像，图像生成部141将所述初始推定图像与所述工件4的摄影图像进行比较。
步骤S542中，基于其差异来调整模拟器参数θS，最终获得最佳化后的模拟器参数。例如，线性模型的简单照明模拟器的情况下，初始模拟器参数未必需要。另外，模拟器参数与限定照明条件的照明参数不同。能以机器学习的方式来完成所述最佳化过程。而且，步骤S544中，基于最佳化后的照明模拟器参数θS，照明模拟器生成以可变照明参数进行照明的推定图像。
(步骤S56)
回到图5，步骤S56中，学习器1431基于推定图像进行学习，获取进行工件4的检查时使用的照明参数。具体而言，可参照图6A的(b)及图6B的(b)。
图6A的(b)及图6B的(b)中，步骤S560中，进行将推定图像输入至学习器1431的学习。而且，步骤S562中，学习器1431使用包含推定图像及工件4的对应的标签数据的学习数据进行学习而获得推定结果。进而，步骤S564中，使学习器1431的检查算法参数最佳化，使学习器1431的推定结果与标签数据一致。
如图7所示，例如在学习器1431利用神经网络进行深度学习的情况下，通过使神经网络的输出与标签数据一致，从而可使检查算法参数与照明参数同时最佳化，获得具有最佳的照明参数的、学习完毕的神经网络。学习完毕的学习器1431可通过选择照明参数从而提高工件4的检测结果的正解率。
另外，图7的虚线框所示的部分并非必定要实施，例如视照明图案的差异，也有时不实施虚线框的部分的处理。此时，可将以各种照明参数进行摄影的工件4的图像及与此图像对应的标签数据直接用于机器学习。
§4作用、效果
如以上那样，根据作为本实施方式的摄影装置的检查系统1、及作为使用此检查系统1的摄影方法的检查方法的一例，针对以对于工件4所容许的最大摄影张数Smax以下的各张数进行多重拍摄摄影的情况，实施利用缺陷检查装置100来检查工件4时所用的照明参数及机器学习模型的检查算法参数的最佳化，算出表示进行所述各张数的摄影时所期待的检查性能的指标(例如检测率、漏检率、过检率等)并向用户提示。因此，用户可确认所提示的这些指标，决定考虑到处理时间或处理速度(节拍)的、预期的摄影张数S，因而可不像以往那样依赖于人手的调整，而有效率地进行摄影条件的最佳化。即，可在直接评估机器学习的判定算法的判定性能本身的基础上，事先向用户提示使摄影张数(即节拍)变化时的、检查性能的变化。因而，在有关工件4的缺陷等而达成预期的检测率与节拍之间的平衡最佳化时，不用费事地依赖人手进行试误。
而且，图5至图7所示的本公开的一实施方式的照明参数设定方法中，通过使检查照明参数与检查算法参数同时最佳化，从而可缩短设计工时，实现仅从检查(良好与否的判定或测定值)的准确度等观点来看的、评估基准的直接的最佳化。并且，可进行对于检查算法而言良好的照明设计、及最适于所述照明的检查算法等拍摄/图像处理系统总体的直接的最佳化。进而，所述照明条件设定方法中，通过导入照明模拟器，从而无需获取大量的工件照片，因而可节约摄影时间，节约工时，减少对人的依赖。并且，照明参数设定方法中，也可针对多种工件4准备对应的多个图像数据集，因而可基于多个图像数据集来生成多种推定图像。由此，提高检查部143的普遍性(通用性)，无需对各种类的工件4分别进行图像的摄影或照明参数的设定等。
§5变形例
以上，对作为本公开的一例的实施方式进行了详细说明，但上文所述的说明在所有方面仅表示本公开的一例，当然可在不偏离本公开的范围的情况下进行各种改良或变形，例如可进行以下所示那样的变更。另外，以下的说明中，关于与所述实施方式相同的结构元件，使用相同的符号，针对与所述实施方式的相同点，适当省略说明。而且，所述实施方式及以下的各变形例可适当组合而构成。
＜5.1：第一变形例＞
图8的(a)及图8的(b)分别为表示本公开的另一实施方式的照明条件设定方法中的、机器学习模型的学习阶段及检查阶段的流程图。以下，首先对此方法的原理进行说明。
一般而言，机器学习的检查算法的学习中，需要大量的训练图像。这尤其对于深度学习等具有大量参数的方法而言成为显著的问题。此处成问题的是下述方面：需要利用上文所述的方法来获取M×N张的大量的图像。在M的值非常大的情况下，有方法的实现变得非常困难的问题。
针对所述情况的解决策略为，仅利用需要大量的训练图像的检查算法，通过固定的摄影条件下的训练图像来预先求出参数。即，并非针对θL与θD同时求出最佳解，而是在求出θD后，通过使用针对小数目的工件样本的照明模拟器，从而求出θL。此方法一般而言，可想到照明参数的个数少，因而可谓妥当的方法。
具体而言，如下述式(5)及式(6)那样，准备两种数据集(D1及D2)。
[数9]
接着，如下述式(7)及式(8)所示那样进行二阶段的最佳化，求出最佳的照明参数。
[数10]
以上中，通过设定为M1＞M2，从而将学习所需要的摄影张数由M×N张减少至M1+M2×N。所述方法中，检查算法参数也可使用现有的固定的检查算法参数，而仅求出照明参数。
(步骤S810～步骤S814)
参照图8，对所述方法的过程进行详细说明。如图8的(a)所示，步骤S810中，以固定的照明参数对M1个工件进行摄影而获得M1张摄影图像。步骤S812中，学习器1431利用所述M1张摄影图像进行学习，使检查算法参数最佳化。步骤S814中，以N种照明参数对M1个工件中的M2个工件进行摄影，获得M2×N张摄影图像。
(步骤S816～步骤S819)
步骤S816中，设定进行工件4的检查时对工件4的摄影所容许的最大摄影张数Smax。接着，步骤S818中，基于使M2×N张摄影图像与和这些摄影图像对应的照明参数相关联而得的图像数据集，生成以照明参数进行照明时的工件4的推定图像。将这些推定图像应用于学习完毕的学习器1431，基于学习器1431的推定结果与标签数据的比较结果，设定检查部143进行工件4的检查时所用的照明条件。作为比较用的一变化中，例如将N个照明参数的工件图像作为测试图像输入至学习完毕的学习器1431后，选择学习器1431的推定结果的正解率最高的照明参数，作为进行工件4的检查时所使用的照明参数。此处，针对使摄影张数从1变化至最大摄影张数Smax(作为摄影张数的拍摄数S＝1、2、……、Smax-1及Smax各自；但是，S的增量不限定于1)进行摄影的各情况实施最佳化，输出最佳的照明参数。
接着，步骤S819中，针对工件4的最大摄影张数Smax以下的各拍摄数S，将与以最佳化的照明参数及检查算法参数来检查工件4时的性能有关的指标(例如缺陷的检测率、缺陷检测的正解率等)经由显示接口118而显示于显示器104。而且，同时显示用户可输入工件4的实际检查中的预期的摄影张数S的输入画面。另外，此步骤S819也可不在此处实施，而例如每次在后述检查阶段的步骤S820之前实施。
(步骤S820)
经过图8的(a)所示的学习阶段，如图8的(b)所示，步骤S820中，以步骤S819中指定的摄影张数S，以检查照明参数对工件4进行摄影而获得摄影图像。接着，步骤S822中，学习器1431使用这些摄影图像来检查工件4的缺陷，输出其推定结果。
根据参照图8所说明的检查方法，可减少利用机器学习模型进行学习时的系统运算量，降低系统的负荷，简化照明参数的设定操作。并且，所述方法中，可减少学习所需要的摄影张数，因而可减少工时，简化使参数最佳化的程序。另外，学习器学习阶段、学习器学习及照明最佳化阶段、用户提示及选择阶段只要遵守次序，则也未必需要同时进行。而且，学习器也可利用现有的学习器，此时不存在学习器学习阶段。
＜5.2：第二变形例＞
参照图8所说明的照明条件设定方法可进行各种变形，以下结合图9对变化进行详细说明。图9的(a)及图9的(b)分别为表示图8的照明条件设定方法的变化中的、机器学习模型的学习阶段及检查阶段的流程图。图9中，对与图8相同或类似的步骤标注相同或类似的符号，省略说明。
步骤S918的学习中，除了θL以外，检查算法的参数的一部分(表述为θ'D)也设定为可变值，如下述式(9)及式(10)那样再次调整。由此，仅使用针对小数目的工件样本的照明模拟器便可执行第二阶段的学习，另一方面，可局部地解决针对照明无法构成经最佳化的学习器等缺点。
[数11]
同样地，可减少学习所需要的摄影张数，可针对照明而构成(在某种程度上)经最佳化的学习器。而且，参照图9所说明的所述检查方法中，也可在步骤S918的学习中，使检查算法的全部再调整。此时，步骤S812的学习作为预训练(pre-training)发挥作用。另外，学习器学习阶段与照明最佳化阶段只要遵守次序，则也未必需要同时进行。而且，学习器也可利用现有的学习器，此时不存在学习器学习阶段。
＜5.3：第三变形例＞
图10为表示本公开的另一实施方式的摄影装置的处理顺序的一例的照明条件设定方法的流程图。可基于参照图8所说明的检查方法，附加针对照明、拍摄系统的微小变动的稳健性。
欲在流水线上并列进行相同检查的情况下，难以制作包含照明的拍摄系统的、完全相同的拷贝，一般而言受到摄像机或照明安装位置等的偏差而产生个体差。
在将通过本公开的方法所求出的最佳照明参数用于与摄影环境不同的拷贝环境中的情况下，有可能由摄影系统的个体差导致性能大幅度地受损。为了防止这一情况，可通过使用对照明参数加上噪声而平均化的评估函数，从而求出针对环境的微小变动稳健的参数。具体而言，通过利用以下定义的Lε来置换上文所述的Loss函数L，从而如下述式(11)那样求出照明参数或检查算法的参数。
[数12]
此处，ε为遵循任意分布的噪声矢量。一般而言，使用中心零的多维正态分布或范围内的均匀分布等。此为将深度学习的输入图像的增广(Augmentation)的概念直接适用于照明参数。
此处，参照图10对所述方法的过程进行详细说明。如图10所示，步骤S100中，对工件4进行摄影而获得摄影图像。关于此步骤，可参照步骤S410、步骤S50、步骤S810。步骤S102中，除了将由摄影图像获取的推定图像输入至学习器1431以外，还输入照明变动条件，进行学习。此处提及的“照明变动条件”可包含所述的环境的微小变动，也可包含光源及影像传感器的微小变动。步骤S104中，学习器1431的Loss函数对规定范围的照明参数的Loss平均值进行最小化，获得经最佳化的照明参数。此处，照明参数为Loss函数的变量。
参照图10所说明的检查方法中，考虑到环境的影响，因而提高针对照明参数的微小变动的稳健性，提高检查系统总体的性能。
＜5.4：第四变形例＞
图11为表示本公开的另一实施方式的摄影装置的处理顺序的一例的照明条件设定方法的流程图。根据参照图11所说明的检查方法，可利用两个评估函数来提高针对工件变化的稳健性。
为了确保针对工件变化的检查性能的稳健性，一般来说进行下述操作：适用增加工件的样本图像的增广(Augmentation)而增加样本图像的变化。
到此为止所描述的包含照明的最佳化方法中，增加工件的样本图像相当于增加照明模拟器的实例(instance)数，因而有与简单地进行样本图像的摄影相比非常费事等缺点。作为简易地解决这一缺点的方法，可想到致力于评估函数等方法。
本公开中，有可直接使检查算法的正解率(Loss值)最大化的优点，但另一方面，完全未导入直接目测评估摄影图像的基准，因而存在下述问题：并未区分成为真正照射成为检查对象的缺陷的照明参数，还是成为仅在特定的工件配置时极度最佳化的、并无普遍性的照明参数等。在通过人眼目测来评估检查图像良好与否时，虽然无法使检查算法的性能直接最大化，但基于以人的感觉及经验为基础的前提知识，因而有可确保稳健性的优点。因此，可想到如下述式(12)所示那样，对Loss函数加上基于人的主观的官能评估基准h(u)(例如区域内对比度等)而最佳化。
[数13]
L′(fi，vi|θL，θD)＝L(fi，vi|θL，θD)+λh(fi(θL))…(12)
此处，λ为决定重视检查算法的性能(Loss值)与官能评估基准的哪一个的平衡的参数。
参照图11对所述方法的过程进行详细说明。如图11所示，步骤S1110中，对工件4进行摄影而获得摄影图像。所述步骤可参照步骤S410、步骤S50、步骤S810。步骤S1112中，除了将由摄影图像获取的推定图像输入至学习器1431以外，还输入评估基准进行学习。此处提及的“评估基准”可包含所述的基于以人的感觉及经验为基础的前提知识的评估基准，且可包含基于图像分析所用的现有的数学算法的评估基准等。步骤S1114中，通过使学习器1431的Loss函数最小化，从而获得经最佳化的检查照明参数。
作为应用所述方法的形态，有以下那样的变化。例如，也可在上文所述的先求出θD后求出θL的简化方法中求出各参数的步骤中，使用不同的λ的值或官能评估基准h(u)。例如，可想到θD仅由正解率(λ＝0)求出，θL提高官能评估基准的权重(将λ设为大的值)等图案。
参照图11所说明的检查方法中，考虑到环境的影响，因而可提高针对工件的偏差的稳健性，可提高检查系统总体的性能。
＜5.5：第五变形例＞
以下，对照明模拟器的具体的结构例进行说明。一般而言，所谓照明，是由光的远场图案、即表示以平行光的基底分解时的强度分布的连续函数(也称为角谱)唯一地定义。所述连续函数的析像度上限是由工件4的大小及摄像系统的孔径决定，小的工件不具有小的角分辨率，因而可忽视具有高的空间频率的成分。但是，即便如此照明图案也有大量的自由度，模型化时需要某些参数化模型。
关于表现照明的调整的参数矢量，根据将具体的照明条件以何种限制条件表现为参数化的函数，照明模型大致分为线性模型与非线性模型。线性模型的情况下容易推定模型参数，但照明的自由度有限。
以下，参照图12的(a)及图12的(b)以及图13及图14，对本公开的一实施方式的检查方法的照明图案进行说明。于图12的(a)及图13中示出线性照明图案的示例。线性照明图案中，可基于图像数据集所含的与所述照明参数对应的摄影图像的线性叠加的合计，生成以可变照明参数进行照明时的工件4的推定图像。
图12的(a)中示出三个光源的情况，光源L1、光源L2、光源L3在不同的发光位置将工件4照明。但是，视需要，光源的个数只要为两个以上即可，例如以下以具有N个光源的情况为例进行说明。总括而言，线性模型分别调整N个固定的照明的强度。若将第i个(1≤i≤N)照明的强度设为Wi，则多重拍摄摄影的第k拍摄的照明参数矢量是如下述式(13)那样表现。这相当于所述式(3)所示的多重拍摄摄影的参数矩阵中的、第k个列矢量，但下文中，着眼于多重拍摄摄影的1张的摄影，因而省略索引k。
[数14]
θL＝[W1,W2,…WN]T…(13)
若将照明的远场图案表现为则线性模型具体而言成为下述式(14)那样的表现。
[数15]
上式中，为第i照明所具有的远场图案，这成为与径向基函数(RadialBasis Function，RBF)网络等价的模型。如由定义所表明，这对于参数而言为线性，为叠加的原理成立的线性系统。
所述关系对于所摄影的图像而言也成立。例如，若将仅使第i照明亮灯(wi＝1)且使其他熄灯(wj＝0，j≠i)而获取的图像表述为uj，则针对照明参数的推定图像可通过下述式(15)而求出。
[数16]
w1u1+w2u2+…+wNuN＝AθL…(15)
此处，A通常为纵长的矩阵。实际的环境下，也想到光源的指向性因光的强度而改变等非线性的现象，但假设这些小至可忽视的程度。而且，由因像素饱和导致直线性不成立，因而适用非线性的直线函数g(x)，一般而言成为下述式(16)那样的模型。其中，设g(x)为针对矢量的各要素的运算。作为亮度的线性函数的变化，例如有图14所示的变化。
[数17]
u＝g(AθL)…(16)
此时，照明模拟器的参数成为矩阵A，推定A(＝使其学习)成为鉴定线性系统的问题，可通过使用线性独立的任意基底进行N次测定从而容易地实现。具体而言，假设测定时的各照明的亮度为直线性成立的范围内，如以下那样表示测定时所用的N个基底矢量。
[数18]
此时，下述式(17)及式(18)所示的关系成立。
[数19]
U＝AX+N…(18)
此处，nj为在摄影时由CMOS传感器产生的加性噪声，通常呈正态分布且其分散由摄影系统的信噪(Signal-Noise，SN)比决定。根据所述关系式求出A时，存在作为最优线性无偏估计(Best Linear Unbiased Estimate，BLUE)的最大似然(Maximum Likelihood，ML)推定、及遵循A与N两者均已知的高斯分布的条件化的均方误差(Minimum Mean SquareError，MMSE)推定等各种方法，但一般而言此状况下A的统计学性质未知，因而以下使用ML推定。A的推定量可通过下述式(19)而求出。
[数20]
此时的推定误差量是由下述式(20)表示。
[数21]
此处，σ为噪声的标准偏差，λ为X的奇异值，P为图像的像素数。所谓HS，表示针对矩阵的希尔伯特-施密特(Hilbert-Schmidt)内积或范数。如由上式所表明，X的奇异值越大则推定误差的总量越变小，但这相当于简单地提高系统的SN。在X的奇异值的合计经决定(信号功率的总计经决定)的情况下，已知λ全部为相同的值时推定误差最小，这表示作为观测时的照明参数矢量，使用规范正交基底时效率最佳。以下，基于到此为止的讨论，示出三个代表性的照明模型的测定图案。
(1)标准基底
在使用作为最简单图案的标准基底的情况下，测定时的照明图案是如下述式(21)那样表现。
[数22]
其成为规范正交基底，因而在所述讨论的含意下赋予最良好的推定，但有可能画面内光量变得不均匀而大幅度地受到噪声或暗电流的影响。
(2)线性独立&条件
关于测定用的照明参数，考虑线性独立的各种图案。因此，可选择增加某些条件后满足条件的图案。例如，加上指定范围内的亮度不低于一定值等条件而求出基底。与到此为止的讨论同样地，成为规范正交基底的情况下性能最良好，但由于在亮度无法取负值等限制事项下求出，因而一般难以正交或规范正交。
(3)冗长的基底
用于测定的基底的个数未必需要与照明的个数N相等，也可设为大于N的值。大于N的优点为，可增大SN比，可进行更准确的推定。此时，不存在X的逆矩阵，因而取而代之如下述式(22)那样进行推定。
[数23]
此处，X+为X的穆尔-彭罗斯(Moore-Penrose)广义逆矩阵。此时也同样地，为了使推定的性能最良好，理想的是X的奇异值的平方分别成为相同的值。为了实现这一情况，已知伪规范正交基底(Pseudo Orthogonal Bases，POB)最良好。例如，可参照杉山将(MasashiSugiyama)和小川英光(Hidemitsu Ogawa)的《神经网络学习中伪规范正交基底带来最佳泛化能力(“Pseudo Orthogonal Bases Give the Optimal Generalization Capability inNeural Network Learning)》”(http://www.ms.k.u-tokyo.ac.jp/1999/SPIE99.pdf,1999)。也可与到此为止的讨论同样地，加上其他条件而求出基底。
以上，参照图12的(a)对线性照明图案的示例进行了说明，以下参照图12的(b)对非线性照明图案的示例进行说明。非线性照明图案中，可基于图像数据集，使用与照明参数有关的非线性的推定函数，生成以可变照明参数进行照明时的工件4的推定图像。
图12的(b)中示出光源为一个的情况，光源L4在不同的发光位置将工件4照明。但是，视需要，光源的个数也可为两个以上，例如以下以具有N个光源的情况为例进行说明。
非线性模型对不适用所述线性模型的所有情况进行处理。若举出简单例，则为使用入射角及亮度可调节的N个照明的情况，若将光量表述为wi，将入射角表述为则参数矢量可如下述式(23)那样表现。
[数24]
此时的远场图案如下述式(24)那样，参数矢量并未成为线性。
[数25]
此时，难以定义普遍的数学模型，但例如可使用：作为使用近年来提出的深度学习的图像生成方法的、生成式对抗网络(Generative Adversarial Network，GAN)系、自动编码器(Auto Encoder，AE)系等任意的图像生成模型。但是，一般认为学习所需要的摄影数较线性模型的情况更多，学习的难易度高。但是，非线性模型为自由度非常高的表现，因而找出最佳照明的含意下的探索空间非常广。
以下，示出可在特定的限定条件下利用的经简化的模型的具体例。若考虑仅使扩散散射光模型化的状况而假定遵循兰伯特(Lambert)模型，则任意的照明可由三个基底函数的线性结合表现。所述模型看起来为线性，但由参数化的照明条件来求出基底的混合系数的过程为非线性，因而属于非线性照明模拟器。具体而言，模型可如下述式(25)～式(28)那样定义。
[数26]
u＝g(Bcd(θL))…(25)
/>
C＝[ι1，ι2，...，ιQ]…(28)
此处，B为P×3矩阵(P为图像的像素数)，C为3×Q矩阵，d(θL)为有关照明参数而为非线性的Qi维列矢量。
[数27]
为任意的球面上的采样点列，使在HEALPix等球面上尽可能地成为等间隔。采样点数Q是以能以充分的析像度覆盖可设定为照明参数的立体角范围的方式设定。lq为光从以下的球面坐标
[数28]
向工件入射时的光源方向矢量。此式的数学含意为，通过暂时非线性映射d将照明参数向Q维的高维空间映射，由所述空间上通过线性映射算出像素的亮度值，但直观上成为以下含意。
首先，根据所输入的照明参数，假设各照明具有标准偏差σ的高斯分布的角度扩展(angular spread)，对入射角进行离散化，表现为球面采样的各点上的值。接下来，各采样点(与其对应的入射角)的、兰伯特(Lambert)模型的三个基底函数的混合系数(照明的方向矢量)是通过矩阵C而求出，将矩阵B所示的基底函数混合。最后适用线性函数g。矩阵B为取决于工件的矩阵，因而根据至少改变3次照明参数而测定的摄影图像集来推定矩阵B。也可求出矩阵C作为校准等。
§6附注
以上所说明的实施方式及变形例是为了使本发明的理解容易，并非限定性地解释本发明。实施方式及变形例所包括的各元件及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，也可将不同实施方式及变形例中所示的结构彼此局部地替换或组合。
即，利用图1所示的检查系统来说明本公开的内容，但可将本公开的原理应用于其他需要设定各种照明条件而进行图像摄影的情况。例如，可在脸识别系统中也应用本公开的原理，所述脸识别系统以脸作为对象物，将脸照明并进行图像摄影，输入所摄影的图像并通过机器学习来识别脸。
脸识别系统的情况下，以可变更照明参数的光源将脸面照明，而且利用摄影装置对脸面在各种照明条件下进行摄影图像的摄影，此处对脸面赋予已知的标签数据，标签数据例如可为此人物的姓名。接下来，可基于所述“照明模拟器”而生成脸面的推定图像。而且，可将这些推定图像及脸面的标签数据用于脸识别系统的机器学习模型的学习，基于所述机器学习模型的推定结果与脸面的标签数据的比较结果，使照明参数与机器学习模型的检查算法参数同时最佳化，由此设定照明条件及检查算法参数。此处，所谓检查算法参数，是指将所述机器学习模型应用于脸识别时所使用的算法参数。
而且，在以软件功能单元的形态来实现上文所述的设定进行对象物的检查时的照明条件的装置、系统或其一部分并作为单独的制品而销售或使用的情况下，可存储于计算机可读取的存储介质。由此，能以软件制品的形态来实现本发明的技术案的本质或对现有技术作出贡献的部分或者所述技术案的全部或一部分，将包含使计算机设备(可为个人计算机、服务器或、网络设备等)实现本发明的各实施例所记载的方法的步骤中的全部或一部分的命令的所述计算机软件制品存储于存储介质。所述存储介质为USB、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、软盘或光盘等可存储程序码的各种介质。
进而，作为表示检查性能的指标，除了上文所述以外，例如可举出：查准率(precision)、召回率(recall)、F值、观测者操作特性(Receiver OperatingCharacteristic，ROC)曲线的面积、正确地判定为正(Positive)的数(真正(TruePositive，TP))、错误地判定为正(Positive)的数(假正(False Positive，FP))、错误地判定为负(Negative)的数(假负(False Negative，FN))、正确地判定为负(Negative)的数(真负(True Negative，TN))等。
(附注1)
一种摄影方法，为利用包含机器学习模型的检查模块100来检查对象物4时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影方法包括：
利用可变更对具有已知的标签数据的所述对象物4进行摄影时的照明参数的光源L将所述对象物4照明，以多个所述照明参数利用影像传感器102对所述对象物4进行摄影而获取多个摄影图像；
基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物4的推定图像；
设定对于所述对象物4所容许的最大摄影张数；以及
针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物4的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物4的标签数据的比较结果，使所述照明参数与所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
(附注2)
根据附注1所述的摄影方法，其中，
生成所述对象物4的推定图像包括：
针对多种对象物4准备对应的多个所述图像数据集；
基于多个所述图像数据集，生成以所述照明参数进行照明时的与所述多种对象物各自对应的多个所述推定图像。
(附注3)
一种摄影方法，为利用包含机器学习模型的检查模块100来检查对象物4时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影方法包括：
利用可变更对具有对应的标签数据的所述对象物进行摄影时的照明参数的光源L将所述对象物4照明，以多个所述照明参数利用影像传感器对所述对象物4进行摄影而获取多个摄影图像；
基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物4的推定图像；
设定对于所述对象物4所容许的最大摄影张数；以及
针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物4的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
(附注4)
根据附注3所记载的摄影方法，其中，
将所述推定图像用于学习完毕的所述机器学习模型包括：
将包含所述推定图像及表示所述对象物4的对应的被检查特征的标签数据的学习数据用于所述机器学习模型的追加学习，更新所述机器学习模型的检查算法参数的一部分或全部；以及
使所述机器学习模型的检查算法参数的一部分或全部及所述照明参数最佳化，由此使所述机器学习模型的推定结果与所述标签数据一致。
(附注5)
根据附注1至4中任一项所记载的摄影方法，其中，
使所述照明参数最佳化包括：
选择使表示所述比较结果的Loss函数最小化的所述照明参数，且所述选择为，选择所述Loss函数针对规定范围的所述照明参数的Loss平均值进行最小化的所述照明参数。
(附注6)
根据附注1至5中任一项所记载的摄影方法，其中
生成所述对象物4的推定图像包括：
基于根据所述照明参数及所述图像数据集所含的所述摄影图像而确定的、所述摄影图像的加权的线性叠加的合计和，生成所述对象物的推定图像。
(附注7)
根据附注1至5中任一项所记载的摄影方法，其中，
生成所述对象物4的推定图像包括：
基于所述图像数据集，利用与所述照明参数有关的非线性的推定函数，生成所述对象物4的推定图像。
(附注8)
根据附注1至7中任一项所记载的摄影方法，其中，
算出多种指标作为表示所述检查性能的指标并向所述用户提示。
(附注9)
一种摄影装置1，为利用包含机器学习模型的检查模块100来检查所述对象物4时的摄影装置1，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影装置1包括：
获取部，利用可变更对具有已知的标签数据的所述对象物4进行摄影时的照明参数的光源L将所述对象物4照明，以多个所述照明参数利用影像传感器102对所述对象物4进行摄影而获取多个摄影图像；
生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物4的推定图像；
设定部，设定对于所述对象物4所容许的最大摄影张数；以及
控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物4的标签数据的比较结果，使所述照明参数及所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
(附注10)
一种摄影装置1，为利用包含机器学习模型的检查模块100来检查所述对象物4时的摄影装置1，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影装置1包括：
获取部，利用可变更对具有对应的标签数据的所述对象物4进行摄影时的照明参数的光源L将所述对象物4照明，以多个所述照明参数利用影像传感器102对所述对象物4进行摄影而获取多个摄影图像；
生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物4的推定图像；
设定部，设定对于所述对象物4所容许的最大摄影张数；以及
控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物4的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
本案基于2018年11月9日提出申请的日本专利申请案号2018-211495，此处援用其记载内容。

Claims (10)

1.一种摄影方法，为利用包含机器学习模型的检查模块来检查对象物时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影方法包括：
利用能够变更对具有已知的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数利用影像传感器对所述对象物进行摄影而获取多个摄影图像；
基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；
设定对于所述对象物所容许的最大摄影张数；以及
针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，使所述照明参数及所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
2.根据权利要求1所述的摄影方法，其中，
生成所述对象物的推定图像包括：
针对多种对象物准备对应的多个所述图像数据集；以及
基于多个所述图像数据集，生成以所述照明参数进行照明时与所述多种对象物各自对应的多个所述推定图像。
3.一种摄影方法，为利用包含机器学习模型的检查模块来检查对象物时的摄影方法，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影方法包括：
利用能够变更对具有对应的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数利用影像传感器对所述对象物进行摄影而获取多个摄影图像；
基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；
设定对于所述对象物所容许的最大摄影张数；以及
针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
4.根据权利要求3所述的摄影方法，其中，
将所述推定图像用于学习完毕的所述机器学习模型包括：
将包含所述推定图像及表示所述对象物的对应的被检查特征的标签数据的学习数据用于所述机器学习模型的追加学习，更新所述机器学习模型的检查算法参数的一部分或全部；以及
使所述机器学习模型的检查算法参数的一部分或全部及所述照明参数最佳化，由此使所述机器学习模型的推定结果与所述标签数据一致。
5.根据权利要求1至4中任一项所述的摄影方法，其中，
使所述照明参数最佳化包括：
选择使表示所述比较结果的Loss函数最小化的所述照明参数，且所述选择为，选择所述Loss函数针对规定范围的所述照明参数的Loss平均值进行最小化的所述照明参数。
6.根据权利要求1至4中任一项所述的摄影方法，其中，
生成所述对象物的推定图像包括：
基于根据所述照明参数及所述图像数据集所含的所述摄影图像而确定的、所述摄影图像的加权的线性叠加的合计和，生成所述对象物的推定图像。
7.根据权利要求1至4中任一项所述的摄影方法，其中，
生成所述对象物的推定图像包括：
基于所述图像数据集，利用与所述照明参数有关的非线性的推定函数，生成所述对象物的推定图像。
8.根据权利要求1至4中任一项所述的摄影方法，其中，
算出多种指标作为表示所述检查性能的指标并向所述用户提示。
9.一种摄影装置，为利用包含机器学习模型的检查模块来检查对象物时的摄影装置，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影装置包括：
获取部，利用能够变更对具有已知的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数利用影像传感器对所述对象物进行摄影而获取多个摄影图像；
生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；
设定部，设定对于所述对象物所容许的最大摄影张数；以及
控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像及所述对象物的标签数据用于所述机器学习模型的学习，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，使所述照明参数及所述机器学习模型的检查算法参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
10.一种摄影装置，为利用包含机器学习模型的检查模块来检查对象物时的摄影装置，所述机器学习模型是利用包含图像的学习数据所生成，所述摄影装置包括：
获取部，利用能够变更对具有对应的标签数据的所述对象物进行摄影时的照明参数的光源将所述对象物照明，以多个所述照明参数利用影像传感器对所述对象物进行摄影而获取多个摄影图像；
生成部，基于使所述摄影图像与和所述摄影图像对应的所述照明参数相关联而得的图像数据集，生成以所述照明参数进行照明时的所述对象物的推定图像；
设定部，设定对于所述对象物所容许的最大摄影张数；以及
控制部，针对所述最大摄影张数以下的各张数，将与所述照明参数对应的所述推定图像用于学习完毕的所述机器学习模型，基于所述机器学习模型的推定结果与所述对象物的标签数据的比较结果，仅使所述照明参数最佳化，且算出表示进行所述各张数的摄影时所期待的检查性能的指标并向用户提示。
CN201980053476.2A 2018-11-09 2019-10-25 摄影方法及摄影装置 Active CN112567428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018211495A JP7006567B2 (ja) 2018-11-09 2018-11-09 撮影方法及び撮影装置
JP2018-211495 2018-11-09
PCT/JP2019/041849 WO2020095712A1 (ja) 2018-11-09 2019-10-25 撮影方法及び撮影装置

Publications (2)

Publication Number Publication Date
CN112567428A CN112567428A (zh) 2021-03-26
CN112567428B true CN112567428B (zh) 2024-01-19

Family

ID=70611814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053476.2A Active CN112567428B (zh) 2018-11-09 2019-10-25 摄影方法及摄影装置

Country Status (5)

Country Link
US (1) US11435297B2 (zh)
EP (1) EP3879486A4 (zh)
JP (1) JP7006567B2 (zh)
CN (1) CN112567428B (zh)
WO (1) WO2020095712A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180054063A (ko) * 2016-11-14 2018-05-24 주식회사 고영테크놀러지 검사체에 대한 양부 판정 조건을 조정하는 방법 및 장치
US11366068B2 (en) 2016-11-14 2022-06-21 Koh Young Technology Inc. Inspection apparatus and operating method thereof
KR102453132B1 (ko) * 2020-07-17 2022-10-11 (주)바질컴퍼니 품질 분석 결과를 이용한 최적 촬영 범위 제공 장치 및 방법
US20230281787A1 (en) * 2020-08-26 2023-09-07 Mitsubishi Heavy Industries, Ltd. Image generation device, image generation method, and program
KR102173121B1 (ko) * 2020-09-14 2020-11-03 메이크모어엔터티 주식회사 영상을 근거로 한 주차 공간 확인 시스템 및 그 방법
JP2022086892A (ja) * 2020-11-30 2022-06-09 ブラザー工業株式会社 情報処理装置、および、情報処理方法
US11790508B2 (en) * 2021-04-21 2023-10-17 Baker Hughes Holdings Llc Computer vision predictions for non-destructive testing
CN117038064B (zh) * 2023-10-07 2024-01-09 之江实验室 一种辅助分析算法的评估方法、装置、存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218935A (ja) * 1996-02-08 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 画像による外観検査方法
CN101910936A (zh) * 2007-12-24 2010-12-08 微软公司 基于图像捕捉设备呈现的用户推荐的引导摄影
CN102473280A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
JP2012514193A (ja) * 2008-12-24 2012-06-21 スネクマ 機械部品の非破壊検査の方法
EP2887055A1 (en) * 2013-12-17 2015-06-24 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN108393888A (zh) * 2017-02-06 2018-08-14 精工爱普生株式会社 控制装置、机器人以及机器人系统
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028333B2 (ja) 2018-03-05 2022-03-02 オムロン株式会社 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体
CN111712769B (zh) 2018-03-06 2023-08-01 欧姆龙株式会社 用于设定照明条件的方法、装置、系统以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218935A (ja) * 1996-02-08 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 画像による外観検査方法
CN101910936A (zh) * 2007-12-24 2010-12-08 微软公司 基于图像捕捉设备呈现的用户推荐的引导摄影
JP2012514193A (ja) * 2008-12-24 2012-06-21 スネクマ 機械部品の非破壊検査の方法
CN102473280A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
EP2887055A1 (en) * 2013-12-17 2015-06-24 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN108393888A (zh) * 2017-02-06 2018-08-14 精工爱普生株式会社 控制装置、机器人以及机器人系统
WO2018194525A1 (en) * 2017-04-18 2018-10-25 Yeditepe Universitesi Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice

Also Published As

Publication number Publication date
EP3879486A4 (en) 2022-08-10
JP7006567B2 (ja) 2022-01-24
US20210247324A1 (en) 2021-08-12
CN112567428A (zh) 2021-03-26
EP3879486A1 (en) 2021-09-15
WO2020095712A1 (ja) 2020-05-14
JP2020077326A (ja) 2020-05-21
US11435297B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112567428B (zh) 摄影方法及摄影装置
CN111727412B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
Lopez et al. Deep single image camera calibration with radial distortion
CN106682673B (zh) 图像处理装置以及方法
CN111712769B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
CN105818167B (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
EP1814083A1 (en) Photometric measurements using at least three light sources
CN108734690A (zh) 一种视觉缺陷检测设备及其检测方法
CN108090896B (zh) 木板平整度检测及其机器学习方法、装置及电子设备
TWI807414B (zh) 檢查裝置、檢查方法以及儲存介質
KR101936628B1 (ko) Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
US11069084B2 (en) Object identification method and device
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CA3223417A1 (en) Modular apparatus for the inspection of industrial products and related methods
CN111524107B (zh) 缺陷检测方法、缺陷检测装置及计算机可读存储介质
RU2315357C2 (ru) Способ детектирования объекта
Del Campo et al. Radial basis function neural network for the evaluation of image color quality shown on liquid crystal displays
WO2022163002A1 (ja) 撮影条件設定システム、撮影条件設定方法及びプログラム
TWI792291B (zh) 光學參數自動設定方法及應用其之自動光學檢測系統
WO2024080087A1 (ja) 検査条件決定システム
WO2015004672A1 (en) A method and apparatus for inspection and quality assurance of material samples using qualified user definitions and data derived from images in a controlled environment
CN117876371A (zh) 基于改进卷积神经网络的液压泵零件齐套检测方法
Ceron-Lopez et al. Realism Assessment for Synthetic Images in Robot Vision through Performance Characterization
Hirasawa et al. BRDF Estimation with Simple Measurement and Data-driven Model
JP2023501525A (ja) 自動外観検査ステーションのためのオフライントラブルシューティング及び開発

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant