CN111712769A - 用于设定照明条件的方法、装置、系统及程序以及存储介质 - Google Patents

用于设定照明条件的方法、装置、系统及程序以及存储介质 Download PDF

Info

Publication number
CN111712769A
CN111712769A CN201880089417.6A CN201880089417A CN111712769A CN 111712769 A CN111712769 A CN 111712769A CN 201880089417 A CN201880089417 A CN 201880089417A CN 111712769 A CN111712769 A CN 111712769A
Authority
CN
China
Prior art keywords
illumination
machine learning
learning model
parameters
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880089417.6A
Other languages
English (en)
Other versions
CN111712769B (zh
Inventor
成瀬洋介
栗田真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111712769A publication Critical patent/CN111712769A/zh
Application granted granted Critical
Publication of CN111712769B publication Critical patent/CN111712769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本公开涉及一种用于在检查对象时设定照明条件的方法、装置、系统及程序以及存储介质。所述方法包括：由能够改变照明参数的光源对所述对象进行照明，且由图像传感器以此种照明参数拍摄对象以获得所拍摄的图像，其中所述对象具有已知的标签数据；以及将对象的部分或全部所拍摄的图像及对应的标签数据应用于机器学习模型的学习，且基于机器学习模型的估计结果与标签数据之间的比较结果、同时通过优化照明参数及检查算法参数两者来设定机器学习模型的照明条件及检查算法参数。因此，会简化操作。

Description

用于设定照明条件的方法、装置、系统及程序以及存储介质
技术领域
本公开涉及一种用于在工业检测期间设定照明条件的方法、装置、系统及程序以及存储介质。
背景技术
生产现场中的产品外观检查是用机器代替人实施最少的领域之一，且是未来关于用于减少劳动力的自动化必须解决的重要的技术问题。近年来，随着以深度学习为代表的人工智能及机器学习技术的发展，检查自动化技术得到了飞跃性的改善。然而，在外观检查、机器视觉等中，检查系统建立期间最麻烦的流程是成像系统的设计，包括照明的最佳设计。存在以下问题：当操作者手动实行照明的最佳设计时，为了处理工件的个体差异，需要改变被确定为对象的工件，并且交替地及重复地同时实行基于手动调节的照明优化及检查算法的调节，以实现预期的检测性能，这是非常耗时的。此外，还存在以下问题：当照明被调节为容易被操作者观察时，可能不总是达到最佳检查准确度。
在用于解决这些问题的传统技术中，报道了一种用于根据所拍摄的图像计算评价参考并重复计算使其最大化/最小化的成像及照明参数的方法(专利文献1)。然而，根据所述方法，可仅实现根据当前拍摄的单个工件的所拍摄的图像而计算的评价值的优化，且可能无法实现基于机器学习(例如，多个工件之间的差异的学习)的辨识器(recognizer)的优化。
此外，还存在以下问题：可能存在大量组合的成像及照明参数，并且同时改变成像及照明条件、实行成像及实行优化可能需要花费相对长的时间。
此外，上述问题不仅存在于生产现场中的产品外观检查期间，而且还存在于其他判断装置(例如面部辨识系统)中，所述判断装置可使用所拍摄的被照亮对象的图像作为输入，以借助于机器学习作出各种判断。
现有技术文献
专利文献
专利文献1：EP2887055A1
发明内容
·待解决的技术问题
本公开用于解决至少部分或全部前述问题。
·解决技术问题的方法
本公开公开一种用于在基于机器学习的检查算法的参数包括照明的设计参数的条件下对检查算法的参数进行优化的方法。因此，用户可以将检查算法的损失值(Lossvalue)(在判断条件下的正确率)最大化的方式，同时直接实行照明的优化及检查算法的优化。
(1)根据本公开的方面，公开一种用于在检查对象时设定照明条件的方法，其中使用包括机器学习模型的检查模块来检查所述对象，所述机器学习模型通过使用包括图像的学习数据来产生，且所述方法的特征在于，包括：由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个此种照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中所述对象具有已知的标签数据；以及将所述对象的对应于所述多个照明参数的部分或全部所述多个所拍摄的图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件所述照明条件及所述检查算法参数两者。
因此，基于所述机器学习模型的所述估计结果与所述对象的所述标签数据之间的所述比较结果来设定当使用所述检查模块检查所述对象时所采用的所述照明条件，可同时实行所述机器学习模型的所述照明参数及所述检查算法参数的优化，且会简化操作。
(2)根据本公开的另一方面，公开一种用于在检查对象时设定照明条件的方法，其中使用包括机器学习模型的检查模块来检查所述对象，所述机器学习模型通过使用包括图像的学习数据来产生，且所述方法的特征在于，包括：由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个此种照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中所述对象具有已知的标签数据；以及将对应于所述多个照明参数的部分或全部所述多个所获得的图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过仅优化对预定照明参数的选择，来设定所述照明条件。
在前述方法中，以首先确定检查算法参数且然后确定检查照明参数的方式，可减少机器学习模型学习期间的系统计算量，可降低系统负载，且可简化对照明参数的设定操作。
(3)在前述方法中，将对应于所述多个照明参数的部分或全部所述多个所拍摄的图像应用于已经实行学习的所述机器学习模型的操作包括：将包括所述对象的所述所拍摄的图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中所述标签数据表示所述对象的检查特征；以及优化对所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者的选择，以使所述机器学习模型的所述估计结果与所述标签数据一致。
以此种方式，可在所述方法的第二步骤中同时优化部分或全部所述检查算法参数及所述检查照明参数，使得所述机器学习模型可获得更好的学习结果。
(4)在前述方法中，当设定所述照明条件时，应用于已经实行学习的所述机器学习模型以找到最佳照明条件的所述所拍摄的图像的数量小于应用于所述机器学习模型的学习的所述所拍摄的图像的数量。
因此，可缩短学习时间。
(5)在前述方法中，所述照明参数包括所述光源的发光位置及发光强度。
因此，所述光源的发光位置及发光强度都可改变以改变所述照明参数。
(6)在前述方法中，设定当使用所述检查模块检查所述对象时所采用的所述照明条件的操作包括：选择将表示所述比较结果的损失函数最小化的照明参数，其中所述照明参数是所述损失函数的变量，其中所述选择包括：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
此处，考虑到预定范围的照明参数，从而可提高在检查对象时对环境变化的鲁棒性。
(7)根据本公开的另一方面，还公开对应于每种前述方法并用于在检查对象时设定照明条件的各种装置，所述各种装置可实现与每种前述方法相同的效果。
(8)根据本公开的另一方面，还公开一种用于在检查对象时设定照明条件的系统，所述系统可包括处理单元，且可被配置成执行任何前述方法。
(9)根据本公开的另一方面，还公开一种程序，执行所述程序以执行任何前述方法。
(10)根据本公开的另一方面，还公开一种存储介质，所述存储介质中存储有程序，执行所述程序以执行任何前述方法。
所述系统、所述程序及所述存储介质也可实现与每一前述方法相同的效果。
·技术效果
实质上列出了本公开的两个效果。首先，可缩短设计时间，可获得系统设计，且防止由性能依赖员工技能为代表的个体化技能。第二，从性能的角度来看，整个拍摄系统及图像处理系统的直接优化可仅从检查准确度(接受/拒绝的产品判断或测量值)的角度来实现，例如，用于检查算法的良好照明设计及最适合于这种照明的检查算法。
附图说明
本文描述的附图用于提供对本公开的进一步理解，并且构成本申请的一部分。本公开的示意性实施例及其说明用于解释本公开，且不构成对本公开的不当限制。在附图中：
图1是根据本公开实现模式的检查系统的系统组成实例的示意图。
图2是根据本公开实现模式的缺陷检查装置的硬件组成的示意图。
图3是根据本公开实现模式的缺陷检查装置的功能模块的示意图。
图4的(a)及(b)分别是根据本公开实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
图5是根据本公开实现模式的用于设定照明条件的方法的流程图。
图6是图4及图5所示用于设定照明条件的方法的示意性流程图。
图7的(a)及(b)分别是根据本公开另一实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
图8的(a)及(b)分别是图7所示用于设定照明条件的方法的一个修改中的机器学习模型的学习阶段及检查阶段的流程图。
图9是根据本公开另一实现模式的用于设定照明条件的方法的流程图。
图10是根据本公开另一实现模式的用于设定照明条件的方法的流程图。
具体实施方式
为了使本领域中的技术人员更好地理解本公开，下面结合本公开的附图，清楚及完整地描述本公开的实现模式。显而易见地，所描述的实现模式仅是本公开的实现模式的一部分，而非全部实现模式。本领域中的技术人员基于本公开中的实现模式在没有创造性努力的情况下获得的所有其他实现模式应落在本公开的保护范围内。
在本公开中，例如，可在所有可采用的成像条件下预先拍摄对象，且可根据期望的设定条件来选择适当的图像。优点是，只要成像条件被离散化，便没有限制。除了照明模式，其还可改变光圈及快门速度等。另外，在连续成像条件的情况下，可进行离散化。此外，假设当工件的数量为M且成像条件的数量为N时，获得M*N幅图像，这些图像可存储在存储器、服务器端侧或云端侧中。
在本公开中，由具有可变照明参数的多个光源将对象照明。照明参数可包括例如光源的发光位置、发光强度及色度(chromaticity)。在照明条件下，由图像传感器(例如，照相机)来拍摄对象以获得所拍摄的图像。通过使用对象的所拍摄的图像、对应的照明参数及标签数据来训练机器学习模型，以对机器学习模型赋予检查对象的能力。所拍摄的图像可预先与照明参数相关联，使得在训练机器学习模型的过程中可同时调节照明参数及检查算法参数。此处，“检查算法参数”是指当由机器学习模型检查对象时检查算法的参数。因此，与纯粹调节照明参数及以照明参数进行照明以获得用于学习的所拍摄的图像相比，本公开中的用于检查对象的方法会简化操作并降低系统负载。
参考附图详细描述本公开的实现模式。重要的是要注意，附图中相同或对应的部分用相同的标记来标记，并且将不重复描述。
首先，描述根据本公开实现模式的检查系统1的系统组成实例。根据实现模式的检查系统1基于通过拍摄被检查对象而产生的所拍摄的图像来检查被检查对象。被检查对象可为生产线上的工件。检查可为例如对工件的外观检查或外观测量。
图1是根据实现模式的检查系统1的系统组成实例的示意图。参考图1，检查系统1对通过对例如在带式输送机2上输送的被检查对象(即，工件4)进行成像而获得的输入图像执行图像分析处理，从而完成对工件4的外观检查或外观测量。在下面进行的描述中，检查工件4的表面中是否存在缺陷的应用实例被描述为图像分析处理的典型实例。然而，这些并不形成任何限制，且检查系统还可应用于缺陷类型的规范或外观形状的测量等。
带式输送机2的上部部分设置有用作成像部分的照相机102，且照相机102的成像视图6形成包括带式输送机2的预定区。通过照相机102的成像而产生的图像数据(在下文中被称为“输入图像”)被发送到缺陷检查装置100。照相机102的成像是根据时段或事件来执行。
缺陷检查装置100可设置有学习器，且学习器可设置有卷积神经网络(Convolutional Neural Network，CNN)引擎。通过CNN引擎，根据输入图像产生每一级的特征检测图像。基于产生的一个或多个特征检测图像来判断对象工件中是否存在缺陷。或者，可检测缺陷的大小、位置等。
缺陷检查装置100通过上层网络8与可编程逻辑控制器(Programmable LogicController，PLC)10、数据库装置12等连接。缺陷检查装置100中的检测结果也可被发送到PLC 10和/或数据库装置12。重要的是要注意，除了PLC 10及数据库装置12之外，任何装置也可连接到上层网络8。
用于显示处理状态、检测结果等的显示器104以及用作接收用户操作的输入部分的键盘106及鼠标108可进一步连接到缺陷检查装置100。
其次，描述根据本公开实现模式的检查系统10中包括的缺陷检查装置100的硬件组成。
图2是根据实现模式的缺陷检查装置100的硬件组成的示意图。缺陷检查装置100可为本公开中的“用于在检查对象时设定照明条件的系统”的实例。参考图2，作为实例，缺陷检查装置100可根据由通用计算机架构形成的通用计算机来实现。缺陷检查装置100包括处理器110、主存储器112、照相机接口114、输入接口116、显示器接口118、通信接口120及存储器130。通常，这些组件通过内部总线122连接，从而彼此通信。
处理器110在主存储器112中执行存储在存储器130中的程序，从而实现下文描述的功能及处理。主存储器112由非易失性存储器形成，且实现处理器110的程序执行所需的工作存储器的功能。
照相机接口114与照相机102连接，且获取通过照相机102的成像而获得的输入图像。照相机接口114可进一步向照相机102指示成像定时等。
输入接口116与例如键盘106及鼠标108等输入部分连接，且获取由用户对输入部分等的操作表示的指令。
显示器接口118与显示器104连接，且向显示器104输出由处理器110的程序执行而产生的各种处理结果。
通信接口120负责对通过上层网络8与PLC 10、数据库装置12等通信进行处理。
启用计算机的程序(例如实现缺陷检查装置100的功能的图像处理程序132及操作系统(Operating System，OS)134存储在存储器130中。在存储器130中还可存储下文中提及的被配置成实现图像检测处理的学习器参数136、从照相机102获取的输入图像(即，所拍摄的图像138)及拍摄工件4时光源的照明参数140。学习器参数136可包括例如应用于机器学习模型的学习阶段及检查阶段的各种参数，例如照明参数及检查算法参数。
存储在存储器130中的图像处理程序132可通过光学记录介质(例如数字通用光盘(Digital Versatile Disc，DVD))或半导体记录介质(例如通用串行总线(UniversalSerial Bus，USB)存储器)安装在缺陷检查装置100中。或者，图像处理程序132还可从网络等上的服务器装置下载。
在以此种通用计算机实现期间，可通过根据预定顺序和/或机会调用由操作系统134提供的软件模块中的必要软件模块来实行处理，从而实现根据实现模式的部分功能。也就是说，根据实现模式的图像处理程序132不包括用于实现根据实现模式的功能的所有软件模块，而可通过与操作系统协作来提供必要的功能。
根据实现模式的图像处理程序132还可通过组合在另一程序的一部分中来提供。在此种条件下，图像处理程序132不包括被组合的其他程序中包括的模块，而与其他程序协作以执行处理。因此，根据实现模式的图像处理程序132还可采用在其他程序中组合的方式。
图2示出借助于通用计算机实现缺陷检查装置100的实例。然而，不会形成限制。部分或全部功能也可通过专用电路(例如，应用专用集成电路(Application SpecificIntegrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA))来实现。此外，与网络连接的外部装置也可负责部分处理。
图3是根据本公开实现模式的缺陷检查装置100的功能模块的示意图。如图3所示，缺陷检查装置100可包括拍摄部分141、设定部分142、检查部分143及存储部分144。
缺陷检查装置100的图像产生部分141、设定部分142及检查部分143可借助于一个或多个通用处理器来实现。然而，不会形成限制。部分或全部功能也可通过专用电路(例如，应用专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实现。此外，与网络连接的外部装置也可负责这些部分的部分处理。
此处，拍摄部分141是本公开中的“获取部分”的具体实例。作为另一个实例，缺陷检查装置100也可不包括拍摄部分141，而从外部接收工件4的所拍摄的图像。设定部分142是本公开中的“设定部分”的具体实例。拍摄部分141及设定部分142的组合是本公开中的“用于在检查对象时设定照明条件的装置”的具体实例。
此外，检查部分143是本公开中的“检查模块”的具体实例。学习器1431是本公开中的“机器学习模型”的实现模式的具体实例。检查部分143输出关于工件4的最终检查结果。例如，在学习器1431是被配置成产生从图像提取的特征的CNN的条件下，检查部分143还可包括例如确定装置，所述确定装置对由学习器1431提取的特征应用确定参考以产生最终检查结果。
设定部分142将工件4的对应于多个照明参数的部分或全部多个所拍摄的图像及对应的标签数据应用于学习器1431的学习，且基于学习器1431的估计结果与工件的标签数据之间的比较结果来设定当检查部分143借助于已经实行学习的学习器1431检查工件4时使用的照明参数。下面将详细描述设定方法。
此处的“标签数据”被配置成表示工件4的检查特征。例如，标签数据可为表示工件4是被接受的产品还是被拒绝的产品的数据，且也可为表示工件4的外观特征(例如，划痕及大小)的数据。标签数据的内容不受具体限制，只要表示工件4的预期检查特征即可。
检查部分143检查带式输送机2上的工件4。检查部分143可包括学习器1431，从而通过训练过的机器学习模型来检查工件4。
拍摄部分141通过图像传感器来拍摄工件4。图像传感器可为例如照相机，可存在一个或多个照相机，且此外，其拍摄参数(例如光圈大小及快门速度)是可变的。
存储部分144被配置成存储缺陷检查装置100的工作所需的程序或数据。缺陷检查装置100也可不包括存储部分144。
下面将参考图4总结根据本公开实现模式的用于设定照明条件的方法。图4的(a)及(b)分别是根据本公开实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。
如图4的(a)所示，在步骤S410中，拍摄部分141拍摄工件。工件可在以不同照明参数进行照明的条件下被拍摄多次，从而获得关于工件的多个所拍摄的图像。这些所拍摄的图像分别对应于一组照明参数，且例如，每组照明参数可包括例如打开的光源及打开的光源的亮度等参数。
例如，假设用于识别工件的索引是i(1≤i≤M)，作为候选的N个成像条件(照明参数、照相机参数)集被表示为
Figure BDA0002632945500000091
因此，在所有成像条件下拍摄所有工件，且将其图像存储在存储144中。存储的M*N幅图像被表示为
Figure BDA0002632945500000092
此处，可改变每个光源的照明参数。例如，可改变每个光源的发光位置和/或发光强度，从而可为工件4提供不同的照明。此外，工件4具有对应的标签数据，且标签数据被配置成表示工件4的检查特征。例如，标签数据可为表示工件4是被接受的产品还是被拒绝的产品的数据，且也可为表示工件4的外观特征(例如，划痕及大小)的数据。标签数据的内容不受具体限制，只要表示工件4的预期检查特征即可。
在步骤S412中，学习器1431借助于这些所拍摄的图像及对应的标签数据来实行学习。由于每个所拍摄的图像具有相关联的照明参数，因此通过学习，可优化评价函数以获得最佳照明参数及检查算法参数，即，选择最佳照明参数及检查算法参数以优化由检查部分143输出的检查结果的正确率。此处，“照明参数”是指当检查部分143检查工件时使用的照明参数，且“检查算法参数”是指当检查部分143检查工件时使用的检查算法的参数。
在本公开中，检查算法由学习器1431实现。学习器1431的训练评价参考通常被称为损失值，且如果涉及接受/拒绝的产品判断问题，则通过交叉熵(Cross Entropy)等表示正确率通过/失败(PASS/FAIL)。如果检查内容是测量工件4的长度等的回归问题，则通过多维正态分布对误差发生分布进行建模，且使用其对数似然函数作为损失值。
在一般条件下，在基于机器学习的检查算法的学习期间，预先输入多条教师数据(teacher data)(在判断问题的情况下为通过/失败，而在回归问题的情况下为正确率)及学习样本图像，且以将损失值最小化的方式实行参数优化，其中损失值是这些学习样本图像是否被正确估计的参考。
如图4的(b)所示，在步骤S420中，以在步骤S412中获得的优化的照明参数实行照明，且拍摄部分141拍摄工件4以获得所拍摄的图像。在步骤S422中，学习器1431借助于这些图像来检查工件4的缺陷。
在图4所示用于设定照明条件的方法中，同时调节检查照明参数及检查算法参数，即将照明参数等效地添加到需要调节的算法参数中，从而可减少劳动时间，减少对工人的依赖，而且降低整个系统的计算负荷，且提高检查效率。
图5是在进一步详细说明图4的(a)所示用于设定照明条件的方法的步骤S412之后用于设定照明条件的方法的流程图。图6是图4及图5所示用于设定照明条件的方法的示意性流程图。
参考图5，在步骤S50中，将包括工件4的所拍摄的图像及对应的标签数据的学习数据应用于学习器1431的学习，其中标签数据表示工件4的检查特征。
在步骤S52中，优化学习器1431的检查算法参数，以使学习器1431的估计结果与标签数据一致。
在外观检查期间，基于机器学习的检查算法的损失函数通常被标记为L(u,v|θD)，其中θD是检查算法的参数向量，例如，检查算法包括深度学习期间连接线的所有权重。此外，u是所拍摄的图像，且v是图像的标签。在一般条件下，当用于学习的数据集被表示为
Figure BDA0002632945500000111
时，通过公式(1)来计算最佳学习参数
Figure BDA0002632945500000112
Figure BDA0002632945500000113
然后，可通过使用M*N幅图像
Figure BDA0002632945500000114
通过以下公式(2)来计算最佳成像条件及最佳检查算法参数。
Figure BDA0002632945500000115
利用这些结果，可确定出最佳成像参数是
Figure BDA0002632945500000116
(对应于具有索引
Figure BDA0002632945500000117
的成像条件)。在操作阶段，例如，在步骤S422中，可使用所计算的最佳成像参数来检查工件。
在参考图4的根据本公开实现模式的用于设定照明参数的方法及参考图5的根据本公开实现模式的用于设定照明参数的方法中，检查照明参数及检查算法参数被同时优化，从而可减少劳动时间，且此外，可仅从检查准确度(接受/拒绝的产品判断或测量值)的角度来实现评价参考的直接优化。此外，可实现拍摄系统及图像处理系统的直接优化以用于整体目的，例如，用于检查算法的良好照明设计及最适合于此种照明的检查算法。
此外，在用于设定照明条件的方法中，只要成像条件被离散化，便没有限制。此外，其不需要提供基于例如“照明模拟器”等照明参数来估计图像的方法。
在本公开中，预先在所有离散化的成像条件下拍摄每个工件，因此所拍摄的图像的数量很大。此外，在成像条件由许多独立条件(照明参数或快门速度、光圈等)构成的情况下，存在大量组合，拍摄的数量将进一步增加。因此，作为对本公开的修改，可将多个近似成像条件组合成一个，并用代表性条件代替。特别是，其可通过向量量化压缩来实现。可通过适当地定义对成像条件之间的接近度进行定义的函数并使用例如K均值(K-Means)等任意聚类技术来确定作为候选的成像条件。
如图6所示，例如，在其中学习器1431使用神经网络实行深度学习的情况下，使神经网络的输出与标签数据一致，因此检查算法参数及照明参数同时被优化，且由此可获得已经实行学习并且具有最佳照明参数的神经网络。已经实行学习的学习器1431可对照明参数进行选择以增加工件4的测试结果的正确率。
图7的(a)及(b)分别是根据本公开另一实现模式的用于设定照明条件的方法中的机器学习模型的学习阶段及检查阶段的流程图。下面首先描述所述方法的原理。
在一般条件下，基于机器学习的检查算法的学习需要大量的训练图像。这个问题在例如深度学习等具有大量参数的方法中尤其明显，其中问题是在所述方法中需要获得M*N个图像。当M的值非常大时，需要拍摄大量图像。
作为所述问题的解决方案，仅对于需要大量训练图像的检查算法，可通过在固定拍摄条件下获得的训练图像来预先计算检查算法参数。换句话说，无法同时改变j及θD来计算最佳解，而是在计算θD之后通过改变用于更少工件的成像条件的索引j来计算成像条件。此处，“成像条件”不仅包括照明条件，而且还包括拍摄条件等。在一般条件下，这种方法可被认为是合理的，因为许多照明参数为相对小的。
具体来说，准备两个数据集
Figure BDA0002632945500000121
及
Figure BDA0002632945500000122
且为了两个阶段的优化，通过公式(3)及公式(4)来计算最佳照明参数：
Figure BDA0002632945500000123
及
Figure BDA0002632945500000124
在前述方法中，设定M1＞M2，学习所需的拍摄图像的数量可从M*N减少到M1+M2×N。在前述方法中，也可使用现有的固定检查算法参数，且仅计算照明参数。
此处参考图7详细描述所述方法的流程。如图7的(a)所示，在步骤S710中，用固定照明参数拍摄M1个工件以获得M1个所拍摄的图像。在步骤S712中，学习器1431通过M1个所拍摄的图像实行学习，以优化检查算法参数。在步骤S714中，在N种类型的照明参数下拍摄M1个工件中的M2个工件，以获得M2*N个所拍摄的图像。
在步骤S716中，将M2*N个所拍摄的图像应用于已经实行学习的学习器1431，且基于学习器1431的估计结果与标签数据之间的比较结果，来设定当检查部分143检查工件4时所采用的照明条件。作为比较的实例，例如，在学习器1431已经使用在N个照明参数下的工件图像作为测试图像输入来实行学习之后，选择将学习器1431的估计结果的正确率最大化的照明参数作为检查工件4时使用的照明参数。
在图7的(a)所示学习阶段之后，如图7的(b)所示，在步骤S720中，在检查照明参数下拍摄工件以获得所拍摄的图像。在步骤S722中，检查部分143分析所拍摄的图像以获得关于工件的检测结果。
根据参考图7描述的检查方法，可减少机器学习模型学习期间的系统计算量，可降低系统负载，且可简化对照明参数的设定操作。
此外，任选地，在前述方法中，也可减少学习所需的所拍摄的图像的数量，从而减少劳动时间并简化参数优化程序。
可存在对参考图7描述的用于设定照明条件的方法的各种修改，且所述修改将在下面参考图8详细描述。图8的(a)及(b)分别是图7所示用于设定照明条件的方法的一个修改中的机器学习模型的学习阶段及检查阶段的流程图。在图8中，与图7的步骤相同或相似的步骤用相同或相似的参考编号来标记，且省略其重复说明。
在步骤S816中的学习期间，除θL之外，还将检查算法参数的一部分(被记录为θ'D)设定为可变值，且对其进行再次调节，如公式(5)及公式(6)所示。因此，可仅通过几个工件样本的所拍摄的图像来执行附加学习，且另一方面，可局部地解决不能形成最适合照明的学习器的问题：
Figure BDA0002632945500000131
及
Figure BDA0002632945500000132
类似地，可减少学习所需的所拍摄的图像的数量，且此外，可形成在一定程度上最适合照明的学习器。
此外，在参考图8描述的检查方法中，在步骤S816中的学习期间，也可再次调节检查算法的所有参数。在此种条件下，步骤S712中的学习具有预训练功能。
图9是根据本公开另一实现模式的检查方法的流程图。根据参考图9描述的检查方法，可提高对照明及成像系统的微小变化的鲁棒性。
当在生产线上并行实行相同的检查时，难以制造与包括照明在内的整个成像系统完全相同的副本。在一般条件下，由于照相机或照明等的安装位置的偏差，可能存在个体差异。
当将通过本公开的方法计算的最佳照明参数应用于与拍摄环境不同的副本环境时，由于成像系统的个体差异，性能可被损坏。为了防止此种问题，针对微小变化，可通过在将噪声添加到照明参数中之后实行求平均的评价函数来计算稳定参数。具体来说，前述损失函数L被公式(7)中定义的Lε代替，由此计算照明参数及检查算法参数：
Figure BDA0002632945500000141
其中ε(j)是近似于成像条件
Figure BDA0002632945500000142
的成像条件的索引集。此处，“近似”是任意的，例如，离散化的成像条件内的相邻值，或者可使用特定欧几里德距离来对其进行定义。此为深度学习期间输入图像的“增强(Augmentation)”概念对照明参数的直接应用。
此处参考图9详细描述所述方法的流程。如图9所示，在步骤S90中，拍摄工件以获得所拍摄的图像。所述步骤可参考S410。在步骤S92中，将所拍摄的图像输入到学习器1431中，且进一步输入照明变化条件以用于学习。此处提到的“照明变化条件”可包括环境的微小变化，且还可包括光源及图像传感器的微小变化。在步骤S94中，对于预定范围内的照明参数，将学习器1431的损失函数的损失平均值最小化，以获得优化的照明参数，其中照明参数是损失函数的变量。
在参考图9描述的检查方法中，考虑到环境影响，从而可提高对照明参数的微小变化的鲁棒性，且改善整个检查系统的性能。
图10是根据本公开另一实现模式的检查方法的流程图。根据参考图10描述的检查方法，基于两个评价函数，可提高对工件变化的鲁棒性。
为了确保检查性能对于工件变化的鲁棒性，在一般条件下，存在对通过应用增强技术来添加工件样本图像或添加样本图像的修改。
根据本公开，会实现检查算法的正确率(损失值)可被直接最大化的优点。另一方面，不包括用于直接视觉评价所拍摄的图像的参考，因此无法区分照明参数是变成用于检查对象缺陷的实际照明的照明参数还是针对规定工件配置优化的异常照明参数。当用眼睛来评价检查图像是好还是不好时，检查算法的性能可能不会被直接最大化，但评价是基于人的感觉及经验的先验知识来实行的，因而会实现确保鲁棒性的优点。因此，如公式(8)所示，可将基于人的主观教员评价参考(subjective faculty evaluation reference)h(u)(例如，区域中的对比度)添加到损失函数以实现优化：
L'(ui,j,vi|θL,θD)＝L(ui,j,vi|θL,θD)+λh(ui,j) (8)，
其中λ是平衡参数，其确定在检查算法的性能(损失值)及教员评价参考中应重视的一个重要因素。
此处参考图10详细描述所述方法的流程。如图10所示，在步骤S100中，拍摄工件以获得所拍摄的图像。所述步骤可参考S410。在步骤S102中，将基于所拍摄的图像获得的估计图像输入到学习器1431中，且进一步输入评价参考以用于学习。此处提到的“评价参考”可包括基于人的感觉及经验的先验知识的前述评价参考，且还可包括基于用于图像分析等的现有数学算法的评价参考。在步骤S104中，将学习器1431的损失函数最小化，以获得优化的检查照明参数。
作为应用所述方法的方式，其可具有以下转换。例如，在计算出θD后计算j的简化方法中，在计算每个参数的步骤中，可采用不同的λ值或教员评价参考值h(u)。例如，可采用仅根据正确率(λ＝0)来计算θD，且对于θL(λ被设定为相对大的值)增加教员评价参考的权重等。
在参考图10描述的检查方法中，考虑到环境影响，因而可提高对工件差异的鲁棒性，且提高整个检查系统的性能。
如果以软件功能单元的形式实现且作为独立产品销售或使用，则用于在检查对象时设定照明条件的装置及系统或其一部分可存储在计算机可读存储介质中。基于这种理解，本公开的技术解决方案本质上或对现有技术有贡献的部分、或全部或部分技术解决方案可以软件产品的形式实现，且计算机软件产品存储在存储介质中，包括用于使一件计算机装备(其可为个人计算机、服务器或网络装备)执行根据本公开每一实例的方法的全部或部分步骤的若干指令。前述存储介质包括：能够存储程序代码的各种介质，例如USB盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、可移动硬盘、磁盘或光盘，且此外，还可包括从服务器或云下载的数据串流。
前述仅是本公开的优选实现模式，且应当注意，本领域中的一般技术人员可在不背离本公开的原理的情况下进行一些改进及修改。这些改进及修改应被视为处于本公开的保护范围内。
符号的说明
1：检查系统
2：带式输送机
4：工件
6：成像视图
8：上层网络
10：可编程逻辑控制器
12：数据库装置
100：缺陷检查装置
102：照相机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：照相机接口
116：输入接口
118：显示器接口
120：通信接口
122：内部总线
130：存储器
132：图像处理程序
134：操作系统
136：学习器参数
138：所拍摄的图像
140：照明参数
141：拍摄部分
142：设定部分
143：检查部分
144：存储部分
1431：学习器

Claims (15)

1.一种用于在检查对象时设定照明条件的方法，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述方法的特征在于，包括：
由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所拍摄的图像，其中，所述对象具有已知的标签数据；以及
将所述对象的对应于所述多个照明参数的部分或全部所述所拍摄的图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件及所述检查算法参数两者。
2.一种用于在检查对象时设定照明条件的方法，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述方法的特征在于，包括：
由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的多个所拍摄的图像，其中，所述对象具有已知的标签数据；以及
将对应于所述多个照明参数的部分或全部所述所拍摄的图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过仅优化对预定照明参数的选择，来设定所述照明条件。
3.根据权利要求2所述的方法，其中，将对应于所述多个照明参数的部分或全部所述所拍摄的图像应用于已经实行学习的所述机器学习模型包括：
将包括所述对象的所述所拍摄的图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中，所述标签数据表示所述对象的检查特征；及
优化对所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者的所述选择，以使所述机器学习模型的所述估计结果与所述标签数据一致。
4.根据权利要求2或3所述的方法，其中，
当设定所述照明条件时，应用于已经实行学习的所述机器学习模型以找到最佳照明条件的所述所拍摄的图像的数量少于应用于所述机器学习模型的所述学习的所述所拍摄的图像的数量。
5.根据权利要求1或2所述的方法，其中，
所述照明参数包括所述光源的发光位置及发光强度。
6.根据权利要求1或2所述的方法，其中，设定使用所述检查模块检查所述对象时的所述照明条件包括：
选择将表示所述比较结果的损失函数最小化的所述照明参数，其中，所述照明参数是所述损失函数的变量，其中，所述选择包括：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
7.一种用于在检查对象时设定照明条件的装置，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述装置的特征在于，包括：
获取单元，获取关于所述对象的所拍摄的图像，其中，由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所述所拍摄的图像，其中，所述对象具有已知的标签数据；以及
设定单元，将所述对象的对应于所述多个照明参数的部分或全部所述所拍摄的图像及对应的所述标签数据应用于所述机器学习模型的学习，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果，通过同时优化所述照明参数及检查算法参数两者，来设定所述机器学习模型的所述照明条件及所述检查算法参数两者。
8.一种用于在检查对象时设定照明条件的装置，其中，检查模块包括用于检查所述对象的机器学习模型，所述机器学习模型通过使用包括图像的学习数据来产生，所述装置的特征在于，包括：
获取单元，获取关于所述对象的所拍摄的图像，其中，由能够改变照明参数的光源对所述对象进行照明，所述照明参数规定拍摄所述对象时的所述照明条件，且由图像传感器以多个照明参数来拍摄所述对象，以获得对应于所述多个照明参数的所述所拍摄的图像，其中，所述对象具有已知的标签数据；以及
设定单元，将对应于所述多个照明参数的部分或全部所述所拍摄的图像应用于已经实行学习的所述机器学习模型，且基于所述机器学习模型的估计结果与所述对象的所述标签数据之间的比较结果、通过仅优化对预定照明参数的选择，来设定所述照明条件。
9.根据权利要求8所述的装置，其中，所述设定单元：
将包括所述对象的所述所拍摄的图像及对应的所述标签数据的学习数据应用于所述机器学习模型的附加学习，以更新所述机器学习模型的部分或全部检查算法参数，其中，所述标签数据表示所述对象的检查特征；及
优化对所述机器学习模型的所述照明参数及部分或全部所述检查算法参数两者的所述选择，以使所述机器学习模型的所述估计结果与所述标签数据一致。
10.根据权利要求7或8所述的装置，其中，
当设定所述照明条件时，应用于已经实行学习以找到最佳照明条件的所述机器学习模型的所述所拍摄的图像的数量少于应用于所述机器学习模型的所述学习的所述所拍摄的图像的数量。
11.根据权利要求7或8所述的装置，其中，
所述照明参数包括所述光源的发光位置及发光强度。
12.根据权利要求7或8所述的装置，其中，所述设定单元：
选择将表示所述比较结果的损失函数最小化的所述照明参数，其中，所述照明参数是所述损失函数的变量，其中，所述选择包括：对于预定范围的所述照明参数，选择将所述损失函数的损失平均值最小化的所述照明参数。
13.一种用于在检查对象时设定照明条件的系统，其特征在于，包括：处理单元，执行如权利要求1至6中任一项所述的方法。
14.一种程序，其特征在于，所述程序当被执行时，执行如权利要求1至6中任一项所述的方法。
15.一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序当被执行时执行如权利要求1至6中任一项所述的方法。
CN201880089417.6A 2018-03-06 2018-03-06 用于设定照明条件的方法、装置、系统以及存储介质 Active CN111712769B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/051413 WO2019171124A1 (en) 2018-03-06 2018-03-06 Method, device, system and program for setting lighting condition and storage medium

Publications (2)

Publication Number Publication Date
CN111712769A true CN111712769A (zh) 2020-09-25
CN111712769B CN111712769B (zh) 2023-08-01

Family

ID=62186499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089417.6A Active CN111712769B (zh) 2018-03-06 2018-03-06 用于设定照明条件的方法、装置、系统以及存储介质

Country Status (5)

Country Link
US (1) US11631230B2 (zh)
EP (1) EP3762795B1 (zh)
JP (1) JP7131617B2 (zh)
CN (1) CN111712769B (zh)
WO (1) WO2019171124A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883842A (zh) * 2021-02-02 2021-06-01 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
CN113670935A (zh) * 2021-08-25 2021-11-19 武汉中导光电设备有限公司 一种半导体晶圆缺陷检测设备及检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006567B2 (ja) 2018-11-09 2022-01-24 オムロン株式会社 撮影方法及び撮影装置
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
DE102019132830A1 (de) * 2019-12-03 2021-06-10 Krones Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom
WO2021199937A1 (ja) * 2020-03-31 2021-10-07 Ｊｆｅスチール株式会社 金属組織の撮影条件決定方法、金属組織の撮影方法、金属組織の相分類方法、金属組織の撮影条件決定装置、金属組織の撮影装置、金属組織の相分類装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置
KR20220117324A (ko) * 2020-05-20 2022-08-23 구글 엘엘씨 다양한 초상화들로부터 학습 조명
EP4102425A1 (de) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft Computerimplementierte datenstruktur, verfahren, inspektionsvorrichtung und system zum übermitteln eines modells für maschinelles lernen

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
CN101292263A (zh) * 2005-08-26 2008-10-22 卡姆特有限公司 目视检验仪中自动检测物品缺陷的方法和系统
CN103868935A (zh) * 2014-02-14 2014-06-18 中国科学院合肥物质科学研究院 基于计算机视觉的烟支外观质量检测方法
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
CN106503724A (zh) * 2015-09-04 2017-03-15 佳能株式会社 分类器生成装置、有缺陷/无缺陷确定装置和方法
JP2017122580A (ja) * 2014-04-08 2017-07-13 株式会社日立ハイテクノロジーズ 検査装置及び検査条件決定方法
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155123A1 (ja) * 2010-06-07 2011-12-15 株式会社 日立ハイテクノロジーズ 観察画像の分類基準の最適化方法、および画像分類装置
JP2012189390A (ja) * 2011-03-09 2012-10-04 Sumitomo Electric Ind Ltd 毛髪検出装置
EP2887055B1 (en) 2013-12-17 2016-05-11 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Method and apparatus for detection of visible defects
JP6632288B2 (ja) * 2014-12-12 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US11240441B2 (en) * 2018-03-05 2022-02-01 Omron Corporation Method, device, system and computer-program product for setting lighting condition and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
CN101292263A (zh) * 2005-08-26 2008-10-22 卡姆特有限公司 目视检验仪中自动检测物品缺陷的方法和系统
CN103868935A (zh) * 2014-02-14 2014-06-18 中国科学院合肥物质科学研究院 基于计算机视觉的烟支外观质量检测方法
JP2017122580A (ja) * 2014-04-08 2017-07-13 株式会社日立ハイテクノロジーズ 検査装置及び検査条件決定方法
WO2015188275A1 (en) * 2014-06-10 2015-12-17 Sightline Innovation Inc. System and method for network based application development and implementation
CN106503724A (zh) * 2015-09-04 2017-03-15 佳能株式会社 分类器生成装置、有缺陷/无缺陷确定装置和方法
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883842A (zh) * 2021-02-02 2021-06-01 四川省机械研究设计院(集团)有限公司 基于零件与光源相互匹配的摩托车发动机装配方法与系统
CN113670935A (zh) * 2021-08-25 2021-11-19 武汉中导光电设备有限公司 一种半导体晶圆缺陷检测设备及检测方法

Also Published As

Publication number Publication date
WO2019171124A1 (en) 2019-09-12
CN111712769B (zh) 2023-08-01
JP7131617B2 (ja) 2022-09-06
EP3762795B1 (en) 2024-05-01
EP3762795A1 (en) 2021-01-13
US20200410270A1 (en) 2020-12-31
US11631230B2 (en) 2023-04-18
JP2021515885A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111712769B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111727412B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
JP4997252B2 (ja) 画像内の照明域を識別する方法
CN112567428B (zh) 摄影方法及摄影装置
JP6576059B2 (ja) 情報処理、情報処理方法、プログラム
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
US9053537B2 (en) Classifier for use in generating a diffuse image
CN102221559A (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN110415214A (zh) 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN113222926B (zh) 基于深度支持向量数据描述模型的拉链异常检测方法
KR20200014438A (ko) 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법
CN116348897A (zh) 用于可收集物品的识别及分级系统以及相关方法
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN109886923A (zh) 一种用于互联网检测中基于机器学习的测量检测系统及办法
CN212646436U (zh) 一种人造板表面瑕疵检测装置
CN114152621A (zh) 一种处理方法及处理装置、处理系统
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
CN217332186U (zh) 木板ai视觉缺陷检测装置
US20230245133A1 (en) Systems and methods for assessing quality of retail products
CN117654925A (zh) 基于机器视觉精准识别测定燕窝条状及分拣的方法
JP2023152482A (ja) 検査装置、検査方法及び検査用コンピュータプログラム
JP2023152476A (ja) 検査装置、検査方法及び検査用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant