CN110388879A

CN110388879A - 检查装置

Info

Publication number: CN110388879A
Application number: CN201910318236.2A
Authority: CN
Inventors: 太田悠介; 泷泽象太
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-04-20
Filing date: 2019-04-19
Publication date: 2019-10-29
Also published as: US20190325606A1; JP2019190911A; JP6708695B2; US11282229B2; DE102019109879B4; DE102019109879A1

Abstract

本发明提供一种检查装置，其具有不依赖人工的自动的外观检查结果的妥当性确认功能。使用拍摄检查对象而得到的多个图像进行外观检查的检查装置具备判定部，该判定部根据预先定义的图像与检查结果的关系模型，推定分别与多个图像相关的检查结果，根据与多个图像相关的检查结果各自的可靠度，计算综合的检查结果。

Description

检查装置

技术领域

本发明涉及检查装置，特别是涉及一种具有不依赖人工的自动的外观检查结果的妥当性确认功能的检查装置。

背景技术

在检查对象(加工后的工件等)的外观检查工序中，以前通过人的目视进行检查。近年来广泛地进行以下的检查，即使用照相机拍摄检查对象的图像并处理该图像由此进行检查。

最近，将机器学习例如深度学习用于外观检查。通过使用机器学习，能够准确地进行损伤、凹陷的判定等人无法用数值细致地规定判定基准的检查。

在日本特开2011-007553号公报中，记载了针对每个缺陷种类改变光学条件，通过多个检测部检测各自不同的散射光，将检测出的光与学习数据进行对照来进行异常检测。在日本特开2011-007553号公报中还公开了在检测异常时，能够通过OR(逻辑或)、多数决定来综合地判定多个识别器的结果。

在日本特开2009-103508号公报中，记载了多个检测器在各自不同的角度检测散射光，与通过学习获得的分类器进行对照，只要存在即使在一个位置超过了阈值的检测器，则判定为缺陷。

但是，对于使用了机器学习的检查结果是否正确，现在需要手动地进行检查。例如，将机器学习的检查结果与现有的基于人的目视的检查结果进行对照，来检查机器学习的检查结果。机器学习的检查结果受到拍摄条件等的影响。由此，需要一边试错地多次改变拍摄条件，一边手动地评价机器学习的检查结果的可靠性。

发明内容

本发明用于解决这样的问题，其目的在于，提供一种具有不依赖人工的自动的外观检查结果的妥当性确认功能的检查装置。

本发明的一个实施方式的检查装置是使用拍摄检查对象而得到的多个图像进行外观检查的检查装置，其具备学习部，该学习部根据预先定义的上述图像和检查结果的关系模型，推定分别与多个上述图像相关的检查结果，根据与多个上述图像相关的上述检查结果各自的可靠度，计算综合的检查结果。

在本发明一个实施方式的检查装置中，上述学习部在上述综合的检查结果的可靠度未满足一定的条件的情况下，输出再次拍摄上述图像的指令，使用再次拍摄到的上述图像，再次计算上述综合的检查结果。

在本发明的一个实施方式的检查装置中，上述学习部在上述综合的检查结果的可靠度未满足一定的条件的情况下，输出再次拍摄上述图像的指令，使用再次拍摄到的上述图像和直到上次为止拍摄到的上述图像，再次计算上述综合的检查结果。

本发明的一个实施方式的检查装置还具备拍摄条件决定部，该拍摄条件决定部决定上述图像的拍摄条件，上述拍摄条件决定部相对于上次拍摄时的拍摄条件变更上述再次拍摄时的拍摄条件。

在本发明的一个实施方式的检查装置中，上述拍摄条件决定部对于上述检查结果的可靠度未满足一定的条件的检查部位，相对于上次拍摄时的拍摄张数增加上述再次拍摄时的拍摄张数。

在本发明的一个实施方式的检查装置中，上述拍摄条件决定部对于上述检查结果不合格的检查部位，相对于上次拍摄时的拍摄张数增加上述再次拍摄时的拍摄张数。

在本发明的一个实施方式的检查装置中，上述学习部具有多个上述关系模型，根据多个上述图像使用不同的上述关系模型来推定上述检查结果。

在本发明的一个实施方式的检查装置中，上述学习部具有多个上述关系模型，对于上述再次拍摄时的上述图像，使用与上次拍摄时的上述图像不同的上述关系模型来推定上述检查结果。

根据本发明，能够提供一种具有不依赖人工的自动的外观检查结果的妥当性确认功能的检查装置。

附图说明

根据参照附图对以下的实施例进行说明，本发明的上述和其他的目的以及特征变得清楚。在这些附图中，

图1表示检查装置的硬件结构。

图2表示检查装置的功能结构的一个方式。

图3表示检查装置的功能结构的一个方式。

图4表示检查装置的功能结构的一个方式。

具体实施方式

图1是表示本发明的一个实施方式的检查装置1的主要部分的概要硬件结构图。检查装置1例如是进行已加工的工件的外观检查的装置。检查装置1具备CPU11、ROM12、RAM13、非易失性存储器14、接口18、接口19、总线10、输入输出装置60以及拍摄装置70。

CPU11是整体地控制检查装置1的处理器。CPU11经由总线10读出存储在ROM12中的系统程序，依照系统程序控制整个检查装置1全体。

ROM12预先存储有用于执行机械的各种控制等的系统程序。

RAM13临时存储计算数据、输入输出数据等。

非易失性存储器14例如由未图示的电池进行支援，即使切断了检查装置1的电源，也保持存储状态。非易失性存储器14存储从输入输出装置60输入的数据、经由接口19从拍摄装置70输入的图像数据等。存储在非易失性存储器14中的程序、数据在执行时以及使用时可以在RAM13中展开。

输入输出装置60是包含显示器、键盘等的数据输入输出装置。输入输出装置60将经由接口18从CPU11接受的信息在显示器中显示。输入输出装置60经由接口18将从键盘等输入的指令、数据等传送到CPU11。

拍摄装置70是拍摄检查对象的外观并生成图像数据的装置。拍摄装置70例如包含：向检查对象照射光的光源、在预定的拍摄条件下拍摄检查对象的照相机、将照相机的拍摄结果作为图像数据进行输出的输出部等。拍摄装置70也可以具备多个光源和照相机。拍摄装置70根据经由接口19从CPU11接受的指令来进行拍摄。拍摄装置70经由接口19将图像数据传送到CPU11。

图2是第一实施方式的检查装置1的概要功能框图。检查装置1具备拍摄条件决定部101、拍摄部102以及判定部103。拍摄条件决定部101、拍摄部102以及判定部103的各种功能既可以例如作为CPU11的一个功能来实现，也可以例如通过由CPU11执行在ROM12、RAM13以及非易失性存储器14中存储的程序来实现。

拍摄条件决定部101决定检查对象的外观的拍摄条件。拍摄条件例如包括光源或照相机相对于检查对象的角度、照相机与光源的位置关系、光源的种类(色温、亮度等)、照相机的像素数的信息。另外，在使用光学滤光片或基于软件的滤光处理的情况下，拍摄条件包含其种类、曝光时间、动态范围、拍摄所使用的照相机的台数、拍摄张数、拍摄检查对象的哪个部位等信息。

拍摄部102按照由拍摄条件决定部101决定的拍摄条件拍摄检查对象的外观，生成并输出一个以上的图像数据。

判定部103具备学习部1031以及综合判定部1032。学习部1031使用拍摄部102输出的图像数据作为输入，通过机器学习来进行外观检查，即合格与否的判定。对于基于机器学习的外观检查，可以采用各种公知技术。综合判定部1032判定机器学习的检查结果的可靠度。综合判定部1032根据可靠度的判定结果再次执行拍摄等。

以下，作为实施例，说明检查装置1的动作的一个例子。

<检查对象的初次拍摄>

拍摄部102使用由拍摄条件决定部101预先决定的拍摄条件，进行检查对象的拍摄。在本实施例中，拍摄部102能够改变拍摄条件来进行多次拍摄。拍摄部102例如能够在每次进行拍摄时，变更光源的亮度、光源或照相机相对于检查对象的角度(每次将角度改变120度拍摄3张等)。拍摄部102输出这样得到的拍摄条件不同的多个图像数据。

<基于机器学习的检查和综合判定>

判定部103向学习部1031输入拍摄部102输出的拍摄条件不同的多个图像数据。

学习部1031具有通过公知的机器学习方法(代表性为有监督学习、无监督学习等)构筑的学习模型。学习模型是指直到能够以某种程度信任的水准为止学习图像数据(或基于图像数据的任意的特征量)与检查结果(表示合格与否的判定结果的值)之间的相关关系而得到的。即，学习模型能够将图像数据作为输入，输出推定为与该图像数据的相关性强的检查结果。

在本实施例中，学习部1031通过作为公知技术的深度学习，自动地从图像数据抽出适当的特征量，输出与该特征量具有强相关性的检查结果。学习部1031输出表示不合格度的数值(以下称为NG度)来作为检查结果。NG度例如是指将检查对象可以说完全合格(合格品)的情况设为0，将可以说完全不合格(不合格品)的情况设为100，用0～100之间的数值表现不合格度的指标。NG度越是接近0或100，则合格或不合格的可能性越高，越是远离0和100，为合格和不合格中的某一个的可能性越低。即，NG越是远离0和100，则越不会明确地判定是合格和不合格中的哪一个。即，NG度是表示检查结果的可靠性的指标。NG度越是接近0或100，检查结果的可靠度越高，越是远离0和100，则检查结果的可靠度越低。

表示NG度的计算方法的一个例子。例如设为在学习模型的构筑阶段，形成了检查不合格的图像数据的特征量的集群。这时，将输入节点(检查对象的图像数据的特征量)与集群重心的距离D为0时的NG度设为100。将输入节点与集群重心的距离D充分远离的情况，具体地说D≥预定的阈值Dth时的NG度设为0。在输入节点与集群重心的距离D是0＜D＜Dth的情况下，可以通过(1－(D/(集群重心与Dth的距离)))×100来计算NG度。

学习部1031分别向学习模型输入拍摄部102输出的拍摄条件不同的多个图像数据，得到与各图像数据对应的检查结果。关于多个图像数据，因为拍摄条件分别不同，因此有时例如伤痕的显现方式等不同。因此，作为基于多个图像数据的检查结果，有可能输出分别不同的NG度。

在此，学习部1031既可以将多个图像数据全部输入到同一学习模型，也可以如图3所示，分别输入到不同的学习模型。例如，在构筑了对于特定的拍摄条件进行了最优化的多个学习模型的情况下，能够使用适合于所输入的图像数据的拍摄条件的学习模型来进行检查。

综合判定部1032取得学习部1031输出的多个检查结果(是与同一检查对象有关，但基于拍摄条件不同的多个图像数据的检查结果)，根据其内容判定最终的检查结果。例如，综合判定部1032根据NG度将检查结果分类为“不合格”(NG度为从81到100)、“不明”(NG度为从21到80)、“合格”(NG度为从0到20)这3个。另外，只要在学习部1031输出的多个检查结果中包含一个“不合格”(NG度为从81到100)，则将综合的检查结果判定为“不合格”。或者，针对学习部1031输出的多个检查结果采用多数决定，将“不合格”、“不明”、“合格”中的最多的检查结果作为综合的检查结果。或者，采用学习部1031输出的多个检查结果中的可靠度最高的检查结果，即NG度最接近0或100的检查结果来作为综合的检查结果。或者，计算学习部1031输出的多个检查结果的统计量(例如平均值、中央值、最频值等)，针对该统计量判定“不合格”、“不明”、“合格”来作为最终的检查结果。或者，还可使用将学习部1031输出的多个检查结果作为输入，能够输出综合的检查结果的学习模型来推定综合的检查结果。通过公知的机器学习方法预先学习此前通过各种方法决定的综合的检查结果与成为其基础的学习部1031输出的多个检查结果之间的相关关系来得到该学习模型。

在综合判定部1032输出“不合格”、“合格”作为综合的检查结果的情况下，用户能够接受它作为最终的检查结果。该最终的检查结果是综合考虑了基于拍摄条件不同的多个图像数据的检查结果所得到的结果，被评价为“不合格”或“合格”的可能性相当高，因此可靠度高。

另一方面，在综合判定部1032输出“不明”作为综合的检查结果的情况下，意味着在与该输出对应的拍摄中，无法综合地得到可靠度高的检查结果。由此，综合判定部1032指令拍摄条件决定部101和拍摄部102改变拍摄条件来再次尝试拍摄。

<再次拍摄>

拍摄条件决定部101在接受了再次拍摄的指令的情况下，变更在上次的拍摄中使用的上述各种拍摄条件，并向拍摄部102通知变更后的拍摄条件。拍摄条件决定部101能够随机地变更拍摄条件。或者，拍摄条件决定部101能够按照预定的规则变更预定的拍摄条件。例如，拍摄条件决定部101决定在再次拍摄时变更检查对象、照相机、光源的相对位置。拍摄条件决定部101通过以下方式变更拍摄条件：使照相机或光源在检查对象的周围旋转，使照相机或光源相对于检查对象的角度相对于上次拍摄时错开预定角度(例如60度)。拍摄条件决定部101可以通过使检查对象在工作台上旋转，来变更照相机或光源相对于检查对象的角度，或者，拍摄条件决定部101可以与初次的拍摄时的拍摄张数(例如1张)相比增加再次拍摄时的拍摄张数(例如3张)。

另外，拍摄条件决定部101可以针对检查对象的每个拍摄部位评价NG度(可应用上述综合的检查结果的评价方法)，根据NG度针对每个拍摄部位改变拍摄条件。例如，拍摄条件决定部101能够针对可靠度低(NG度是21～80等)的拍摄部位进行调整，使得增加拍摄张数等，来增加检查结果的判断材料。拍摄条件决定部101也可以针对被判断为“不合格”的拍摄部位增加拍摄张数等得到精度更高的检查结果。

在再次拍摄后，判定部103使用再次拍摄到的图像数据，通过上述步骤再次评价综合的检查结果。如此，检查装置1重复地执行再次拍摄和综合的检查结果的再评价，直到得到可靠度高的综合检查结果为止。

在此，学习部1031在第一次评价以及第二次及其以后的评价中，既可以使用相同的学习模型，也可以如图4所示那样使用不同的学习模型。例如，如果构筑了为了再次拍摄而进行了最优化的学习模型，则适合的是在第二次及以后的评价中，使用为了再次拍摄而进行了最优化的学习模型。

或者，检查装置1也可以通过再次拍摄来追加图像数据，重复执行综合的检查结果的再评价，直到得到可靠度高的综合检查结果为止。

此时，学习部1031使用通过再次拍摄得到的图像数据，输出检查结果。综合判定部1032使用根据通过直到前一次的拍摄得到的图像数据推定出的检查结果以及根据通过再次拍摄而新得到的图像数据推定出的检查结果双方，计算综合的检查结果。由此，能够增加在最终判断中使用的图像数据的基数，输出精度高的检查结果。

根据本实施方式，能够使以往通过人工进行的检查结果的妥当性的判断自动化，因此能够更容易地导入不依赖人工的自动的外观检查(例如，基于机器学习的外观检查)。

以上，说明了本发明的实施方式，但本发明并不限于上述实施方式的例子，通过施加适当的变更，能够以各种形式实施。

例如，在上述实施方式中，学习部1031使用通过机器学习构筑的学习模型来进行外观检查，但本发明并不限于此。学习部1031例如可以通过基于规则构筑的专家系统那样的其他任意的自动化方法来进行外观检查。

另外，在上述实施方式中，说明了检查装置1具备拍摄部102，但本发明并不限于此，也可以将相当于拍摄部102的功能设置在检查装置1的外部。例如，可以由检查装置1的拍摄条件决定部101控制具备照相机、光源的机器人，由此取得检查对象的图像数据。或者，也可以由检查装置1的拍摄条件决定部101控制具备照相机、光源并具有信息处理功能的外置的拍摄单元，由此取得检查对象的图像数据。

上述实施方式所示的检查装置1能够安装在各种信息处理装置中。例如，检查装置1可以是检查机、机器人控制器、机床的数值控制装置、连接了照相机和光源的PC等。

Claims

1.一种检查装置，其使用拍摄检查对象而得到的多个图像进行外观检查，其特征在于，

上述检查装置具备判定部，该判定部根据预先定义的上述图像与检查结果的关系模型，推定分别与多个上述图像相关的检查结果，根据与多个上述图像相关的上述检查结果各自的可靠度，计算综合的检查结果。

2.根据权利要求1所述的检查装置，其特征在于，

上述判定部在上述综合的检查结果的可靠度未满足一定条件的情况下，输出再次拍摄上述图像的指令，使用再次拍摄到的上述图像再次计算上述综合的检查结果。

3.根据权利要求1所述的检查装置，其特征在于，

上述判定部在上述综合的检查结果的可靠度未满足一定条件的情况下，输出再次拍摄上述图像的指令，使用再次拍摄到的上述图像和直到上次为止拍摄到的上述图像再次计算上述综合的检查结果。

4.根据权利要求2或3所述的检查装置，其特征在于，

上述检查装置还具备拍摄条件决定部，该拍摄条件决定部决定上述图像的拍摄条件，

上述拍摄条件决定部相对于上次拍摄时的拍摄条件变更上述再次拍摄时的拍摄条件。

5.根据权利要求4所述的检查装置，其特征在于，

上述拍摄条件决定部对于上述检查结果的可靠度未满足一定条件的检查部位，相对于上次拍摄时的拍摄张数增加上述再次拍摄时的拍摄张数。

6.根据权利要求4所述的检查装置，其特征在于，

上述拍摄条件决定部对于上述检查结果不合格的检查部位，相对于上次拍摄时的拍摄张数增加上述再次拍摄时的拍摄张数。

7.根据权利要求1所述的检查装置，其特征在于，

上述判定部具有多个上述关系模型，根据多个上述图像使用不同的上述关系模型来推定上述检查结果。

8.根据权利要求2或3所述的检查装置，其特征在于，

上述判定部具有多个上述关系模型，对于上述再次拍摄时的上述图像，使用与上次拍摄时的上述图像不同的上述关系模型来推定上述检查结果。