CN111448585A - 检查处理装置、检查处理方法以及程序 - Google Patents

Abstract

提供在同一检查装置对检查条件不同的检查对象进行检查的情况下，同时实现检查的自动化和异常探测的精度的检查处理装置。作为本发明的一个实施方式的检查处理装置是进行与针对检查对象的检查相关的处理的装置，具备识别部和检查模型选定部。识别部从映入有进行所述检查的空间的图像，识别在所述图像内存在的物体。检查模型选定部根据识别的所述物体，从多个检查模型选定在所述检查中使用的检查模型。

Description

检查处理装置、检查处理方法以及程序

技术领域

本发明涉及检查处理装置、检查处理方法以及程序。

背景技术

近年来，随着向多种少量生产的要求、成本的抑制要求等的高涨，用同一检查装置针对多种多样的产品进行检查的必要性提高。

关于种类不同的产品，检查条件也不同。因此，在同一检查装置检查种类不同的产品的情况下，需要将设定在检查装置中的检查条件变更为与接着检查的产品对应的条件。该检查条件的变更，即检查条件的追加以及删除、检查条件内的参数的变更等主要手动进行。但是，在不规则地发生检查条件的变更时，易于引起忘记变更检查条件的情形。

为了减少检查作业的人的负荷，还进行用于使检查自动化的配合。例如，有通过机械学习生成能够应对多种多样的产品的检查模型，使用该检查模型检查多种多样的产品的方法。但是，在该方法中，根据产品的种类、检查项目等的多少，存在探测异常的精度变低的可能性。

发明内容

提供在同一检查装置检查检查条件分别不同的多个检查对象的情况下，同时确保检查的自动化和异常探测的精度的检查处理装置。

作为本发明的一个实施方式的检查处理装置是进行与针对检查对象的检查相关的处理的装置，具备识别部和检查模型选定部。识别部从映入有进行所述检查的空间的图像，识别在所述图像内存在的物体。检查模型选定部根据识别的所述物体，从多个检查模型选定在所述检查中使用的检查模型。

附图说明

图1是示出包括第1实施方式所涉及的检查处理装置的检查系统的一个例子的图。

图2是说明检查空间的摄影的图。

图3是说明检查对象的推测的图。

图4是第1实施方式所涉及的检查处理装置的整体处理的概略流程图。

图5是第1实施方式所涉及的检查处理装置的检查模型的选定处理的概略流程图。

图6是示出包括第2实施方式所涉及的检查处理装置的检查系统的一个例子的图。

图7是第2实施方式的模型对应部的处理的概略流程图。

图8是示出本发明的一个实施方式中的硬件结构的一个例子的框图。

(符号说明)

1：检查处理装置；11：存储部；12：检查应对部；121：摄影部(图像取得部)；122：识别部；123：检查模型选定部；124：检查部；125：检查信息输出部；13：模型对应部；131：数据取得部；132：模型学习部；133：检查模型评价部；134：模型信息输出部；2：照相机；3：输出目的地设备；4(4A)：检查对象；5(5A、5B)：夹具；51(51A、51B)：夹具的槽；6：输入源设备；7：计算机装置；71：处理器；72：主存储装置；73：辅助存储装置；74：网络接口；75：设备接口；76：总线；8：通信网络；9(9A、9B)：外部装置。

具体实施方式

以下，参照附图，说明本发明的实施方式。

(第1实施方式)

图1是示出包括第1实施方式所涉及的检查处理装置的检查系统的一个例子的图。在图1的例子中，示出检查处理装置1、照相机2、以及输出目的地设备3。本实施方式的检查处理装置1具备存储部11和检查应对部12。检查应对部12具备摄影部121(图像取得部)、识别部122、检查模型选定部123、检查部124、以及检查信息输出部125。

检查处理装置1是进行与针对检查对象的检查相关的处理的装置。本实施方式的检查处理装置1设想使用与各检查对象对应的各检查模型进行检查。例如，通过检查处理装置1检查型号不同的、产品A、产品B、以及产品C。此时，检查处理装置1具有与各产品对应的检查模型，如果检查对象是产品A，则通过与产品A对应的检查模型A进行检查。另外，在接下来的检查中，如果检查产品A，则原样地使用检查模型A，但如果检查产品B，则使用的检查模型切换到检查模型B。这样，本实施方式的检查处理装置1从多个检查模型选定与进行本次的检查的检查对象对应的检查模型来进行检查。

此外，在本实施方式中，如果检查对象明确，则检查模型被唯一地决定。例如，不设想检查模型A-1、检查模型A-2、检查模型A-3这样的多个检查模型与产品A的检查模型适合这样的情形。此外，也可以共用检查模型。例如也可以是产品A和产品B的检查模型是共用的检查模型，产品C的检查模型是产品C独自的检查模型。

在本实施方式中，设为通过机械学习，为了该检查而已生成了与各检查对象对应的各检查模型。另外，不设想用一个检查模型检查多个检查对象(例如产品A、产品B、以及产品C)。在检查模型中，包括检查的项目、在检查中设定的参数的值、用于评价通过检查得到的数值的阈值等，与检查对象相配地调整这些。因此，在通过与检查对象对应的检查模型进行检查时，能够使检查的精度收敛于容许范围内。

此外，检查对象没有特别限制，既可以是完成品，也可以是部件，还可以是人等生物体。检查内容也没有特别限制。另外，也可以是检查处理装置1担当检查的一部分，外部的装置担当检查的另一部分。例如，也可以是外部的装置实施检查对象的测定，检查处理装置1根据该测定结果进行检查对象的评价。

另外，检查处理装置1不从外部取得接着检查多个检查对象中的哪一个。例如，设为检查的辅助者等不向检查处理装置1输入检查对象中的哪一个被检查。但是，检查处理装置1亲自判断接下来的检查对象，选定与检查对象对应的检查模型。由此，消除每当需要改变检查条件时检查辅助者等输入检查条件这样的麻烦。

检查处理装置1的存储部11存储检查模型等在检查处理装置1的各构成要素的处理中使用的数据等。此外，由存储部11存储的数据没有特别限制。也可以将检查处理装置1的各构成要素的处理结果随时存储到存储部11，各构成要素参照存储部11取得处理结果。

检查处理装置1的检查应对部12进行与检查有关的各处理。与以后的检查应对部12的构成要素的说明一起，说明各处理的详细内容。

摄影部121经由照相机2，对映入进行检查的场所的图像，换言之映入进行检查的空间的图像进行摄影。以后，将进行检查的空间记载为检查空间。由照相机2摄影的摄影图像被用于判断检查对象。

此外，关于摄影的定时，可以根据状况等任意地决定，设想从检查的开始前开始摄影。例如，也可以在检查处理装置1的电源被接通的定时、预定的时间、未图示的传感器等识别到物体搬入到检查空间的时间点等，开始摄影。此外，虽然未图示，检查处理装置1也可以具有接受来自该传感器等的信息的信息取得部。

另外，在本说明中，“图像”这样的用语是包括静止图像以及动画这两方的概念，如果没有特别问题，则也可以置换为静止图像或者动画。即，摄影图像既可以是动画也可以是静止图像。

另外，在本实施方式中，设想摄影部121控制照相机2的摄影，但检查处理装置1也可以不控制照相机2，而仅简单地取得来自照相机2的摄影图像。在该情况下，摄影部121可以称图像取得部。

图2是说明检查空间的摄影的图。在图2中，示出对检查空间进行摄影的照相机2。照相机2以映入检查空间的方式预先配置。照相机2的位置、台数等可以根据状况等而任意地决定。检查对象4为了检查而搬运到检查空间。例如，也可以由检查辅助者将检查对象4设置于检查空间。或者，也可以通过带输送机等，将检查对象4搬运到检查空间。这样，检查对象4映入摄影图像中。

此外，本实施方式的检查处理装置1设想从图像识别或者推测检查对象。但是，也可以还考虑图像以外的信息来识别或者推测检查对象。例如，也可以在检查空间内的设置检查对象的场所设置重量传感器等，除了图像以外还考虑由该重量传感器测量的测量值来识别或者推测检查对象。或者，也可以预先设置含有与检查对象有关的信息的标签等的读取部，还考虑从该标签读取出的信息，识别或者推测检查对象。

识别部122从摄影图像识别在该摄影图像内存在的物体。具体而言，识别部122使用识别模型识别该物体。例如，综合性地考虑映入摄影图像的物体的形状、花样、颜色、材质、光泽等，确定该物体是什么。另外，识别部122也可以识别安装于物体的二维码、条形码等图形图案，根据需要使用图形图案表示的信息。这样，识别部122识别检查对象。此外，在本说明中，在“物体”中，还包括人等生物体。

识别部122也可以识别不是检查对象的非检查对象。例如，照相机2对检查空间进行摄影，所以安装检查对象的夹具、在检查中使用的器具、作业员等也被映入摄影图像。识别部122也可以识别这些非检查对象。此外，也可以仅限于由于新的物体映入图像内、图像内的物体移动等而在摄影图像中产生差异时，进行识别。

识别部122也可以识别所识别的物体以及该物体的特征点的位置。此外，识别的位置不仅包括从基准点起的位置，而且还包括与其他识别的物体的相对位置。另外，也可以通过识别的物体或者特征点的各位置，识别这些物体或者特征点的配置(位置关系)。例如，也可以在识别到多个夹具的情况下，识别该多个夹具的配置。另外，识别部122也可以识别所识别的物体以及该物体的特征点的移动。

虽然识别了物体存在于摄影图像内，但无法确定该物体是什么的情况下，识别部122也可以将该物体识别为不明物体。例如，考虑在该物体是什么的候补有多个而无法确定是哪一个的情况、或者由于物体移动而无法确定的情况下，识别为不明物体。不明物体也包含于“识别的物体”。

使用的识别模型可以是已学习的公知的模型。或者，也可以为了该检查，通过机械学习预先构筑专用的识别模型。

此外，识别部122既可以使用一个识别模型进行识别，也可以使用多个识别模型进行识别。例如，也可以先使用用于检查对象的识别模型，在未识别为检查对象的情况下，使用用于非检查对象的识别模型。或者，也可以分开使用用于识别物体的模型和用于识别物体的位置或者移动的模型。

检查模型选定部123根据识别的物体，从多个检查模型选定在检查中使用的检查模型。在识别的物体是检查对象的情况下，检查模型选定部123将与识别的检查对象对应的检查模型选定为在检查中使用的检查模型。通过将检查对象和检查模型被建立对应的对应表等列表预先存储到存储部11，检查模型选定部123参照该列表，从而能够选定与各检查对象对应的检查模型。

在识别的物体是非检查对象的情况、识别的物体是不明物体的情况等由识别部122未识别到检查对象时，检查模型选定部123根据识别的物体推测所述检查对象。然后，将与推测出的检查对象对应的检查模型选定为在检查中使用的检查模型。

例如，在识别为摄影图像内的物体是夹具等非检查对象的情况下，检查模型选定部123根据识别的非检查对象推测检查对象。夹具与检查对象1对1地对应的可能性高，所以能够根据夹具推测检查对象。

图3是说明检查对象的推测的图。在图3的上侧，示出从检查对象的正上方摄影的、上次检查时的图像。示出上次的检查对象4A和与检查对象4A对应的夹具5A。在图3的下侧，示出从上次的检查后到本次的检查开始前的图像。检查对象4A以及夹具5A已经移动，本次的检查对象尚未设置，但已经设置有与本次的检查对象对应的夹具5B。该设置的夹具5B的槽51B的形状与上次检查时的夹具5A的槽51A不同。因此，可知本次不是检查检查对象4A，而是检查与新设置的夹具5B对应的检查对象。这样，从非检查对象也能够推测检查对象。

另外，即使在不同的检查对象的检查时附带同一非检查对象的情况下，如果该非检查对象的数量、位置、移动等针对每个检查对象相异，则也能够根据该相异，唯一地推测检查对象。

例如，认为即使在用同一夹具支承多个检查对象的情况下，如果该多个检查对象的大小分别不同，则检查时的夹具的位置也不同。另外，设想为在多个夹具的配置是圆状时和该配置是矩形形状时，检查对象不同。因此，能够根据识别的物体的位置或者配置，推测检查对象。

另外，还有能够通过物体的移动推测检查对象的情况。例如，即使在用同一夹具支承不同的检查对象的情况下，向夹具的凹凸安装检查对象或者其他夹具等的工序不同的情况也有许多。因此，能够根据识别的物体的移动，推测检查对象。

如图3所示，在并不是根据检查对象而根据非检查对象选定检查模型时，能够更快地选定检查模型。在更快地选定检查模型时，在选定了错误的检查模型的情况下，能够在检查前变更为正常的检查模型的可能性提高。例如，在检查是外观检查的情况下，与检查对象映入摄影图像的同时，大致同时进行检查模型的选定和检查，存在得到错误的检查结果的可能性。但是，如果在设置检查对象之前选定检查模型，则能够在开始检查以前，检查的辅助者等确认检查模型来变更为正常的检查模型。

也可以通过参照由识别部122识别的信息和检查对象的对应列表，进行检查对象的推测。预先由管理者等将对应列表存储到存储部11即可。或者，也可以通过学习与识别的物体对应的检查对象，生成检查对象的推测模型，使用该推测模型，进行检查对象的推测。或者，也可以通过将多个检查对象各自的形状与夹具的形状进行比较，推测检查对象。

检查部124使用选定的检查模型，检查检查对象，评价检查对象。例如，检查部124也可以根据在由摄影部121摄影的摄影图像中映出的检查对象的外观，进行检查。在该情况下，该检查是外观检查，检查处理装置1还可以称为外观检查装置。作为通过外观检查进行检查的项目，考虑有无损伤、裂痕、污染、以及异物混入。另外，还考虑部件的位置偏移、以及过与不足等。

作为检查的具体例之一，说明外观检查的检查方法。首先，检查部使用选定的检查模型，抽出关于摄影图像内的检查对象，即检查中的检查对象的特征量，并生成特征图。具体而言，例如，也可以通过取摄影图像与权重滤波器的内积、或者制作途中的特征图与权重滤波器的内积，并利用光栅扫描反复进行卷积处理，由此生成特征图。

接下来，检查部将生成的特征图与多个比较用的特征图进行比较。根据正常的检查对象的图像，事先生成比较用的特征图并存储到存储部11。在该比较中，取生成的特征图与比较用的特征图之间的差分，由此，针对比较用的每个特征图，生成距离图。

然后，检查部针对每个距离图，计算距离值。在距离值的计算中，例如也可以使用global max pooling函数(全局最大池化函数)。如果计算出每个距离图的距离值，则考虑计算出的所有距离值，决定与检查中的检查对象对应的距离值。例如，也可以将计算出的所有距离值的平均值等，决定为与检查中的检查对象对应的距离值。

最后，检查部根据与检查中的检查对象对应的距离值和预定的阈值，判别检查中的检查对象是正常还是异常。这样，也可以进行外观检查。

在外观检查中使用的摄影图像既可以与在检查对象的识别中使用的摄影图像相同，也可以是识别检查对象之后的摄影图像。例如，也可以从检查对象映入的时间点下的摄影图像识别检查对象，从检查对象被设置到检查位置之后的摄影图像检查检查对象。

虽然也可以如上述外观检查那样检查处理装置1进行所有检查，但也可以通过外部的装置进行检查的一部分。例如，考虑经由使用X射线、声波等来检查的外部装置，实施从图像无法判断的检查对象的内部的检查。在该情况下，检查处理装置1将包含于检查模型的参数的值等发送给外部装置，将通过检查得到的数值等反馈给检查处理装置1。然后，检查部124根据包含于检查模型的判定阈值等进行评价，计算检查结果。

检查信息输出部125将与检查相关的信息输出给输出目的地设备3。在与检查相关的信息中，设想在检查中使用的检查模型、检查的结果等。输出目的地设备3可以是公知的设备，没有特别限制。由此，能够根据检查结果，执行各种处理。例如，也可以经由监视器等显示装置，显示在检查中使用的检查模型、可否检查、发现异常的位置这样的检查结果。或者，还能够通过针对机械臂等的控制装置输出检查结果，机械臂根据检查结果挑拣检查对象。

接下来，说明本实施方式的处理的流程。图4是第1实施方式所涉及的检查处理装置的整体处理的概略流程图。在此，示出检查一个检查对象时的流程。

摄影部121取得检查空间的摄影图像(S101)。来自摄影部121的图像被送到识别部122，进行检查模型的选定处理(S102)。由此，根据该图像，选定检查模型。检查模型的选定处理的流程后述。

接下来，识别能够开始检查(S103)。例如，识别部122也可以在从摄影图像等识别到检查对象设置于检查开始位置时，识别为能够开始检查。或者，也可以通过来自检查辅助者等的信号，识别为能够开始检查。在识别为能够开始检查时，检查部124使用选定的检查模型执行检查(S104)。

在检查完成后，检查结果被送到检查信息输出部125，检查信息输出部125将检查结果输出给输出目的地设备3(S105)。通过以上，检查处理装置1的处理结束，输出目的地设备3能够进行与检查结果对应的处理。

接下来，说明检查模型的选定处理的流程。图5是第1实施方式所涉及的检查处理装置的检查模型的选定处理的概略流程图。

识别部122使用识别模型，识别映入摄影图像内的物体(S201)。在识别的物体是检查对象的情况下(S202的“是”)，检查模型选定部123选定与该检查对象对应的检查模型(S203)。然后，检查信息输出部125将选定的检查对象输出给输出目的地设备3(S204)。

在未识别检查对象的情况下(S202的“否”)，检查模型选定部123从识别的物体推测检查对象(S205)。在能够推测检查对象的情况下(S206的“是”)，检查模型选定部123选定与推测的检查对象对应的检查模型(S207)。然后，检查信息输出部125将选定的检查对象输出给输出目的地设备3(S204)。

在无法推测检查对象的情况下(S206的“否”)，返回到S201的处理，基于接下来的摄影图像进行识别。这样，流程循环直至选定检查对象，从而最终地选定检查模型。

此外，在此说明的流程图是一个例子，如果能得到正确的处理结果，则不限于上述例子。也可以根据实施方式要求的规格、变更等，进行过程的重排、追加、以及省略。例如，在上述中，设为检查信息输出部125输出选定的检查对象，但也可以省略该处理。以后的流程图也是同样的。

如以上所述，根据本实施方式，通过与检查对象对应的检查模型进行检查，所以能够使探测检查对象的异常的精度收敛于容许范围内。另外，从摄影图像识别本次检查的检查对象，选定与本次检查的检查对象对应的检查模型。因此，不需要手动地指定检查模型，推进检查的自动化。

另外，本实施方式的检查处理装置1在无法识别检查对象时，根据识别的物体，推测检查对象。因此，能够在明确检查对象之前确定检查模型。因此，能够在检查开始前确认检查模型，能够减少利用错误的检查模型进行检查。

另外，在进行外观检查的情况下，能够根据为了进行外观检查而准备的照相机2的图像，掌握检查对象。因此，不需要设置用于掌握检查对象的专用的照相机2的成本。

(第2实施方式)

图6是示出包括第2实施方式所涉及的检查处理装置的检查系统的一个例子的图。在第2实施方式所涉及的检查系统中，还包含输入源设备6。第2实施方式所涉及的检查处理装置1还具备模型对应部13。模型对应部13还具备数据取得部131、模型学习部132、检查模型评价部133、以及模型信息输出部134。此外，关于与第1实施方式同样的点，省略说明。

在切换检查对象的频度变高时，由于切换的作业，检查环境变化的可能性增加。例如，照射检查对象的光源、夹具等的位置变化的可能性增加。因此，在使用现有的检查模型时，存在检查的精度降低的可能性。因此，在第2实施方式中，叙述进行检查模型的校正的例子。

但是，由于过学习等主要原因，在使用校正后的最新的检查模型时，未必能说异常探测的精度高。因此，设为不仅保留最新的检查模型，而且还保留此前的检查模型。即，与第1实施方式不同，设想与一个检查对象对应的检查模型有多个。而且，从学习次数不同的多个检查模型选定在检查中使用的检查模型。

数据取得部131从输入源设备6取得测试图像和该测试图像的正确数据。然后，模型学习部132根据测试图像和该正确数据，根据现有的检查模型生成新的检查模型。

此外，也可以将实际检查的摄影图像用作测试图像。即，数据取得部131也可以受理针对以前的检查结果的评价作为正确数据。而且，模型学习部132也可以根据以前的检查结果和针对此的评价，根据现有的检查模型生成新的检查模型。

例如，也可以由检查辅助者对检查信息输出部125输出给输出目的地设备3等的检查结果进行评价，其评价结果作为正确数据被输入到数据取得部131。或者，也可以对检查信息输出部125作为文件输出的检查结果进行编辑而输入到数据取得部131。模型学习部132将这些修正后的评价结果用作正确数据，新生成检查模型。学习方法可以使用公知的手法。由此，虽然对应的检查对象(例如产品A)相同，但生成检查条件、判定阈值等不同的多个检查模型(例如检查模型A群)。

模型学习部132也可以与检查模型同样地，更新识别模型。例如，也可以由检查辅助者等将针对识别结果的解答输入到模型学习部132，模型学习部132将该解答用作正确数据来更新识别模型。另外，模型学习部132也可以分别分成用于检查模型的模型学习部(检查模型学习部)和用于识别模型的模型学习部(识别模型学习部)。

检查模型评价部133对多个检查模型各自进行评价。也可以适当地进行基于检查模型评价部133的评价。评价方法可以根据对检查对象要求的质量等来任意地决定。例如，检查模型评价部133经由数据取得部131受理分类为“正常”的测试图像和分类为“异常”的测试图像。而且，考虑如下方法，即，检查模型评价部133根据这些测试图像，针对各检查模型的各检查项目进行评价，考虑每个检查项目的评价，综合性地评价各检查模型。

例如，设检查项目有损伤、污染、以及异物混入这3种。检查模型评价部133分别计算与在测试图像中存在损伤的可能性、存在污染的可能性、以及混入异物的可能性对应的分数。将该分数记载为异常度得分。在实际上有异常的情况下，可以说异常度得分高的检查模型的异常探测的精度高。接下来，根据各检查项目的异常度得分，评价检查模型。例如，也可以在对各检查项目的异常度得分乘以表示该检查项目的重要性的系数之后进行相加来计算检查模型的评价值。或者，考虑降低具有任何一个未探测到异常的项目的检查模型的评价值这样的评价方法。

另外，由模型信息输出部134输出由检查模型评价部133得到的评价等与模型有关的信息。例如，也可以在任意地选择的多个检查模型中的、评价比预定值低的检查模型的数量是预定数以上的情况下，发出警告。由此，能够催促检查模型的再生成。此外，也可以省略模型信息输出部134，检查信息输出部125输出与模型有关的信息。

由检查模型选定部123使用这样计算出的检查模型评价部133的评价。即，本实施方式的检查模型选定部123可以根据检查模型评价部133的评价，从与检查对象对应的多个检查模型中，选定在检查中使用的检查模型。检查模型的选定基准可以任意地决定。也可以选定评价最高的检查模型。或者，也可以在从检查辅助者等指定了检查项目的重要度时，优先地选定针对重要度高的检查项目的评价(即异常度得分)高的检查模型。由此，能够进行适合于用户的期望的检查。

接下来，说明第2实施方式中的检查处理装置1的处理的流程。图7是第2实施方式的模型对应部的处理的概略流程图。

数据取得部131取得测试图像和正确数据(S301)。该测试图像等被送到模型学习部132，模型学习部132根据测试图像和正确数据，新生成检查模型(S302)。然后，检查模型评价部133根据测试图像，评价多个检查模型(S303)。此外，也可以为了评价，经由数据取得部131受理新的测试图像。由此，计算各检查模型的评价。

在评价比阈值低的检查模型超过预定数的情况下(S304的“是”)，模型信息输出部134经由输出目的地设备3输出警告。由此，防止通过评价低的检查模型进行检查。

在评价比阈值低的检查模型未超过预定数的情况下(S304的“否”)，本流程结束。这样，计算各检查模型的评价，在图5所示的检查模型的选定处理中，检查模型选定部123选定检查模型时(S203以及S204)，根据各检查模型的评价选定检查模型。由此，通过设想为适合的检查模型进行检查，所以确保异常探测的精度。

如以上所述，根据本实施方式，从与1个检查对象对应的多个检查模型选定适合的检查模型。由此，能够进一步提高探测异常的精度。另外，在希望重视特定的检查项目的情况下，能够使用适合于该特定的检查项目的检查模型，所以对检查的详细要求能够灵活地应对。

另外，根据本实施方式，在检查模型的评价低的情况下，能够发出警告，所以能够防止通过评价低的检查模型进行检查。

另外，根据本实施方式，识别模型也能够更新，所以能够将无法识别的产品的图像用作用于识别新的产品的学习数据，与检查并行地进行识别新的产品的学习。

(第3实施方式)

在此前的实施方式中，设想为能够通过识别模型识别所有检查对象。但是，在该设想中，在检查对象增加的情况下，在生成识别新的检查对象的识别模型以前无法进行检查。因此，虽然生成了新的检查对象的检查模型，但未生成新的检查对象的识别模型，所以还有可能无法开始检查。

因此，说明如下实施方式，即，虽然生成了新的检查对象的检查模型但未生成新的检查对象的识别模型的情况下，一边进行检查一边并行地进行新的检查对象的识别模型的学习。此外，本实施方式的构造以及处理的流程与此前的实施方式相同，所以省略框图以及流程图。

例如，检查处理装置1具有产品A的检查模型、产品B的检查模型、以及产品C的检查模型，设为能够通过识别模型识别产品A和产品B。而且，设为产品C设置于检查开始位置等，成为可检查的状态。在该情况下，识别部122根据摄影图像的物体的位置等，识别检查对象成为可检查的状态，进而，将处于检查开始位置的物体判断为是不可识别的检查对象。换言之，识别部122识别为虽然映入图像的物体应为检查对象但既不是产品A也不是产品B。此时，识别部122也可以将检查对象识别为新的产品。

然后，检查模型选定部123通过未与可识别的检查对象对应的检查模型进行检查。即，通过既未与产品对应A也未与产品B对应的检查模型C进行检查。如果未与可识别的检查对象对应的检查模型仅有一个，则能够将该检查模型选定为与无法识别的检查对象对应的检查模型。这样，即使在无法识别产品C的情况下，也能够使用产品C的检查模型C进行检查。

然后，模型学习部132视为在检查时的摄影图像中映出产品C，使用检查时的摄影图像进行学习，更新识别模型。即，在每1次的检查中能够得到识别模型的学习数据和正确数据，能够并行地进行检查和学习。这样，也可以能够与检查并行地更新识别模型，识别新的检查对象。

如以上所述，根据本实施方式，即使在检查对象增加的情况下，也能够防止在生成识别模型以前无法检查这样的情形，能够应对新产品的迅速的出厂。

此外，上述各实施方式的构成要素也可以根据规格等而适当地变更。例如，各构成要素也可以根据处理内容、在处理中使用的数据等而分成多个。例如，也可以根据存储的数据来分开存储部11。另外，也可以是构成要素的一部分或者全部有多个的结构。也可以是构成要素的一部分是共同的。另外，也可以是一部分的构成要素存在于外部的装置，与该外部的装置进行数据的收发。或者，也可以是各构成要素分别包含于进行数据通信的多个装置。即，也可以通过由多个装置构成的系统进行各处理。

例如，也可以是包括识别部122以及检查模型选定部123的第1检查处理装置从包括摄影部121且进行摄影的摄影装置取得摄影图像，选定检查模型。然后，也可以将由第1检查处理装置选定的检查模型发送给不包括识别部122以及检查模型选定部123而包括检查部124的第2检查处理装置，通过第2检查处理装置进行使用该检查模型的检查。由此，还能够在不同的场所进行检查模型的选定和检查。

另外，还考虑如下结构，即，将似乎牵涉到处理的延迟的构成要素准备至少2个，并行地进行该构成要素的处理，由此减少延迟时间。例如，本实施方式的检查部124使用从多个检查模型选择出的检查模型进行检查，但还有可能在检查模型的切换中需要时间。在这样的延迟时间积蓄时，存在对检查整体造成很大的影响的可能性。例如，在通过带输送机等将检查对象搬运到检查空间的情况下，还有可能在检查完成前，接下来的检查对象被搬运到检查空间，成为使带输送机停止的情形。因此，也可以将检查模型选定部123以及检查部124准备多个，并行地处理检查模型的选定、检查模型的读入、以及检查。由此，能够减少检查对象等待针对前一个检查对象的检查结束这样的情形。另外，也可以在检查部124的检查完成前，摄影部121、识别部122、以及检查模型选定部123事先进行针对以后的检查对象的处理，使检查部124的接下来的检查能够立即开始，由此减少检查的延迟。

或者，也可以是多个检查部124(或者多个第2检查处理装置)分别担当不同的检查模型。例如，预先分成使用检查模型A的检查部A(第2检查处理装置A)和使用检查模型B的检查部B(第2检查处理装置B)。而且，在判定为检查模型选定部123(第1检查处理装置)使用检查模型A的情况下，检查模型选定部123(第1检查处理装置)指示通过检查部A(第2检查处理装置A)进行检查。例如，在用带输送机搬运检查对象的情况下，也可以对控制带输送机的前行目的地的控制装置、将检查对象分到其他轨道的机械臂的控制装置等指示将检查对象送到检查部A(第2检查处理装置A)。

另外，也可以并不预先决定各检查部(各第2检查处理装置)所使用的检查模型，而是检查部(第2检查处理装置)彼此协作决定。例如，考虑在检查对象A的检查数超过预定值的情况下，决定检查部A(第2检查处理装置A)成为检查对象A的专用的检查装置，并决定为接受该决定的检查部B(第2检查处理装置B)担当检查对象A以外的检查。

另外，也可以是包括模型对应部13的模型学习装置生成检查模型，存储到与存储部11相应的存储设备装置，不包括模型对应部13而包括检查应对部12的检查处理装置使用存储于该存储设备装置的检查模型进行检查。这样，也可以构成检查系统。

此外，上述实施方式的至少一部分也可以通过安装有处理器、存储器等的IC(Integrated Circuit：集成电路)等专用的电子电路(即硬件)实现。另外，上述实施方式的至少一部分也可以通过执行软件(程序)来实现。例如，通过将通用的计算机装置用作基本硬件，使搭载于计算机装置的中央处理装置(CPU：Central Processing Unit)、图像处理装置(GPU：Graphics Processing Unit)等处理器(处理电路)执行程序，能够实现上述实施方式的处理。换言之，通过该程序的执行，处理器(处理电路)构成为能够执行检查处理装置1的各处理。

例如，通过计算机读出存储于计算机可读取的存储介质的专用的软件，能够将计算机作为上述实施方式的装置。存储介质的种类没有特别限定。另外，通过计算机安装经由通信网络下载的专用的软件，能够将计算机作为上述实施方式的装置。这样，使用硬件资源，具体地安装利用软件的信息处理。

图8是示出本发明的一个实施方式中的硬件结构的一个例子的框图。检查处理装置1具备处理器71、主存储装置72、辅助存储装置73、网络接口74、以及设备接口75，它们能够实现为经由总线76连接的计算机装置7。

此外，图8的计算机装置7将各构成要素具备一个，但也可以将相同的构成要素具备多个。另外，在图8中，示出1台计算机装置7，但也可以将软件安装到多个计算机装置，该多个计算机装置分别执行软件的不同的一部分的处理。

处理器71是包括计算机的控制装置以及运算装置的电子电路(处理电路)。处理器71根据从计算机装置7的内部结构的各装置等输入的数据、程序进行运算处理，将运算结果、控制信号输出给各装置等。具体而言，处理器71通过执行计算机装置7的OS(操作系统)、应用等，控制构成计算机装置7的各构成要素。处理器71只要进行上述处理，则没有特别限制。通过处理器71，实现检查应对部、模型对应部、以及它们的各构成要素。

主存储装置72是存储处理器71执行的命令以及各种数据等的存储装置，通过处理器71直接读出存储于主存储装置72的信息。辅助存储装置73是主存储装置72以外的存储装置。此外，这些存储装置意味着能够保存电子信息的任意的电子部件，既可以是存储器也可以是存储设备。另外，在存储器中，有易失性存储器和非易失性存储器，但也可以是任意的。存储部11也可以通过主存储装置72或者辅助存储装置73实现。

网络接口74是用于通过无线或者有线方式连接到通信网络8的接口。网络接口74使用适合于现有的通信标准的接口即可。也可以通过网络接口74，与经由通信网络8通信连接的外部装置9A交换信息。

外部装置9A包括例如照相机2、输出目的地设备3、外部的传感器、输入源设备6等。另外，外部装置9A既可以是具有检查处理装置1的构成要素的一部分的装置，也可以是上述第1以及第2检查处理装置、摄影装置、存储设备装置等。而且，计算机装置7也可以如云服务那样经由通信网络8接受检查处理装置1的处理结果的一部分。

设备接口75是与外部装置9B直接连接的USB等接口。外部装置9B既可以是外部存储介质，也可以是存储设备装置。存储部11也可以通过外部装置9B实现。

外部装置9B也可以是输出装置。输出装置例如既可以是用于显示图像的显示装置，也可以是输出声音等的装置等。例如，有LCD(Liquid Crystal Display，液晶显示器)、CRT(Cathode Ray Tube，阴极射线管)、PDP(Plasma Display Panel，等离子显示面板)、扬声器等，但不限于这些。

此外，外部装置9B也可以是输入装置。输入装置具备键盘、鼠标、触摸面板等设备，将通过这些设备输入的信息提供给计算机装置7。来自输入装置的信号被输出到处理器71。

在上述中说明了本发明的一个实施方式，但这些实施方式是作为例子提示的，未意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，能够在不脱离发明的要旨的范围内，进行各种省略、置换、变更。这些实施方式、其变形包含于发明的范围、要旨，并且包含于权利要求书中记载的发明和其均等的范围。

Claims (15)

1.一种检查处理装置，进行与针对检查对象的检查相关的处理，所述检查处理装置具备：

识别部，从映入有进行所述检查的空间的图像，识别在所述图像内存在的物体；以及

检查模型选定部，根据识别的所述物体，从多个检查模型选定在所述检查中使用的检查模型。

2.根据权利要求1所述的检查处理装置，其中，

在由所述识别部未识别到所述检查对象时，

所述检查模型选定部根据识别的所述物体，推测所述检查对象，

将与推测的所述检查对象对应的检查模型选定为在所述检查中使用的检查模型。

3.根据权利要求2所述的检查处理装置，其中，

所述识别部将所述物体识别为是非检查对象，

所述检查模型选定部根据识别的所述非检查对象，推测所述检查对象。

4.根据权利要求2所述的检查处理装置，其中，

所述识别部识别所识别的所述物体的位置或者配置，

所述检查模型选定部至少根据识别的所述位置或者所述配置，推测所述检查对象。

5.根据权利要求2所述的检查处理装置，其中，

所述识别部识别所识别的所述物体的移动，

所述检查模型选定部根据识别的所述移动，推测所述检查对象。

6.根据权利要求1至5中的任意一项所述的检查处理装置，其中，

还具备进行针对检查模型的评价的检查模型评价部，

在与所述检查对象对应的检查模型有多个的情况下，根据所述评价，从与所述检查对象对应的多个检查模型选定在所述检查中使用的检查模型。

7.根据权利要求1至6中的任意一项所述的检查处理装置，其中，

在所述识别部将所述物体判断为是不能识别的检查对象的情况下，

所述检查模型选定部将未与能识别的检查对象对应的检查模型选定为在所述检查中使用的检查模型。

8.根据权利要求1所述的检查处理装置，其中，

所述检查模型选定部在由所述识别部识别的物体是所述检查对象的情况下，选定与所述检查对象对应的检查模型。

9.根据权利要求1至8中的任意一项所述的检查处理装置，其中，

还具备使用选定的检查模型进行所述检查的检查部。

10.根据权利要求9所述的检查处理装置，其中，

所述检查部根据在所述图像中映出的所述检查对象的外观，进行所述检查。

11.根据权利要求9或者10所述的检查处理装置，其中，

所述检查部存在至少2个，

至少2个检查部分别针对不同的检查对象进行所述检查。

12.根据权利要求11所述的检查处理装置，其中，

所述至少2个检查部分别使用不同的检查模型进行所述检查。

13.根据权利要求9或者10所述的检查处理装置，其中，

在所述检查部针对第N个检查对象进行所述检查的期间，所述检查模型选定部选定与第N个以后的检查对象对应的检查模型，其中N是1以上的整数。

14.一种检查处理方法，用于进行与针对检查对象的检查相关的处理，所述检查处理方法具备：

从映入有进行所述检查的空间的图像，识别在所述图像内存在的物体的步骤；以及

根据识别的所述物体，从多个检查模型选定在所述检查中使用的检查模型的步骤。

15.一种程序，用于进行与针对检查对象的检查相关的处理，所述程序具备：

从映入有进行所述检查的空间的图像，识别在所述图像内存在的物体的步骤；以及

根据识别的所述物体，从多个检查模型选定在所述检查中使用的检查模型的步骤。

Images