CN114303157A - 训练数据生成装置、检查装置和程序 - Google Patents

Abstract

本发明通过高效地生成用于生成经学习模型的训练数据来进行检查，该经学习模型要用于在针对咬入等的检查时判断无缺陷和/或有缺陷状况。根据本发明的训练数据生成装置包括：切出部件，用于接收检查对象的图像的输入，利用预定方法在面对图像中指定面对检查对象的检查区域，并且将所指定的检查区域从面对图像中切出；分类部件，用于基于用于将在面对切出部件中切出的面对检查区域的图像作为学习对象图像至少分类为正常或非正常的分类操作，将面对学习对象图像与分类的结果彼此相关联；以及训练数据存储部件，用于存储训练数据，在面对训练数据中，面对学习对象图像和分类的结果彼此关联。

Description

训练数据生成装置、检查装置和程序

技术领域

本发明涉及训练数据生成装置、检查装置和程序，其用于在用于基于拍摄待检查物所得的图像来检查待检查物的检查装置中，通过生成训练数据来进行检查，该训练数据可用于机器学习以生成用于判断检查对象的无缺陷/有缺陷状况的经学习模型。

背景技术

X射线检查装置包括彼此面对布置的X射线生成单元和X射线检测单元。通过诸如输送器等的进给装置将待检查物顺次进给通过在这些单元之间。在待检查物在X射线生成单元和X射线检测单元之间通过时，获得X射线透射数据。通过使用X射线透射数据，X射线检查装置生成待检查物的X射线透射图像，并且使用这种X射线透射图像对待检查物进行无损检查。其应用的示例包括用于确认包装产品的内容物是否被异物污染的检查、用于确认内容物是否具备预定个数的检查、用于确认在内容物中是否存在诸如裂纹等的缺陷的检查、以及其他这类检查。这些检查是针对包括食品、医药品和工业组件等的各种物品进行的。除X射线检查装置之外，用于基于拍摄待检查物得到的图像来检查待检查物的其他检查装置也已投入实际使用。

在这种类型的检查装置中，基于预定的判断标准将待检查物分类为无缺陷物品和有缺陷物品。传统上，这些标准是预先定义的；然而，由于机器学习技术的当前发展，提出了使用经学习模型作为判断标准。通过将学习数据(训练数据)输入到学习程序中来生成经学习模型(例如，参见专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2011-089920

发明内容

发明要解决的问题

尽管当在针对包装袋的密封部分处的咬入等的检查中判断无缺陷和/或有缺陷状况时可以使用经学习模型作为判断标准，但尚未建立用于收集要输入到用于生成经学习模型的学习程序中的学习数据的高效方法。

本发明是有鉴于上述问题而做出的，并且本发明的目的是提供一种训练数据生成装置、检查装置和程序，其使得能够通过高效地生成用于生成经学习模型的训练数据来进行检查，其中该经学习模型要用于在针对咬入等的检查中判断无缺陷和/或有缺陷状况。

用于解决问题的方案

本发明的训练数据生成装置生成要在机器学习中使用的训练数据。将经学习模型用在检查装置中，所述经学习模型是使用所述训练数据生成装置所生成的训练数据通过所述机器学习而生成的，所述检查装置用于基于通过将从检查对象的图像中切出的判断对象图像输入到所述经学习模型中而输出的判断结果，来进行用于判断所述检查对象是否正常的检查。所述训练数据生成装置包括以下：切出部件，用于接收所述检查对象的图像的输入，通过预定方法在所述图像中指定所述检查对象的检查区域，并且将所指定的检查区域从所述图像中切出；分类部件，用于基于将在所述切出部件中切出的所述检查区域的图像作为学习对象图像至少分类为正常或非正常的分类操作，将所述学习对象图像与分类的结果彼此相关联；以及训练数据存储部件，用于存储训练数据，在所述训练数据中，所述学习对象图像和分类的结果彼此关联。

在本发明的训练数据生成装置中，可以基于所输入的一个或多于一个基准点的位置信息以及表示相对于所述(一个或多于一个)基准点的距离的信息来指定所述检查区域。

另外，可以基于从二值化图像检测到的斑块来指定所述检查区域，所述二值化图像是通过基于所述图像的明暗度的预定阈值对所述图像进行二值化所获得的。

本发明的训练数据生成装置还可以包括提取部件，所述提取部件用于从在所述切出部件中切出的所述检查区域的图像中提取更小的子图像，并且所述分类部件基于将所述子图像作为学习对象图像至少分类为正常或非正常的分类操作，可以将所述子图像和分类的结果彼此关联。

在本发明的训练数据生成装置中，所述提取部件可以以存在与相邻子图像的部分重叠的方式提取多个所述子图像。

本发明的训练数据生成装置还可以包括以下：显示器；以及显示控制部件，用于控制利用所述显示器的显示。所述显示控制部件可以使所述显示器的第一区域并排显示多个所述学习对象图像，并且可以使所述显示器的第二区域以将表示与所述学习对象图像相对应的区域的表示叠加在所述检查对象的图像上的状态，显示所述检查对象的图像。

在本发明的训练数据生成装置中，在选择所述显示器的所述第一区域中所显示的多个所述学习对象图像其中之一的情况下，所述显示控制部件可以使表示与所选择的学习对象图像相对应的区域的表示显示在所述显示器的所述第二区域中所显示的所述检查对象的图像中。

本发明检查装置包括以下：进给单元，用于进给检查对象，并且使所述检查对象通过检查区域；电磁波辐射单元，用于向所述检查区域施加电磁波；电磁波检测单元，其布置在隔着所述进给单元面对所述电磁波辐射单元的位置处，并且用于检测已穿过了通过所述检查区域的所述检查对象的电磁波；图像构建部件，用于将所述电磁波检测单元所检测到的电磁波的强度分布构成为二维图像；切出部件，用于利用预定方法在所述图像构建部件中构成的所述检查对象的图像中指定所述检查对象的检查区域，并且将所指定的检查区域从所述图像中切出；以及判断部件，用于基于通过将在所述切出部件中切出的所述检查区域的图像作为判断对象图像输入到经学习模型中而输出的判断结果，来进行用于判断所述检查对象是否正常的检查。

在本发明的检查装置中，可以基于所输入的一个或多于一个基准点的位置信息以及表示相对于所述(一个或多于一个)基准点的距离的信息来指定所述检查区域。

另外，可以基于从二值化图像检测到的斑块来指定所述检查区域，所述二值化图像是通过基于所述图像的明暗度的预定阈值对所述图像进行二值化所获得的。

本发明的检查装置还可以包括提取部件，所述提取部件用于从在所述切出部件中切出的所述检查区域的图像中提取更小的子图像，并且所述判断部件可以通过将所述子图像作为判断对象图像输入到所述经学习模型中来进行所述检查对象的检查。

在本发明的检查装置中，所述提取部件可以以存在与相邻子图像的部分重叠的方式提取多个所述子图像。

在本发明的检查装置中，所述经学习模型所输出的判断结果可以是表示所输入的判断对象图像的正常性的得分，并且所述判断部件可以基于所述得分来进行用于判断所述检查对象是否正常的检查。

在本发明的检查装置中，可以提供多个所述判断对象图像，并且所述判断部件可以基于通过将各个所述判断对象图像输入到所述经学习模型中而针对各个所述判断对象图像输出的得分，来进行用于判断所述检查对象是否正常的检查。

构成本发明的训练数据生成装置和检查装置的各个部件可以通过使计算机执行描述了各个部件的功能的程序来实现。

发明的效果

本发明的训练数据生成装置、检查装置和程序能够通过高效地生成用于生成经学习模型的训练数据来进行检查，其中该经学习模型将用于在针对咬入等的检查中判断无缺陷和/或有缺陷状况。

附图说明

图1是示出检查装置1的结构的框图。

图2是示出检查单元10的结构的一个示例的图。

图3是示出训练数据生成单元12的结构的框图。

图4是示出用于基于基准点来指定检查区域的方法的一个示例的图。

图5是示出用于基于斑块(blob)分析来指定检查区域的方法的一个示例的图。

图6是示出用于基于斑块分析来指定检查区域的方法的另一示例的图。

图7是示出用于基于斑块分析来指定检查区域的方法的又一示例的图。

图8是示出用于利用提取部件122提取子图像的方法的一个示例的图。

图9是示出学习对象显示画面的显示示例的图。

图10是示出学习模式中的检查装置1的操作过程的流程图。

图11是示出检查模式中的检查装置1的操作过程的流程图。

具体实施方式

以下将参考附图来说明本发明的实施例。在以下的说明中，相同的构件将由相同的附图标记表示，并且将根据需要省略对已说明的构件的说明。

检查装置1的结构

图1是示出用于检查检查对象是否正常的检查装置1的结构的框图。检查装置1包括检查单元10、控制单元11、显示器14和操作接口15。在检查装置1要检查的检查对象是具有密封部的包装物时，检查区域例如是密封部。在这种情况下，检查区域非正常是指存在如下风险的密封状态：由于密封部处的内容物的咬入、褶皱或折叠等而导致包装物内的气密性和/或产品的质量受损。检查区域正常是指不存在这种问题的状态。

检查装置1具有检查模式和学习模式。在检查模式中，从检查单元10所拍摄的检查对象的图像中切出判断对象图像。该判断对象图像被输入到在机器学习执行单元13等中生成的经学习模型中，以通过图像分析来检查检查对象中的内容物的咬入以及密封部的褶皱或折叠等的有无。另一方面，在学习模式中，训练数据生成单元12基于检查单元10所拍摄的检查对象的图像等来生成训练数据。该训练数据被输入到机器学习执行单元13以使经学习模型进行学习。

检查单元10拍摄要提供用于检查的检查对象的图像。检查单元10的示例是用于拍摄检查对象的X射线透射图像的X射线检查装置；然而，检查单元10不限于此，只要检查单元10是基于检查对象的图像来进行检查的检查装置即可。在检查模式中，检查单元10从检查对象的拍摄图像中切出检查区域的图像和/或子图像，并且将检查区域的该图像和/或子图像输入到在机器学习执行单元13中预先生成的经学习模型中，以对检查对象进行检查。另外，在学习模式中，检查单元10将检查对象的拍摄图像作为输入图像提供到训练数据生成单元12。

图2示出检查单元10的结构的一个示例。在该示例中，获取到X射线透射图像作为要提供用于检查的图像。X射线透射图像是通过将X射线作为电磁波施加到检查对象所获得的。检查单元包括进给单元101、电磁波辐射单元102、电磁波检测单元103、图像构建装置104、存储单元105、切出部件106和判断部件108。

进给单元101由一个或多于一个输送带构成，并且将检查对象进给到拍摄图像的检查区域，并在拍摄图像之后将检查对象从检查区域送出。

电磁波辐射单元102将拍摄图像所需的电磁波(例如，X射线、紫外光、可见光、红外光等)施加到检查区域。电磁波辐射单元102被布置成使得例如将电磁波垂直施加到进给单元101中的放置有检查对象的进给面。如由必要则用屏蔽罩覆盖检查区域，以防止从电磁波辐射单元102施加的电磁波泄漏到外部。

电磁波检测单元103布置在隔着进给单元101面对电磁波辐射单元102的位置处。电磁波检测单元103包括能够检测电磁波辐射单元102所施加的电磁波的多个检测元件，并且检测穿过检查区域到达电磁波检测单元103的电磁波的强度分布。电磁波检测单元103的示例包括线传感器、面传感器或TDI(时延积分)传感器等。

在电磁波辐射单元102和电磁波检测单元103之间的检查区域中存在检查对象的情况下，从电磁波辐射单元102施加的电磁波根据这些电磁波在检查对象上的各个位置处的透射率而衰减，然后到达电磁波检测单元103，由此观察到检查对象的内部状态作为电磁波检测单元103所检测到的电磁波的强度分布。

图像构建部件104将电磁波检测单元103所检测到的透过检查对象之后的电磁波的强度分布构成为二维图像。

存储单元105存储在图像构建部件104中构成的检查对象的图像的数据。存储单元105由诸如RAM或硬盘等的存储装置构成。

切出单元106从存储单元105检索由图像构建部件104构成的检查对象的图像，通过预定方法在该图像中指定检查对象的检查区域，将所指定的检查区域从该图像中切出，并且将该所指定的检查区域作为判断对象图像输出到判断部件108。另外，切出部件106还可以包括提取部件107，该提取部件107在从检查对象的图像切出的检查区域的图像中提取更小的子图像，并且将该子图像作为判断对象图像输出到判断部件108。

在切出部件106中切出的或者在提取部件107中提取的判断对象图像具有与用于生成将在判断部件108中的判断中使用的经学习模型的学习对象图像的大小和形状相同的大小和形状。

切出部件106中的用于指定检查对象的检查区域的具体方法和提取部件107中的用于提取更小的子图像的具体方法分别与以下所述的训练数据生成单元12的切出部件121中的指定方法和提取部件122中的提取方法相同，因此这里省略了对这些方法的说明。

判断部件108基于通过将从切出部件106输出的判断对象图像输入到在机器学习执行单元13中预先生成的经学习模型中而输出的判断结果，来进行用于判断检查对象是否正常(即，检查对象是否是要移除的对象)的检查。在以下所述的检查装置1的检查模式的操作的说明中将例示判断部件108中的具体检查方法。

应当注意，在上述检查单元10的组件中，图像构建部件104、切出部件106、提取部件107和判断部件108可被配置为以下所述的控制单元11的一部分。

显示器14是诸如液晶显示器等的显示装置，并且显示检查装置1的操作画面和各种图像。操作接口15是诸如开关、鼠标和键盘等的输入部件，并且接收由用户向检查装置1进行的操作输入。

控制单元11控制检查装置1的各个组件。控制单元11通过例如由CPU和存储元件等构成的计算机构成。控制单元11包括训练数据生成单元12和机器学习执行单元13。训练数据生成单元12与本发明的训练数据生成装置相对应。

在检查装置1的学习模式中，训练数据生成单元12生成要在机器学习执行单元13中实现的机器学习中使用的训练数据。图3是示出训练数据生成单元12的结构的框图。如图3所示，训练数据生成单元12包括切出部件121、显示控制部件123、分类部件124和训练数据存储单元125。

切出部件121接收检查对象的图像的输入，通过预定方法在该图像中指定检查对象的检查区域，并且将所指定的检查区域从图像中切出。

用于在检查对象的图像中指定检查对象的检查区域的方法是任意的。这种方法的示例包括基于基准点的指定方法或者通过斑块分析的指定方法。

在基于基准点的指定方法中，例如基于由操作员输入的一个或多于一个基准点的位置信息以及表示相对于(一个或多于一个)基准点的距离的信息来指定检查区域。用于输入(一个或多于一个)基准点的位置信息的方法是任意的。例如，操作员可以在查看显示器14上所显示的检查对象的图像的同时通过操作接口15输入要设置的期望位置。

要设置的基准点的数量是任意的，但通过将基准点设置在检查区域的各角处，即使针对各图像、检查对象2的姿态不同，也可以可靠地指定检查区域。例如，如果检查区域是正方形，则可以通过设置四个基准点来可靠地指定检查区域。

然而，在以下情况下，例如，设置一个基准点就足够了。通常，在利用检查单元10拍摄多个检查对象2的图像时，将检查对象2以基本上相同的预定姿态顺次放置并进给到进给单元101，并且在进给单元101中拍摄检查对象2的图像。因此，例如，对于如图4的(a)所示的具有储存部2p和密封部2s(具有w×d的边长度的矩形)(各密封部设置在储存部的上侧和下侧)的检查对象2，如果进给方向是X方向，则将检查对象2以检查对象2的密封部2s的长边方向是X方向并且其短边方向是与X方向垂直的Y方向的方式放置在进给单元101上。另外，将检查区域定义为如下的矩形的区域，该矩形的一边沿X方向延伸了长度a(>w)且该矩形的另一边沿Y方向延伸了长度b(>d)，这两边都是从基准点起延伸的。长度a和b可被预先设置为固定值，或者可以通过来自操作接口15的操作员输入来任意配置。这样，如果要将上侧密封部2s指定为检查区域，则可以通过将基准点B设置在密封部2s的左上角附近来如图4的(b)所示指定检查区域A。

通过斑块分析的指定方法通过利用如下事实来指定检查区域：通过基于图像的明暗度对图像进行二值化，可以将检查对象存在于的位置和/或其形状等检测为斑块。具体地，在基于透过了检查对象的电磁波的强度来生成图像时，检查对象存在于的部分周围比该部分亮得多。因此，可以基于该明暗度将检查对象存在于的位置和/或其形状等检测为斑块。由于要将检查对象的哪个部分指定为检查区域是预先已知的，因此可以通过这两者的彼此对照来在检查对象的图像中指定检查对象的检查区域。

更具体地，例如，对于如图5的(a)所示的具有储存部2p和密封部2s(其各自设置在储存部的上侧和下侧)的检查对象2，如果要将上侧密封部2s和下侧密封部2s中的一个或两个指定为(一个或多于一个)检查区域，则首先，通过使用与检查对象2存在于的部分相对应的图像的暗度作为阈值、对通过向检查对象2上的电磁波辐射所生成的检查对象2的图像进行二值化，可以如图5的(b)所示将检查对象2存在于的位置及其形状检测为斑块C。然后，由于如图5的(a)所示、在检查对象2中要被指定为(一个或多于一个)检查区域的(一个或多于一个)密封部2s存在于的(一个或多于一个)位置是预先已知的，因此通过将预先已知的(一个或多于一个)位置与指定了图像中的位置的检查对象2进行对照，如图5的(c)所示，可以将检查对象2的图像中的(一个或多于一个)密封部2s存在于的(一个或多于一个)位置(例如，从各个上端和下端起的(一个或多于一个)预定距离的(一个或多于一个)区域)指定为(一个或多于一个)检查区域A。

另外，例如，对于具有设计的或图案化的储存部2p和透明的密封部2s的检查对象2，可以如下如图6的(c)所示将各个上侧密封部2s和下侧密封部2s存在于的位置指定为检查区域A：通过使用与包括密封部2s的检查对象2存在于的部分相对应的图像的暗度作为阈值、对检查对象2的图像进行二值化，如图6的(a)所示将检查对象2存在于的位置及其形状检测为斑块C；通过使用与储存部2p存在于的部分相对应的图像的暗度作为阈值对检查对象2的图像进行二值化来检测表示储存部2p的斑块D；以及获得这两个斑块之间的差。

在指定了(一个或多于一个)密封部存在于的(一个或多于一个)位置之后，可以通过使用与(一个或多于一个)密封部2s中的异物存在于的部分相对应的图像的暗度作为阈值对检查对象2的图像进行二值化来如图7的(a)所示进一步检测表示异物存在于的部分的斑块F，并且如图7的(b)所示可以将包括该斑块F的预定区域指定为检查区域A。图7示出具有单个斑块F的情况，但在存在多个斑块F的情况下可以以类似方式指定多个检查区域A。

在以上例示的通过斑块分析的指定方法中，可以如上所述同时指定多个检查区域A。在这种情况下，可以将它们全部指定为检查区域A，或者可以将它们中的任何部分指定为(一个或多于一个)检查区域A。

切出部件121将如上所述指定的(一个或多于一个)检查区域的图像从检查对象2的图像中切出，并且将该图像作为学习对象图像输出到分类部件124。

切出部件121还可以包括提取部件122，该提取部件122从(一个或多于一个)检查区域A的切出图像中提取更小的子图像。图8的(b)示出如下情况的示例：将如图8的(a)所示指定的检查区域A细分割成四个部分A1、A2、A3和A4，并且提取这四个部分的各个图像。部分的数量可被预先设置为固定值，或者可以通过来自操作接口15的操作员输入来任意配置。

提取部件122将如此提取的子图像作为学习对象图像输出到分类部件124。

以这种方式，通过使用通过对检查区域A进行细分割所获得的子图像作为学习对象图像，与未对检查区域进行细分割的情况相比，可以收集更多的学习数据。

在提取子图像时，提取部件122可以以与相邻子图像部分重叠的方式提取子图像。图8的(c)是如下情况的示例：通过使用与图8的(b)的情况中的提取宽度相同的提取宽度，以与相邻子图像重叠1/4的方式提取子图像。在这种情况下，可以提取五个部分A1、A2、A3、A4和A5中的各部分的子图像。重叠的程度可被预先设置为固定值，或者可以通过来自操作接口15的操作员输入来任意配置。

以这种方式，通过以与相邻子图像部分重叠的方式提取子图像，与子图像彼此不重叠的情况相比，可以收集更多的学习数据。另外，在子图像彼此不重叠的情况下，在各个部分的边界处的咬入等的情况下的学习数据将不完整。然而，这可以通过使子图像彼此重叠来防止。这也有助于收集更多的学习数据。

在切出部件121在对基于检查区域的图像所生成的经学习模型进行附加学习时切出学习对象图像的情况下，设置切出部件121的切出条件，使得切出用于生成这种经学习模型的大小和形状的检查区域的图像。另外，在提取部件122在对基于子图像所生成的经学习模型进行附加学习时切出学习对象图像的情况下，设置提取部件122的提取条件，使得提取用于基于该子图像生成经学习模型的大小和形状的子图像。

显示控制部件123控制显示器上的显示。显示控制部件123使显示器14选择性地显示由切出部件121切出或由提取部件122提取的学习对象图像。图9示出在将学习对象图像显示在显示器14上时的学习对象显示画面的显示示例。学习对象显示画面包括输入图像显示区域R2、学习对象图像显示区域R1和信息显示区域R3。在学习对象图像显示区域R1中，并排显示学习对象图像。除学习对象图像之外，学习对象图像显示区域R1还显示用于按OK/NG对各个学习对象图像进行分类的用户界面、以及其他界面。输入图像显示区域R2显示检查对象的图像。信息显示区域R3显示与所选择的学习对象图像有关的信息(例如，图像文件的名称以及存储图像文件的位置等)。

当在输入图像显示区域R2中显示检查对象的图像时，可以将表示与所提取的学习对象图像相对应的区域的表示(indication)叠加并显示在检查对象的图像上。表示与学习对象图像相对应的区域的该表示可被配置成使得用户可以选择显示或隐藏该表示。

当在学习对象图像显示区域R1中并排显示学习对象图像时，可以按数值(得分)的顺序对学习对象图像进行分类并显示，其中数值(得分)表示从利用现有的经学习模型对各个学习对象图像进行的判断所获得的判断结果。

另外，可以针对在学习对象图像显示区域R1中并排显示的各学习对象图像可见地显示表示判断结果的信息。具体地，可以在叠加在各学习对象图像上或与各学习对象图像相邻的位置处显示得分或判断结果(正常/非正常等)等。另外，可以向各学习对象图像应用用于表示判断结果的显示渲染。例如，根据学习对象图像是正常还是非正常，可以用具有不同颜色的框包围学习对象图像。

学习对象图像显示区域R1中所显示的学习对象图像其中之一可以通过点击该图像来选择。当在学习对象图像显示区域R1中选择了学习对象图像时，在学习对象图像显示区域R1中用框包围并显示所选择的学习对象图像，并且与所选择的学习对象图像相对应的检查区域或子区域以这种检查区域或子区域能够与其他检查区域或子区域区分开的方式(诸如通过用双框表示等)显示在输入图像显示区域R2中。

与上述相反，可以点击与在输入图像显示区域R2中显示的学习对象图像相对应的检查区域或子区域其中之一，并且可以选择与该检查区域或子区域相对应的学习对象图像。这样，当在输入图像显示区域R2中进行点击时，在学习对象图像显示区域R1中用框包围并显示与所选择的检查区域或子区域相对应的学习对象图像，并且所选择的检查区域或子区域以这种检查区域或子区域能够与其他检查区域或子区域区分开的方式(诸如通过用双框表示等)显示在输入图像显示区域R2中。通过将检查对象的图像和所选择的学习对象图像彼此关联地显示，看一眼就可以掌握所选择的学习对象图像在检查对象的图像中是如何拍摄的。

另外，在选择学习对象图像时，可以在输入图像显示区域R2中放大并显示与所选择的学习对象图像相对应的部分。以这种方式，可以容易地详细确认与所关注的学习对象图像相对应的部分。此外，可以在信息显示区域R3中显示针对所选择的学习对象图像的得分或判断结果(正常/非正常等)等。

分类部件124基于用户的目视确认将所提取的学习对象图像分类成预定类别其中之一(诸如所提取的学习对象图像是正常还是非正常等)。

在用户进行将学习对象图像分类为预定类别其中之一的操作时，分类部件124根据用户的操作将这种学习对象图像分类为这些类别其中之一，并且将训练数据(其中学习对象图像和该学习对象数据被分类为的类别彼此关联)存储在训练数据存储单元125中。

如下进行将学习对象图像分类为预定类别其中之一的操作：例如，在根据学习对象图像是正常还是非正常来对学习对象图像进行分类的情况下，用户通过在观看显示器14的同时对操作接口15进行操作来选择学习对象图像；用户从视觉上判断所选择的学习对象图像是正常还是非正常；如果该图像正常，则点击“OK”按钮；如果该图像非正常，则点击“NG”按钮。代替用户通过用户的操作选择学习对象图像，可以按由分类部件124自动确定的顺序对学习对象图像进行顺次分类。

对学习对象图像进行分类的方式包括：简单地将学习对象图像分类为两个类别，即，关于诸如内容物的咬入、密封部的褶皱或密封部的折叠等的判断项中的任一个，学习对象图像是正常还是非正常。除此之外，可以采用分类，其中，例如，关于诸如内容物的咬入、密封部的褶皱和密封部的折叠等的判断项中的各判断项、用户从视觉上判断学习对象图像是否正常，并且将学习对象图像分类为各自由多个判断项的判断结果的组合构成的多个类别。例如，如果存在三个判断项，则由于针对各项存在两个类型的判断结果(即，正常和非正常)，因此分类为8个(其是2的立方)类别中的任一个。以这种方式，这种分类使得能够将学习对象图像用于根据各个判断项的正常和/或非正常判断结果的组合而可分类的经学习模型的生成、以及/或者这种经学习模型的附加学习。

另外，可以采用分类，其中针对各学习对象图像，关于多个判断项中的各判断项、用户从视觉上判断该学习对象图像是否正常，并且针对各判断项将学习对象图像分类为两个类别，即，该学习对象图像是正常还是非正常。换句话说，不是将一个学习对象图像分类为类别其中之一，而是针对各判断项将该学习对象图像分类为正常或非正常。以这种方式，这种分类使得能够将学习对象图像用于经学习模型(其可以针对各个判断项单独判断学习对象图像是正常还是非正常)的生成、以及/或者这种经学习模型的附加学习等。

根据期望什么类型的判断结果来在分类部件124中选择哪个分类。其原因在于，分类单元124中的分类将被反映在如下的判断结果(即，分类结果)中，该判断结果是由在机器学习执行单元13中基于学习对象图像所生成的经学习模型针对判断对象图像的输入所输出的。另外，在对先前生成的经学习模型进行附加学习的情况下，取决于生成这种经学习模型以输出判断结果所利用的分类。

将如下的数据作为训练数据存储在训练数据存储单元125中，其中在该数据中，学习对象图像与由分类部件124将这种学习对象图像分类为的类别彼此关联。此外，也可以将由外部装置生成的训练数据存储在训练数据存储单元125中。

训练数据存储单元125由诸如RAM或硬盘等的存储装置构成。训练数据存储单元125也可以用作检查单元10中的存储单元105。另外，可以以共用的形式使用用于存储各种类型的信息的检查装置1所配备的存储介质。

可以以任何方式将学习对象图像与由分类部件124将这种学习对象图像分类为的类别彼此关联的数据作为训练数据存储在训练数据存储单元125中，只要将训练数据存储成能够区分分类成哪个类别(诸如各学习对象图像是正常还是非正常、以及/或者多个判断项的判断结果的哪个组合等)即可。例如，可以将各学习对象图像存储在按图像被分类为的类别组织的各个文件夹中。可选地，可以将表示图像被分类为的类别的信息作为学习对象图像的文件名和/或附加信息嵌入在文件中。

此外，可以将针对构成训练数据的学习对象图像的切出单元121中的切出条件和提取单元122中的提取条件与训练数据相关联地存储在训练数据存储单元125中。

通过执行学习程序，机器学习执行单元13通过使用从训练数据存储单元125读取的训练数据(即，具有类别信息的学习对象图像)向现有的经学习模型应用附加的机器学习，来生成新的经学习模型。可选地，可以通过使用从训练数据存储单元125读取的训练数据进行新的机器学习来生成新的经学习模型。在生成新的经学习模型的情况下，可以对初步准备的初始(即，尚未学习)模型进行机器学习。

本文所提到的“机器学习”意味着针对初始模型或已应用了一定学习的模型通过输入预定数据来重复进行处理以接近目标经学习模型。具体地，例如，可以调整诸如权重和/或偏置等的参数以确保通过将训练数据输入到神经网络模型中将输出正确答案。

另外，本发明中所提到的“经学习模型”是如下的模型，该模型进行了学习，以通过接收检查对象的检查区域的图像和/或其子图像的输入来输出预定判断结果，例如，表示正常性的得分(数值等)，更具体地，例如，表示非正常的可能性的得分。

机器学习执行单元13中的机器学习的具体技术是任意的，并且例如，可以采用使用卷积神经网络模型的深度学习方法。

在下文，将关于学习模式和检查模式这两者来说明如上所述配置的检查装置1的操作。

学习模式中的操作

图10是示出学习模式中的检查装置1的操作过程的流程图。学习模式通过在检查装置1的操作接口15上选择学习模式而开始。在学习模式开始时，在显示器14上显示学习模式所用的操作画面。用户可以通过根据以下过程操作学习模式所用的操作画面来生成训练数据并且对经学习模型进行机器学习。

首先，训练数据生成单元12接收用户的用于选择输入图像的操作(步骤S100)。输入图像可以是在检查单元10中实际拍摄的检查对象的图像、或者单独准备用于学习的检查对象的图像。随后，训练数据生成单元12接收用户的用于选择经学习模型的操作(步骤S110)。将对这些选择的该经学习模型进行后面阶段的机器学习中的附加学习。如果要新生成经学习模型，则可以省略步骤S110。

随后，在切出部件121中，训练数据生成单元12在检查对象的图像中设置基准点，接收以基准点为起点的用于指定检查区域的各边的长度的输入，并且基于所接收到的切出条件来切出所指定的检查区域的图像(步骤S120)。另外，在对检查区域的切出图像进行细分割以提取子图像的情况下，在提取部件122中，接收到细分割的数量和重叠的程度的输入，并且基于所接收到的提取条件来提取各子图像(步骤S121)。

具体地，在步骤S120和S121中，通过在操作画面上所显示的项中输入期望值来设置切出条件和提取条件。在最终确定了条件的设置时，根据设置内容，切出部件121切出检查区域的图像并且提取部件122提取子图像。将用作作为处理的结果所获得的学习对象图像的检查区域的图像或子图像存储在尚未分类为类别的学习对象图像所用的文件夹中。

随后，在分类部件124中，训练数据生成单元12接收用于选择将各学习对象图像分类为任何类别的操作，并且基于该选择将学习对象图像和判断结果以彼此关联的方式作为训练数据存储在训练数据存储单元125中(步骤S130)。

在步骤S130之后，机器学习执行单元13接收到用于基于在步骤S130中生成的训练数据来执行机器学习的指示，并且根据该指示来执行学习程序以对经学习模型进行机器学习(步骤S140)。此时，机器学习执行单元13在操作画面上显示用于使得用户能够选择是否对现有的经学习模型进行附加机器学习或者是否新生成经学习模型的界面。如果要对现有的经学习模型进行附加的机器学习，则可以向用户呈现用于选择经学习模型的菜单。然而，可以省略该步骤中的经学习模型的选择，并且可以作为代替，对在步骤S110中选择的经学习模型进行机器学习。当在步骤S140中机器学习结束时，学习模式中的处理的序列然后完成。

检查模式中的操作

图11是示出检查模式中的检查装置1的操作过程的流程图。检查模式通过在检查装置1的操作接口15上选择检查模式而开始。在检查模式开始时，在显示器14上显示检查模式所用的操作画面。用户可以通过根据以下过程操作检查模式所用的操作画面来检查检查对象。

首先，检查装置1接收用户的用于设置检查条件的操作(步骤S200)。检查条件除了包括一般检查装置的条件(诸如图像拍摄时的X射线、可见光等的照射强度、曝光时间、进给速度等)之外，还包括在要移除的对象的判断中所要使用的经学习模型的选择。

在检查条件的设置完成时，检查单元10根据用户的预定操作开始检查检查对象。检查单元10首先将检查对象进给到摄像位置以进行摄像(步骤S210)。

随后，检查单元10在切出部件106中从检查对象的拍摄图像中切出检查区域的图像(步骤S220)，或者在提取部件107中从在切出部件106中切出的检查区域的图像中进一步提取子图像(步骤S221)，以生成判断对象图像。均作为判断对象图像的要切出的检查区域的图像的数量和要提取的子图像的数量是任意的。要切出或提取的判断对象图像具有与用于生成要在判断中采用的经学习模型的学习对象图像的大小和形状相同的大小和形状。

随后，在判断部件108中，检查单元10基于通过将从切出部件106或提取部件107输出的判断对象图像输入到经学习模型中所输出的判断结果，进行用于判断检查对象是否正常(即，检查对象是否是要移除的对象)的检查(步骤S230)。

在判断部件108中，首先将判断对象图像输入到经学习模型中，并且经学习模型输出例如表示正常性的得分(诸如数值等)作为判断结果。在作为判断对象图像所切出的检查区域的多个图像和作为判断对象图像所提取的多个子图像的情况下，将各个学习对象图像输入到经学习模型中并且获得各个判断结果。

作为示例，以下将说明经学习模型输出数值的情况。在输出数值的情况下，要输出的数值的范围是任意设置的，并且例如，可以输出在0和1之间的范围中的数值。在这种情况下，数值范围中的数值增量是任意的。例如，如果使用0.01增量，则可以输出诸如0.12和0.81等的数值。所输出的数值可以显示在显示器14上或者输出到诸如打印机或存储介质等的任何输出部件。

在使经学习模型使用分类为两个类别(例如，正常或非正常)的学习对象图像来进行学习的情况下，例如，假定0表示正常，则非正常的可能性越高，经学习模型输出越接近1的数值。

另一方面，在使经学习模型使用分类为三个或多于三个类别(例如，正常情况和多个非正常情况)的学习对象图像来进行学习的情况下，例如，假定1表示所有类别的数值的总和，则经学习模型输出各类别的数值，使得针对可能性更高的类别，相对于1的比例值更大。例如，在针对类别1数值为0.2、针对类别2数值为0.4、针对类别3数值为0.3、并且针对类别4数值为0.1的情况下，判断对象图像极有可能属于类别2。

随后，判断部件108基于从经学习模型输出的数值来判断检查对象是否是要移除的对象。可以使用仅一个判断对象图像或多个判断对象图像来进行该判断。

首先，将说明在判断中使用单个判断对象图像的判断示例。

在两个类别的情况下，例如，通过假定0表示正常，针对判断对象图像的输入，在非正常的可能性更高的情况下，输出更接近1的数值。在这种情况下，通过假定0和1之间的任何数值表示阈值，在数值等于或大于阈值时，判断对象图像被视为非正常，因此检查对象被判断为要被移除的对象。

另一方面，在三个类别的情况下，例如，通过假定1表示所有类别的数值的总和，输出各类别的数值，使得针对判断对象图像的输入，对于可能性更高的类别，相对于1的比例值更大。在这种情况下，多个判断方法是有可能的，但可以采用任何判断方法。例如，在对于类别1数值为0.2、对于类别2数值为0.4、对于类别3数值为0.3、并且对于类别4数值为0.1的情况下，并且在类别2表示正常且其他类别表示非正常的情况下，在基于这些类别来看时，表示正常的类别2具有最高可能性。基于此，检查对象被判断为不是要移除的对象。然而，在表示正常的类别和表示非正常的类别方面，表示正常的类别2的数值为0.4，而表示非正常的其他类别的数值的总和为0.6。因此，从该角度来看，非正常的可能性更高。基于此，检查对象被判断为要移除的对象。

接着，将说明在判断中使用多个判断对象图像的判断示例。在两个类别的情况下，例如，通过假定0表示正常，针对判断对象图像的输入，在非正常的可能性更高时，输出更接近1的数值。在这种情况下，首先，通过假定0和1之间的任何数值表示阈值，基于该阈值来将各判断对象图像判断为正常或非正常。然后，如果例如在多个判断对象图像中存在多于预定数量的非正常的判断对象图像，则检查对象被判断为要移除的对象。在这种情况下，可以在对所有的判断对象图像进行与他们是正常还是非正常的判断之后进行与预定数量的比较，或者可以对非正常的判断对象图像的数量进行计数，并且可以在达到预定数量时将检查对象判断为要移除的对象。另外，可以设置作为比用于判断正常还是非正常的阈值更接近1的另一阈值的立即确定阈值。如果存在超过了立即确定阈值的甚至一个判断对象图像，则此时可以将检查对象判断为要移除的对象。

另一方面，在三个类别的情况下，例如，通过假定1表示所有类别的数值的总和，输出各类别的数值，使得针对判断对象图像的输入，对于可能性更高的类别，相对于1的比例值更大。在这种情况下，首先，使用前面所示的用于在单个判断对象图像和三个类别的情况下判断非正常性(要移除的对象)的方法来将各判断对象图像判断为正常或非正常。然后，可以使用前面所示的用于在多个判断对象图像和两个类别的情况下判断要移除的对象的方法来进行与要移除的对象有关的判断。

在使用多个判断对象图像来判断检查对象是否是要去除的对象的情况下，选择这样的多个判断对象图像的方式是任意的。例如，可以在如图5的(b)所示的检查对象2的图像中切出作为针对上侧密封部2s和下侧密封部2s分别指定的两个检查区域A的图像，并且可以使用这两个图像作为判断对象图像。另外，可以使用通过进一步将上侧检查区域A和下侧检查区域A中的各检查区域A进行n(其中n是大于或等于2的整数)细分割所获得的2n个子图像的总和作为判断对象图像。此外，可以通过从通过n分割所获得上侧子图像和通过n分割所获得的下侧子图像中的各子图像中提取一个子图像来提取两个子图像，并且可以使用这样的两个子图像作为判断对象图像。

最后，判断部件108对基于上述判断处理被判断为要移除的对象的检查对象进行必要的处理。这里，必要的处理例如可以包括：将用于表示要移除的对象的图形(例如，框)连同拍摄图像一起显示在显示器14上；移除要移除的对象；以及在要移除的对象和正常产品之间进行分类；等等。这样完成了对一批检查对象的检查。在将检查对象顺次进给到检查装置1的情况下，检查装置1通过重复上述一系列步骤来顺次检查检查对象。

上述结构使得检查装置1能够在学习模式中快速生成要输入到学习程序中的大量训练数据，并且通过使用所生成的训练数据作为输入进行机器学习来生成经学习模型。在检查模式中，检查装置1能够使用在学习模式中生成的经学习模型来进行高精度检查。

实施例的变形

以上说明了本发明的实施例；然而，本发明不限于这些示例。

例如，在上述实施例中，训练数据生成单元12和机器学习执行单元13内置在检查装置1中；然而，训练数据生成单元12和机器学习执行单元13可能不需要内置在检查装置1中，而是可以作为单独的训练数据生成装置或经学习模型生成装置来提供。例如，可以通过使计算机执行计算机程序以用作上述的训练数据生成单元12和机器学习执行单元13来实现训练数据生成单元12和机器学习执行单元13。

应当注意，通过本领域技术人员对上述各个实施例适当地进行组件的添加、删除和/或设计改变所获得的实施例、以及通过本领域技术人员适当地组合各个实施例的特征所获得的实施例也包含在本发明的范围中，只要这些实施例包括本发明的主旨即可。

附图标记说明

1 检查装置

2 检查对象

2p 储存部

2s 密封部

10 检查单元

101 进给单元

102 电磁波辐射单元

103 电磁波检测单元

104 图像构建部件

105 存储单元

108 判断部件

11 控制单元

12 训练数据生成单元

106、121 切出部件

107、22 提取部件

123 显示控制部件

124 分类部件

125 训练数据存储单元

13 机器学习执行单元

14 显示器

15 操作接口

A 检查区域

A1、A2、A3、A4、A5 部分

B 基准点

C、D、F 斑块

R1 学习对象图像显示区域

R2 输入图像显示区域

R3 信息显示区域

Claims (15)

1.一种训练数据生成装置，用于生成要在机器学习中使用的训练数据，使用所述训练数据利用所述机器学习所生成的经学习模型被用在检查装置中，所述检查装置用于基于通过将从检查对象的图像中切出的判断对象图像输入到所述经学习模型中而输出的判断结果，来进行用于判断所述检查对象是否正常的检查，其特征在于，所述训练数据生成装置包括：

切出部件，用于接收所述检查对象的图像的输入，利用预定方法在所述图像中指定所述检查对象的检查区域，并且将所指定的检查区域从所述图像中切出；

分类部件，用于基于用于将在所述切出部件中切出的所述检查区域的图像作为学习对象图像分类为正常或非正常的分类操作，将所述学习对象图像与分类的结果彼此相关联；以及

训练数据存储部件，用于存储训练数据，在所述训练数据中，所述学习对象图像和分类的结果彼此关联。

2.根据权利要求1所述的训练数据生成装置，其特征在于，用于指定所述检查区域的所述预定方法是用于基于所输入的一个或多于一个基准点的位置信息以及表示相对于所述一个或多于一个基准点的距离的信息来进行指定的方法。

3.根据权利要求1所述的训练数据生成装置，其特征在于，用于指定所述检查区域的所述预定方法是用于基于从二值化图像检测到的斑块来进行指定的方法，所述二值化图像是通过基于所述图像的明暗度的预定阈值对所述图像进行二值化而获得的。

4.根据权利要求1至3中任一项所述的训练数据生成装置，其特征在于，所述训练数据生成装置还包括提取部件，所述提取部件用于从在所述切出部件中切出的所述检查区域的图像中提取更小的子图像，

其中，所述分类部件基于用于将所述子图像作为学习对象图像至少分类为正常或非正常的分类操作，将所述子图像和分类的结果彼此关联。

5.根据权利要求4所述的训练数据生成装置，其特征在于，所述提取部件以存在与相邻子图像的部分重叠的方式提取多个所述子图像。

6.根据权利要求1至5中任一项所述的训练数据生成装置，其特征在于，所述训练数据生成装置还包括：显示器；以及显示控制部件，用于控制利用所述显示器的显示，

其中，所述显示控制部件使所述显示器的第一区域并排显示多个所述学习对象图像，并且使所述显示器的第二区域以在所述检查对象的图像上叠加表示与所述学习对象图像相对应的区域的表示的状态，显示所述检查对象的图像。

7.根据权利要求6所述的训练数据生成装置，其特征在于，在选择所述显示器的所述第一区域中所显示的多个所述学习对象图像其中之一的情况下，所述显示控制部件使表示与所选择的学习对象图像相对应的区域的表示显示在所述显示器的所述第二区域中所显示的所述检查对象的图像中。

8.一种检查装置，包括：

进给单元，用于进给检查对象，并且使所述检查对象通过检查区域；

电磁波辐射单元，用于向所述检查区域施加电磁波；

电磁波检测单元，其布置在隔着所述进给单元面对所述电磁波辐射单元的位置处，并且用于检测已穿过了通过所述检查区域的所述检查对象的电磁波；

图像构建部件，用于将所述电磁波检测单元所检测到的电磁波的强度分布构成为二维图像；

切出部件，用于利用预定方法在所述图像构建部件中构成的所述检查对象的图像中指定所述检查对象的检查区域，并且将所指定的检查区域从所述图像中切出；以及

判断部件，用于基于通过将在所述切出部件中切出的所述检查区域的图像作为判断对象图像输入到经学习模型中而输出的判断结果，来进行用于判断所述检查对象是否正常的检查。

9.根据权利要求8所述的检查装置，其特征在于，用于指定所述检查区域的所述预定方法是用于基于所输入的一个或多于一个基准点的位置信息以及表示相对于所述一个或多于一个基准点的距离的信息来进行指定的方法。

10.根据权利要求8所述的检查装置，其特征在于，用于指定所述检查区域的所述预定方法是用于基于通过基于所述图像的明暗度的预定阈值对所述图像进行二值化而检测到的斑块来进行指定的方法。

11.根据权利要求8至10中任一项所述的检查装置，其特征在于，所述检查装置还包括提取部件，所述提取部件用于从在所述切出部件中切出的所述检查区域的图像中提取更小的子图像，

其中，所述判断部件通过将所述子图像作为判断对象图像输入到所述经学习模型中来进行所述检查对象的检查。

12.根据权利要求11所述的检查装置，其特征在于，所述提取部件以存在与相邻子图像的部分重叠的方式提取多个所述子图像。

13.根据权利要求8至12中任一项所述的检查装置，其特征在于，所述经学习模型所输出的判断结果是表示所输入的判断对象图像的正常性的得分，

其中，所述判断部件基于所述得分来进行用于判断所述检查对象是否正常的检查。

14.根据权利要求13所述的检查装置，其特征在于，提供多个所述判断对象图像，

其中，所述判断部件基于通过将各个所述判断对象图像输入到所述经学习模型中而针对各个所述判断对象图像输出的得分，来进行用于判断所述检查对象是否正常的检查。

15.一种程序，用于使计算机用作根据权利要求1至14中任一项所述的各个部件。

Images