CN114820428A - 图像处理方法以及图像处理装置 - Google Patents

Abstract

提供一种图像处理方法以及图像处理装置，在应用了机器学习的图像处理方法中兼顾了检测精度和处理速度。本公开所涉及的图像处理方法包括以下步骤：获取拍摄到对象物的规定范围的不同部分的多个图像(S2)；应用使用机器学习获取到的规定的图像处理方法来进行多个图像各自是否包含检测对象的特征的个别评价(S3)；以及进行综合评价。在综合评价中，在构成规定范围或作为规定范围的一部分的部分范围的多个图像的数量Y1与Y1个图像中的在个别评价中被评价为包含特征的图像的数量X1之比X1/Y1为第一规定值以上(S4)的情况下，评价为对象物包含检测对象的特异部(S5)。

Description

图像处理方法以及图像处理装置

技术领域

本发明涉及一种图像处理方法以及图像处理装置。

背景技术

已知一种用于检查某种异常状态或是否存在具有其它部位不同的特征的部位的缺陷检查系统、异常检查系统或特异部探测系统。近年来，提出了一种用于使用机器学习来评价是否存在包含缺陷等的具有与其它大部分区域不同的特征的部位(以下称为“特异部”。)的方法。

在专利文献1中记载了如下一种特异部探测系统：从利用摄像部拍摄到的对象物的摄像图像中提取包含具有任意特征的特异部的特异部图像，通过以特异部图像为输入的机器学习来识别特异部的类别。

现有技术文献

专利文献

专利文献1：国际公开第2019/003813号

发明内容

发明要解决的问题

作为检测对象的特异部可能具有各种形状。在特异部具有大的形状或形成为长条状的情况下，从摄影图像提取的特异部图像也变大。

然而，如果想要通过机器学习来检测这样的特异部，则会导致生成学习完毕模型所需的学习时间变长。另外，会导致使用学习完毕模型检测特异部所需的运算时间增加。虽然预计这样的问题会通过使用运算能力高的信息处理装置得到解决，但由于导致成本增加，因此在例如线上检查等用途中成为安装于生产线时的弊端。

另外，在特异部图像的尺寸比被设定为要应用机器学习的图像尺寸的图像尺寸大的情况下，不得不以不包含特异部的一部分的方式提取特异部图像，因此导致特异部的检测精度降低这一结果。

因此，为了解决上述问题，本发明的目的在于提供一种在应用了机器学习的图像处理方法中兼顾了检测精度和处理速度的图像处理方法以及图像处理装置。

用于解决问题的方案

本公开所涉及的图像处理方法包括以下步骤：获取多个图像，所述多个图像是拍摄到对象物的图像，所述多个图像各自是拍摄到所述对象物的规定范围的不同部分的图像；针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价。在此，在所述综合评价中，在构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的数量Y1与Y1个所述图像中的在所述个别评价中被评价为包含所述特征的图像的数量X1之比X1/Y1为第一规定值以上的情况下，评价为所述对象物包含检测对象的特异部。

根据这样的图像处理方法，应用使用机器学习获取到的规定的图像处理方法来进行多个图像各自是否包含检测对象的特征的个别评价，并且基于是否在多个图像中的2个以上的图像中包含特征来进行对象物是否包含检测对象的特异部的综合评价，具体地说，基于与规定范围对应的多个图像和构成作为规定范围的一部分的部分范围的多个图像中的至少任一方的图像的数量Y1、以及被评价为包含特征的图像的数量X1，来评价有无特异部。即，基于构成对象物的规定范围或其部分范围的多个图像中的、在个别评价中的表示包含特征的意思的估计得分为规定值以上的图像的多寡，来评价所述对象物是否包含检测对象的特异部。因而，即使在特异部图像的尺寸比被设定为要应用机器学习的图像尺寸的图像尺寸大的情况下，也能够通过利用该图像尺寸进行个别评价并且基于规定范围或部分范围内的包含特征的多个图像的数量进行综合评价，来兼顾学习时间和运算时间的缩短以及比图像尺寸大的特异部的检测。

此外，本公开的“评价”包括以下内容：判断有无特异部或与概率信息一起判断有无特异部、输出与有无特异部有关的概率信息(估计得分)。另外，本公开的“评价”还包括以下内容：在特异部具有多个种类的情况下，输出上述与有无特异部有关的信息和/或与特异部的类别有关的信息。

此外，也可以在上述个别评价和综合评价之前或之后进行不同或相同的评价。例如，也可以在针对规定范围执行了综合评价之后，针对作为规定范围的一部分的部分范围进一步执行一次或多次综合评价。

另外，本公开的一个方式还包括以下步骤：对拍摄所述对象物的规定范围而得到的基础图像进行分割，来生成各自的图像尺寸相同的所述多个图像。

另外，在本公开的一个方式中，在所述综合评价中，在所述比X1/Y1小于所述第一规定值且为比所述第一规定值小的第二规定值以上、且构成第二部分范围的多个图像的数量Y2(<Y1)与Y2个所述图像中的在所述个别评价中被评价为包含所述特征的图像的数量X2之比X2/Y2为第三规定值以上的情况下，评价为所述对象物包含检测对象的特异部，其中，所述第二部分范围为由所述Y1个图像构成的所述规定范围或所述部分范围的一部分。

另外，在本公开的一个方式中，在所述综合评价中，还能够在存在在所述个别评价中被评价为包含所述特征的图像A、且在所述个别评价中评价为在位于所述图像A的周围的所述多个图像中的2个以上的图像中包含所述特征的情况下，评价为所述对象物包含检测对象的特异部。

另外，在本公开的一个方式中，在所述综合评价中，还能够在存在在所述个别评价中被评价为包含所述特征的图像A、且存在位于所述图像A的周围的在所述个别评价中被评价为包含所述特征的图像B、且存在不位于所述图像A的周围而位于所述图像B的周围的在所述个别评价中被评价为不包含所述特征的图像C、且存在不位于所述图像A和所述图像B的周围而位于所述图像C的周围的在所述个别评价中被评价为包含所述特征的图像D、且存在不位于所述图像A、所述图像B以及所述图像C的周围而位于所述图像D的周围的在所述个别评价中被评价为包含所述特征的图像E的情况下，评价为所述对象物包含检测对象的特异部。

本公开公开一种图像处理装置。该图像处理装置具备：图像获取单元，其获取拍摄到对象物的规定范围的不同部分的多个图像；个别评价单元，其针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及综合评价单元，其基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价，其中，所述综合评价单元构成为：在构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的数量Y1与Y1个所述图像中的由所述个别评价单元评价为包含所述特征的图像的数量X1之比X1/Y1为第一规定值以上的情况下，评价为所述对象物包含检测对象的特异部。

根据这样的图像处理装置，能够应用使用机器学习获取到的规定的图像处理方法来进行多个图像各自是否包含检测对象的特征的个别评价，并且基于是否在多个图像中的2个以上的图像中包含特征来进行对象物是否包含检测对象的特异部的综合评价，具体地说，能够基于构成规定范围或作为该规定范围的一部分的部分范围的多个图像的数量Y1以及被评价为包含特征的图像的数量X1来评价有无特异部。因而，即使在特异部图像的尺寸比被设定为要应用机器学习的图像尺寸的图像尺寸大的情况下，也能够通过利用该图像尺寸进行个别评价并且基于规定范围或部分范围内的包含特征的多个图像的数量进行综合评价，来兼顾学习时间和运算时间的缩短以及比图像尺寸大的特异部的检测。

另外，本公开的图像处理装置也可以还包括对拍摄所述对象物的规定范围而得到的基础图像进行分割来生成各自的图像尺寸相同的所述多个图像的单元。

另外，在本公开的一个方式中，所述综合评价单元构成为：在所述比X1/Y1小于所述第一规定值且为比所述第一规定值小的第二规定值以上、且构成第二部分范围的多个图像的数量Y2(<Y1)与Y2个所述图像中的由所述个别评价单元评价为包含所述特征的图像的数量X2之比X2/Y2为第三规定值以上的情况下，评价为所述对象物包含检测对象的特异部，其中，所述第二部分范围为由所述Y1个图像构成的所述规定范围或所述部分范围的一部分。

另外，在本公开的一个方式中，所述综合评价单元也可以构成为：在存在由所述个别评价单元评价为包含所述特征的图像A、且由所述个别评价单元评价为在位于所述图像A的周围的所述多个图像中的2个以上的图像中包含所述特征的情况下，评价为所述对象物包含检测对象的特异部。

另外，在本公开的一个方式中，所述综合评价单元也可以构成为：在存在由所述个别评价单元评价为包含所述特征的图像A、且存在位于所述图像A的周围的由所述个别评价单元评价为包含所述特征的图像B、且存在不位于所述图像A的周围而位于所述图像B的周围的由所述个别评价单元评价为不包含所述特征的图像C、且存在不位于所述图像A和所述图像B的周围而位于所述图像C的周围的由所述个别评价单元评价为包含所述特征的图像D、且存在不位于所述图像A、所述图像B以及所述图像C的周围而位于所述图像D的周围的由所述个别评价单元评价为包含所述特征的图像E的情况下，评价为所述对象物包含检测对象的特异部。

此外，一个图像“位于”另一个图像的“周围”是指在一个图像与另一个图像之间不存在其它图像的位置关系，典型地说，是指处于一个图像与另一个图像的顶点或边相向或共享的位置关系，一个图像不“位于”另一个图像的“周围”是指处于在一个图像与另一个图像之间还存在其它图像的位置关系。

另外，在本公开的一个方式中，所述特异部是所述对象物的缺陷。

另外，本公开的计算机程序包含用于使计算机执行以下操作的命令：获取多个图像，所述多个图像是拍摄到对象物的图像，所述多个图像各自是拍摄到所述对象物的规定范围的不同部分的图像；针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价。在此，在所述综合评价中，在构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的数量Y1与Y1个所述图像中的在所述个别评价中被评价为包含所述特征的图像的数量X1之比X1/Y1为第一规定值以上的情况下，评价为所述对象物包含检测对象的特异部。

计算机程序也可以存储在非临时性(Non-transitory)存储介质中。非临时性存储介质包括非易失性的半导体存储元件。

能够通过使计算机执行这样的计算机程序来发挥与上述图像处理方法同样的效果。

另外，本公开所涉及的图像处理系统具备服务器和上述图像处理装置。服务器存储包含各不相同的种类的特征的第一图像数据组和不包含特征的第二图像数据组来作为机器学习的教师数据。也可以对第一图像数据赋予同一标签。对第二图像数据组赋予与对第一图像数据赋予的标签不同的标签。另外，本公开所涉及的图像处理系统包括以下方式：上述本公开所涉及的计算机程序中包含的执行命令由多个具备处理器和存储器的运算装置协作地执行，所述多个运算装置通过无线或有线以能够相互通信的方式进行了连接。

根据这样的图像处理系统，能够发挥与上述图像处理装置同样的效果。

附图说明

图1是本实施方式所涉及的图像处理系统的功能框图。

图2是示出本实施方式所涉及的图像处理系统的硬件结构的框图。

图3是本实施方式所涉及的图像处理方法的流程图。

图4是示意性地示出针对部分范围的分割图像进行的个别评价的结果的图。

图5示出在本实施方式的变形例所涉及的图像处理方法的综合评价中使用的多个分割图像的位置关系的图案的例子。

图6示出在本实施方式的变形例所涉及的图像处理方法的综合评价中使用的多个分割图像的位置关系的图案的例子。

图7是示出特异部与分割图像的尺寸的关系的图。

具体实施方式

下面，使用附图对本发明的实施方式进行说明。以下的实施方式是用于说明本发明的例示，并非旨在将本发明仅限定于该实施方式。

图1是本实施方式所涉及的图像处理系统10的功能框图。该图像处理系统10是用于判断异物是否混入了收容液体的聚酯瓶(“对象物”的一例)的内部的图像处理系统。但是，如后述那样，本发明能够应用于各种对象物以及各种特异部。

该图像处理系统10具备图像处理装置20，该图像处理装置20具有摄像部12、图像分割部14、个别评价部16以及综合评价部18。并且，图像处理系统10还具备经由网络N与图像处理装置20连接的服务器装置。服务器装置具备用于存储正常样本的图像的数据库DB1和用于存储异常样本的图像的数据库DB2。在本实施方式中，正常样本是指不包含特异部的、换言之对象物没有异常的样本，是属于合格品的样本。另外，异常样本是指包含特异部的、换言之对象物有异常的样本，是属于不合格品的样本。

摄像部12拍摄对象物的一部分或全部，来获取图像(“基础图像”的一例)。摄像部12例如能够由线性传感器或区域传感器等图像传感器等构成。例如，在对象物具有相对于中心轴旋转对称的形状的情况下(具有收容内容物的内部空间的容器等)，通过一边使对象物绕中心轴旋转一边利用线性传感器拍摄侧面，能够获取与对象物的侧面整体(“规定范围”的一例)对应的图像。此外，对象物不限于圆筒形状。在本实施方式的情况下，摄像部12由线性传感器构成，针对5000像素×5000像素的各像素获取具有8位(256灰度)的亮度值的灰度数据来作为对象物的图像。此外，摄像部12也可以获取RGB数据等彩色数据来作为对象物的图像。另外，也可以代替由摄像部12拍摄对象物来获取图像的情况，而从用于存储对象物的图像的数据库等获取对象物的图像。

图像分割部14(“图像获取单元”的一例)将由摄像部12获取到的图像分割为同一尺寸的多个图像，从而获取拍摄到对象物的规定范围的不同部分的多个图像(以下，有时将分割出的各图像称为分割图像。)。分割图像被设定为具有适于使用了机器学习的图像处理方法的尺寸。在此，分割图像的尺寸不需要被设定成包含作为检测对象的特异部可能具有的尺寸，也可以被设定得比特异部可能具有的尺寸小。例如，在规定范围的尺寸为5000像素×5000像素、分割图像的尺寸为75像素×75像素的情况下，图像分割部14获取约4400个分割图像。像这样将分割图像的尺寸设定得较小以适于机器学习，由此与将图像尺寸设定成包含特异部的情况相比，能够缩短机器学习的运算时间。并且，还存在以下的大优点：由于能够使学习所需的图像张数减少，因此能够缩短学习时间同时使异常样本的图像收集变得容易。

个别评价部16针对多个分割图像分别应用使用机器学习获取到的规定的图像处理方法，来进行多个分割图像各自是否包含成为检测对象的特征的个别评价。

在此，特异部是指从形状、亮度以及颜色中的至少一方的观点来看具有与周围的区域不同的特征的部位，特征是特异部本身或特异部的一部分。因此，特征是指从形状、亮度以及颜色中的至少一方的观点来看具有与周围的区域不同的特征的部位。

特异部和特征既可以是缺陷，也可以是人为设定的标记、图案等。与形状有关的特异部及特征是指在形状所具有的特性(例如，体积、面积、高度、粒子直径、长宽比、圆度、轮廓形状等)方面具有与周围的区域不同的特性的部分。同样地，对于亮度而言，是指在明亮度、直方图等与亮度有关的特性方面具有与周围的区域不同的特性的部分，对于颜色而言，是指在色谱、中心波长、最大波长等与颜色有关的特性方面具有与周围的区域不同的特性的部分。

本实施方式中的特异部和特征是在聚酯瓶内部的液体中可能包含的灰尘、人的毛发、气泡以及容器的污垢等。

本实施方式的个别评价部16具备由卷积神经网络构成的学习完毕模型。卷积神经网络具备用于输入分割图像的数据的输入层、用于输出有无特征的输出层以及用于将两层进行结合的中间层。中间层具备卷积层与池化层的多个组合，并具备结合层，其中，该卷积层用于使过滤器滑动并进行计算重复部分的积和作为特征量的卷积运算，来生成具有特征量的图，该池化层用于提取从卷积层输出的二维排列数据的最大值，该结合层用于将内部参数作为权重系数进行结合并向输出层提供评价结果。此外，神经网络除了能够由卷积神经网络(Convolutional Neural Network)构成以外，还能够由RNN(Recurrent NeuralNetwork：递归神经网络)、埃尔曼网络(Elman network)、乔丹网络(Jordan network)、ESN(Echo State Network：回声状态网络)、LSTM(Long Short Term Memory network：长短期记忆网络)、BRNN(Bi-directional RNN：双向神经网络)等构成。另外，输出层输出表示对象的分割图像具有特征的可能性的概率信息(有时也称为“分类概率”。)。但是，作为由输出层进行的输出，既可以输出有无特征这样的2值的结果，也可以按特征的种类进行输出。

服务器装置具备用于存储正常的对象物的样本图像的数据库DB1和用于存储异常的对象物的样本图像的数据库DB2。数据库DB1用于存储不包含特异部的分割图像的数据。在本实施方式中，数据库DB1存储对作为对象物的聚酯瓶的侧面进行摄像而获取到的75像素×75像素的不包含特异部及特征的数据，来作为分割图像的数据。

数据库DB2用于存储包含特异部或特征的第二图像数据组。在本实施方式中，数据库DB2存储对作为对象物的聚酯瓶的侧面进行摄像而获取到的75像素×75像素的包含特异部和特征中的至少任一方的数据，来作为分割图像的数据。在本实施方式中，特异部和特征例如是人的毛发、灰尘、容器的污垢或它们中的一部分。因而，数据库DB2分别存储包含人的毛发的多个分割图像的数据、包含灰尘的多个分割图像的数据、包含容器的污垢的多个分割图像的数据等。

此外，特异部和特征根据检测对象而不同。例如，在气泡为检测对象的情况下，包含气泡的分割图像的数据作为包含特异部和特征的第二图像数据而被存储于数据库DB2。然而，在收容碳酸饮料的聚酯瓶为检测对象物的情况下，气泡不是检测对象，因此包含气泡的分割图像的数据作为包含特异部或特征的第一图像数据而被存储于数据库DB1。

个别评价部16通过将数据库DB1和数据库DB2中存储的分割图像的数据作为教师数据进行学习，来获取包含用于评价有无特征的内部参数的学习完毕模型。内部参数例如是卷积层中的偏置值、结合层中的权重系数等。由于追加教师数据而内部参数发生变动。

本实施方式中的学习完毕模型是构成为输出与在规定的尺寸的输入图像中是否包含特征有关的信息的学习完毕模型。本实施方式中的学习完毕模型是通过使用对多个分割图像的数据分别附加有无特征的标签所得到的教师数据进行机器学习而生成的。此外，学习完毕模型也可以输出与输入图像中是否包含特征有关的信息和/或与特征的类别有关的信息。这样的学习完毕模型是通过使用对多个分割图像的数据分别附加有无特征和/或特征的类别的标签所得到的教师数据进行机器学习而生成的。

个别评价部16针对各分割图像分别应用如上所述的使用机器学习获取到的学习完毕模型，来进行1000个以上的各分割图像是否包含特征的个别评价，从而获取表示有无特征的可能性的概率信息。

综合评价部18基于多个分割图像中的由个别评价部16评价为有可能包含特征的2个以上的分割图像来进行有无特异部的评价。更为具体地说，综合评价部18获取规定范围内的分割图像的数量Y1和由个别评价部16评价为有可能包含特征的分割图像的数量X1，在二者的比即X1/Y1为规定的阈值以上的情况下，评价为对象物包含特异部。

图2是示出用于实现图像处理装置20的硬件结构的框图。如上所述，摄像部12拍摄对象物来获取对象物的规定范围的图像，例如由线性摄像机构成。处理器22执行存储在存储部24中的计算机程序(包含用于进行有无特异部的评价的学习完毕模型。)，从而执行本实施方式所示的各运算处理。因而，处理器22和存储部24协同地作为图像分割部14、个别评价部16以及综合评价部18而发挥功能。处理器22例如由具备多个运算核的ASIC(Application Specific Integrated Circuit：专用集成电路)、GPU(GraphicsProcessing Unit：图形处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)或量子计算机等构成。存储部24存储包含用于执行本实施方式所示的各运算处理的计算机程序(包含用于进行有无特征的评价的学习完毕模型。)的各命令及其它信息。存储部24由NAND闪存、FeRAM、MRAM等能够以电气方式记录和读取信息的非易失性半导体存储元件(非临时性存储元件)或HDD(hard disc drive：硬盘驱动器)等磁存储元件构成。RAM 26由用于暂时存储为了进行本实施方式所示的各运算处理等而使用的数据及其它信息的SRAM(Static Random Access Memory：静态随机存取存储器)和DRAM(Dynamic RandomAccess Memory：动态随机存取存储器)等易失性半导体存储元件构成。显示部28具备用于显示处理器22的运算结果的显示器。运算结果包含个别评价部16和综合评价部18的评价结果。通信I/F部30经由网络N与数据库DB1及数据库DB2连接，能够从数据库DB1和数据库DB2接收信息。输入部32具备用于检查者向图像处理系统10输入信息的键盘等输入设备。这些结构各自经由总线以能够相互间发送和接收数据的方式连接。但是，一部分结构既可以经由网络N远程地设置，也可以与其它结构形成为一体。另外，由处理器22执行的功能的一部分也可以由摄像部12等其它结构来执行。并且，服务器装置也可以具备图2所示的硬件结构。并且，数据库DB1和数据库DB2也可以构成为与图像处理装置20一体地构成的信息处理装置。另外，实现图像处理装置20的图像分割部14、个别评价部16以及综合评价部18的各个信息处理装置也可以与图像处理装置20分离地设置，将它们经由网络N以能够电通信的方式进行连接来构成图像处理系统10。

对使用了如上所述的图像处理系统10的图像处理方法进行说明。图3是本实施方式所示的图像处理方法的流程图。

首先，摄像部12拍摄对象物来获取基础图像(步骤S1)。具体地说，一边使作为对象物的聚酯瓶绕中心轴旋转，一边利用摄像部12的线性摄像机拍摄聚酯瓶的侧面，从而拍摄与规定范围对应的基础图像。在本实施方式中，摄像部12拍摄5000像素×5000像素的图像来作为与规定范围对应的基础图像。另外，在本实施方式中，摄像部12针对5000像素×5000像素的各像素获取具有8位(256灰度)的亮度值的灰度数据来作为基础图像。在此，聚酯瓶的容器具有透光性。因此，摄像部12获取聚酯瓶的容器以及收容在其内部的液体的图像。

接着，图像分割部14将由摄像部12获取到的与聚酯瓶的侧面对应的基础图像分割为75像素×75像素的分割图像，获取1000个以上的分割图像(步骤S2)。

然后，个别评价部16基于使用机器学习生成的学习完毕模型来个别地评价各分割图像，从而评价各分割图像是否包含特征(步骤S3)。

图4是示意地示出针对作为规定范围的一部分的部分范围的分割图像进行的个别评价的结果的图。该图中的部分范围包含在纸面上下方向上为8行、在纸面左右方向上为10列的80个分割图像。另外，各分割图像所示的数值示出了由个别评价部16获取到的表示各分割图像具有特征的可能性的概率信息。在本实施方式中，数值越接近0则具有特征的可能性越高，数值越接近1则具有特征的可能性越低。例如，由于分割图像DI1的概率信息是0.041，因此分割图像DI1不具有特征的概率是4.1％(具有特征的概率是95.9％)。由于分割图像DI2的概率信息是0.444，因此分割图像DI2不具有特征的概率是44.4％(具有特征的概率是55.6％)。

图像处理装置20也可以构成为能够在显示部28中显示各分割图像的概率信息。例如，也可以通过用3个阈值将概率信息分类并构成为能够以区分颜色的方式显示各分割图像，来易于理解地显示被评价为具有特征的分割图像在规定范围内或部分范围内如何分布。此外，用于评价为具有特征的作为基准的阈值能够根据检测对象适当设定。例如，也可以将个别评价部16构成为在不具有特征的概率为90％以上时评价为不具有特征。

被评价为具有特征的原因是多种多样的。例如存在由于噪声而被评价为具有特征的情况。另外，存在由于灰尘、人的毛发等而被评价为具有特征的情况。例如在混入了人的毛发H(图4)的情况下，有时被评价为遍及如分割图像DI3至DI7等那样邻接的多个分割图像地具有特征。

之后，综合评价部18获取规定范围内的分割图像的数量Y1和由个别评价部16评价为有可能包含特征的分割图像的数量X1，并判断作为二者的比的X1/Y1是否为规定的阈值(“第一规定值”的一例)以上(步骤S4)。

例如，在Y1为5000、X1为10的情况下，X1/Y1为0.002。在该值为规定的阈值以上的情况下(“是”)，评价为检测对象物包含特异部(步骤S5)。在该值小于阈值的情况下(“否”)，评价为检测对象物不包含特异部(步骤S6)。

在检测对象物被评价为包含特异部的情况下，显示部28输出该意思的信息，并提示检查者进行目视检查(步骤S7)。此时，显示部28构成为显示被评价为包含特异部或特征的分割图像在规定范围内的位置。通过像这样构成，检查者能够容易地确定被评价为包含特异部或特征的区域。因此，能够减少目视检查时间。此外，图像处理装置20也可以在检测对象物被评价为包含特异部的情况下，将该意思的信息输出到用于对生产线的控制对象物进行控制的控制器(例如PLC：programmable logic controller：可编程逻辑控制器等)，接收到信息的控制器也可以控制生产线，使得将被评价为包含特异部的对象物作为不合格品或不合格品的候选而排出到生产线的体系外。

此外，也可以是，即使在检测对象物被评价为不包含特异部的情况下，也进一步进行目视检查。

另外，也可以在检测对象物大的情况下，针对不同的范围重复执行本实施方式所涉及的包括步骤S1至步骤S7的图像处理方法。另一方面，也可以在特异部为缺陷、且可能发生该缺陷的部位集中于一部分区域的情况下，即使检测对象物大，也针对该区域实施本实施方式所涉及的包括步骤S1至步骤S7的图像处理方法，针对其它区域通过不同的方法(例如目视检查)检查检测对象物。

根据如以上那样的图像处理系统10以及图像处理方法，能够将分割图像的尺寸设定得较小以适于机器学习，因此与以包含特异部的方式将图像尺寸设定得较大的情况相比，能够缩短机器学习的学习时间和运算时间。并且，本申请的发明人着眼于不应该作为特异部或特征进行评价的噪声等跨足于多个分割图像的情况少、而应该作为特异部或特征进行评价的灰尘、人的毛发等跨足于多个分割图像的情况相对较多这一情况，设计出不是基于单个分割图像具有特征而评价为具有特异部、而是基于多个分割图像具有特征而评价为具有特异部的图像处理系统10以及图像处理方法。因此，能够减少由于噪声等而误识别为存在特异部从而进行过度检测的可能性，并且抑制漏看应该作为特异部或特征进行评价的灰尘、人的毛发等，从而提高检测精度。

换言之，也可以说提供了一种通过以特异部跨足于多个分割图像的方式设定分割图像的尺寸从而兼顾了检测精度和处理速度的图像处理系统10以及图像处理方法。

在为大量生产的对象物的情况下，在即使只有其中的1个对象物存在特异部也有可能产生大的问题时，通过使用本实施方式所涉及的图像处理系统10以及图像处理方法以硬要成为比特异部小的尺寸的方式生成分割图像，能够降低特异部的漏看率。

另外，在本实施方式的图像处理方法中，在采用使用通过能够基于教师数据(训练数据)自主地生成针对输入数据的估计规则的机器学习而得到的模型的方法时，通过将像素数少的分割图像用作教师数据，能够实现学习时间的缩短。

特别是如果假定将本实施方式的评价方法安装于生产线并用于产品检查，则为了随机应变地应对作为制造对象的产品的批次变更或型号变更，用于生成学习完毕模型的时间短是优选的。如上所述，通过抑制学习时间的增加，能够实现适合安装于生产线的评价方法。

此外，从进一步提高上述效果的观点来看，作为第一方法，优选使用基于还能够应用于应该与作为制造对象的产品的批次变更或型号变更相应地变更的要素少、而且数据量大的图像处理的规则的图像处理方法。

此外，也可以设为：能够通过一边以通过由摄像部12拍摄的区域的方式移动多个对象物一边进行摄像，来同时拍摄多个对象物。由此，能够有效率地评价多个对象物。此时，也可以将图像处理系统10构成为：通过使对象物一边绕中心轴旋转一边移动，能够评价侧面整体。另外，也可以一边使用摄像部12对第一对象物执行摄像，一边同时使用个别评价部16或综合评价部18对第二对象物执行有无特征或特异部的评价。

[第一变形例]

下面，对第一实施方式的第一变形例进行说明。此外，对于本领域技术人员能够合理地理解在以下记载的变形例中具备与第一实施方式或其它变形例相同或同样的结构这一点，省略或简化说明，以不同的部分为中心进行说明。

第一实施方式所涉及的图像处理装置和图像处理方法针对规定范围，基于构成规定范围的多个图像的数量Y1与Y1个图像中的在个别评价中被评价为包含特征的图像的数量X1之比来进行了综合评价。

第一变形例所涉及的图像处理方法并不是针对规定范围而是针对作为规定范围的一部分的部分范围，基于构成部分范围的多个图像的数量Y1与Y1个图像中的在个别评价中被评价为包含特征的图像的数量X1之比来进行综合评价。

部分范围的尺寸能够适当设定。例如，以包含被假定为检测对象的特异部的尺寸的方式设定部分范围。综合评价部18例如也可以构成为：在典型的特异部的尺寸被包含在16个分割图像(由4行4列的16个分割图像构成的部分范围)中的情况多时，将部分范围设定为由相同的4行4列的16个分割图像构成的部分，在个别评价中被评价为包含特征的图像的数量为4个以上时、即，在Y1为16、X1为4、X1/Y1为0.25以上的情况下，评价为包含特异部。

[第二变形例]

下面，对第一实施方式的第二变形例进行说明。

第二变形例所涉及的图像处理方法进行由第一实施方式中记载的综合评价和第一变形例中记载的综合评价组合而成的评价。

具体地说，综合评价部18也可以构成为：在步骤S4中X1/Y1尽管小于阈值(“否”)但是为比该阈值小的第二阈值(“第二规定值”的一例)以上、且构成作为由Y1个分割图像构成的规定范围的一部分的第二部分范围的多个分割图像的数量Y2(<Y1)与Y2个图像中的在个别评价中被评价为包含特征的图像的数量X2之比X2/Y2为第三阈值(“第三规定值”的一例)的情况下，评价为包含特异部。

通过采用这样的结构，即使在规定范围内的X1小的情况下，也能够捕捉被评价为包含特征的分割图像在一部分区域密集的情况，因此能够抑制特异部的漏看率。

[第三变形例]

下面，对第一实施方式的第三变形例进行说明。

第三变形例所涉及的图像处理方法基于在个别评价中被评价为包含特征的多个分割图像的位置关系的图案来进行综合评价。

在图5中示出多个分割图像的位置关系的图案的例子。在该图中，黑色的单元示出了在分割图像的个别评价(步骤S3)中被评价为包含特征的分割图像，白色的单元示出了被评价为不包含特征的分割图像。

如该图所示，图5的(A)和图5的(B)示出了以下图案：在由3行3列的9个分割图像构成的部分范围内的、位于被评价为包含特征的分割图像中的中心的分割图像(“图像A”的一例)的周围的8个分割图像中，存在2个被评价为包含特征的分割图像。图5的(A)和图5的(B)均示出了在各列(上下方向)上各存在1个被评价为包含特征的分割图像、并且包含在倾斜方向上邻接的2个分割图像的图案，图5的(A)示出了在倾斜方向上3个相连的图案，图5的(B)示出了以中心的分割图像为基准、与1个分割图像倾斜地相连而与另一个分割图像在上下方向或左右方向上相连的图案。

此外，也可以是使图示的图案旋转90度而得到的图案、以及使该图案进行纸面上下对称或纸面左右对称而得到的图案。

综合评价部18也可以构成为：在预先获知了特异部相对于矩阵状排列的分割图像沿倾斜方向延伸的可能性高、如该图所示那样在个别评价中评价为在位于中心的分割图像的周围的8个分割图像中的2个以上的分割图像中包含特征、且至少1个分割图像相对于被评价为包含特征的分割图像位于倾斜方向上的位置的情况下，评价为包含特异部。

此外，综合评价部18也可以构成为在个别评价为其它6个分割图像中不包含特征的情况下评价为包含特异部，综合评价部18还可以构成为即使在个别评价为其它6个分割图像中包含特征的情况下也评价为包含特异部。

优选在特异部为线状且具有比分割图像的尺寸窄的宽度的情况下，如前者那样进行综合评价。另一方面，也可以在尽管特异部为线状但是具有比分割图像的尺寸宽的宽度的情况下，如后者那样进行综合评价。即，优选根据假定的特异部的形状来设定在个别评价中被评价为包含特征的多个分割图像的位置关系的图案。

也可以是，这样的基于在个别评价中被评价为包含特征的多个分割图像的位置关系的图案进行的综合评价在第一实施方式的步骤S4中执行，在X1/Y1为规定的阈值以上、且检测到图5的(A)或图5的(B)等所示的图案时，评价为检测对象物包含特异部。

另外，也可以取而代之地不执行X1/Y1是否为规定的阈值以上这一步骤S4，在个别评价后基于多个分割图像的位置关系的图案来进行评价为检测对象物包含特异部的综合评价。附上这种情况下的图像处理方法。

[第四变形例]

下面，对第一实施方式的第四变形例进行说明。

第四变形例所涉及的图像处理方法与第三变形例的相同点在于，基于在个别评价中被评价为包含特征的多个分割图像的位置关系的图案来进行综合评价。

本申请的发明人着眼于以下方面：即使在第三变形例中记载的情况(在由3行3列的9个分割图像构成的部分范围内的、位于被评价为包含特征的分割图像中的中心的分割图像(“图像A”的一例)的周围的8个分割图像中，存在2个被评价为包含特征的分割图像的情况)以外的情况下，有时也存在特异部。这样的情况是如下的图案：在个别评价中被评价为包含特征的2个分割图像(“图像A”和“图像B”的一例)邻接，在个别评价中被评价为包含特征的其它2个分割图像(“图像D”和“图像E”的一例)邻接，图像A及图像B与图像C及图像D相互不邻接，而隔着在个别评价中被评价为不包含特征的1个分割图像(“图像C”的一例)。

换言之，综合评价部18构成为：在存在在个别评价中被评价为包含特征的图像A、且存在位于图像A的周围的在个别评价中被评价为包含所述特征的图像B、且存在不位于所述图像A的周围而位于所述图像B的周围的在个别评价中被评价为不包含特征的图像C、且存在不位于图像A和图像B的周围而位于图像C的周围的在个别评价中被评价为包含特征的图像D、且存在不位于图像A、图像B以及图像C的周围而位于图像D的周围的在个别评价中被评价为包含特征的图像E的情况下，评价为对象物包含检测对象的特异部。

在图6中例示了这样的图案。此外，关于使图示的图案旋转90度而得到的图案以及使该图案进行纸面上下对称或纸面左右对称而得到的图案，省略记载。在这些附图中，黑色的单元示出了在分割图像的个别评价(步骤S3)中被评价为包含特征的分割图像，白色的单元示出了被评价为不包含特征的分割图像。

在图6的(A)中示出了局部地包含将图像B、图像C以及图像D沿行方向或列方向排列成一条直线的图案的图案。图像A可以是图像A1至图像A3中的任一个。图像E可以是图像E1至图像E3中的任一个。

在图6的(B)中示出了局部地包含如下图案的图案：图像B、图像C以及图像D中的图像B和图像C沿行方向或列方向排列成一条直线，图像D相对于图像C沿倾斜方向配置。图像A可以是图像A1至图像A3中的任一个。图像E可以是图像E1至图像E5中的任一个。

在图6的(C)中示出了局部地包含如下图案的图案：图像B、图像C以及图像D中的图像B和图像D沿行方向或列方向排列在相同位置，图像C相对于图像B和图像D沿倾斜方向配置。图像A可以是图像A1至图像A3中的任一个。图像E可以是图像E1至图像E4中的任一个。

在图6的(D)中示出了局部地包含将图像B、图像C以及图像D沿倾斜方向排列成一条直线的图案的图案。图像A可以是图像A1至图像A5中的任一个。图像E可以是图像E1至图像E5中的任一个。

此外，图6的(E)所示的图案相当于将图6的(B)旋转90度之后左右对称地反转而得到的图案，因此，与图6的(B)的图案实质上相同，因此省略说明。

这样的基于在个别评价中被评价为包含特征的多个分割图像的位置关系的图案进行的综合评价可以与在第一实施方式的步骤S4中执行的X1/Y1为规定的阈值以上这样的评价一起或者独立地执行。

根据如以上那样的图像处理方法以及图像处理装置，即使漏检测了在与图像C相当的分割图像中应该包含的特征，也能够基于其周围的分割图像来检测特异部，因此能够抑制特异部的漏看从而提高检测精度。

[教师数据的生成方法]

下面，对存储在数据库DB1和数据库DB2中的教师数据的生成方法进行说明。

以往，在对具有产生噪声因素的复杂构造的对象物进行官能检查的情况下，为了抑制过度检测而进行了以下操作：对部位的边界部等产生噪声因素的部分进行屏蔽来进行摄像。

然而，如果由于屏蔽而特异部被截断，则特异部的检测性能降低。因此，在本实施方式中，在为了生成教师数据而拍摄由多个部位构成的对象物来获取基础图像时，不利用屏蔽而以包含多个部位及其边界部的方式拍摄对象物的规定范围。在此，多个部位包括由平面构成的一个部位、与之连接的由曲面构成的一个部位、由某种材料构成的一个部件以及与该部件连接并由其它材料构成的另一个部件的情况。

然后，将基础图像分割成多个分割图像来生成教师数据。在数据库DB1中存储不包含特异部的分割图像。在此，这些分割图像在构成包含多个部位及其边界部的规定范围时，不进行滤波处理等用于去除噪声的处理就生成了作为教师数据的分割图像。因此，这些分割图像也有时包含噪声。

之后，在步骤S1中拍摄对象物来获取基础图像时，摄像部12以包含多个部位及其边界部的方式拍摄对象物的规定范围，在步骤S2中基于此来获取分割图像。

然后，在步骤S3中，基于使用机器学习生成的学习完毕模型来个别地评价各分割图像，在评价各分割图像是否包含特征时，学习完毕模型将构成包含多个部位及其边界部的规定范围的分割图像作为教师数据，因此能够高精度地执行构成该规定范围的各分割图像是否包含特征的个别评价。

在数据库DB2中存储包含特异部或特征的分割图像。这些分割图像也构成包含多个部位及其边界部的规定范围。在图7中示出特异部H2至H4的一例以及基于此生成的分割图像的一例。如该图所示，特异部有时比分割图像的尺寸大(换言之，以比一部分特异部小的方式设定分割图像的尺寸)。另外，即使是比分割图像的尺寸小的特异部，特异部也有时会跨足于多个分割图像。通过由本实施方式所示的综合评价部18基于2个以上的分割图像进行综合评价，能够提高这样的特异部的检测精度。

[应用范围]

本公开所涉及的图像处理系统以及图像处理装置能够应用于评价各种对象物。例如，在聚偏二氯乙烯(PVDC)的透明膜的制造工序中，能够用于将透明膜中可能含有的异物、瑕疵、褶皱等检测为特异部。

另外，在平板显示器等用的高分子膜的制造工序中，能够用于将高分子膜中可能含有的异物、瑕疵等检测为特异部。

另外，在玻璃制品等的制造工序中，能够用于将玻璃中可能含有的破裂、瑕疵等检测为特异部。在该情况下，能够对玻璃制品进行照明并进行摄像，利用在特异部处亮度比其它部位的亮度高这一情况来检测特异部。

另外，在色谱的分离膜的制造工序中，能够用于将膜表面的变形、气泡检测为特异部。在该情况下，能够对分离膜进行照明并进行摄像，利用在特异部处亮度比其它部位的亮度低或比其它部位的亮度高这一情况来检测特异部。

另外，本公开只要不脱离本公开的宗旨就能够进行各种变形。例如，能够在本领域技术人员的正常的创作能力范围内将某实施方式中的一部分构成要素追加到其它实施方式中。另外，某实施方式中的一部分构成要素能够置换为其它实施方式中的对应的构成要素。

例如，本公开所涉及的图像处理方法也可以包括以下步骤：

获取多个图像，所述多个图像是拍摄到对象物的图像，所述多个图像各自为拍摄到所述对象物的规定范围的不同部分的图像；

针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及

基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价，

其中，在所述综合评价中，基于在所述个别评价中的构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的位置关系，来评价所述对象物是否包含检测对象的特异部。

例如，本公开所涉及的图像处理装置也可以包括：

获取单元，其获取多个图像，所述多个图像是拍摄到对象物的图像，所述多个图像各自为拍摄到所述对象物的规定范围的不同部分的图像；

个别评价单元，其针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及

综合评价单元，其基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价，

其中，所述综合评价单元构成为：基于在所述个别评价中的构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的位置关系，来评价所述对象物是否包含检测对象的特异部。

在这样的图像处理方法以及图像处理装置中，也可以是，

所述多个图像各自是具有长边和短边的矩形形状的区域的图像，

所述综合评价构成为：在所述个别评价中被评价为包含所述特征的至少2个所述图像在倾斜方向上邻接的情况下，评价为所述对象物包含检测对象的特异部。

附图标记说明

10：图像处理系统；12：摄像部；14：图像分割部；16：个别评价部；18：综合评价部；20：图像处理装置；22：处理器；24：存储部；28：显示部；32：输入部；DB1：数据库；DB2数据库。

Claims (12)

1.一种图像处理方法，其特征在于，包括以下步骤：

获取多个图像，所述多个图像是拍摄到对象物的图像，所述多个图像各自包含所述对象物的规定范围的不同部分；

针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及

基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价，

其中，在所述综合评价中，在构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的数量Y1与Y1个所述图像中的在所述个别评价中被评价为包含所述特征的图像的数量X1之比X1/Y1为第一规定值以上的情况下，评价为所述对象物包含检测对象的特异部。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括以下步骤：

对拍摄所述对象物的规定范围而得到的基础图像进行分割，来生成各自的图像尺寸相同的所述多个图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，

在所述综合评价中，在所述比X1/Y1小于所述第一规定值且为比所述第一规定值小的第二规定值以上、且构成第二部分范围的多个图像的数量Y2与Y2个所述图像中的在所述个别评价中被评价为包含所述特征的图像的数量X2之比X2/Y2为第三规定值以上的情况下，评价为所述对象物包含检测对象的特异部，其中，所述第二部分范围为由所述Y1个图像构成的所述规定范围或所述部分范围的一部分，Y2<Y1。

4.根据权利要求1至3中的任一项所述的图像处理方法，其特征在于，

在所述综合评价中，在存在在所述个别评价中被评价为包含所述特征的图像A、且在所述个别评价中评价为在位于所述图像A的周围的所述多个图像中的2个以上的图像中包含所述特征的情况下，评价为所述对象物包含检测对象的特异部。

5.根据权利要求1至4中的任一项所述的图像处理方法，其特征在于，

在所述综合评价中，在存在在所述个别评价中被评价为包含所述特征的图像A、且存在位于所述图像A的周围的在所述个别评价中被评价为包含所述特征的图像B、且存在不位于所述图像A的周围而位于所述图像B的周围的在所述个别评价中被评价为不包含所述特征的图像C、且存在不位于所述图像A和所述图像B的周围而位于所述图像C的周围的在所述个别评价中被评价为包含所述特征的图像D、且存在不位于所述图像A、所述图像B以及所述图像C的周围而位于所述图像D的周围的在所述个别评价中被评价为包含所述特征的图像E的情况下，评价为所述对象物包含检测对象的特异部。

6.根据权利要求1至5中的任一项所述的图像处理方法，其特征在于，

所述特异部是所述对象物的缺陷。

7.一种图像处理装置，其特征在于，具备：

图像获取单元，其获取拍摄到对象物的规定范围的不同部分的多个图像；

个别评价单元，其针对所述多个图像分别应用使用机器学习获取到的规定的图像处理方法，来进行所述多个图像各自是否包含检测对象的特征的个别评价；以及

综合评价单元，其基于是否在所述多个图像中的2个以上的图像中包含所述特征，来进行所述对象物是否包含检测对象的特异部的综合评价，

其中，在构成所述规定范围或作为所述规定范围的一部分的部分范围的所述多个图像的数量Y1与Y1个所述图像中的由所述个别评价单元评价为包含所述特征的图像的数量X1之比X1/Y1为第一规定值以上的情况下，所述综合评价单元评价为所述对象物包含检测对象的特异部。

8.根据权利要求7所述的图像处理装置，其特征在于，

还包括对拍摄所述对象物的规定范围而得到的基础图像进行分割来生成各自的图像尺寸相同的所述多个图像的单元。

9.根据权利要求7或8所述的图像处理装置，其特征在于，

所述综合评价单元构成为：

在所述比X1/Y1小于所述第一规定值且为比所述第一规定值小的第二规定值以上、且构成第二部分范围的多个图像的数量Y2与Y2个所述图像中的由所述个别评价单元评价为包含所述特征的图像的数量X2之比X2/Y2为第三规定值以上的情况下，评价为所述对象物包含检测对象的特异部，其中，所述第二部分范围为由所述Y1个图像构成的所述规定范围或所述部分范围的一部分，Y2<Y1。

10.根据权利要求7至9中的任一项所述的图像处理装置，其特征在于，

所述综合评价单元构成为：

在存在由所述个别评价单元评价为包含所述特征的图像A、且由所述个别评价单元评价为在位于所述图像A的周围的所述多个图像中的2个以上的图像中包含所述特征的情况下，评价为所述对象物包含检测对象的特异部。

11.根据权利要求7至10中的任一项所述的图像处理装置，其特征在于，

所述综合评价单元构成为：

在存在由所述个别评价单元评价为包含所述特征的图像A、且存在位于所述图像A的周围的由所述个别评价单元评价为包含所述特征的图像B、且存在不位于所述图像A的周围而位于所述图像B的周围的由所述个别评价单元评价为不包含所述特征的图像C、且存在不位于所述图像A和所述图像B的周围而位于所述图像C的周围的由所述个别评价单元评价为包含所述特征的图像D、且存在不位于所述图像A、所述图像B以及所述图像C的周围而位于所述图像D的周围的由所述个别评价单元评价为包含所述特征的图像E的情况下，评价为所述对象物包含检测对象的特异部。

12.根据权利要求7至11中的任一项所述的图像处理装置，其特征在于，

所述特异部是所述对象物的缺陷。

Images