CN111656398A - 图像处理设备、图像处理方法和记录介质 - Google Patents

Abstract

提供了一种图像处理设备，图像处理方法和记录介质，利用它们可以在降低图像中的个别差异的影响的同时确定异常。该图像处理设备被提供有：第一生成单元，用于使用包括待检查对象的检查图像的一部分，生成至少包括待检查对象的规定区域的第一猜测图像；第二生成单元，用于使用检查图像的一部分，猜测第一猜测图像和检查图像之间的差异并且生成第二猜测图像；比较单元，用于将第一猜测图像与检查图像比较；以及输出单元，用于输出由比较单元进行的比较的结果，该比较单元将第一猜测图像和检查图像之间的差异与第二猜测图像比较。

Description

图像处理设备、图像处理方法和记录介质

技术领域

本发明涉及一种图像处理装置、图像处理方法和存储介质。

背景技术

专利文献1公开了一种分离输入医学图像异常成分的图像成分分离装置。专利文献1公开的图像成分分离装置，从表示主体预定结构的输入医学图像中，生成表示主体结构的正常结构的正常图像。然后，计算输入医学图像与正常图像之间的差异，以分离输入医学图像中的异常成分。

引用列表

PTL1:日本专利No.4895204

发明内容

然而，专利文献1中公开的图像成分分离装置从表示主体预定结构的整个输入医学图像中生成正常图像。因此，在专利文献1中公开的图像成分分离装置中，由于生成的正常图像可能会受到整个输入医学图像的影响，由此异常成分的分离可能会受到输入医学图像个别差异的显著影响。

鉴于上述问题，本发明的目的是提供一种图像处理装置、图像处理方法和存储介质，能在降低图像个别差异影响的同时，区分异常。

根据本发明的一个方面的示例，提供了一种图像处理装置，包括：第一生成单元，该第一生成单元通过使用包括检查对象的检查图像的一部分，生成至少包括检查对象的预定区域的第一估计图像；第二生成单元，该第二生成单元通过使用检查图像的一部分，估计第一估计图像和检查图像之间的差异，以生成第二估计图像；比较单元，该比较单元将第一估计图像与检查图像比较；以及输出单元，该输出单元输出由比较单元获得的比较结果，以及比较单元将第一估计图像和检查图像之间的差异与第二估计图像比较。

根据本发明的另一个方面的示例，提供了一种图像处理方法，包括：通过使用包括检查对象的检查图像的一部分，生成至少包括检查对象的预定区域的第一估计图像的第一生成步骤；通过使用检查图像的一部分，估计第一估计图像与检查图像之间的差异，以生成第二估计图像的第二生成步骤；将第一估计图像与检查图像比较的比较步骤；以及输出由比较步骤获得的比较结果的输出步骤，并且比较步骤将第一估计图像和检查图像之间的差异与第二估计图像比较。

根据本发明的另一个方面的示例，提供了一种存储介质，该存储介质存储程序，该程序使计算机执行图像处理方法，该图像处理方法包括：通过使用包括检查对象的检查图像的一部分，生成至少包括检查对象的预定区域的第一估计图像的第一生成步骤；通过使用检查图像的一部分，估计第一估计图像与检查图像之间的差异，以生成第二估计图像的第二生成步骤；将第一估计图像与检查图像比较的比较步骤；以及输出由比较步骤获得的比较结果的输出步骤，并且比较步骤将第一估计图像和检查图像之间的差异与第二估计图像比较。

根据本发明的另一个方面的示例，提供了一种图像处理装置，包括：第一生成单元，该第一生成单元通过使用包括物体的第一图像的一部分，生成至少包括物体的预定区域的第二估计图像；第二生成单元，该第二生成单元通过使用第一图像的一部分，估计第二图像与第一图像之间的差异，以生成第三图像；比较单元，该比较单元将第二图像与第一图像比较；以及输出单元，该输出单元输出由比较单元获得的比较结果，并且比较单元将第二图像和第一图像之间的差异与第三图像比较。

根据本发明，能在降低图像个别差异影响的同时高精度地区分异常。

附图说明

图1是示出根据本发明的一个示例实施例的图像处理装置的功能配置框图。

图2是示出根据本发明的一个示例实施例的图像处理装置的硬件配置示例框图。

图3是示出根据本发明的一个示例实施例的图像处理装置操作中的片(patch)切割步骤流程图。

图4是示出根据本发明的一个示例实施例的图像处理装置操作中的片切割步骤示意图(1)。

图5是示出了根据本发明的一个示例实施例的图像处理装置操作中的片切割步骤示意图(2)。

图6是示出了根据本发明的一个示例实施例的图像处理装置操作中的片切割步骤示意图(3)。

图7是示出根据本发明的一个示例实施例的图像处理装置操作中的正常图像学习步骤流程图。

图8是示出了根据本发明的一个示例实施例的图像处理装置操作中的正常图像学习步骤示意图(1)。

图9是示出了根据本发明的一个示例实施例的图像处理装置操作中的正常图像学习步骤示意图(2)。

图10是示出根据本发明的一个示例实施例的图像处理装置操作中的正常图像生成步骤流程图。

图11是示出根据本发明的一个示例实施例的图像处理装置操作中的正常图像生成步骤示意图。

图12是示出根据本发明的一个示例实施例的图像处理装置操作中的差异图像学习步骤流程图。

图13是示出根据本发明的一个示例实施例的图像处理装置操作中的差异图像学习步骤示意图。

图14是示出根据本发明的一个示例实施例的图像处理装置操作中的缺陷物品检测步骤流程图。

图15是示出根据本发明的一个示例实施例的图像处理装置操作中的缺陷物品检测步骤示意图(1)。

图16是示出根据本发明的一个示例实施例的图像处理装置操作中的缺陷物品检测步骤示意图(2)。

图17是示出根据本发明的一个示例实施例的图像处理装置操作中，在缺陷物品检测步骤中固定阈值时示意图。

图18是示出根据本发明的一个示例实施例的图像处理装置操作中，在缺陷物品检测步骤中，正常图像的像素值可能采取的阈值和范围值之间的关系示意图(1)。

图19是示出根据本发明的一个示例实施例的图像处理装置操作中，在缺陷物品检测步骤中，正常图像的像素值可能采取的阈值和范围值之间的关系示意图(2)。

图20是示出根据本发明的一个示例实施例改进的图像处理装置的功能配置框图。

图21是示出根据本发明的另一示例实施例的图像处理装置的功能配置框图。

图22是示出根据本发明的又一示例实施例的图像处理装置的功能配置框图。

具体实施方式

将参照图1至图20来描述根据本发明的一个示例实施例的一种图像处理装置和图像处理方法。

首先，将参照图1和图2来描述根据本示例实施例的图像处理装置的配置。图1是示出根据本示例实施例的图像处理装置的功能配置框图。图2是示出根据本示例实施例的图像处理装置的硬件配置框图。

在本示例实施例中，将对图像处理装置处理包括检查对象物品为检查对象的检查图像，从而判断检查对象物品是正常物品还是缺陷物品，并执行检查以检测缺陷物品，作为一个将描述为异常情况的示例。需要注意的是，根据本示例实施例的图像处理装置不仅可以广泛地用于执行检查以检测缺陷物品，而且可以用于检测物体的异常。

如图1所示，根据本示例实施例的图像处理装置100具有学习数据存储单元10、片切割单元12和片处理数据存储单元14。进一步地，图像处理装置100具有正常图像学习单元16和正常图像学习模型存储单元18。进一步地，图像处理装置100具有检测数据存储单元20、正常图像生成单元22和生成的正常数据存储单元24。

进一步地，根据本示例实施例的图像处理装置100具有差异计算单元26、差异图像学习单元28、差异图像学习模型存储单元30、差异图像生成单元32、阈值设置单元34和缺陷物品检测单元36。

学习数据存储单元10存储学习图像，用于由正常图像学习单元16执行学习。该学习图像是包括检查对象物品的正常物品的图像，即，表示检查对象物品的正常状态的图像。

片切割单元12从学习数据存储单元10读取学习图像数据，并对学习图像执行片切割步骤。即，片切割单元12从学习图像中切割出作为片图像的片尺寸图像。进一步地，片切割单元12从片图像中切割出中心部分的图像作为中心图像。该中心图像包括至少一个检查对象物品的预定区域。片切割单元12输出一对中心切除的片图像，该中心图像是已从该片图像中切割出的片图像，和其中心图像相互关联为图像对。片切割单元12将学习图像的图像对输出存储在片处理数据存储单元14中。

进一步地，片切割单元12从检查数据存储单元20读取检查图像数据，并与学习图像的情况一样，对检查图像执行片切割处理。片切割单元12与学习图像的情况一样，作为检查图像的图像对，将一对去中心片图像和其中心图像相互关联地输出。片切割单元12将输出的检查图像的图像对存储在片处理数据存储单元14中。

片处理数据存储单元14存储由片切割单元12输出的学习图像的图像对。进一步地，片处理数据存储单元14存储由片切割单元12输出的检查图像的图像对。

正常图像学习单元16从片处理数据存储单元14读取学习图像的图像对，并通过使用读取的图像对来创建学习模型。正常图像学习单元16以去中心片图像作为学习数据，并以学习图像的图像对中的中心图像中心图像作为训练数据来进行学习。从而，正常图像学习单元16创建正常图像学习模型，该正常图像学习模型是用于从去中心片图像中还原中心图像的学习模型。正常图像学习单元16将创建的正常图像学习模型存储在正常图像学习模型存储单元18中。

正常图像学习模型存储单元18存储经训练的正常图像学习模型，该正常图像学习模型是正常图像学习单元16执行学习的结果。

检查数据存储单元20存储检查图像。该检查图像是包括检查对象物品为检查对象的图像。检查对象物品不是特别限定的。根据本示例实施例的图像处理装置可以将任何对象例如完整的物品或部件定义为检查对象物品。

正常图像生成单元22作为第一生成单元发挥作用，其从学习图像或检查图像的图像对中的去中心片图像中，估计出作为其中心部分的中心图像，并将由去中心片图像估计出的估计图像生成为正常图像。该正常图像包括检查图像或学习图像中包括的检查对象物品的至少一个预定区域。正常图像生成单元22从片处理数据存储单元14读取学习图像或检查图像的图像对中的去中心片图像。正常图像生成单元22从读取的去中心片图像估计中心图像，并将其生成为正常图像。

当生成正常图像，即估计图像时，正常图像生成单元22从正常图像学习模型存储单元18读取经训练的正常图像学习模型。正常图像生成单元22通过使用读取的正常图像学习模型，从作为检查图像或学习图像中的片图像的一部分的去中心片图像中估计中心图像，并将估计的估计图像生成为正常图像。正常图像生成单元22将生成的正常图像存储在生成的正常数据存储单元24中。

以这样的方式，正常图像生成单元22通过使用作为检查图像或学习图像的片图像的一部分的去中心片图像来估计和生成正常图像。为学习图像生成的正常图像被用于后述的阈值设置。进一步地，为检查图像生成的正常图像被用于后述的缺陷检测。

生成的正常数据存储单元24存储由正常图像生成单元22生成的正常图像。

差异计算单元26计算由正常图像生成单元22从学习图像的图像对中的去中心片图像生成的正常图像，和与去中心片图像配对形成图像对的中心图像之间的差异。从而，对于学习图像，差异计算单元26生成差异图像，其中，中心图像与正常图像之间的每个像素的像素值之差的绝对值为像素值。需要注意的是，由差异计算单元26执行的差异计算方法与后述的缺陷物品检测单元36执行的差异计算方法相同。

差异图像学习单元28通过使用由差异计算单元26生成的差异图像，和用于估计从该差异图像生成的正常图像的去中心片图像来创建学习模型。差异图像学习单元28通过使用去中心片图像作为学习数据和使用差异图像作为训练数据来进行学习。从而，差异图像学习单元28创建差异图像学习模型，该学习模型是从去中心片图像还原差异图像的学习模型。差异图像学习单元28将创建的差异图像学习模型存储在差异图像学习模型存储单元30中。

差异图像学习模型存储单元30存储经训练的差异图像学习模型，该差异学习模型是差异图像学习单元28执行学习的结果。

差异图像生成单元32作为第二生成单元，从检查图像的图像对中的去中心片图像估计并生成差异图像。差异图像生成单元32从片处理数据存储单元14读取检查图像的图像对中的去中心片图像。差异图像生成单元32从读取的去中心片图像估计并生成差异图像。当生成作为估计图像的差异图像时，差异图像生成单元32从差异图像学习模型存储单元30读取经训练的差异图像学习模型。差异图像生成单元32使用读取的差异图像学习模型，从作为检查图像中的片图像的一部分的去中心片图像中估计和生成差异图像。

阈值设置单元34根据由差异图像生成单元32生成的差异图像，设置用于缺陷物品检测单元36中的缺陷检测的阈值。阈值设置单元34可以将差异图像的每个像素值，例如，设置为每个像素的阈值。进一步地，阈值设置单元34可以将差异图像的每个像素值乘以恒定的乘数系数并加上余量所得到的值，例如，设置为每个像素的阈值。

缺陷物品检测单元36作为比较单元，其将检查图像的图像对中的中心图像与由其去中心片图像生成的正常图像比较，并根据阈值设置单元34设置的阈值检测缺陷。而且，缺陷物品检测单元36作为输出单元，输出缺陷的检测结果。进一步地，缺陷物品检测单元36作为确定单元起作用，其根据检测结果确定包含在检查图像中的检查对象物品是正常物品还是缺陷物品。

缺陷物品检测单元36从片处理数据存储单元14中读取检查图像的图像对中的中心图像。进一步地，缺陷物品检测单元36从生成的正常数据存储单元24中读取图像对中的去中心片图像生成的正常图像。缺陷物品检测单元36计算每个读取的中心图像和正常图像之间的差异。因此，对于检查图像，缺陷物品检测单元36生成差异图像，其中，中心图像和正常图像之间以像素为基础的像素值的差异的绝对值为像素值。

缺陷物品检测单元36将为检查图像生成的差异图像与由差异图像生成单元32生成的差异图像比较。更具体地，缺陷物品检测单元36将为检查图像生成的差异图像的像素值与由阈值设置单元34设置的以像素为基础的阈值比较，并检测检查图像的中心图像中的缺陷像素。缺陷物品检测单元36根据检测到的缺陷像素，确定检查对象的质量，即检查图像中包含的检查对象物品是正常物品还是缺陷物品，确定并检测出属于异常的缺陷物品。

缺陷物品检测单元36输出缺陷物品的检测结果。检测结果的输出方法并不特别限定，可以使用各种方法。例如，缺陷物品检测单元36可以用显示装置显示检测结果，将检测结果作为语音从音频输出装置输出，并将检测结果存储在存储装置的数据库中。

上述的图像处理装置100是由，例如，计算机装置构成的。将参照图2描述该图像处理装置100的硬件配置的示例。需要注意的是，图像处理装置100可以由单个装置构成，也可以由通过有线或无线连接的两个或多个物理分离的装置构成。

如图2所示，图像处理装置100具有中央处理单元(CPU)1002、只读存储器(ROM)1004、随机存取存储器(RAM)1006和硬盘驱动器(HDD)1008。进一步地，图像处理装置100具有输出装置1010和输入装置1012。CPU1002、ROM1004、RAM1006、HDD1008、输出装置1010和输入装置1012连接到公共总线1014。

CPU1002控制图像处理装置100的整体运行。进一步地，CPU1002执行程序，以实现上述片切割单元12、正常图像学习单元16、正常图像生成单元22、差异计算单元26、差异图像学习单元28、差异图像生成单元32、阈值设置单元34以及缺陷物品检测单元36的各单元的功能。CPU1002通过将存储在HDD1008等中的程序加载到RAM1006中，并执行该程序，以实现片切割单元12、正常图像学习单元16和正常图像生成单元22的各单元的功能。进一步地，CPU1002通过将存储在HDD1008等中的程序加载到RAM1006中并执行程序，实现差异计算单元26、差异图像学习单元28、差异图像生成单元32、阈值设置单元34以及缺陷物品检测单元36的各单元的功能。

需要注意的是，片切割单元12、正常图像学习单元16、正常图像生成单元22、差异计算单元26、差异图像学习单元28、差异图像生成单元32、阈值设置单元34和缺陷物品检测单元36可以分别由电路实现。本文中，电路是一个概念上的术语，包括单个装置、多个装置、芯片组或云。

在ROM1004中存储着诸如引导程序的程序。当CPU1002执行程序时，RAM1006被用作工作区域。进一步地，由CPU1002执行的程序被存储在HDD1008中。

进一步地，HDD1008是实现上述学习数据存储单元10、片处理数据存储单元14、正常图像学习模型存储单元18、生成的正常数据存储单元24以及差异图像学习模型存储单元30的各单元功能的存储装置。需要注意的是，实现学习数据存储单元10、片处理数据存储单元14、正常图像学习模型存储单元18、生成的正常数据存储单元24和差异图像学习模型存储单元30的各单元功能的存储装置不限于HDD1008。可以使用各种存储装置来实现各单元的功能。

输出装置1010是输出由缺陷物品检测单元36执行的检测结果的装置，例如，可以是显示装置或音频输出装置。

输入装置1012，例如，可以是键盘、鼠标等。进一步地，输入装置1012可以是嵌入在作为输出装置1010的显示装置中的触摸屏。图像处理装置100的操作者可以通过输入装置1012对图像处理装置100进行设置，或者可以输入执行处理指令。

需要注意的是，图像处理装置100的硬件配置不限于上述配置，可以使用各种配置。

下一步，将参照图3至图16进一步描述根据上述示例实施例的图像处理装置100的操作。当操作时，根据本示例实施例的图像处理装置100执行图像处理方法。

根据本示例实施例的图像处理装置100操作，包括片切割步骤(见图3)、正常图像学习步骤(见图7)和正常图像生成步骤(见图10)。进一步地，图像处理装置100的操作包括差异图像学习步骤(见图12)和缺陷物品检测步骤(见图14)。片切割步骤由片切割单元12执行。正常图像学习步骤由正常图像学习单元16执行。正常图像生成步骤由正常图像生成单元22执行。差异图像学习步骤由差异图像学习单元28执行。缺陷物品检测步骤由缺陷物品检测单元36执行。

首先，将参照图3至图6描述根据本示例实施例的图像处理装置100的操作中的片切割步骤。图3是示出根据本示例实施例的图像处理装置100的操作中的片切割步骤的流程图。图4至图6是示出根据本示例实施例的图像处理装置100的操作中的片切割步骤的示意图。

由片切割单元12执行的片切割步骤执行从图像中切割片图像、去除片图像中心部分的图像等。片切割步骤对每一个学习图像和检查图像执行。

首先，如图3所示，在步骤S101中，片切割单元12读取要执行片切割步骤的图像的数据。当对学习图像执行片切割步骤时，片切割单元12从学习数据存储单元10读取学习图像。另一方面，当对检查图像执行片切割步骤时，片切割单元12从检查数据存储单元20读取图像数据。

下一步，在步骤S102中，片切割单元12对步骤S101中读取的图像执行片切割处理。如图4所示，步骤S101中读取的图像IM包括检查对象物品T，该图像IM为学习图像或检查图像。当图像IM是学习图像时，图像IM中包括的检查对象物品T是正常物品。当图像IM为检查图像时，图像IM中包括的检查对象物品T为待确定是正常物品还是缺陷物品的物品。

在片切割过程中，如图4所示，片切割单元12从读取的图像IM中切割出具有预设片尺寸的矩形图像作为片图像IMp，例如从图像IM的左上方切割。需要注意的是，用于切割片图像IMp的片尺寸，可以在比图像IM小的尺寸范围内，根据检测所需的精度等进行适当设置。

进一步地，在片切割过程中，如图5所示，片切割单元12从切割后的片图像IMp的中心部分切割出并去除具有预设尺寸的矩形图像。以这样的方式，片切割单元12创建去中心片图像IMr，其是已去除中心部分的图像的框形片图像IMp，并创建中心图像IMc，该中心图像是从片图像IMp的中心部分切割出来的图像。在执行片切割处理之前得到的片图像IMp包括作为第一区域的中心被去除的片图像IMr和作为第二区域的中心图像IMc，其可以认为是由这两种图像形成的。需要注意的是，中心图像IMc被切出的尺寸可以根据检测所需的精度等，在比片图像IMp更小的尺寸范围内适当设置。

如图6所示，然后，片切割单元12以与上述相同的方式，从图像IM中,在滑动方向上移动了预设的滑动尺寸的位置，切割出片图像IMp，并创建去中心片图像IMr和中心图像IMc。需要注意的是，可以设置滑动尺寸为等于或小于滑动方向上的片尺寸的宽度，以便切割出片图像IMp。

片切割单元12在切割出片图像IMp之前，对图像IM的整个区域反复执行上述图4至图6所示的操作，并创建图像对，该图像对是一对图像IM的中心切除的片图像IMr和中心图像IMc。

需要注意的是，虽然在上述说明中，片图像IMp和中心图像IMc均为矩形，但其形状并不限于矩形等四边形。片图像IMp和中心图像IMc的形状可以是除了四边形以外，例如圆形或三角形等任何能够用于创建作为周边图像的一对中心除去片图像IMr和中心图像IMc的形状。片图像IMp和中心图像IMc的形状不需要是相同的图像，也可以彼此不同。

进一步地，虽然在上述说明中，从片图像IMp的中心部分切割出图像，但当从片图像IMp中切割出预设尺寸的图像时，从片图像IMp中切割出图像的区域不限于中心部分。也就是说，片切割单元12可以切割出片图像IMp的一部分，并创建作为片图像IMp的一部分的部分图像而不是中心图像IMc。当创建作为片图像IMp的一部分的部分图像而不是中心图像IMc时，除了使用部分图像而不是中心图像IMc之外，应用相同的处理。

下一步，在步骤S103中，片切割单元12在片处理数据存储单元14中存储图像对，该图像对是在步骤S102中为图像IM创建的去中心片图像IMr和中心图像IMc。

如上所述，片切割单元12分别执行学习图像和检查图像的片切割步骤。需要注意的是，用于学习图像的片切割步骤是在学习步骤之前执行的。另一方面，只要在正常的图像生成步骤之前执行片切割步骤，就可以在学习步骤之前执行或在学习步骤之后执行检查图像的片切割步骤。

下一步，将参照图7至图9来描述根据本示例实施例的图像处理装置100的操作中的正常图像学习步骤。图7是示出根据本示例实施例的图像处理装置100的操作中的正常图像学习步骤流程图。图8和图9是示出根据本示例实施例的图像处理装置100的操作中的正常图像学习步骤示意图。

由正常图像学习单元16执行的正常图像学习步骤是在对学习图像的片切割步骤之后执行的。正常图像学习步骤通过使用已执行片切割步骤的学习图像数据执行监督机器学习，并创建学习模型。

首先，如图7所示，在步骤S201中，正常图像学习单元16从片处理数据存储单元14读取用于监督机器学习的学习数据。这里，由正常图像学习单元16读取的学习数据是图像对的数据，该图像对是去中心片图像和为学习图像创建的中心图像。

下一步，在步骤S202中，正常图像学习单元16执行学习处理，在该学习处理中，以去中心片图像作为学习数据，以及以从步骤S201中读取的图像对中的中心图像作为训练数据，执行学习。正常图像学习单元16通过使用去中心片图像和为学习图像创建的中心图像来训练学习模型，该中心图像是表示检查对象物品的正常状态的图像。

图8和图9示出了由正常图像学习单元16在步骤S202中执行的学习的视图。如图8所示，正常图像学习单元16创建正常图像学习模型Mn，该学习模型是通过从学习数据的去中心片图像IMr还原作为训练数据的中心图像IMc，生成用于估计中心图像IMc的估计图像。在此，作为创建正常图像学习模型Mn的方案，正常图像学习单元16可以使用例如自动编码器等能够再现输入的方案。进一步地，正常图像学习单元16可以使用深度学习等作为学习方案执行机器学习。如图9所示，对于作为学习图像的图像IM，正常图像学习单元16通过使用从切割后的片图像IMp创建的去中心片图像IMr和中心图像IMc的多个图像对，执行创建正常图像学习模型Mn的学习。以这样的方式，创建通过使用针对学习图像创建的中心去除片图像IMr和中心图像IMc来而被训练的正常图像学习模型Mn，该图像是表示检查对象物品的正常状态的图像。

下一步，在步骤S203中，正常图像学习单元16将步骤S202中创建的经训练的正常图像学习模型存储在正常图像学习模型存储单元18中。

如上所述，正常图像学习单元16从作为片图像的一部分的去中心片图像中,创建用于还原作为片图像的另一部分的中心图像的学习模型。正常图像学习单元16可以通过在后面所述的正常图像生成步骤之前执行学习步骤来创建正常图像学习模型，并将创建的正常图像学习模型预先存储在正常图像学习模型存储单元18中。

总之，在深度学习等机器学习中，需要大量的正确答案数据来实现高精度。在区分正常物品和缺陷物品时，需要收集足够多的正常物品和缺陷物品的数据作为正确答案数据。但是，在实际实施中，很难充分收集缺陷物品的数据。

另一方面，在本示例实施例中，由于机器学习是通过使用从学习图像中创建的去中心片图像和中心图像来执行的，该中心图像是包括检查对象物品的正常物品的图像，因此不需要准备包括检查对象物品的缺陷物品的图像作为学习图像。因此，根据本示例实施例，由于能够容易地准备足够数量的学习数据，因此可以容易地创建学习模型。

下一步，将参照图10和图11来描述根据本示例实施例的图像处理装置100的操作中的正常图像生成步骤。图10是示出根据本示例实施例的图像处理装置100的操作中的正常图像生成步骤的流程图。图11是示出根据本示例实施例的图像处理装置100的操作中的正常图像生成步骤的示意图。

由正常图像生成单元22执行的正常图像生成步骤使用学习模型和学习图像或检查图像的去中心片图像来生成正常图像，该正常图像是用于估计学习图像或检查图像的中心图像的估计图像。为学习图像生成的正常图像用于阈值设置。为检查图像生成的正常图像用于缺陷检测。

首先，如图10所示，在步骤S301中，正常图像生成单元22从片处理数据存储单元14读取用于生成正常图像的对象数据。在此，由正常图像生成单元22读取的对象数据是在片切割步骤中从学习数据存储单元10的学习图像数据或检查数据存储单元20的检查图像数据中生成的去中心片图像数据。正常图像生成单元22将由片切割单元12为学习图像或检查图像创建的图像对中的去中心片图像，作为要输入到学习模型的图像。

下一步，在步骤S302中，正常图像生成单元22从正常图像学习模型存储单元18读取经训练的学习模型。注意，步骤S301和步骤S302可以在不同的时间执行，也可以同时执行。

下一步，在步骤S303中，正常图像生成单元22使用步骤S302中读取的学习模型，通过使用步骤S301中读取的去中心片图像生成正常图像。正常图像生成单元22使用学习模型，从步骤S301中读取的学习图像或检查图像的中心去除片图像中估计并生成，检查对象物品为正常物品的实例中的中心图像，作为正常图像。

图11示出了在步骤S303中由正常图像生成单元22执行的生成检查图像的正常图像的视图。如图11所示，正常图像生成单元22将从切割后的片图像IMp生成的去中心片图像IMr作为，作为检查图像的图像IM的正常图像学习模型Mn的输入。正常图像生成单元22，作为输入去中心片图像IMr的正常图像学习模型Mn的输出，生成正常图像IMn，该正常图像IMn是估计检查对象物品为正常物品的实例中的中心图像IMc的图像。需要注意的是，作为检查图像的图像IM中包含的检查对象物品T可能具有划痕等缺陷D。进一步地，对于学习图像，也可以以与图11所示的检查图像的相同方式生成正常图像。

下一步，在步骤S304中，正常图像生成单元22将步骤S303中创建的正常图像存储在生成的正常数据存储单元24中。

如上所述，正常图像生成单元22使用学习模型为从学习图像或检查图像创建的多个去中心片图像中的每一个生成正常图像。

作为一种检测缺陷物品的方法，在不使用机器学习的实例中，准备正常物品的模板，以根据模板与检查图像的差异来检测缺陷物品的方案。但是，在这样的使用模板的方法中，缺陷物品的检测可能会受到检查对象物品的个别差异，即检查图像的个别差异的影响。

相反地，在本示例实施例中，从检查图像中的去中心片图像估计并生成正常图像，并根据估计的正常图像检测缺陷物品。因此，在本示例实施例中，与使用正常物品的模板的情况不同，能够实现对高鲁棒性缺陷物品的检测。

进一步地，在本示例实施例中，如后文所述，设置了用于缺陷检测的阈值，因此，即使在正常物品的图像有变化的实例中，也能高精度地检测出缺陷物品。

下一步，将参照图12和图13来描述根据本示例实施例的图像处理装置100的操作中的差异图像学习步骤。图12是示出根据本示例实施例的图像处理装置100的操作中的差异图像学习步骤的流程图。图13是示出根据本示例实施例的图像处理装置100的操作中的差异图像学习步骤的示意图。

由差异图像学习单元28执行的差异图像学习步骤是在生成学习图像的正常图像步骤之后执行的。差异图像学习步骤通过执行，使用已经执行了片切割步骤的学习图像的数据和由差异计算单元26生成的差异图像的数据的监督机器学习，来创建学习模型。

首先，如图12所示，在步骤S401中，差异计算单元26在差异图像学习单元28中生成用于机器学习的差异图像。在差异图像的生成中，差异计算单元26计算，由正常图像生成单元22从用于学习图像的图像对中的去中心片图像生成的正常图像和去中心片图像配对形成图像对的中心图像之间的差异。从而，差异计算单元26生成差异图像，其中，中心图像和正常图像之间的每个像素的像素值的差异的绝对值是学习图像的像素值。

下一步，在步骤S402中，差异图像学习单元28执行学习处理，该学习处理将为学习图像创建的去中心片图像作为学习数据，并将步骤S401中生成的差异图像作为训练数据。差异图像学习单元28从片处理数据存储单元14读取作为学习数据使用的去中心片图像。差异图像学习单元28使用为学习图像创建的去中心图像和差异图像来训练学习模型。

图13示出了由差异图像学习单元28在步骤S402中执行学习的视图。如图13所示，差异图像学习单元28创建差异图像学习模型Md，该学习模型是用于生成估计图像的学习模型，在该估计图像中，通过将用作训练数据的差异图像IMd从学习数据的去中心片图像IMr还原而估计差异图像IMd。在此，差异图像学习单元28可以使用能够再现输入的方案，例如自动编码器，作为创建差异图像学习模型Md的方案。进一步地，差异图像学习单元28可以使用深度学习等作为学习方案来执行机器学习。差异图像学习单元28通过使用作为学习图像的图像IM的去中心片图像IMr和从切割后的片图像IMp创建的差异图像IMd的多个图像对，执行为创建差异图像学习模型Md的学习。以这样的方式，通过去中心片图像IMr和为学习图像而创建的差异图像IMd来训练差异图像学习模型。

下一步，在步骤S403中，差异图像学习单元28将步骤S402中创建的经训练的差异图像学习模型存储在差异图像学习模型存储单元30中。

下一步，将参照图14至图16来描述根据本示例实施例的图像处理装置100的操作中的缺陷物品检测步骤。图14是示出根据本示例实施例的图像处理装置的操作中的缺陷物品检测步骤的流程图。图15和图16是示出根据本示例实施例的图像处理装置100的操作中的缺陷物品检测步骤的示意图。

下一步，将参照图14至图16来描述根据本示例实施例的图像处理装置100的操作中的缺陷物品检测步骤。图14是示出根据本示例实施例的图像处理装置的操作中的缺陷物品检测步骤的流程图。图15和图16是示出根据本示例实施例的图像处理装置100的操作中的缺陷物品检测步骤的示意图。

首先，如图14所示，在步骤S501中，缺陷物品检测单元36从片处理数据存储单元14中读取中心去除片图像和为检查图像创建的中心图像的图像对中的中心图像数据，作为对象数据之一。进一步地，在步骤S501中，缺陷物品检测单元36读取，通过使用去中心片图像中的学习模型与从生成的正常数据存储单元24中读取的中心图像形成的图像对创建的正常图像数据，作为另一个对象数据。正常图像是由去中心片图像估计的中心图像。

下一步，在步骤S502中，缺陷物品检测单元36计算步骤S501中读取的两种中心图像之间的差异，即中心图像与正常图像之间的差异。因此，缺陷物品检测单元36生成差异图像，其中，中心图像和正常图像之间的每个像素的像素值的差异的绝对值是检查图像的像素值。

以这样的方式，缺陷物品检测单元36和上述差异计算单元26计算两种类型的中心图像之间的差异。在这样的计算中，两种类型的中心图像的RGB图像或其他颜色的图像不仅可以直接用于计算差异，而且还可以用于执行转换为另一种类型的图像或由另一个颜色空间定义的图像和滤波处理等之后的差异计算。例如，将两种类型的中心图像转换为灰度图像或二进制图像的另一种类型的图像后进行差异计算，或转换为由HSV或YCbCr的另一种颜色空间定义的图像后进行差异计算。进一步地，两种类型的中心图像可以用于在其上执行使用诸如平均滤波器、中值滤波器等预处理滤波器或诸如索贝尔滤波器或拉普拉斯滤波器等边缘提取滤波器的滤波处理之后的差异计算。

另一方面，在步骤S503中，差异图像生成单元32从为检查图像创建的去中心片图像估计并生成差异图像。差异图像生成单元32使用在差异图像学习步骤中被训练的差异图像学习模型来估计差异图像。

下一步，在步骤S504中，阈值设置单元34根据由步骤S503中的差异图像生成单元32生成的差异图像，设置用于缺陷物品检测单元36中的缺陷检测的阈值。例如，阈值设置单元34将差异图像的各像素值设置为各像素的阈值，或者将差异图像的各像素值乘以恒定的乘数系数得到的值设置为各像素的阈值。以这样的方式，在本示例实施例中，由阈值设置单元34自动设置用于缺陷检测的阈值。

下一步，在步骤S505中，缺陷物品检测单元36以像素为基础确定步骤S502中计算的差异是否超过步骤S504中设置的阈值。

如果缺陷物品检测单元36确定差异不超过阈值(步骤S505，NO)，则缺陷物品检测单元36确定兴趣像素是没有异常的正常像素(步骤S507)。另一方面，如果缺陷物品检测单元36确定差异超过阈值(步骤S505，YES)，则缺陷物品检测单元36确定兴趣像素是具有异常的缺陷像素(步骤S506)。以这样的方式，缺陷物品检测单元36检测从检查图像创建的中心图像的缺陷像素。

缺陷物品检测单元36基于以这种方式检测到的缺陷像素，确定从检查图像创建的中心图像是否正常。例如，缺陷物品检测单元36可以根据缺陷像素的总数、缺陷像素连续的区域的面积或包括缺陷像素的区域的数量来确定中心图像是否正常或缺陷。即，缺陷物品检测单元36可以在缺陷像素连续的区域的面积或包括缺陷像素的区域的数量超过预定阈值时，确定中心图像是缺陷的。

图15示出了从作为检查图像的图像IM创建的中心图像IMc被确定为正常图像的情况的视图。如图15所示，缺陷物品检测单元36计算中心图像IMc与正常图像IMn之间的差异。

差异图像生成单元32通过使用来自对应的去中心片图像IMr的差异图像学习模型Md来估计并生成作为估计图像的差异图像IMt，进一步地，阈值设置单元34根据由差异图像生成单元32生成的差异图像IMt设置阈值。

缺陷物品检测单元36以像素为基础确定中心图像IMc与正常图像IMn之间的计算差是否超过由阈值设置单元34设置的阈值，并检测缺陷像素。例如，由于以这样的方式检测出缺陷像素，所以缺陷像素的总数不超过阈值，由此，缺陷物品检测单元36确定中心图像IMc是正常的。例如，在图15所示的实例中，中心图像IMc不包括缺陷D并因此被确定为正常，因为缺陷像素的总数不超过阈值。

另一方面，图16示出了从作为检查图像的图像IM创建的中心图像IMc被确定为缺陷的情况的视图。如图16所示，例如，由于以与图15所示的情况相同的方式检测缺陷像素的结果，缺陷像素的总数超过阈值，因此缺陷物品检测单元36确定中心图像IMc为缺陷。例如，在图16所示的实例中，中心图像IMc包括缺陷D并因此被确定为缺陷，因为缺陷像素的总数不超过阈值，例如，被确定为缺陷。

下一步，在步骤S508中，缺陷物品检测单元36输出关于为检查图像创建的中心图像是正常还是缺陷的确定结果。

缺陷物品检测单元36对每一个为检查图像创建的多个中心图像执行上述步骤S501至步骤S508。

下一步，在步骤S509中，缺陷物品检测单元36检测缺陷物品，并根据步骤S508中输出的确定结果输出检测结果。在检测缺陷物品时，如果对于检查图像，被确定为缺陷的中心图像的数量为零或小于或等于预定数，则缺陷物品检测单元36确定检查图像中包含的检查对象物品是正常物品。另一方面，如果对于检查图像，被确定为缺陷的中心图像的数量超过预定数，则缺陷物品检测单元36确定包括在检查图像中的检查对象物品是缺陷物品。

因此，缺陷物品检测单元36确定检查图像中包含的检查对象物品的质量是正常物品还是缺陷物品，以检测缺陷物品并输出检测结果。

如上所述，在本示例实施例中，由于通过使用包括检查对象物品的正常物品的学习图像，来创建从去中心片图像还原中心图像的正常图像学习模型，因此不需要收集包括缺陷物品的图像。因此，根据本示例实施例，由于能够容易地准备足够数量的学习数据，因此可以容易地创建学习模型。

进一步地，在本示例实施例中，从检查图像中的去中心片图像估计并生成正常图像，以根据估计的正常图像检测缺陷物品。因此，根据本示例实施例，能够实现对具有高鲁棒性缺陷物品的检测。

进一步地，在本示例实施例中，用于检测缺陷像素的阈值由阈值设置单元34基于由差异图像生成单元32通过使用差异图像学习模型生成的差异图像来设置。因此，在本示例实施例中，即使正常物品的图像中包含基于单个物品而变化的可变部分，也可以高精度地检测缺陷物品。

正常物品的图像可以包括可变部分，例如基于单个物品而变化的标记、标签或类似物。典型地，可变部分可以是例如显示序列号、批号、日期或类似物的标记、标签或类似物的图像部分。当包括这样的可变部分时，可能难以确定检查对象物品的图像和由正常图像生成单元22生成的相应的正常图像之间的差异是由于上述可变部分而生成的差异，还是由于应该检测的缺陷而生成的差异。因此，当将差异和固定阈值比较以检测缺陷时，如果阈值被设置为较大，则有可能忽略缺陷，如果阈值被设置为较小，则有可能将正常物品的可变部分错误地检测为缺陷。

例如，如图17所示，包括检查对象物品T的每个图像IM包括以检查对象物品T为基础而变化的可变部分，例如"ABC123"、"ABC124"、...。由正常图像生成单元22用正常图像学习模型Mn，从包括该可变部分的片图像IMp的去中心片图像IMr输出的正常图像IMn是其中的可变部分被平均的图像。因此，如果阈值被设置为较小，则有可能将正常物品的可变部分错误地检测为缺陷。另一方面，如果阈值被设置为较大，则有可能忽略缺陷。

另一方面，在本示例实施例中，在学习用于设置阈值的差异图像学习模型时，作为阈值参考的差异根据正常图像中某一像素的像素值可能取值的范围输出。图18和图19分别示出了正常图像中某一像素的像素值分布。

在图18所示的实例中，在可变部分少且正常图像中的某个像素的像素值可能取用的范围较窄的实例中，训练差异图像学习模型，以使作为阈值参考的差异较小。另一方面，在图19所示的实例中，与图18所示的情况相比，可变部分较多，并且在正常图像中的某一像素的像素值可能取用的范围很广的实例中，训练差异图像学习模型，以使作为阈值的参考的差异比图18所示的情况大。

以这样的方式，在本示例实施例中，由于用于缺陷检测的阈值可以根据正常图像中的可变部分来设置，因此可以高精度地检测缺陷。进一步地，在本示例实施例中，由于这样的阈值可以由阈值设置单元34自动设置，因此可以减少手动设置阈值的工作。

如上所述，根据本示例实施例，由于通过使用包括检查对象物品的检查图像的一部分，生成至少包括检查对象物品的预定区域的估计图像作为正常图像，因此，能够在降低图像个别差异的影响的同时，高精度地区分异常的缺陷物品。

需要注意的是，如图20所示，根据本示例实施例的图像处理装置100也可以被形成为具有检测结果存储单元38和检测结果显示单元40。图20是示出根据本示例实施例改进的图像处理装置的功能配置框图。

在图20所示的实例中，缺陷物品检测单元36将缺陷物品的检测结果存储在检测结果存储单元38中。缺陷物品检测单元36可以在检测结果存储单元38中存储表示检查对象物品是正常物品还是缺陷物品的信息，如果检查对象物品是缺陷物品，则将表示缺陷位置的图像数据等与识别检查图像的标识符一起存储。进一步地，缺陷物品检测单元36还可以将缺陷像素的检测结果存储在检测结果存储单元38中。

检测结果存储单元38存储由缺陷物品检测单元36输出的缺陷物品或缺陷像素的检测结果。例如，在检测结果存储单元38中存储存有检测结果的数据库。检测结果存储单元38的功能由HDD1008实现，与学习数据存储单元10等一样。

检测结果显示单元40显示存储在检测结果存储单元38中的缺陷物品或缺陷像素的检测结果。在显示检测结果时，检测结果显示单元40能够通过显示缺陷像素来表示缺陷位置的图像。检测结果显示单元40由作为显示装置的输出装置1010来实现。

进一步地，在上述图8所示的实例中，正常图像学习单元16训练并创建学习模型，该学习模型从形成片图像IMp的框形区域的去中心片图像IMr中还原形成片图像IMp的中心图像IMc。然而，本示例实施例不限于此。例如，正常图像学习单元16也可以训练和创建学习模型，该学习模型从去中心片图像IMr还原包括中心图像IMc在内的整个片图像IMp，来生成估计片图像IMp的估计图像。在这种实例中，正常图像生成单元22可以使用这样的学习模型，并生成用于在正常物品的实例中估计片图像IMp的整体的估计图像作为正常图像。进一步地，缺陷物品检测单元36可以将检查图像的整个片图像IMp与估计图像比较，估计整个片图像IMp，并检测出缺陷物品。

上述各示例实施例中所述的图像处理装置也可以根据另一示例实施例形成如图21所示的图像处理装置。图21是说明根据另一示例实施例的图像处理装置的功能配置的框图。

如图21所示，图像处理装置2000具有第一生成单元2002，该第一生成单元通过使用包括检查对象的检查图像的一部分，生成至少包括检查对象的预定区域的第一估计图像。进一步地，图像处理装置2000具有第二生成单元2004，该第二生成单元通过使用检查图像的一部分估计第一估计图像和检查图像之间的差异，生成第二估计图像。进一步地，图像处理装置2000具有比较单元2006，其将第一估计图像与检查图像比较，以及输出单元2008，其输出由比较单元2006获得的比较结果。比较单元2006将第一估计图像和检查图像之间的差异与第二估计图像比较。

根据另一实施例的图像处理装置2000，由于通过使用包括检查对象的检查图像的一部分来生成至少包括检查对象的预定区域的估计图像，因此，能够在减少图像的个别差异的影响的同时，高精度地区分异常。

进一步地，又根据另一实施例，上述各示例实施例中所述的图像处理装置可以如图22所示形成。图22是示出根据另一示例实施例的图像处理装置的功能配置框图。

如图22所示，根据另一个示例性实施例的图像处理装置3000具有第一生成单元3002，该第一生成单元通过使用包括物体的第一图像的一部分来生成至少包括物体的预定区域的第二图像。进一步地，图像处理装置3000具有第二生成单元3004，该第二生成单元通过使用第一图像的一部分来估计第二图像和第一图像之间的差异来生成第三图像。进一步地，图像处理装置3000具有比较单元3006，其将第二图像与第一图像比较，以及输出单元3008，其输出由比较单元3006获得的比较结果。比较单元3006将第一图像与第三图像之间的差异与第三图像比较。

根据另一实施例的图像处理装置3000，由于通过使用包括对象的第一图像的一部分来生成至少包括预定区域的第二图像，因此，在减少图像的个别差异的影响的同时，能够以高精确度区分异常。

本发明不限于上述示例实施例，还可以进行各种修改。

例如，在上述示例实施例中，虽然已将从检查对象物品中检测出缺陷物品的检查情况作为例子进行了说明，但该示例实施例并不限于此。本发明可以广泛地应用于判断物体是处于正常状态还是异常状态，以检查物体的异常状态，即正常状态以外的状态。例如，本发明也可以应用于例如异常的建筑物等物体的破损检测、检测物体异常等。

进一步地，各示例实施例的范围还包括处理方法，该处理方法在存储介质中存储了能使各示例实施例的配置操作，以实现上述各实施例的功能的程序，将存储在存储介质中的程序作为代码读取，并在计算机中执行该程序。也就是说，每个示例性实施例的范围还包括计算机可读存储介质。进一步地，每个示例性实施例不仅包括存储上述计算机程序的存储介质，还包括计算机程序本身。

作为存储介质，例如，可以使用软盘(注册商标)、硬盘、光盘、磁光盘、光盘只读存储器(CD-ROM)、磁带、非易失性存储卡或ROM。进一步地，各示例实施例的范围包括与另一软件配合或与内插板中的功能配合着在操作系统(OS)上执行处理的示例，而不限于由存储在存储介质中的单个程序执行进程的示例。

由上述各示例实施例的功能实现的服务可以以软件，即服务(SaaS)的形式提供给用户。

以上所公开的示例实施例的全部或部分可以描述为，但不限于以下补充说明。

(补充说明1)

一种图像处理装置，包括：

第一生成单元，所述第一生成单元通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像；

第二生成单元，所述第二生成单元通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像；

比较单元，所述比较单元将所述第一估计图像与所述检查图像比较；以及

输出单元，所述输出单元输出由所述比较单元获得的比较结果；

其中所述比较单元将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

(补充说明2)

根据补充说明1所述的图像处理装置，

其中所述检查图像包括第一区域和第二区域，

其中所述第一生成单元通过使用所述检查图像中的所述第一区域的图像，生成所述第二区域的所述第一估计图像，

其中所述第二生成单元通过使用所述检查图像中的所述第一区域的所述图像，估计所述检查图像中的所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异，以生成所述第二估计图像，并且

其中所述比较单元将所述检查图像中的所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异与所述第二估计图像比较。

(补充说明3)

根据补充说明2所述的图像处理装置，其中所述第一生成单元通过使用第一学习模型，生成所述第一估计图像，所述第一学习模型被训练为从所述第一区域的所述图像估计所述第二区域的所述图像。

(补充说明4)

根据补充说明3所述的图像处理装置，其中所述第一学习模型通过使用表示所述检查对象的正常状态的图像而被训练。

(补充说明5)

根据补充说明2至4中的任一项所述的图像处理装置，其中所述第二生成单元通过使用第二学习模型，生成所述第二估计图像，所述第二学习模型被训练为从所述第一区域的所述图像估计所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异。

(补充说明6)

根据补充说明5所述的图像处理装置，其中所述第二学习模型通过使用所述第二区域的所述第一估计图像和所述第二区域的针对表示包括所述第一区域和所述第二区域的所述检查对象的正常状态的图像的图像之间的差异图像而被训练。

(补充说明7)

根据补充说明1至6中的任一项所述的图像处理装置，还包括阈值设置单元，所述阈值设置单元基于由所述第二生成单元生成的所述第二估计图像来设置阈值，

其中所述比较单元通过将所述第一估计图像和所述检查图像之间的差异与由所述阈值设置单元设置的所述阈值比较，检测所述检查图像中的缺陷。

(补充说明8)

根据补充说明7所述的图像处理装置，

其中所述阈值设置单元以像素为基础来设置所述阈值，并且

其中所述比较单元通过将所述第一估计图像和所述检查图像之间的差异与以像素为基础的所述阈值比较，检测所述检查图像中的缺陷像素。

(补充说明9)

根据补充说明1至8中的任一项所述的图像处理装置，其中所述第一估计图像包括表示至少所述预定区域中的所述检查对象的正常状态的图像。

(补充说明10)

根据补充说明1至9中的任一项所述的图像处理装置，还包括确定单元，所述确定单元基于由所述比较单元获得的比较结果来确定所述检查对象的质量。

(补充说明11)

一种图像处理方法，包括：

通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像的第一生成步骤；

通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像的第二生成步骤；

将所述第一估计图像与所述检查图像比较的比较步骤；以及

输出由所述比较步骤获得的比较结果的输出步骤，

其中所述比较步骤将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

(补充说明12)

一种存储介质，所述存储介质存储程序，所述程序使计算机执行图像处理方法，所述图像处理方法包括：

通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像的第一生成步骤；

通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像的第二生成步骤；

将所述第一估计图像与所述检查图像比较的比较步骤；以及

输出由所述比较步骤获得的比较结果的输出步骤，

其中所述比较步骤将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

(补充说明13)

一种图像处理装置，包括：

第一生成单元，所述第一生成单元通过使用包括物体的第一图像的一部分，生成至少包括所述物体的预定区域的第二估计图像；

第二生成单元，所述第二生成单元通过使用所述第一图像的所述一部分，估计所述第二估计图像和所述第一图像之间的差异，以生成第三图像；

比较单元，所述比较单元将所述第二图像与所述第一图像比较；以及

输出单元，所述输出单元输出由所述比较单元获得的比较结果，

其中所述比较单元将所述第二图像和所述第一图像之间的差异与所述第三图像比较。

如上所述，虽然已经参照示例实施例描述了本发明，但本发明并不限于上述这些示例实施例。可以理解的是，本领域的技术人员可以在本发明的范围内对本发明的配置和细节做出各种修改。

本申请基于2018年1月29日提交的日本专利申请第2018-012307号并要求享受其优先权，该申请所公开的内容通过引用全部纳入本文。

参考标示列表

10 学习数据存储单元

12 片切割单元

14 片处理数据存储单元

16 正常图像学习单元

18 正常图像学习模型存储单元

20 检查数据存储单元

22 正常图像生成单元

24 生成的正常数据存储单元

26 差异计算单元

28 差异图像学习单元

30 差异图像学习模型存储单元

32 差异图像生成单元

34 阈值设置单元

36 缺陷物品检测单元

38 检测结果存储单元

40 检测结果显示单元

100 图像处理装置

Claims (13)

1.一种图像处理装置，包括：

第一生成单元，所述第一生成单元通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像；

第二生成单元，所述第二生成单元通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像；

比较单元，所述比较单元将所述第一估计图像与所述检查图像比较；以及

输出单元，所述输出单元输出由所述比较单元获得的比较结果；

其中所述比较单元将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

2.根据权利要求1所述的图像处理装置，

其中所述检查图像包括第一区域和第二区域，

其中所述第一生成单元通过使用所述检查图像中的所述第一区域的图像，生成所述第二区域的所述第一估计图像，

其中所述第二生成单元通过使用所述检查图像中的所述第一区域的所述图像，估计所述检查图像中的所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异，以生成所述第二估计图像，并且

其中所述比较单元将所述检查图像中的所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异与所述第二估计图像比较。

3.根据权利要求2所述的图像处理装置，其中所述第一生成单元通过使用第一学习模型，生成所述第一估计图像，所述第一学习模型被训练为从所述第一区域的所述图像估计所述第二区域的所述图像。

4.根据权利要求3所述的图像处理装置，其中所述第一学习模型通过使用表示所述检查对象的正常状态的图像而被训练。

5.根据权利要求2至4中的任一项所述的图像处理装置，其中所述第二生成单元通过使用第二学习模型，生成所述第二估计图像，所述第二学习模型被训练为从所述第一区域的所述图像估计所述第二区域的所述第一估计图像和所述第二区域的所述图像之间的差异。

6.根据权利要求5所述的图像处理装置，其中所述第二学习模型通过使用所述第二区域的所述第一估计图像和所述第二区域的针对表示包括所述第一区域和所述第二区域的所述检查对象的正常状态的图像的图像之间的差异图像而被训练。

7.根据权利要求1至6中的任一项所述的图像处理装置，还包括阈值设置单元，所述阈值设置单元基于由所述第二生成单元生成的所述第二估计图像来设置阈值，

其中所述比较单元通过将所述第一估计图像和所述检查图像之间的差异与由所述阈值设置单元设置的所述阈值比较，检测所述检查图像中的缺陷。

8.根据权利要求7所述的图像处理装置，

其中所述阈值设置单元以像素为基础来设置所述阈值，并且

其中所述比较单元通过将所述第一估计图像和所述检查图像之间的差异与以像素为基础的所述阈值比较，检测所述检查图像中的缺陷像素。

9.根据权利要求1至8中的任一项所述的图像处理装置，其中所述第一估计图像包括表示至少所述预定区域中的所述检查对象的正常状态的图像。

10.根据权利要求1至9中的任一项所述的图像处理装置，还包括确定单元，所述确定单元基于由所述比较单元获得的比较结果来确定所述检查对象的质量。

11.一种图像处理方法，包括：

通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像的第一生成步骤；

通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像的第二生成步骤；

将所述第一估计图像与所述检查图像比较的比较步骤；以及

输出由所述比较步骤获得的比较结果的输出步骤，

其中所述比较步骤将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

12.一种存储介质，所述存储介质存储程序，所述程序使计算机执行图像处理方法，所述图像处理方法包括：

通过使用包括检查对象的检查图像的一部分，生成至少包括所述检查对象的预定区域的第一估计图像的第一生成步骤；

通过使用所述检查图像的所述一部分，估计所述第一估计图像和所述检查图像之间的差异，以生成第二估计图像的第二生成步骤；

将所述第一估计图像与所述检查图像比较的比较步骤；以及

输出由所述比较步骤获得的比较结果的输出步骤，

其中所述比较步骤将所述第一估计图像和所述检查图像之间的差异与所述第二估计图像比较。

13.一种图像处理装置，包括：

第一生成单元，所述第一生成单元通过使用包括物体的第一图像的一部分，生成至少包括所述物体的预定区域的第二估计图像；

第二生成单元，所述第二生成单元通过使用所述第一图像的所述一部分，估计所述第二估计图像和所述第一图像之间的差异，以生成第三图像；

比较单元，所述比较单元将所述第二图像与所述第一图像比较；以及

输出单元，所述输出单元输出由所述比较单元获得的比较结果，

其中所述比较单元将所述第二图像和所述第一图像之间的差异与所述第三图像比较。

Images