CN116324881A - 模板图像创建方法、模板图像创建系统和程序 - Google Patents

模板图像创建方法、模板图像创建系统和程序 Download PDF

Info

Publication number
CN116324881A
CN116324881A CN202180067509.6A CN202180067509A CN116324881A CN 116324881 A CN116324881 A CN 116324881A CN 202180067509 A CN202180067509 A CN 202180067509A CN 116324881 A CN116324881 A CN 116324881A
Authority
CN
China
Prior art keywords
image
images
candidate
template image
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067509.6A
Other languages
English (en)
Inventor
菅泽裕也
佐藤吉宣
村田久治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN116324881A publication Critical patent/CN116324881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的目的是提供一种模板图像创建方法、模板图像创建系统和程序,该模板图像创建方法、模板图像创建系统和程序被配置为当在多个候选图像上拍摄到的测试物体的位置彼此不对齐时,也创建包括很少噪声的高度准确的模板图像。模板图像创建方法从多个候选图像创建模板图像,这多个候选图像各自包括包含测试物体的图像的对象区域。模板图像创建方法包括:通过利用模式匹配进行位置校正以使多个候选图像之间的对象区域的位置匹配、并且将多个候选图像顺次组合,来创建至少一个模板图像。

Description

模板图像创建方法、模板图像创建系统和程序
技术领域
本发明涉及模板图像创建方法、模板图像创建系统和程序。
背景技术
传统上已知有被配置为使用模板匹配来识别物体的物体识别装置。这样的物体识别装置中所使用的模板例如是由专利文献1的模板创建装置创建的。
模板创建装置从单个物体的不同姿势的多个图像或者从针对多个物体的多个图像获取多个模板。模板创建装置执行聚类处理,该聚类处理针对从多个模板中选择的两个模板的组合计算图像特征的类似度得分,并且基于该类似度得分将多个模板划分为多个组。模板创建装置执行整合处理,该整合处理针对多个组中的各组,将组中的所有模板组合为单个整合模板或数量比组内的模板数量少的整合模板,并且模板创建装置从与多个组中的各组相对应的多个整合模板创建新模板集。
也就是说,诸如专利文献1中所述的模板创建装置等的模板创建装置使用所获取到的多个模板作为多个候选图像,并且基于这多个候选图像的类似度得分将这多个候选图像划分为多个组。模板创建装置执行整合处理,该整合处理针对多个组中的各组,将组中的所有候选图像组合为整合模板,并且模板创建装置从与多个组中的各组相对应的多个整合模板创建新模板集(模板图像)。
上述的模板创建装置假定在多个候选图像上拍摄到的测试物体的位置彼此对齐。因此,当从测试物体的位置彼此不对齐的多个候选图像创建模板图像时,模板图像具有低准确度并且模板图像包括大量噪声,因此模板图像难以用于模板匹配。
现有技术文献
专利文献
专利文献1:日本特开2016-207147
发明内容
本发明的目的是提供一种模板图像创建方法、模板图像创建系统和程序,该模板图像创建方法、模板图像创建系统和程序被配置为当在多个候选图像上拍摄到的测试物体的位置彼此不对齐时,也创建包括很少噪声的高度准确的模板图像。
根据本发明的方面的模板图像创建方法从多个候选图像创建模板图像,所述多个候选图像各自包括包含测试物体的图像的对象区域。所述模板图像创建方法包括:通过以下操作来创建至少一个模板图像:利用模式匹配进行位置校正以使所述多个候选图像之间的对象区域的位置匹配,以及将所述多个候选图像顺次组合。
根据本发明的方面的模板图像创建系统从多个候选图像创建模板图像,所述多个候选图像各自包括包含测试物体的图像的对象区域。所述模板图像创建系统包括图像处理器,所述图像处理器被配置为通过利用模式匹配进行位置校正以使所述多个候选图像之间的对象区域的位置匹配、并将所述多个候选图像顺次组合,来创建至少一个模板图像。
根据本发明的方面的程序被配置为使得计算机系统执行所述模板图像创建方法。
附图说明
图1是说明使用通过实施例的模板图像创建方法创建的模板图像的模板匹配的图;
图2是被配置为进行该模板图像创建方法的模板图像创建系统的框图;
图3是该模板图像创建系统的操作的图;
图4是该模板图像创建方法中所使用的浓淡候选图像的图;
图5的A至图5的D是该浓淡候选图像的一部分的放大图;
图6是该模板图像创建方法中所使用的二值化候选图像的图;
图7的A至图7的D是该二值化候选图像的一部分的放大图;
图8是该实施例的图像处理方法的流程图;
图9是该图像处理方法的示意图;
图10是通过该图像处理方法创建的模板图像的图;
图11是该实施例的第一变形例的图像处理方法的流程图;
图12是该实施例的第二变形例的图像处理方法的流程图;
图13是该实施例的第四变形例的图像处理方法的流程图;
图14是该第四变形例的图像处理方法的示意图;
图15是该实施例的第六变形例的图像处理方法的流程图;
图16是该第六变形例的浓淡候选图像的图;以及
图17是该第六变形例的图像处理方法的示意图。
具体实施方式
以下所述的实施例一般涉及模板图像创建方法、模板图像创建系统和程序。以下所述的实施例更具体地涉及从多个候选图像创建模板图像的模板图像创建方法、模板图像创建系统和程序。注意,以下所述的实施例仅仅是本发明的实施例的示例。本发明不限于以下所述的实施例,而且可以根据设计等对以下所述的实施例进行各种修改,只要提供本发明的效果即可。
(1)模板匹配
将使用图像处理技术的模板匹配应用于测试物体检查和该检查的预处理。检查的示例是检查特定组件是否安装在印刷电路板上的按设计的位置处的安装检查、检查产品是否被加工成按设计的尺寸和形状的加工检查、检查产品是否按设计组装的组装检查、或者检查特定组件是否具有作为划痕和污渍的特征示例的外观检查。在模板匹配中,预先创建作为测试物体的结构的正常模式(特征)的标准模式作为模板图像,并且将该模板图像应用于通过拍摄测试物体的图像所获得的拍摄图像,由此进行模式匹配。
在本实施例中,假定微机电系统(MEMS)器件是测试物体,并且检查MEMS器件的内部结构。
被配置为通过模板匹配对MEMS器件进行结构检查的检查装置将矩形的模板图像Gt应用于图1所示的矩形的检查图像Ga。模板图像Gt的大小小于检查图像Ga的大小。然后,每次检查装置在检查图像Ga的搜索范围内通过光栅扫描等移动模板图像Gt时,检查装置获得模板图像Gt与检查图像Ga中的模板图像Gt重叠的部分之间的类似度。检查装置可以使用搜索范围内的类似度最高的位置作为检测位置,由此在该检测位置处进行结构检查。
在模板匹配中,基于通过拍摄无缺陷产品或缺陷产品的图像所获得的拍摄图像来创建模板图像Gt。要求模板图像Gt准确地反映无缺陷产品的特征并且包括很少噪声。
因此,在本实施例中,通过由以下所述的模板图像创建系统执行的模板图像创建方法来创建模板图像Gt。
(2)模板图像创建系统
(2.1)系统配置
如图2所示,模板图像创建系统1包括计算机系统CS、显示单元1d和操作单元1e。计算机系统CS包括图像获取部1a、存储部1b和图像处理器1c。
在计算机系统CS中,中央处理单元(CPU)或微处理单元(MPU)等的处理器读取并执行存储器中所存储的振动检查方法的程序,由此实现模板图像创建系统1的一些或全部功能。计算机系统CS包括根据程序进行操作的处理器作为主要硬件组件。没有特别限制处理器的类型,只要处理器执行程序以实现(一个或多于一个)功能即可。处理器可以被实现为包括半导体集成电路(IC)或大规模集成(LSI)电路的单个电子电路或多个电子电路。这里提到的诸如IC或LSI等的集成电路根据集成的程度而可以以其他方式指代,并且可以是被称为系统LSI、超大规模集成(VLSI)或特大规模集成(ULSI)的集成电路。可以以相同方式使用在LSI的制造之后可编程的现场可编程门阵列(FPGA)或者允许LSI中的连接的设置或LSI中的电路单元的重新配置的逻辑器件。这些电子电路可以一起集成在单个芯片上或者分布在多个芯片上,无论哪种都是适当的。这些多个芯片可以一起集成在单个装置中或者分布在多个装置中,而没有限制。
如图3所示,模板图像创建系统1获取各自具有与模板图像Gt相同的大小的多个拍摄图像作为多个浓淡候选图像Gb。浓淡候选图像Gb是要创建模板图像Gt所基于的矩形图像。图4示出浓淡候选图像Gb的示例。各浓淡候选图像Gb是通过拍摄作为无缺陷产品或缺陷产品的MEMS器件的内部的图像所获得的浓淡图像,并且该浓淡图像包括构成MEMS器件的内部的一部分的特定元件的图像。各浓淡候选图像Gb包括对象区域Ra1至Ra6作为各自包括构成MEMS器件的内部的一部分的特定元件的图像的区域(对象区域Ra)。对象区域Ra1至Ra6比对象区域Ra1至Ra6周围的区域更明亮。浓淡图像是浓淡值例如按256个级设置的图像。注意,在本实施例的浓淡图像中,暗像素具有小浓淡值,而明亮像素具有高浓淡值。此外,浓淡图像可以是黑白图像或彩色图像。
模板图像创建系统1获得多个浓淡候选图像Gb并对这多个浓淡候选图像Gb进行图像处理,由此创建模板图像Gt。然而,在多个浓淡候选图像Gb之间对象区域Ra1至Ra6的位置不对齐。例如,如图5的A至图5的D所示,相对于位于检查空间的预定坐标处的矩形范围9的对象区域Ra4可能彼此移位。当从在对象区域Ra1至Ra6的位置方面彼此移位的多个浓淡候选图像Gb创建模板图像Gt时,模板图像Gt更有可能包括噪声。
此外,如图6所示,对图4所示的浓淡候选图像Gb进行二值化处理和边缘检测处理创建了提取出浓淡候选图像Gb中的对象区域Ra1至Ra4的边缘的二值化候选图像Gc。因此,对多个二值化候选图像Gc进行图像处理也可以创建模板图像Gt。然而,与浓淡候选图像Gb类似,在多个二值化候选图像Gc之间对象区域Ra1至Ra6的位置不对齐。当从在对象区域Ra1至Ra6的位置方面彼此移位的多个二值化候选图像Gc创建模板图像Gt时,模板图像Gt更有可能包括噪声。
此外,在二值化候选图像Gc中提取对象区域Ra1至Ra4的边缘,但这些边缘中的一些边缘被误提取出并且一些边缘缺失。也就是说,当在浓淡候选图像Gb中包括大量噪声时,通过二值化处理和边缘检测处理不能去除的噪声可能残留在二值化候选图像Gc中。例如,如图7的A至图7的D所示,矩形范围9内的对象区域Ra4的边缘中的一些边缘被误提取出,并且矩形范围9内的对象区域Ra4的一些边缘缺失。当从对象区域Ra1至Ra6的边缘中的一些边缘被误提取出并且对象区域Ra1至Ra6的一些边缘缺失的多个二值化候选图像Gc创建模板图像Gt时,模板图像Gt更有可能包括噪声。
因此,模板图像创建系统1根据图8所示的流程图从多个浓淡候选图像Gb创建模板图像Gt。
(2.2)模板图像创建方法
图8示出由模板图像创建系统1的计算机系统CS执行的模板图像创建方法。
首先,图像获取部1a从外部数据库、照相机或存储介质等获取N+1个浓淡候选图像Gb(获取步骤S1)。注意,N是正整数。
图像处理器1c对N+1个浓淡候选图像Gb中的各浓淡候选图像进行预处理(预处理步骤S2)。本实施例的预处理包括二值化处理和边缘检测处理。在这种情况下,图像处理器1c对N+1个浓淡候选图像Gb中的各浓淡候选图像进行二值化处理和边缘检测处理,由此创建N+1个二值化候选图像Gc,并且将与这N+1个二值化候选图像Gc有关的数据存储在存储部1b中。也就是说,存储部1b存储与N+1个二值化候选图像Gc有关的数据。注意,预处理包括中值滤波处理、高斯滤波处理、直方图均衡处理、归一化处理和标准化处理等中的至少一个。
存储部1b优选包括固态驱动器(SSD)、硬盘驱动器(HDD)和可重写存储器(诸如电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)或闪速存储器等)中的至少一个。
接着,图像处理器1c进行参数设置处理(参数设置步骤S3)。参数设置步骤S3包括:设置与位置校正有关的参数。关于浓淡候选图像Gb的移位,更可能发生移位的方向根据测试物体而不同。更容易发生移位的方向包括沿着浓淡候选图像Gb的长边的方向、沿着浓淡候选图像Gb的短边的方向、以及旋转方向。此外,参数可以包括图像的远近校正、放大和缩小。因此,参数设置步骤S3包括:针对各测试物体,设置更可能发生浓淡候选图像Gb的移位的方向作为参数。
接着,图像处理器1c从N+1个二值化候选图像Gc顺次提取一个二值化候选图像Gc(提取步骤S4)。具体地,假定N+1个二值化候选图像Gc是二值化候选图像Gc(1)、Gc(2)、Gc(3)、…、Gc(N+1),并且在这种情况下,每次图像处理器1c进行提取步骤S4的处理时,图像处理器1c按二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的顺序提取一个二值化候选图像Gc。这里,提取步骤S4为第一次进行,因此图像处理器1c提取二值化候选图像Gc(1)。提取步骤S4中所提取的二值化候选图像Gc仅是二值化候选图像Gc(1),因此图像处理器1c不执行后续的步骤S5、S6和S8的处理,并且将与二值化候选图像Gc(1)有关的数据从存储部1b中删除(数据删除步骤S7)。然后,图像处理器1c判断所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合是否完成(完成判断步骤S9)。
由于所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合未完成,因此图像处理器1c再次进行提取步骤S4的处理。这里,提取步骤S4为第二次进行,因此图像处理器1c提取二值化候选图像Gc(2)。因此,图像处理器1c通过第一次和第二次分别进行的提取步骤S4的处理来提取二值化候选图像Gc(1)和Gc(2)。
接着,图像处理器1c进行二值化候选图像Gc(1)和Gc(2)的位置校正(位置校正步骤S5)。具体地,图像处理器1c通过模式匹配来进行位置校正,以使二值化候选图像Gc(1)的对象区域Ra1至Ra6的位置和二值化候选图像Gc(2)的对象区域Ra1至Ra6的位置分别彼此匹配。模式匹配包括:调整检查坐标上的二值化候选图像Gc(1)和Gc(2)的位置,使得检查坐标上的二值化候选图像Gc(1)和Gc(2)之间的类似度最大。换句话说,图像处理器1c调整二值化候选图像Gc(1)和Gc(2)的位置,使得二值化候选图像Gc(1)的对象区域Ra1至Ra6的位置和二值化候选图像Gc(2)的对象区域Ra1至Ra6的位置分别彼此对齐。此时,图像处理器1c仅沿着在参数设置步骤S3中设置为参数的方向调整二值化候选图像Gc(1)和Gc(2)的位置。因此,图像处理器1c使得能够限制位置校正的方向,由此抑制位置校正所需的计算成本。在下文,仅沿着设置为参数的方向进行位置校正步骤S5中的位置校正。
接着,图像处理器1c将位置校正之后的二值化候选图像Gc(1)和Gc(2)组合在一起,由此创建合成图像Gd(1)(参见图9)(合成步骤S6)。在合成步骤S6中,合成图像的各个像素的浓淡值是两个二值化候选图像各自的像素的浓淡值的平均值、加权平均值、中值、逻辑和、或者逻辑与。在合成图像Gd(1)中,将二值化候选图像Gc(1)的对象区域Ra1至Ra6和二值化候选图像Gc(2)的对象区域Ra1至Ra6分别彼此组合,由此形成合成图像Gd(1)的对象区域Ra1至Ra6。
图像处理器1c将与二值化候选图像Gc(2)有关的数据从存储部1b删除(数据删除步骤S7)。图像处理器1c将与合成图像Gd(1)有关的数据存储在存储部1b中(数据存储步骤S8)。结果,存储部1b存储了与二值化候选图像Gc(3)至Gc(N+1)以及合成图像Gd(1)有关的数据。然后,图像处理器1c判断所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合是否完成(完成判断步骤S9)。
由于所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合未完成,因此图像处理器1c再次进行提取步骤S4的处理。这里,提取步骤S4为第三次进行,因此图像处理器1c提取二值化候选图像Gc(3)。因此,图像处理器1c通过第一次至第三次进行的提取步骤S4的处理来提取二值化候选图像Gc(1)至Gc(3)。
接着,图像处理器1c进行合成图像Gd(1)和二值化候选图像Gc(3)的位置校正(位置校正步骤S5)。具体地,图像处理器1c通过模式匹配来进行位置校正,以使合成图像Gd(1)的对象区域Ra1至Ra6的位置和二值化候选图像Gc(3)的对象区域Ra1至Ra6的位置分别彼此匹配。
接着,图像处理器1c将位置校正之后的合成图像Gd(1)和二值化候选图像Gc(3)组合在一起,由此创建合成图像Gd(2)(参见图9)(合成步骤S6)。这里,合成图像Gd(1)是两个图像(即,二值化候选图像Gc(1)和Gc(2))的合成图像,并且二值化候选图像Gc(3)是单个二值化候选图像。因此,当图像处理器1c使用合成图像Gd(1)和二值化候选图像Gc(3)的像素的浓淡值的平均作为合成图像Gd(2)的各个像素的浓淡值时,图像处理器1c优选对合成图像Gd(1)和二值化候选图像Gc(3)的像素的浓淡值进行加权平均处理。在合成图像Gd(2)中,将合成图像Gd(1)的对象区域Ra1至Ra6和二值化候选图像Gc(3)的对象区域Ra1至Ra6分别彼此组合,由此形成合成图像Gd(2)的对象区域Ra1至Ra6。注意,合成图像Gd(2)可以说是通过将二值化候选图像Gc(1)至Gc(3)组合在一起所获得的图像。
图像处理器1c将与合成图像Gd(1)和二值化候选图像Gc(3)有关的数据从存储部1b删除(数据删除步骤S7)。图像处理器1c将与合成图像Gd(2)有关的数据存储在存储部1b中(数据存储步骤S8)。结果,存储部1b存储了与二值化候选图像Gc(4)至Gc(N+1)和合成图像Gd(2)有关的数据。然后,图像处理器1c判断所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合是否完成(完成判断步骤S9)。
由于所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合未完成,因此图像处理器1c再次进行提取步骤S4的处理。之后,图像处理器1c重复地进行提取步骤S4至完成判断步骤S9的处理,由此创建合成图像Gd(3)至Gd(N)。
也就是说,提取步骤S4包括:从N+1个二值化候选图像Gc(1)至Gc(N+1)中提取第M个二值化候选图像Gc(M)(其中M是小于或等于N的正整数)。位置校正步骤S5包括:进行模式匹配,以使通过将第一个至第(M-1)个二值化候选图像Gc(1)至Gc(M-1)组合在一起所获得的合成图像Gd(M-2)的对象区域Ra1至Ra6的位置与第M个二值化候选图像Gc(M)的对象区域Ra1至Ra6的位置分别彼此匹配。合成步骤S6包括:将合成图像Gd(M-2)和第M个二值化候选图像Gc(M)组合在一起。
然后,图像处理器1c进行第(N+1)次的提取步骤S4的处理,然后创建合成图像Gd(N)。在这种情况下,所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合完成,因此图像处理器1c使用合成图像Gd(N)作为模板图像Gt(确定步骤S10)(参见图9)。也就是说,图像处理器1c使用在最后一次进行的合成步骤S6中创建的合成图像Gd(N)作为模板图像Gt。图像处理器1c将与模板图像Gt有关的数据存储在存储部1b中。
图10示出模板图像Gt的示例。在模板图像Gt中,与二值化候选图像Gc(参见图6)相比,抑制了对象区域Ra1至Ra6的边缘的缺失和误提取,因而这些边缘是清晰的,因此模板图像Gt是高度准确的模板图像。此外,模板图像Gt包括比二值化候选图像Gc(参见图6)更少的噪声。
计算机系统CS将与模板图像Gt有关的数据输出到显示单元1d。显示单元1d是液晶显示器或有机EL显示器等,并且显示模板图像Gt。因此,检查者查看显示单元1d上所显示的模板图像Gt,由此从视觉上识别要用于检查的模板图像Gt。
操作单元1e具有用于接收由检查者给出的操作的用户接口功能。操作单元1e包括诸如触摸屏、键盘和鼠标等的至少一个用户接口。检查者向操作单元1e给出例如用以激活计算机系统CS、输入与参数设置步骤S3中的位置校正有关的参数的设置、以及控制显示单元1d的显示的操作。
如上所述,本实施例的模板图像创建方法根据在对象区域Ra1至Ra6的位置方面彼此移位的多个二值化候选图像Gc创建模板图像Gt。具体地,本实施例的模板图像创建方法包括:将通过使用模式匹配的位置校正对多个二值化候选图像Gc的移位进行校正之后的多个二值化候选图像G顺次组合在一起,由此创建模板图像Gt。结果,本实施例的模板图像创建方法使得当在多个二值化候选图像Gc上拍摄到的测试物体的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像Gt。这里,“顺次组合多个图像”意味着在没有一次组合所有多个图像的情况下,顺次地并且重复地进行用于组合多个图像中的一些图像的处理。
注意,在本实施例中,二值化候选图像Gc是通过对浓淡候选图像Gb进行二值化处理和边缘检测处理所获得的图像,并且浓淡候选图像Gb和二值化候选图像Gc各自是包括与对象区域Ra1至Ra6有关的信息的候选图像。也就是说,浓淡候选图像Gb和二值化候选图像Gc可以被视为本发明的候选图像。
(3)第一变形例
在第一变形例的模板图像创建方法中,基于多个二值化候选图像Gc相对于彼此的一个或多于一个类似度来设置是否允许将多个二值化候选图像Gc组合。这样,是否允许将多个二值化候选图像Gc组合的判断的优化使得在多个二值化候选图像Gc包括包含大量噪声的二值化候选图像Gc时,也能够创建包括很少噪声的高度准确的模板图像Gt。
注意,类似度可以是模式匹配的拟合优度,或者可替代地可以通过将候选图像的特征量彼此比较来获得,其中特征量是通过深度学习所提取的特征量、像素的浓淡值的直方图、直方图统计量、斑点检测的结果、或者对象区域Ra的边缘的长度等。用于将特征量彼此比较的方法的示例包括欧氏距离、隔离指数和bray-curtis指数。
图11是第一变形例的模板图像创建方法的流程图。
首先,计算机系统CS以与上述相同的方式进行获取步骤S1、预处理步骤S2和参数设置步骤S3。
然后,图像处理器1c从N+1个二值化候选图像Gc(Gc(1)至Gc(N+1))中提取一个二值化候选图像Gc作为第一候选图像(提取步骤S21)。这里,图像处理器1c提取二值化候选图像Gc(1)作为第一候选图像。然后,图像处理器1c将计算机系统CS中所包括的计数器的值(计数值)重置为0(重置步骤S22)。
接着,图像处理器1c从除二值化候选图像Gc(1)以外的N个二值化候选图像Gc(2)至Gc(N+1)中提取一个二值化候选图像Gc作为第二候选图像(提取步骤S23)。这里,图像处理器1c提取二值化候选图像Gc(2)作为第二候选图像。
接着,图像处理器1c获得二值化候选图像Gc(1)和Gc(2)中的模式匹配的拟合优度(拟合优度计算步骤S24)。在使用大量二值化候选图像Gc的情况下,代替获得模式匹配的拟合优度,可以通过使用特征量提取方法和特征量比较方法来获得二值化候选图像Gc相对于彼此的类似度。特征量之间的比较示例包括欧式距离、隔离指数和bray-curtis指数。
接着,图像处理器1c判断二值化候选图像Gc(1)和Gc(2)之间的拟合优度是否大于或等于匹配阈值(匹配判断步骤S25)。也就是说,在匹配判断步骤S25中,图像处理器1c基于二值化候选图像Gc(1)和Gc(2)之间的类似度来设置是否允许将二值化候选图像Gc(1)和Gc(2)组合。注意,匹配阈值可以是预设值。可替代地,可以根据多个二值化候选图像Gc中的模板匹配的程度的分布来设置匹配阈值,也就是说,例如,在将选择多个二值化候选图像Gc并存储如此选择的多个二值化候选图像Gc的拟合优度这一操作进行预定重复次数之后,可以使用拟合优度的前50%的值作为匹配阈值。
接着,如果拟合优度大于或等于匹配阈值,则图像处理器1c通过模式匹配来进行二值化候选图像Gc(1)和Gc(2)的位置校正(位置校正步骤S26)。此时,图像处理器1c仅沿着在参数设置步骤S3中设置为参数的方向调整二值化候选图像Gc(1)和Gc(2)的位置。因此,图像处理器1c使得能够限制位置校正的方向,由此抑制位置校正所需的计算成本。在下文,仅沿着设置为参数的方向进行位置校正步骤S26中的位置校正。
接着,图像处理器1c将位置校正之后的二值化候选图像Gc(1)和Gc(2)组合在一起,由此创建合成图像Gd(1)(合成步骤S27)。然后,图像处理器1c将与如此彼此组合的二值化候选图像Gc(1)和Gc(2)有关的数据从存储部1b删除(数据删除步骤S28),并将与合成图像Gd(1)有关的数据存储在存储部1b中(数据存储步骤S30)。结果,存储部1b存储了与二值化候选图像Gc(3)至Gc(N+1)和合成图像Gd(1)有关的数据。然后,图像处理器1c将计数值设置为1(计数步骤S31)。
如果拟合优度小于匹配阈值,则图像处理器1c推迟使用作为第二候选图像的二值化候选图像Gc(2)的合成处理(推迟步骤S29)。在这种情况下,存储部1b存储与二值化候选图像Gc(2)至Gc(N+1)有关的数据。
然后,图像处理器1c判断所有的二值化候选图像Gc(1)至Gc(N+1)的提取是否完成(完成判断步骤S32)。由于所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取未完成,因此图像处理器1c再次进行提取步骤S23的处理。在提取步骤S23中,图像处理器1c使用合成图像Gd(1)或二值化候选图像Gc(1)作为第一候选图像,并且另外,图像处理器1c提取二值化候选图像Gc(3)作为第二候选图像。
接着,图像处理器1c获得第一候选图像和二值化候选图像Gc(3)中的模式匹配的拟合优度(拟合优度计算步骤S24)。
接着,图像处理器1c判断第一候选图像和二值化候选图像Gc(3)之间的拟合优度是否大于或等于匹配阈值(匹配判断步骤S25)。也就是说,在匹配判断步骤S25中,图像处理器1c基于第一候选图像和二值化候选图像Gc(3)之间的类似度来设置是否允许将第一候选图像和二值化候选图像Gc(3)组合。
接着,如果拟合优度大于或等于匹配阈值,则图像处理器1c通过模式匹配进行第一候选图像和二值化候选图像Gc(3)的位置校正(位置校正步骤S26)。图像处理器1c将位置校正之后的第一候选图像和二值化候选图像Gc(3)组合在一起,由此创建合成图像Gd(2)(合成步骤S27)。然后,图像处理器1c将与如此彼此组合的第一候选图像和二值化候选图像Gc(3)有关的数据从存储部1b删除(数据删除步骤S28),并将与合成图像Gd(2)有关的数据存储在存储部1b中(数据存储步骤S30)。然后,图像处理器1c将计数值设置为1(计数步骤S31)。
如果拟合优度小于匹配阈值,则图像处理器1c推迟使用作为第二候选图像的二值化候选图像Gc(3)的合成处理(推迟步骤S29)。
然后,图像处理器1c判断所有的二值化候选图像Gc(1)至Gc(N+1)的提取是否完成(完成判断步骤S32)。由于所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取未完成,因此图像处理器1c再次进行提取步骤S23的处理。在提取步骤S23中,图像处理器1c使用合成图像Gd(2)或二值化候选图像Gc(1)作为第一候选图像,并且附加地提取二值化候选图像Gc(4)作为第二候选图像。之后,图像处理器1c重复地进行从提取步骤S23到完成判断步骤S32的处理。
然后,一旦在完成判断步骤S32中所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取完成,图像处理器1c就判断计数值是否为0、以及推迟的二值化候选图像Gc是否仍存在(结束判断步骤S33)。
如果满足以下两个条件中的至少一个,则图像处理器1c确定模板图像Gt(确定步骤S34)。存储部1b没有存储二值化候选图像Gc,而是仅存储一个合成图像Gd;计数值为0。
具体地,如果在结束判断步骤S33中存储部1b没有存储二值化候选图像Gc而是仅存储一个合成图像Gd,则所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的组合完成,并且图像处理器1c确定为合成图像Gd(N)是模板图像Gt(确定步骤S34)。
此外,当将二值化候选图像Gc(1)、Gc(2)、Gc(3)、…顺次彼此组合时,如果在拟合优度计算步骤S24中获得的所有拟合优度各自均小于匹配阈值,则不更新合成图像Gd。在这种情况下,不需要返回到重置步骤S22以再次进行重置步骤S22和后续步骤的处理。因此,使用计数值作为用于判断进行重置步骤S22和后续步骤的处理的必要性的值。如果在拟合优度计算步骤S24中获得的所有拟合优度各自均小于匹配阈值,则计数值为0。因此,如果在结束判断步骤S33中计数值为0,则图像处理器1c确定为该时间点的合成图像Gd是模板图像Gt或者确定为未能创建模板图像Gt(确定步骤S34)。
此外,如果在结束判断步骤S33中计数值为1(如果计数值不为0),则创建合成图像Gd,并且预期合成图像Gd中所包括的噪声小于候选图像中所包括的噪声。因此,如果计数值为1并且存储部1b存储二值化候选图像Gc,则图像处理器1c确定为推迟的二值化候选图像Gc仍存在,并且图像处理器1c返回到重置步骤S22以再次进行重置步骤S22和后续步骤的处理。然后,图像处理器1c使用该时间点的合成图像Gd作为第一候选图像,并使用推迟的二值化候选图像Gc作为第二候选图像(提取步骤S23),并且图像处理器1c进行拟合优度计算步骤S24和后续步骤的处理。
可替代地,在将结束判断步骤S33的判断处理重复预定的最大次数之后,即使推迟的二值化候选图像Gc仍存在,图像处理器1c也可以确定为该时间点的合成图像Gd是模板图像Gt(确定步骤S34)。
因此,在本变形例的模板图像创建方法中,将二值化候选图像Gc(1)至Gc(N+1)中的(一个或多于一个)二值化候选图像Gc(与二值化候选图像Gc(1)至Gc(N+1)中的(一个或多于一个)其他二值化候选图像Gc显著不同)从二值化候选图像Gc(1)至Gc(N+1)中排除,因此该模板图像创建方法可以创建包括很少噪声的高度准确的模板图像Gt。
(4)第二变形例
在第二变形例的模板图像创建方法中,基于多个二值化候选图像Gc相对于彼此的一个或多于一个类似度来设置是否允许将多个二值化候选图像Gc组合。这样,是否允许将多个二值化候选图像Gc组合的判断的优化使得在多个二值化候选图像Gc包括包含大量噪声的二值化候选图像Gc时,也能够创建包括很少噪声的高度准确的模板图像Gt。
图12是第二变形例的模板图像创建方法的流程图。
在第二变形例中,进行图11所示的第一变形例的流程图中的获取步骤S1、预处理步骤S2、参数设置步骤S3、提取步骤S21、提取步骤S23、拟合优度计算步骤S24和匹配判断步骤S25。
以下将说明第二变形例的匹配判断步骤S25和后续步骤的处理。
图像处理器1c获得合成图像Gd中的模式匹配的拟合优度,并判断拟合优度是否大于或等于匹配阈值(匹配判断步骤S25)。也就是说,在匹配判断步骤S25中,图像处理器1c基于第一候选图像和第二候选图像之间的类似度来设置是否允许将第一候选图像和第二候选图像组合。
如果拟合优度大于或等于匹配阈值,则图像处理器1c以与第一变形例相同的方式进行位置校正步骤S26、合成步骤S27、数据删除步骤S28和数据存储步骤S30。
如果拟合优度小于匹配阈值,则图像处理器1c将与第二候选图像有关的数据从存储部1b删除(数据删除步骤S41)。
然后,图像处理器1c判断所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取是否完成(完成判断步骤S42)。如果所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取未完成,则图像处理器1c再次进行提取步骤S23的处理。如果所有的二值化候选图像Gc(1)、Gc(2)、Gc(3)、…的提取完成,则图像处理器1c确定为该时间点的合成图像Gd是模板图像Gt(确定步骤S43)。
因此,本变形例的模板图像创建方法在二值化候选图像Gc(1)至Gc(N+1)包括二值化候选图像Gc(1)至Gc(N+1)中的与(一个或多于一个)其他二值化候选图像显著不同的(一个或多于一个)二值化候选图像Gc时,也可以创建包括很少噪声的高度准确的模板图像Gt。
(5)第三变形例
在第三变形例的模板图像创建方法中,图8中的流程图的提取步骤S4优选地包括:基于多个二值化候选图像Gc相对于彼此的一个或多于一个类似度来设置将多个二值化候选图像Gc组合的顺序次序。以这种方式,多个二值化候选图像Gc组合的顺序次序的优化使得在多个二值化候选图像Gc包括包含大量噪声的二值化候选图像Gc时,也能够创建包括很少噪声的高度准确的模板图像Gt。
具体地,图像处理器1c使用N+1个二值化候选图像Gc中的一个二值化候选图像Gc作为基准图像。在该变形例中,使用二值化候选图像Gc(1)作为基准图像。然后,图像处理器1c获得二值化候选图像Gc(2)至Gc(N+1)中的各二值化候选图像与二值化候选图像Gc(1)的类似度。图像处理器1c按类似度的降序向二值化候选图像Gc(2)至Gc(N+1)指派顺序次序。也就是说,图像处理器1c将位次“1”指派给二值化候选图像Gc(1),并且按与二值化候选图像Gc(1)的类似度的顺序将位次“2”、“3”、…、“N+1”分别指派给二值化候选图像Gc(2)至Gc(N+1)。位次的数字越小,位次越高。每次图像处理器1c执行提取步骤S4时,图像处理器1c从更高的位次朝向更低的位次按“1”、“2”、“3”、…、“N+1”的顺序从N+1个二值化候选图像Gc中提取一个二值化候选图像Gc。如果二值化候选图像Gc(1)至Gc(N+1)包括二值化候选图像Gc(1)至Gc(N+1)中的与(一个或多于一个)其他二值化候选图像Gc显著不同的(一个或多于一个)二值化候选图像Gc,则通过使用(一个或多于一个)二值化候选图像Gc执行位置校正步骤S5的模式匹配导致低类似度。如果类似度低于预定阈值,则图像处理器1c停止后续处理,并且确定为该时间点的合成图像Gd(M)是模板图像Gt。
此外,图像处理器1c可以基于二值化候选图像Gc相对于彼此的一个或多于一个类似度来判断是否允许将二值化候选图像Gc组合。也就是说,图像处理器1c不将类似度低于或等于阈值的二值化候选图像Gc组合。也就是说,图像处理器1c不使用二值化候选图像Gc(1)至Gc(N+1)中的与(一个或多于一个)其他二值化候选图像Gc显著不同的(一个或多于一个)二值化候选图像Gc来创建模板图像Gt。
因此,本变形例的模板图像创建方法在二值化候选图像Gc(1)至Gc(N+1)包括二值化候选图像Gc(1)至Gc(N+1)中的与(一个或多于一个)其他二值化候选图像Gc显著不同的(一个或多于一个)二值化候选图像Gc时,也可以创建包括很少噪声的高度准确的模板图像Gt。
(6)第四变形例
在第四变形例的模板图像创建方法中,进行包括组合步骤、位置校正步骤和合成步骤的图像处理。组合步骤包括:进行用于从多个输入图像产生各自包括两个或多于两个输入图像的一个或多于一个组的组合处理。位置校正步骤包括:对一个或多于一个组中的各组中所包括的两个或多于两个输入图像进行位置校正。合成步骤包括:将位置校正之后的两个或多于两个输入图像组合,由此创建分别与一个或多于一个组相对应的一个或多于一个输出图像。通过使用多个候选图像作为多个输入图像来进行图像处理。然后,在多个输出图像的情况下,通过使用多个输出图像作为多个输入图像来重复图像处理,直到作为图像处理的结果而获得了满足预定条件的输出图像为止。
图13是第四变形例的模板图像创建方法的流程图。
首先,计算机系统CS以与上述相同的方式进行获取步骤S1、预处理步骤S2和参数设置步骤S3。
然后,图像处理器1c使用多个二值化候选图像Gc作为多个输入图像。在本变形例中,使用七个二值化候选图像Gc(1)至Gc(7)作为多个二值化候选图像Gc(参见图14)。在类似度导出步骤S51中,图像处理器1c获得二值化候选图像Gc(1)至Gc(7)相对于彼此的类似度。
接着,在组合步骤S52中,图像处理器1c按类似度的降序从二值化候选图像Gc(1)至Gc(7)中顺次提取两个二值化候选图像Gc,并将如此提取的两个二值化候选图像Gc包括在同一组中。具体地,在图14中,二值化候选图像Gc(1)和Gc(2)包括在同一组中,二值化候选图像Gc(3)和Gc(4)包括在同一组中,并且二值化候选图像Gc(5)和Gc(6)包括在同一组中。
接着,在位置校正步骤S53中,图像处理器1c进行属于同一组的两个二值化候选图像Gc的位置校正。具体地,如图14所示,图像处理器1c进行属于同一组的二值化候选图像Gc(1)和Gc(2)的位置校正。图像处理器1c进行属于同一组的二值化候选图像Gc(3)和Gc(4)的位置校正。图像处理器1c进行属于同一组的二值化候选图像Gc(5)和Gc(6)的位置校正。
接着,在合成步骤S54中,图像处理器1c将位置校正之后的两个二值化候选图像Gc彼此组合,由此创建合成图像Gd。具体地,如图14所示,图像处理器1c将位置校正之后的二值化候选图像Gc(1)和Gc(2)组合,由此创建合成图像Gd(1)。图像处理器1c将位置校正之后的二值化候选图像Gc(3)和Gc(4)组合,由此创建合成图像Gd(2)。图像处理器1c将位置校正之后的二值化候选图像Gc(5)和Gc(6)组合,由此创建合成图像Gd(3)。
接着,在数据存储步骤S55中,图像处理器1c将与合成图像Gd(1)至Gd(3)有关的数据存储在存储部1b中并将与二值化候选图像Gc(1)至Gc(6)有关的数据从存储部1b中删除。在这种情况下,存储部1b存储与二值化候选图像Gc(7)有关的数据和与合成图像Gd(1)至Gd(3)有关的数据作为输出图像的数据。
接着,在完成判断步骤S56中,图像处理器1c判断合成处理是否完成。具体地,如果存储部1b存储两个或多于两个输出图像,则图像处理器1c判断为合成处理未完成。如果存储部1b存储一个输出图像,则图像处理器1c判断为合成处理完成。这里,存储部1b存储与二值化候选图像Gc(7)和合成图像Gd(1)至Gd(3)有关的数据并且输出图像的数量大于或等于2,因此图像处理器1c判断为合成处理未完成。当图像处理器1c判断为合成处理未完成时,使用存储部1b中所存储的二值化候选图像Gc(7)和合成图像Gd(1)至Gd(3)作为输入图像,并且该方法返回到类似度导出步骤S51。
然后,在类似度导出步骤S51中,图像处理器1c获得二值化候选图像Gc(7)和合成图像Gd(1)至Gd(3)相对于彼此的类似度。接着,图像处理器1c在组合步骤S52中按类似度的降序从二值化候选图像Gc(7)和合成图像Gd(1)至Gd(3)中顺次提取两个图像,并且将如此提取的两个二值化候选图像Gc包括在同一组中。具体地,在图14中,合成图像Gd(1)和Gd(2)在同一组中。然后,在位置校正步骤S53中,图像处理器1c进行属于同一组的合成图像Gd(1)和Gd(2)的位置校正。然后,在合成步骤S54中,图像处理器1c将位置校正之后的两个合成图像Gd(1)和Gd(2)组合,从而创建合成图像Gd(4)。
接着,在数据存储步骤S55中,图像处理器1c将与合成图像Gd(4)有关的数据存储在存储部1b中,并将与合成图像Gd(1)和Gd(2)有关的数据从存储部1b中删除。结果,存储部1b存储与二值化候选图像Gc(7)以及合成图像Gd(3)和Gd(4)有关的数据作为与输出图像有关的数据。
接着,在完成判断步骤S56中,图像处理器1c判断合成处理是否完成。这里,存储部1b存储与二值化候选图像Gc(7)以及合成图像Gd(3)和Gd(4)有关的数据,并且输出图像的数量大于或等于2,因此图像处理器1c判断为合成处理未完成。当图像处理器1c判断为合成处理未完成时,图像处理器1c使用存储部1b中所存储的二值化候选图像Gc(7)以及合成图像Gd(3)和Gd(4)作为输入图像,并且该方法返回到类似度导出步骤S51。
然后,在类似度导出步骤S51中,图像处理器1c获得二值化候选图像Gc(7)以及合成图像Gd(3)和Gd(4)相对于彼此的类似度。接着,在组合步骤S52中,图像处理器1c按类似度的降序从二值化候选图像Gc(7)以及合成图像Gd(3)和Gd(4)中顺次提取两个图像,并且将如此提取的两个二值化候选图像Gc包括在同一组中。具体地,在图14中,合成图像Gd(3)和Gd(4)在同一组中。然后,在位置校正步骤S53中,图像处理器1c进行属于同一组的合成图像Gd(3)和Gd(4)的位置校正。然后,在合成步骤S54中,图像处理器1c将位置校正之后的两个合成图像Gd(3)和Gd(4)组合,由此创建合成图像Gd(5)。
接着,在数据存储步骤S55中,图像处理器1c将与合成图像Gd(5)有关的数据存储在存储部1b中并将与合成图像Gd(3)和Gd(4)有关的数据从存储部1b中删除。结果,存储部1b存储与二值化候选图像Gc(7)和合成图像Gd(5)有关的数据作为与输出图像有关的数据。
接着,在完成判断步骤S56中,图像处理器1c判断合成处理是否完成。这里,存储部1b存储与二值化候选图像Gc(7)和合成图像Gd(5)有关的数据,并且输出图像的数量大于或等于2,因此图像处理器1c判断为合成处理未完成。当图像处理器1c判断为合成处理未完成时,图像处理器1c使用存储部1b中所存储的二值化候选图像Gc(7)和合成图像Gd(5)作为输入图像,并且该方法返回到类似度导出步骤S51。
然后,在类似度导出步骤S51中,图像处理器1c获得二值化候选图像Gc(7)和合成图像Gd(5)之间的类似度。接着,在组合步骤S52中,图像处理器1c将二值化候选图像Gc(7)和合成图像Gd(5)包括在同一组中。接着,在位置校正步骤S53中,图像处理器1c进行属于同一组的二值化候选图像Gc(7)和合成图像Gd(5)的位置校正。接着,在合成步骤S54中,图像处理器1c将位置校正之后的二值化候选图像Gc(7)和合成图像Gd(5)组合,由此创建合成图像Gd(6)。
接着,在数据存储步骤S55中,图像处理器1c将与合成图像Gd(6)有关的数据存储在存储部1b中,并将与二值化候选图像Gc(7)和合成图像Gd(5)有关的数据从存储部1b中删除。结果,存储部1b存储与合成图像Gd(6)有关的数据作为与输出图像有关的数据。
接着,在完成判断步骤S56中,图像处理器1c判断合成处理是否完成。这里,存储部1b存储与合成图像Gd(6)有关的数据,并且输出图像的数量为1,因此图像处理器1c判断为合成处理完成。当图像处理器1c判断为合成处理完成时,在确定步骤S57中,图像处理器1c确定为存储部1b中所存储的合成图像Gd(6)是模板图像Gt。
在本实施例中,在各种情况下通过使用合成图像来进行类似度导出步骤S51和组合步骤S52。然而,可以首先通过使用例如层次聚类分析来确定多个图像的所有组合。
如上所述,本实施例的模板图像创建方法根据在对象区域Ra1至Ra6的位置方面彼此移位的多个二值化候选图像Gc来创建模板图像Gt。具体地,本实施例的模板图像创建方法包括:通过将使用模式匹配的位置校正对多个二值化候选图像Gc的移位进行校正之后的多个二值化候选图像Gc组合,来创建模板图像Gt。结果,本实施例的模板图像创建方法使得当在多个二值化候选图像Gc上拍摄到的测试物体的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像Gt。
(7)第五变形例
第五变形例的模板图像创建方法在第四变形例中的多个输出图像的情况下,获得多个输出图像相对于彼此的一个或多于一个类似度。然后,如果多个输出图像相对于彼此的类似度或所有类似度各自均小于或等于类似度阈值,则使用多个输出图像中的各输出图像作为模板图像Gt。在这种情况下,即使对象区域Ra的特征根据许多测试物体而变化,也可以通过创建与特征相对应的多个模板图像Gt来提高模板匹配的准确度。
例如,在图14中,如果合成图像Gd(1)和Gd(2)以及二值化候选图像Gc(7)相对于彼此的类似度各自均大于或等于预定类似度阈值,则该方法继续进行第四变形例中的处理。如果合成图像Gd(1)和Gd(2)以及二值化候选图像Gc(7)相对于彼此的类似度各自均小于预定类似度阈值,则使用合成图像Gd(1)和Gd(2)以及二值化候选图像Gc(7)各自作为模板图像Gt。在这种情况下,模板图像创建系统1创建三个模板图像Gt作为模板集。此外,可以使用三个模板图像中的一个至两个模板图像作为模板集。
(8)第六变形例
第六变形例的模板图像创建方法基于第四变形例,并且还包括图15所示的显示步骤S61和选择步骤S62。显示步骤S61包括:将多个输入图像和至少一个输出图像以包括作为这多个输入图像和至少一个输出图像的节点的树结构显示在显示单元1d(参见图2)上。选择步骤S62包括:选择显示单元1d上所显示的多个输入图像和输出图像中的至少一个作为模板图像。
例如,测试物体的生产批次、产品类型、材料类型或者与生产和/或检查有关的条件方面的差异可能导致在候选图像上拍摄到的测试物体的外观显著不同。外观的示例包括测试物体的形状、图案、大小和表面上打印的二维码等。
例如,图16中的浓淡候选图像Gb(101)包括包含测试物体的图像的区域作为对象区域Ra101。浓淡候选图像Gb(102)包括包含测试物体的图像的区域作为对象区域Ra102。浓淡候选图像Gb(103)包括包含测试物体的图像的区域作为对象区域Ra103。将浓淡候选图像Gb(101)、Gb(102)和Gb(103)组合在一起,由此创建包括对象区域Ra100的合成图像Gd(100)。对象区域Ra100是将对象区域Ra101、Ra102和Ra103组合在一起的区域。然而,对象区域Ra101、对象区域Ra102和对象区域Ra103彼此显著不同,因此对象区域Ra100和对象区域Ra101之间的类似度、对象区域Ra100和对象区域Ra102之间的类似度以及对象区域Ra100和对象区域Ra103之间的类似度各自均小。因此,基于合成图像Gd(100)所创建的模板图像Gt的准确度低,并且模板图像Gt包括大量噪声。
因此,计算机系统CS使用图17所示的包括测试物体的图像的浓淡候选图像Gb(1)至Gb(4)以及浓淡候选图像Gb(11)、Gb(12)和Gb(21)作为输入图像,并且执行与第四变形例的模板图像创建方法相同的模板图像创建方法。在该变形例中,浓淡候选图像Gb(1)至Gb(4)中所包括的测试物体的图像与浓淡候选图像Gb(11)和Gb(12)中所包括的测试物体的图像显著不同。此外,浓淡候选图像Gb(21)是失真图像,即缺陷图像。
在这种情况下,计算机系统CS创建包括浓淡候选图像Gb(1)和Gb(2)的组、包括浓淡候选图像Gb(3)和Gb(4)的组以及包括浓淡候选图像Gb(11)和Gb(12)的组。计算机系统CS对各组中的两个浓淡候选图像Gb进行位置匹配和组合,由此创建合成图像作为各组的输出图像。此外,计算机系统CS使用多个合成图像作为输入图像来创建各自包括两个合成图像的组,并且对各组中的合成图像进行位置匹配和组合,由此创建合成图像作为各组的输出图像。计算机系统CS使用多个合成图像作为输入图像来重复上述处理,并且还组合浓淡候选图像Gb(21),由此最终创建一个合成图像。
显示单元1d显示包括作为多个输入图像和至少一个输出图像的节点的树结构Q1(参见图17)。树结构Q1包括各自与合成图像相对应的节点P1至P6。
然后,检查者向操作单元1e给出用以选择树结构Q1的节点中的任一个的操作。例如,当检查者选择节点P2时,显示单元1d显示包括相对大量噪声的合成图像Gd(b)。当检查者选择节点P4时,显示单元1d显示包括相对很少的噪声的合成图像Gd(a)。当检查者选择节点P6时,显示单元1d显示包括非常多噪声的合成图像Gd(c)。也就是说,检查者可以通过使得显示单元1d显示合成图像来检查合成图像。然后,检查者将包括很少噪声的高度精确的合成图像(例如,合成图像Gd(a))设置为模板图像Gt。
在本变形例中,检查者不必经过重复参数调整和结果验证的试错过程来选择模板图像Gt,因此检查者可以高效地选择模板图像Gt。
(9)第七变形例
注意,浓淡候选图像Gb和二值化候选图像Gc优选是各自的分辨率为1μm/pix或更低的图像。
此外,浓淡候选图像Gb和二值化候选图像Gc可以是即使在光学变焦的极限处对象区域Ra也不是清晰可见的图像。
此外,浓淡候选图像Gb和二值化候选图像Gc可以是如下的图像,在各个图像中,以摄像装置的分辨率无法清晰地拍摄到测试物体的特征。
此外,浓淡候选图像Gb和二值化候选图像Gc各自可以是通过拍摄测试物体的表面的图像所获得的图像、或者通过拍摄测试物体的内部的图像所获得的透过图像。
此外,浓淡候选图像Gb和二值化候选图像Gc可以是各自在不进行光学变焦的情况下拍摄到的图像。在这种情况下,可以拍摄图像的范围变宽,从而提高了检查速度。此外,焦深的范围变宽,使得可以创建失焦区域减少的候选图像。
此外,浓淡候选图像Gb和二值化候选图像Gc可以是浓淡图像。在这种情况下,可以减少在边缘检测之后在模板图像Gt中残留的噪声。
此外,候选图像、合成图像和模板图像各自可以是浓淡图像或二值化图像。为了组合浓淡图像,使用各浓淡图像的像素的浓淡值的平均、中值、加权平均、最大值或最小值作为合成图像的各像素的浓淡值。为了组合二值化图像,使用各二值化图像的像素的浓淡值的逻辑和或逻辑与作为合成图像的各像素的浓淡值。
此外,可以对合成图像进行中值滤波处理、高斯滤波处理、直方图平滑化处理、归一化处理、标准化处理、二值化处理和边缘检测处理中的一个、或者两个或更多个的组合处理,以获得可以用作模板图像的图像。
此外,在合成步骤中,可以一次组合三个或多于三个图像。
(10)总结
根据该实施例的第一方面的模板图像创建方法从多个候选图像(Gb,Gc)创建模板图像(Gt),这多个候选图像包括各自包含测试物体的图像的对象区域(Ra)。该模板图像创建方法包括:通过利用模式匹配进行位置校正以使多个候选图像(Gb,Gc)之间的对象区域(Ra)的位置匹配、并且将多个候选图像(Gb,Gc)顺次组合,来创建至少一个模板图像(Gt)。
因此,该模板图像创建方法使得当多个候选图像(Gb,Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
参考第一方面的根据该实施例的第二方面的模板图像创建方法优选地还包括参数设置步骤(S3),该参数设置步骤(S3)用于设置与位置校正有关的参数。
因此,该模板图像创建方法能够限制位置校正的方向,由此抑制位置校正所需的计算成本。
参考第一方面或第二方面的根据该实施例的第三方面的模板图像创建方法优选地包括提取步骤(S4,S23)、位置校正步骤(S5,S26)、合成步骤(S6,S27)和确定步骤(S10,S34,S43)。提取步骤(S4,S23)包括:从多个候选图像(Gb)中顺次提取一个候选图像(Gb)。位置校正步骤(S5,S26)包括:每次在提取步骤(S4,S23)中提取一个候选图像时,进行提取步骤(S4,S23)中所提取的所有候选图像(Gb)的位置校正。合成步骤(S6,S27)包括:通过在每次进行位置校正时将位置校正之后的所有候选图像(Gb)组合来创建合成图像(Gd)。确定步骤(S10,S34,S43)包括:确定为在多次进行的合成步骤(S6,S27)中的最后一次进行的合成步骤(S6,S27)中所创建的合成图像(Gd)是模板图像(Gt)。
因此,该模板图像创建方法使得当多个候选图像(Gb,Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
在参考第三方面的根据该实施例的第四方面的模板图像创建方法中,当在提取步骤(S4,S23)中从多个候选图像(Gb)中提取第M个候选图像(Gb)时,位置校正步骤(S5,S26)优选地包括:通过模式匹配来使通过将第一个候选图像(Gb)至第(M-1)个候选图像(Gb)组合所获得的合成图像(Gd)的对象区域(Ra)的位置与第M个候选图像(Gb)的对象区域(Ra)的位置彼此匹配,其中M是正整数。合成步骤(S6,S27)包括:将合成图像(Gd)和第M个候选图像(Gc)组合。
因此,该模板图像创建方法使得当多个候选图像(Gb,Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
在参考第一方面至第四方面中的任一方面的根据该实施例的第五方面的模板图像创建方法中,基于多个候选图像(Gc)相对于彼此的一个或多于一个类似度来设置是否允许将多个候选图像(Gc)组合以及多个候选图像(Gc)组合的顺序次序中的至少一者。
因此,该模板图像创建方法优化了是否允许将多个二值化候选图像(Gc)组合以及多个二值化候选图像(Gc)组合的顺序次序中的至少一者,因此该模板图像创建方法在多个二值化候选图像(Gc)包括包含大量噪声的二值化候选图像(Gc)时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
在参考第一方面或第二方面的根据该实施例的第六方面的模板图像创建方法中,优选地进行包括组合步骤(S52)、位置校正步骤(S53)和合成步骤(S54)的图像处理。组合步骤(S52)包括:进行用于从多个输入图像产生各自包括两个或多于两个输入图像的一个或多于一个组的组合处理。位置校正步骤(S53)包括:对一个或多于一个组中的各组所包括的两个或多于两个输入图像进行位置校正。合成步骤(S54)包括:将位置校正之后的两个或多于两个输入图像组合以创建与一个或多于一个组分别相对应的一个或多于一个输出图像。然后,在通过使用多个候选图像(Gc)作为多个输入图像进行图像处理之后的多个输出图像的情况下,通过使用多个输出图像作为多个输入图像来重复图像处理,直到作为图像处理的结果获得了满足预定条件的输出图像为止。
因此,该模板图像创建方法使得当多个候选图像(Gb,Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
在参考第六方面的根据该实施例的第七方面的模板图像创建方法中,优选地,获得多个输入图像相对于彼此的类似度,按类似度的降序从多个输入图像中顺次提取两个或多于两个输入图像,并且将如此提取的两个或多于两个输入图像包括在同一组中。
因此,模板图像创建方法优化了对多个二值化候选图像(Gc)的组合,由此使得在多个二值化候选图像(Gc)包括包含大量噪声的二值化候选图像(Gc)时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
在参考第六方面或第七方面的根据该实施例的第八方面的模板图像创建方法中,在多个输出图像的情况下,获得多个输出图像相对于彼此的一个或多于一个类似度,并且当多个输出图像相对于彼此的类似度或所有类似度各自小于类似度阈值时,优选地使用多个输出图像中的各输出图像作为模板图像(Gt)。
因此,即使当对象区域(Ra)的特征根据许多测试物体而变化时,模板图像创建方法也使得能够通过创建与各个特征相对应的多个模板图像(Gt)来提高模板匹配的准确度。
参考第六方面至第八方面中任一方面的根据该实施例的第九方面的模板图像创建方法优选地还包括显示步骤(S61)和选择步骤(S62)。显示步骤(S61)包括:将多个输入图像以及一个或多于一个输出图像以包括作为这多个输入图像以及一个或多于一个输出图像的节点的树结构(Q1)显示在显示单元(1d)上。选择步骤(S62)包括:选择显示单元(1d)上所显示的多个输入图像以及一个或多于一个输出图像中的至少一个作为模板图像(Gt)。
因此,在模板图像创建方法中,检查者不必经过重复参数调整和结果验证的试错过程来选择模板图像(Gt),因此检查者可以高效地选择模板图像(Gt)。
根据该实施例的第十方面的模板图像创建系统(1)被配置为从多个候选图像(Gc)创建模板图像(Gt),这多个候选图像各自包括包含测试物体的图像的对象区域(Ra)。模板图像创建系统(1)包括图像处理器(1c)。图像处理器(1c)被配置为通过利用模式匹配进行位置校正以使多个候选图像(Gc)之间的对象区域(Ra)的位置匹配并且将多个候选图像(Gb)顺次组合,来创建至少一个模板图像(Gt)。
因此,模板图像创建系统(1)使得在多个候选图像(Gb、Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
参考第十方面的根据该实施例的第十一方面的模板图像创建系统(1)优选地还包括图像获取部(1a),该图像获取部(1a)被配置为获取多个候选图像(Gb,Gc)。
因此,模板图像创建系统(1)被配置为从外部数据库、照相机或存储介质等获取多个候选图像。
根据该实施例的第十二方面的程序被配置为使得计算机系统(CS)执行第一方面至第九方面中任一方面的模板图像创建方法。
因此,该程序使得在多个候选图像(Gb,Gc)中的测试物体的图像的位置彼此不对齐时,也能够创建包括很少噪声的高度准确的模板图像(Gt)。
附图标记说明
S3参数设置步骤
S4,S23提取步骤
S5,S26位置校正步骤
S6,S27合成步骤
S10,S34,S43确定步骤
S52 组合步骤
S53 位置校正步骤
S54 合成步骤
S61 显示步骤
S62 选择步骤
Ra 对象区域
Gb浓淡候选图像(候选图像)
Gc二值化候选图像(候选图像)
Gd 合成图像
Gt 模板图像
Q1 树结构
CS计算机系统
M正整数
1模板图像创建系统
1a图像获取部
1c图像处理器
1d显示单元

Claims (12)

1.一种模板图像创建方法,用于从多个候选图像创建模板图像,所述多个候选图像各自包括包含测试物体的图像的对象区域,所述模板图像创建方法包括:
通过以下操作来创建至少一个模板图像:
利用模式匹配进行位置校正以使所述多个候选图像之间的对象区域的位置匹配,以及
将所述多个候选图像顺次组合。
2.根据权利要求1所述的模板图像创建方法,还包括参数设置步骤,所述参数设置步骤用于设置与所述位置校正有关的参数。
3.根据权利要求1或2所述的模板图像创建方法,还包括:
提取步骤,用于从所述多个候选图像中顺次提取一个候选图像;
位置校正步骤,用于每次在所述提取步骤中提取所述多个候选图像中的一个候选图像时,对所述提取步骤中所提取的所有候选图像进行所述位置校正;
合成步骤,用于通过每次进行所述位置校正时将所述位置校正之后的所有候选图像组合,来创建合成图像;以及
确定步骤,用于确定为在多次进行的合成步骤中的最后一次进行的合成步骤中所创建的合成图像是所述模板图像。
4.根据权利要求3所述的模板图像创建方法,其中,
当在所述提取步骤中从所述多个候选图像中提取第M个候选图像时,
所述位置校正步骤用于通过所述模式匹配,将通过将第一个候选图像至第(M-1)个候选图像组合所获得的合成图像的对象区域的位置与第M个候选图像的对象区域的位置匹配,其中M是正整数,以及
所述合成步骤用于将所述合成图像和第M个候选图像组合。
5.根据权利要求1至4中任一项所述的模板图像创建方法,其中,
基于所述多个候选图像相对于彼此的一个或多于一个类似度来设置是否允许将所述多个候选图像组合以及所述多个候选图像组合的顺序次序中的至少一者。
6.根据权利要求1或2所述的模板图像创建方法,其中,
进行图像处理,所述图像处理包括:
组合步骤,用于进行组合处理,所述组合处理用于从多个输入图像产生各自包括两个或多于两个输入图像的一个或多于一个组,
位置校正步骤,用于对所述一个或多于一个组中的各组中所包括的两个或多于两个输入图像进行所述位置校正,以及
合成步骤,用于将所述位置校正之后的两个或多于两个输入图像组合,以创建与所述一个或多于一个组分别相对应的一个或多于一个输出图像,以及
在通过使用所述多个候选图像作为所述多个输入图像来进行所述图像处理之后的多个输出图像的情况下,通过使用所述多个输出图像作为所述多个输入图像来重复所述图像处理,直到作为所述图像处理的结果获得了满足预定条件的输出图像为止。
7.根据权利要求6所述的模板图像创建方法,其中,
获得所述多个输入图像相对于彼此的类似度,
按类似度的降序从所述多个输入图像中顺次提取所述两个或多于两个输入图像,以及
将如此提取的两个或多于两个输入图像包括在同一组中。
8.根据权利要求6或7所述的模板图像创建方法,其中,
在所述多个输出图像的情况下,
获得所述多个输出图像相对于彼此的一个或多于一个类似度,以及
在所述多个输出图像相对于彼此的类似度或所有类似度各自小于类似度阈值的情况下,使用所述多个输出图像中的各输出图像作为所述模板图像。
9.根据权利要求6至8中任一项所述的模板图像创建方法,还包括:
显示步骤,用于将所述多个输入图像以及所述一个或多于一个输出图像以包括作为所述多个输入图像以及所述一个或多于一个输出图像的节点的树结构显示在显示单元上;以及
选择步骤,用于选择所述显示单元上所显示的所述多个输入图像以及所述一个或多于一个输出图像中的至少一个作为所述模板图像。
10.一种模板图像创建系统,用于从多个候选图像创建模板图像,所述多个候选图像各自包括包含测试物体的图像的对象区域,所述模板图像创建系统包括图像处理器,所述图像处理器被配置为通过利用模式匹配进行位置校正以使所述多个候选图像之间的对象区域的位置匹配、并将所述多个候选图像顺次组合,来创建至少一个模板图像。
11.根据权利要求10所述的模板图像创建系统,还包括图像获取部,所述图像获取部被配置为获取所述多个候选图像。
12.一种程序,其被配置为使得计算机系统执行根据权利要求1至9中任一项所述的模板图像创建方法。
CN202180067509.6A 2020-10-15 2021-09-22 模板图像创建方法、模板图像创建系统和程序 Pending CN116324881A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020174231 2020-10-15
JP2020-174231 2020-10-15
PCT/JP2021/034891 WO2022080109A1 (ja) 2020-10-15 2021-09-22 テンプレート画像作成方法、テンプレート画像作成システム、及びプログラム

Publications (1)

Publication Number Publication Date
CN116324881A true CN116324881A (zh) 2023-06-23

Family

ID=81207909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067509.6A Pending CN116324881A (zh) 2020-10-15 2021-09-22 模板图像创建方法、模板图像创建系统和程序

Country Status (4)

Country Link
US (1) US20230368349A1 (zh)
JP (1) JPWO2022080109A1 (zh)
CN (1) CN116324881A (zh)
WO (1) WO2022080109A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5241697B2 (ja) * 2009-12-25 2013-07-17 株式会社日立ハイテクノロジーズ アライメントデータ作成システム及び方法
US20130170757A1 (en) * 2010-06-29 2013-07-04 Hitachi High-Technologies Corporation Method for creating template for patternmatching, and image processing apparatus
JP5568456B2 (ja) * 2010-12-06 2014-08-06 株式会社日立ハイテクノロジーズ 荷電粒子線装置

Also Published As

Publication number Publication date
WO2022080109A1 (ja) 2022-04-21
US20230368349A1 (en) 2023-11-16
JPWO2022080109A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
US11657514B2 (en) Image processing apparatus, image processing method, and storage medium
US9785864B2 (en) Image processing method, image processing apparatus, program, and recording medium
US8675974B2 (en) Image processing apparatus and image processing method
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
CN111738318B (zh) 一种基于图神经网络的超大图像分类方法
KR20090028789A (ko) 이미지의 텍스트 인식
WO2021178419A1 (en) Method and system for performing image segmentation
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
Park et al. Active-passive data fusion algorithms for seafloor imaging and classification from CZMIL data
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
US7574051B2 (en) Comparison of patterns
JP3819236B2 (ja) パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
US20220414393A1 (en) Methods and Systems for Generating Composite Image Descriptors
CN116324881A (zh) 模板图像创建方法、模板图像创建系统和程序
CN114626483A (zh) 一种地标图像生成方法及装置
US20030185431A1 (en) Method and system for golden template image extraction
CN111862106B (zh) 基于光场语义的图像处理方法、计算机装置、及存储介质
Ren et al. Building recognition from aerial images combining segmentation and shadow
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
Xiao Automatic building detection using oblique imagery
CN116824183B (zh) 基于多重特征描述符的图像特征匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination