CN103988069A - 图像检查装置的检查区域设定方法 - Google Patents

图像检查装置的检查区域设定方法 Download PDF

Info

Publication number
CN103988069A
CN103988069A CN201280061701.5A CN201280061701A CN103988069A CN 103988069 A CN103988069 A CN 103988069A CN 201280061701 A CN201280061701 A CN 201280061701A CN 103988069 A CN103988069 A CN 103988069A
Authority
CN
China
Prior art keywords
inspection area
image
degree
parameter
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280061701.5A
Other languages
English (en)
Other versions
CN103988069B (zh
Inventor
湊善久
柳川由纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN103988069A publication Critical patent/CN103988069A/zh
Application granted granted Critical
Publication of CN103988069B publication Critical patent/CN103988069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

在图像检查装置中设置检查区域设定单元,该检查区域设定单元使用通过图像传感器对检查对象物的样本进行拍摄而得到的样本图像,预先设定在检查处理中使用的检查区域。检查区域设定单元根据样本图像中的各像素的颜色或亮度的信息以及样本图像中所包含的边缘的信息,对在检查区域的内侧和外侧之间的颜色或亮度的像素分离度以及检查区域的轮廓和边缘的边缘重叠度双方进行评价,由此求出检查区域的最优解。此外,检查区域设定单元根据由用户输入的平衡参数,对评价像素分离度和边缘重叠度时的权重进行调整。

Description

图像检查装置的检查区域设定方法
技术领域
本发明涉及进行基于图像的外观检查的图像检查装置。
背景技术
进行基于图像的外观检查的图像检查装置已被广泛利用,以实现生产线上的检查的自动化、省力化。虽然存在各种外观检查的种类和方法,但是,基本的结构是:利用图像传感器(相机)对检查对象物进行拍摄,从得到的图像中提取作为检查区域的部分,对该检查区域的部分的图像的特征进行分析、评价,由此,进行目的性的检查(例如,良/不良的判定、区分、信息取得等)。
在这种图像检查装置中,在开始检查处理之前,需要进行检查区域的设定等准备作业。在一般的装置中,准备有用于设定检查区域的专用工具,用户能够使用该工具自己设定与检查对象物和检查目的等对应的适当的检查区域。然而,以往的工具仅具有通过圆、四边形等单纯图形或它们的组合来定义检查区域的功能。因此,在检查对象物的形状复杂或特殊的情况下,有时无法准确地使检查区域与检查对象物的轮廓对应。此外,即使在能够通过单纯图形的组合来表现检查对象物的轮廓的情况下,当组合的图形的数量增多时,在检查区域的设定中会需要大量的时间和作业负担。近年来,尽量缩短安排时间(段取り時間)以提高多品种少量生产中的效率这样的需求强烈,不希望检查区域的设定耗费劳力和时间。但是,另一方面,为了应对制品形状的复杂化和检查内容的高度化、细分化,并且为了提高检查的精度和可靠性,希望仅在应作为检查的对象的部分上准确地设定检查区域这样的需求也很强烈。
作为自动地设定检查区域的方法,以往,已知有利用二值化或色域提取的检查区域提取方法。即,是从图像中提取符合预先设定的亮度范围或色域的像素组,并将该像素组作为检查区域的方法。该方法在要提取为检查区域的部分(前景)与其以外的部分(背景)的亮度或颜色的对比度较高的情况是有效的,例如,被用于从在皮带运输机上输送的物品的图像中仅提取物品部分的处理等。如果使用该方法,则能够在某种程度上解决对应上述的复杂形状、设定作业的简单化的课题,但是,依然存在以下课题。
当在要提取为检查区域的前景部分中存在由于照明等的影响而产生阴影,或者前景部分由各种亮度或颜色构成,或者在背景中存在与前景部分接近的颜色时,通过二值化或色域提取难以准确地仅提取前景部分。最近,检查内容的高度化、细分化发展,例如仅将成型加工部件的1个切削面作为对象而进行的表面检查,或者希望仅对安装有多个部件的印刷基板上的1个部件进行检查等,大量出现背景与前景的之间几乎没有色差的情况。此外,由于二值化、色域提取是按照图像的每个像素而进行的,因此,易受到噪声、照明变动的影响,有时提取出的检查区域中丢失像素,或者相反地从背景部分选择不相邻区域的像素,存在使检查精度降低的问题。
在专利文献1中,作为检查区域的设定方法,公开了根据检查对象部件的CAD数据来设定检查区域的位置和大小的方法、通过取得部件安装前和安装后的2张图像的差分来识别待检查的区域的方法等。虽然使用这些方法能够自动地设定检查区域,但是,能够应用这些方法的对象有限,缺乏通用性。
现有技术文献
专利文献
专利文献1:日本特开2006-58284号公报
非专利文献
非专利文献1:Y.Boykov and M.-P.Jolly:"Interactive Graph Cuts for OptimalBoundary&Region Segmentation of Objects in N-D images”,ICCV2001,01,p.105(2001).
发明内容
发明要解决的问题
本发明正是鉴于上述实际情况而完成的,其目的在于提供如下技术,即使是在复杂形状或特殊形状的对象的情况下,或者在前景和背景的颜色难以区分的情况下,利用该技术也能够简单且高精度地设定检查区域。
用于解决问题的手段
为了达成上述目的,在本发明中,针对检查对象物的样本图像综合地评价颜色/亮度的信息和边缘的信息,从而搜索检查区域的最优解,由此,自动或半自动地设定检查区域。
具体而言,本发明的检查区域设定方法,对图像检查装置设定用于定义检查区域的检查区域定义信息,该图像检查装置从对检查对象物进行拍摄而得到的原始图像中提取作为所述检查区域的部分来作为检查区域图像,通过对所述检查区域图像进行分析来进行所述检查对象物的检查,该检查区域设定方法具有:取得步骤,由计算机取得对检查对象物的样本进行拍摄而得到的样本图像;检查区域搜索步骤,由计算机根据所述样本图像中的各像素的颜色或亮度的信息以及所述样本图像中所包含的边缘的信息,针对作为检查区域的候选解的多个候选区域,评价像素分离度和边缘重叠度双方,从而从所述多个候选区域中求出检查区域的最优解,其中,该像素分离度是各候选区域的内侧与外侧之间的颜色或亮度的分离程度,该边缘重叠度是各候选区域的轮廓与所述样本图像中的边缘的重叠程度;以及设定步骤,由计算机针对所述图像检查装置,设定用于定义在所述检查区域搜索步骤中求出的检查区域在图像内的位置和形状的检查区域定义信息。
根据该结构,由于通过使用样本图像的最优解搜索来决定检查区域的位置和形状,因此,与以往那样利用单纯图形来手动输入检查区域相比,能够大幅降低设定时间和作业负荷,并且,还能够针对复杂形状和特殊形状进行应用。此外,除了使用颜色/亮度的信息以外,还是使用边缘的信息,综合地评价检查区域的内侧与外侧之间的颜色或亮度的像素分离度和检查区域的轮廓的边缘重叠度这双方,由此,与二值化、色域提取这样的现有方法相比,能够提高区域的提取精度。
优选的是,还具有由计算机从用户受理参数的输入的参数受理步骤,计算机每次在所述参数受理步骤中从用户受理参数的输入时,使用所输入的参数作为约束条件来执行所述检查区域搜索步骤,由此重新计算检查区域的最优解,将重新计算出的检查区域显示在显示装置中。
根据该结构,用户通过观察显示装置中所显示的检查区域,能够容易地确认是否选择了期望的区域作为检查区域。然后,在检查区域不适当的情况下,能够适当调整参数并马上在画面上确认重新计算结果,因此,能够容易地设定期望的检查区域。
优选的是,在所述参数受理步骤中,使用户输入用于调整所述像素分离度和所述边缘重叠度的平衡的平衡参数作为一个参数,在所述检查区域搜索步骤中,根据由用户输入的平衡参数,调整对所述像素分离度和所述边缘重叠度进行评价时的权重。
这样,由于用户能够调整平衡参数,因此,即使是难以实现前景和背景的自动切分的图像,也能够简单地且在短时间内设定期望的检查区域。
优选的是,在所述检查区域搜索步骤中,将评价候选区域的内侧的各像素的颜色或亮度相对于前景的代表颜色或代表亮度的前景相似性而得的值、或者评价候选区域的外侧的各像素的颜色或亮度相对于背景的代表颜色或代表亮度的背景相似性而得的值、或者综合该双方的值后得到的值,作为所述像素分离度。
根据该结构,成为如下评价:检查区域内的像素的前景相似性越高并且检查区域外的像素的背景相似性越高,则像素分离度越高。这样,决定作为前景和背景的代表的颜色/亮度,以它们为基准进行检查区域的搜索,由此能够进一步提高到达妥当的解的可能性。另外,在计算对前景相似性进行评价的值时,可以使用候选区域的内侧的全部像素,也可以仅使用一部分的像素。同样,在计算对背景相似性进行评价的值时,可以使用候选区域的外侧的全部像素,也可以仅使用一部分的像素。
优选的是,在所述检查区域搜索步骤中,以如下的方式调整对所述像素分离度和所述边缘重叠度进行评价时的权重:前景的代表颜色或代表亮度与背景的代表颜色或代表亮度之间的差异越大,所述像素分离度的权重就越大,所述差异越小,所述边缘重叠度的权重就越大。
在该结构中,并非由用户调整上述的平衡参数,而是自动地调整为适当的值。由此,在没有用户的辅助的状态下,也能够提高到达妥当的解的可能性。
在所述参数受理步骤中,如果能够使用户输入前景或背景或它们双方的代表颜色或代表亮度作为一个参数,则能够更进一步提高到达妥当的解的可能性。
此时,优选的是,在所述参数受理步骤中,将所述样本图像显示在显示装置中,使用户在所述显示的样本图像上指定要作为前景或背景的部分,取得所述指定的部分的颜色或亮度作为所述代表颜色或代表亮度。根据该结构,能够简单地并且准确无误地指定代表颜色和代表亮度。
作为参数,除了上述参数以外,还可以提供任何可能影响到检查区域的最优解搜索的参数。例如,提供表示与检查区域的形状、大小、在图像内的位置、纹理、拓扑、相邻要素、内包要素等有关的特征的信息作为参数,以除了像素分离度和边缘重叠度以外,还使检查区域的特征和通过这些参数而提供的特征之间的类似程度也提高的方式,进行检查区域的解搜索即可。这样,通过将检查区域的各种特征作为约束条件,能够进一步提高到达妥当的解的可能性。
假定仅通过参数的调整无法到达期望的检查区域、或者参数的试行错误耗费时间的情况,因此,优选具有检查区域修正步骤:将在所述检查区域搜索步骤中求出的检查区域显示在显示装置中,根据从用户输入的修正指示来修正检查区域的形状。这样,由于能够修正检查区域的形状,因此,能够通过用户的支援来补充在计算机的自动提取中较难的部分,结果是,能够简单地且在短时间内得到最适当的检查区域。
考虑各种用于修正检查区域的操作系统。例如,也可以通过贝塞尔(Bezier)曲线或样条曲线的轨迹对检查区域的轮廓的全部或一部分进行近似,并使用户修正所述轨迹。由此,能够简单地将检查区域的轮廓修正为期望的形状。此外,还优选使用户描绘自由曲线、并对所述自由曲线和检查区域进行合成以使所述自由曲线成为检查区域的轮廓的一部分的操作系统,或者使用户指定检查区域的轮廓的一部分的区间、并将所指定的区间的轮廓置换为直线或圆弧的操作系统,或者将由用户指定的像素追加到检查区域或将该像素从检查区域中除外的操作系统。
另外,能够获得具有上述手段中的至少任意一个手段的图像检查装置作为本发明,还能够获得具有与上述检查区域设定相关的手段中的至少任意一个手段的图像检查装置用的检查区域设定装置作为本发明。此外,还能够获得执行上述处理中的至少任意一个处理的图像检查方法或检查区域设定方法、或者用于使计算机执行该方法的程序和记录该程序的存储介质作为本发明。
发明的效果
根据本发明,即使在复杂形状、特殊形状的对象的情况下或者前景和背景的颜色难以区分的情况下,也能够简单且高精度地设定检查区域。
附图说明
图1是示意地示出图像检查装置的结构的图。
图2是示出检查处理的流程的流程图。
图3是用于说明检查处理中的检查区域的提取过程的图。
图4是示出使用设定工具103来设定检查区域的处理的流程的流程图。
图5是示出检查区域设定画面的一例的图。
图6是示出通过参数调整来设定检查区域的过程的一例的图。
图7是说明轮廓修正工具的动作例的图。
图8是说明轮廓描绘工具的动作例的图。
图9是说明圆弧变换工具的动作例的图。
图10是说明直线变换工具的动作例的图。
图11是说明绘制工具的动作例的图。
具体实施方式
以下参照附图详细说明本发明的优选实施方式。
以下说明的实施方式涉及进行基于图像的外观检查的图像检查装置,具体而言,涉及用于支援对图像检查装置设定检查区域的作业的检查区域设定装置。该图像检查装置适合用于在FA的生产线等中自动或半自动地对大量物品连续进行检查的用途等。虽然与作为检查对象的物品的种类无关,但是,在本实施方式的图像检查装置中,为了从由图像传感器进行摄像而得到的原始图像中提取预先决定的检查区域并进行检查,以原始图像中的检查区域的位置、形状是固定的为前提。虽然存在各种外观检查的目的和检查项目,但是,本实施方式的检查区域设定装置对哪种检查都能够适合应用。另外,在本实施方式中,以图像检查装置的一个功能(设定工具)的方式安装了检查区域设定装置,但是,也可以采用将图像检查装置和检查区域设定装置分开的结构。
<第1实施方式>
(图像检查装置)
图1示意地示出图像检查装置的结构。该图像检查装置1是对在输送路上输送的检查对象物2进行外观检查的系统。
如图1所示,图像检查装置1由装置主体10、图像传感器11、显示装置12、存储装置13、输入装置14等硬件构成。图像传感器11是用于将彩色或单色的静态图像或者动态图像取入装置主体10的设备,例如能够适合用于数字相机。其中,在用于检测可见光像以外的特殊图像(X线图像、热图像等)的情况下,使用与这种图像对应的传感器即可。显示装置12是用于显示由图像传感器11取入的图像、检查结果、以及与检查处理或设定处理相关的GUI画面的设备,例如能够使用液晶显示器等。存储装置13是用于存储图像检查装置1在检查处理中参照的各种设定信息(检查区域定义信息、检查逻辑等)、和检查结果等的设备,例如能够利用HDD、SSD、闪存、网络存储等。输入装置14是用户为了对装置主体10输入指示而进行操作的设备,例如能够利用鼠标、键盘、触摸面板、专用控制台等。
装置主体10在硬件上能够由具有CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置(ROM、HDD、SSD等)的计算机构成,在功能上具有检查处理部101、检查区域提取部102、设定工具103。检查处理部101和检查区域提取部102是与检查处理相关的功能,设定工具103是支援检查处理所需要的设定信息的用户进行的设定作业的功能。这些功能是通过将辅助存储装置或存储装置13中存储的计算机·程序下载到主存储装置中并由CPU执行而实现的。另外,图1仅是示出装置结构的一例,也可以将图像传感器11、显示装置12、存储装置13、输入装置14的全部或一部分与装置主体10一体化。另外,装置主体10可以由个人计算机或平板式终端那样的计算机构成,或者,也能够由专用芯片或机载计算机等构成。
(检查处理)
参照图2和图3来说明与图像检查装置1的检查处理相关的动作。图2是示出检查处理的流程的流程图,图3是用于说明检查处理中的检查区域的提取过程的图。这里,为了便于说明,以便携电话的壳体部件的面板面的检查(瑕疵、颜色不均匀的检测)为例来说明检查处理的流程。
在步骤S20中,通过图像传感器11对检查对象物2进行拍摄,将图像数据取入到装置主体10。此处,根据需要将所取入的图像(原始图像)显示在显示装置12中。图3的上段示出原始图像的一例。在原始图像的中央处映出作为检查对象的壳体部件2,在其左右映出在输送路上的相邻的壳体部件的一部分。
在步骤S21中,检查区域提取部102从存储装置13中读入必要的设定信息。在设定信息中至少包含检查区域定义信息和检查逻辑。检查区域定义信息是对要从原始图像中提取的检查区域的位置、形状进行定义的信息。检查区域定义信息的形式是任意的,例如能够使用在检查区域的内侧和外侧改变了标签的位掩码(bitmask)、或者用贝塞尔曲线或样条曲线表现检查区域的轮廓的矢量数据等。检查逻辑是对检查处理的内容进行定义的信息,例如是检查中使用的特征量的种类,判定方法、特征量提取或判定处理中使用的参数和阈值等。
在步骤S22中,检查区域提取部102根据检查区域定义信息从原始图像中提取作为检查区域的部分。图3的中段示出将由检查区域定义信息所定义的检查区域(由交叉阴影示出)30重叠于原始图像上的状况。可知,检查区域30正好重叠在壳体部件2的面板面上。图3的下段示出从原始图像中提取出检查区域30的部分的图像(检查区域图像31)的状况。在检查区域图像31中,删除了在壳体部件2的周围映出的输送轨迹和相邻的部件。此外,还删除了被排除在表面检查的对象部位以外的铰链部分20和按钮部分21。将这样得到的检查区域图像31交给检查处理部101。
在步骤S23中,检查处理部101按照检查逻辑从检查区域图像31中提取必要的特征量。在本例中,提取检查区域图像31的各像素的颜色及其平均值,作为用于进行表面的瑕疵、颜色不均匀的检查的特征量。
在步骤S24中,检查处理部101按照检查逻辑来判定瑕疵、颜色不均匀的有无。例如,在检测到相对于步骤S23中得到的平均值的色差超过阈值的像素组的情况下,能够将该像素组判定为瑕疵或颜色不均匀。
在步骤S25中,检查处理部101将检查结果显示在显示装置12中,并记录在存储装置13中。以上,对1个检查对象物2的检查处理完成。在生产线中,与将检查对象物2输送到图像传感器11的视场角内的定时同步地,重复图2的步骤S20~S25的处理。
在外观检查中,希望不会过量或不足而仅切出要作为检查的对象的像素作为检查区域图像31。这是因为,当在检查区域图像31中包含背景部分或多于余部分(图3的例中为铰链部分20和按钮部分21)时,该像素成为噪声,可能会使检查精度降低,相反,如果检查区域图像31小于要设为检查的对象的范围,则可能会产生检查的遗漏。因此,在本实施方式的图像检查装置1中,准备了设定工具103,以简单的生成用于切出准确的检查区域图像的检查区域定义信息。
(检查区域的设定处理)
参照图4和图5来说明设定工具103的功能和动作。图4是示出使用设定工具103来设定检查区域的处理的流程的流程图,图5是示出检查区域设定画面的一例的图。
在启动设定工具103后,在显示装置12中显示图5的设定画面。在该设定画面中设有图像窗口50、图像取入按钮51、前景指定按钮52、背景指定按钮53、优先度调整滑块54、确定按钮55。能够利用输入装置14来进行按钮的选择和滑块的移动等操作。另外,该设定画面毕竟仅是一例,可以使用任何的UI,只要能够进行以下说明的参数输入和检查区域的确认等即可。
在按下图像取入按钮51后,设定工具103通过图像传感器11对检查对象物的样本进行拍摄(步骤S40)。使用良品的检查对象物(在上述的例中为壳体部件)作为样本,在与实际的检查处理的情况相同的状态(图像传感器11和样本的相对位置、照明等)下拍摄即可。将得到的样本图像数据取入装置主体10。另外,在事先拍摄的样本图像存在于装置主体10的辅助存储装置或存储装置13中的情况下,设定工具103也可以从辅助存储装置或存储装置13中读入样本图像的数据。
如图5所示,将在步骤S40中取得的样本图像显示在设定画面的图像窗口50中(步骤S41)。
在步骤S42中,用户输入前景和背景的代表颜色(单色图像的情况下为代表亮度)。前景是指要提取为检查区域的部分,背景是指检查区域以外的部分。在输入前景的代表颜色的情况下,用户在按下设定画面的前景指定按钮52并设为前景指定模式后,在图像窗口50中显示的样本图像上指定要作为前景的部分。关于此处的指定,目的是选出前景的代表颜色,因此,在图5的例中,适当地选择壳体部件的面板面的一部分像素或像素组即可。如果是在前景中包含有图案、阴影、颜色大幅不同的部分等的情况下,优选以尽量能够网罗这些颜色的方式选择像素组。在输入背景的代表颜色的情况下,在按下背景指定按钮53并切换到背景指定模式后,进行同样的操作。另外,前景和背景的代表颜色的输入不是必须的。可以仅输入前景和背景中的任意一方,在代表颜色已知的情况下,或者在能够根据样本图像的颜色分布等自动地计算代表颜色的情况下,也可以省略步骤S42。
在步骤S43中,设定工具103根据在步骤S42中指定的前景/背景的代表颜色,将样本图像分离为前景和背景(segmentation,分割),将其前景部分选择为检查区域。在本实施方式中,除了使用样本图像的各像素的颜色信息以外,还使用样本图像中所包含的边缘的信息,针对作为检查区域的候选解的多个候选区域,对在前景和背景之间(即候选区域的内侧与外侧的间)的颜色的分离程度(将其称为像素分离度)以及前景和背景的边界(即候选区域的轮廓)与样本图像中的边缘的重叠的程度(将其称为边缘重叠度)的双方综合地进行评价,搜索使像素分离度和边缘重叠度双方提高的最优解。后面详细说明检查区域的计算方法。
在步骤S44中,将在步骤S43中计算出的检查区域显示在设定画面的图像窗口50中。用户通过观察在设定画面中显示的检查区域,能够确认是否选择了期望的区域作为检查区域。此时,优选在样本图像上覆盖显示检查区域,因为这样能够使检查对象物与检查区域之间的比较变得容易。
然后,设定工具103等待来自用户的输入(步骤S45)。在按下了确定按钮55的情况下,设定工具103针对当前的检查区域生成检查区域定义信息并将其存储在存储装置13中(步骤S46)。另一方面,在画面显示的检查区域不适当的情况下,用户能够操作前景指定按钮52、背景指定按钮53、优先度调整滑块54来调整参数(步骤S47)。如果重新指定前景或背景的代表颜色,则会影响前述的像素分离度的评价。此外,如果通过优先度调整滑块54变更颜色信息和边缘信息之间的优先度,则能够改变对前述的像素分离度和边缘重叠度进行评价时的平衡(权重)。设定工具103在从用户受理了参数的输入(变更)后,使用该新的参数作为约束条件来重新计算检查区域的最优解,对重新计算后的检查区域进行画面显示(步骤S47→S43、S44)。通过这样的功能,能够一边对参数进行适当调整,一边重复检查区域的计算,直到得到期望的结果。
图6示出通过参数调整设定检查区域的过程的一例。在上段示出通过最初的计算得到的检查区域30。在最初的计算结果中,壳体部件的铰链部分20和按钮部分21也包含在检查区域30中,但是,这里,由于目的是要检查检测面板面的瑕疵、颜色不均匀,因此希望从检查区域中排除铰链部分20和按钮部分21(参照图3)。因此,首先,用户按下背景指定按钮53并切换到背景指定模式,将样本图像中的按钮部分21的颜色追加指定为背景的代表颜色。由此,如中段所示的图像例那样,按钮部分21从检查区域30中被排除。接着,关于铰链部分20,由于与面板面之间的颜色差异较小,因此通过平衡参数的调整进行处理。即,着眼于铰链部分20与面板面之间的段差中产生的边缘,通过优先度调整滑块54提高边缘信息的优先度。由此,如下段所示的图像例那样,在铰链部分20与部件表面之间的边缘上设定检查区域30的轮廓,形成期望的检查区域30。
(检查区域的计算)
说明图4的步骤S43的检查区域的计算方法。
如前所述,在本实施方式的设定工具103中,对前景和背景之间的像素分离度以及前景和背景的边界的边缘重叠度的双方综合地进行评价,由此从检查区域的候选解中求出最优解。能够将该计算转化为将如下的目的函数最小化(或者最大化)的最优化问题,其中,该目的函数包括对基于颜色信息的像素分离度进行评价的函数和对基于边缘信息的边缘重叠度进行评价的函数。以下,使用图形切割算法来说明解决检查区域的最优化问题的方法。另外,由于图形切割算法是公知的方法(参照非专利文献1),因此,在本说明书中,省略图形切割算法的基本概念的说明,下面以本实施方式中特有的部分为中心进行说明。
在图形切割算法中,如下式那样定义能量函数作为目的函数,在给出I时求出使能量E最小化的解L。在本例中,I是样本图像,L是表示是前景还是背景的标签(即检查区域)。
[式1]
E ( L | I ) = Σ i ∈ Ω U ( l i | I ) + λ Σ { i , j } ∈ N V ( l i , l j | I ) - - - ( 1 )
这里,i、j是像素的索引,Ω是图像I中的像素组,N是图像I中的相邻像素对组。此外,li、lj分别是像素i、j的指定标签。提供在前景的情况下为“1”、在背景的情况下为“0”这样的标签。右边第1项称作数据项,给出与对象像素i有关的约束条件。右边第2项称作平滑化项,给出与彼此相邻的像素i、j有关的约束条件。λ是决定数据项与平滑化项的权重(平衡)的平衡参数。
数据项由对基于前述的颜色信息的像素分离度进行评价的函数定义。例如,通过下式定义数据项的评价函数U即可。
[式2]
U ( l i | I ) = - log p ( I | l i = 1 ) , if l i = 1 - log p ( I | l i = 0 , ) if l i = 0 - - - ( 2 )
这里,-logp(I|li=1)是表示前景像素(前景标签为“1”的像素)相对于前景代表颜色的前景相似性的函数(对数似然),称作前景似然。前景似然中的概率密度函数使用根据前景代表颜色估计出的内容(例如用高斯混合模型对前景代表颜色的颜色分布进行近似得到的内容)。另一方面,-logp(I|li=0)是表示背景像素(背景标签为“0”像素)相对于背景代表颜色的背景相似性的函数(对数似然),称作背景似然。背景似然中的概率密度函数使用根据背景代表颜色估计出的内容(例如用高斯混合模型对背景代表颜色的颜色分布进行近似得到的内容)。即,数据项表示各前景像素的前景似然与各背景像素的背景似然的总和,前景像素的颜色与前景代表颜色越接近,或者背景像素的色与背景代表颜色越接近,则能量越小,相反,前景像素的颜色越偏离前景代表颜色,或者背景像素的颜色越偏离背景代表颜色,则能量越大。
平滑化项由对基于前述边缘信息的边缘重叠度进行评价的函数来定义。例如,能够通过下式定义平滑化项的评价函数V。
[数3]
V ( l i , l j | I ) = exp { - β | | I i - I j | | 2 } , if l i ≠ l j 0 , if l i = l j
这里,Ii、Ij分别是像素i、j的像素值(颜色或亮度),β是系数。||Ii-Ij||2表示规定的颜色空间上的像素值的差分(距离),即像素间的对比度的高度。
根据上述公式,在相邻的像素i、j的标签不同的情况下,如果像素i、j的对比度较低则能量变大,对比度较高则能量变小。相邻的像素的对比度高的部分是图像中的颜色或亮度大幅变化的部分,即图像中的边缘部分。即,上述公式中,前景与背景的边界(标签不同的像素对)越与图像中的边缘重叠,则能量越小。
以上说明的能量函数在满足一定的数学条件(submodularity:子模性)的情况下存在全局的最小解。此外,同样,还可以附加满足submodularity的项通过附带约束条件求出全局的最小解。另外,关于全局的最小解的有效的解法,利用公知的搜索算法即可,因此,此处省略详细的说明。
能够在前述设定画面中调整的参数中的“前景代表颜色”和“背景代表颜色”对数据项的值产生影响。此外,“颜色信息和边缘信息的优先度”对应于平衡参数λ。即,当用户增大颜色信息的优先度时,减小参数λ的值并增大数据项的权重,当用户增大边缘信息的优先度时,增大参数λ的值并增大平滑化项的权重。另外,关于参数λ的值,还能够由计算机(设定工具103)自动地决定。例如,设定工具103计算前景代表颜色与背景代表颜色的差,当该差较大时减小参数λ的值,增大数据项的权重。这是因为,在前景与背景的颜色的差异明确的情况下,能够估计为数据项的可靠性较高。相反,当前景代表颜色与背景代表颜色的差较小时增大参数λ的值,增大平滑化项的权重。这是因为,在前景与背景的颜色差异不明确的情况下,存在基于边缘信息的区域分割相比基于颜色信息的区域分割得到更好的结果的趋势。这样,通过自动调整平衡参数λ,在没有用户的辅助的状态下,也能够提高能够得到妥当的解的可能性。优选的是,通过上述方法自动地决定平衡参数λ的初始值,将其作为出发点使用户调整平衡参数λ(颜色信息和边缘信息的优先度)即可。这是因为,初始值的妥当性越高,越能够减少用户的试行错误的次数,能够期待可减轻参数调整有关的作业负荷。
另外,在上述的式(2)中,使用前景像素的前景相似性(前景似然)与背景像素的背景相似性(背景似然)的总和作为数据项,但是,像素分离度的评价函数不限于此。例如,也可以使用前景相似性与背景相似性的积、加权和、加权积、非线性函数和、非线性函数积等。另外,作为非线性函数,使用单调增加函数即可。此外,也可以并非评价前景相似性和背景相似性双方,而使用仅评价前景相似性或仅评价背景相似性的结果作为像素分离度。具体而言,在式(2)中,能够使用在li=0的情况下(或者li=1的情况下)成为U(li|I)=0的函数。下式(4)是仅评价前景相似性的函数。
[数4]
U ( l i | I ) = - log p ( I | l i = 1 ) if l i = 1 0 , if l i = 0
此外,在前景相似性的计算中,可以使用全部的前景像素(即候选区域的内侧的全部像素),也可以仅使用一部分的前景像素。同样,关于背景相似性的计算,可以使用全部的背景像素(即候选区域的外侧的全部像素),也可以仅使用一部分背景像素。例如,通过将标签确定的像素从计算中排除,或者在计算中仅使用与候选区域的轮廓相距规定距离内的像素,能够实现计算时间的缩短。
此外,评价前景相似性或者背景相似性的函数不限于式(2)的函数。例如,能够如下式那样使用前景似然与背景似然之比即似然比。
[数5]
U ( l i | I ) = - log p ( I | l i = 1 ) p ( I | l i = 0 ) , if l i = 1 - log p ( I | l i = 0 ) p ( I | l i = 1 ) , if l i = 0
也可以是,直接使用由用户指定为前景代表颜色的像素组的直方图(不对概率密度函数进行估计),根据各像素的颜色相对于该前景代表颜色直方图的类似度来评价前景相似性,或者相反地,根据各像素的颜色相对于前景代表颜色直方图的差异度来评价背景相似性。同样,也可以是,根据相对于由用户指定为背景代表颜色的像素组的直方图(背景代表颜色直方图)的类似度来评价背景相似性,根据相对于背景代表颜色直方图的差异度来评价前景相似性。或者,也可以是,使用规定的函数或距离指标,来计算根据候选区域的前景像素组求出的前景直方图和根据背景像素组求出的背景直方图、与上述前景代表颜色直方图和背景代表颜色直方图之间的类似度或差异度。或者,也可以根据像素组的颜色、亮度的信息计算对直方图进行近似后得到的内容,使用对该直方图进行近似后得到的内容来计算类似度、差异度。
(追加的参数)
在上述例中,对前景代表颜色、背景代表颜色、颜色信息和边缘信息的优先度这3个参数进行了说明,但是,除此以外,只要是可对检查区域的最优解搜索产生影响的参数即可,也可以使用任何的参数。例如,由于外观检查的对象物以工业制品为主,因此,大多数情况下,特征存在于作为检查区域的部分的形状、纹理、拓扑、与检查区域相邻的要素、内包于检查区域的要素等中。此外,在设置图像传感器时,设定为使得检查对象物正好收入视场角内,因此,能够在某种程度上预测作为检查区域的部分的大小和在图像内的位置。因此,通过使用户输入表示这样的检查区域的特征的信息作为参数,并在目的函数中追加用于评价由该参数提供的特征与检查区域的特征之间的类似程度的约束条件,能够更进一步提高搜索妥当的检查区域的可能性。
作为表示与检查区域的形状有关的特征的形状信息,能够使用检查区域的基本形状(圆形、四边形、三角形、星形……)或轮廓的特征(直线的外形、圆滑的外形、锯齿多……)等。作为输入形状信息的UI,可以列表显示基本形状的模板或轮廓的特征,使用户从其中选择符合的形状信息。在指定了基本形状的模板的情况下,例如,插入下式作为约束条件即可。
[式6]
min log Σ i | | l i - T ( t i ) | | 2
这里,li是像素i的指定标签,ti是与模板上的像素i对应的点的标签。T()表示仿射变换。上述公式表示如下的操作:对所指定的模板进行放大/缩小、旋转、变形等,并对候选区域进行模板匹配,计算最小得分。即,通过增加该约束条件,具有与用户指定的基本形状接近的形状的区域的能量变小,作为最优解而被优先选择。
此外,在指定了锯齿程度或光滑程度作为轮廓的特征的情况下,例如,插入下式作为约束条件即可。
[式7]
log { | | Σ | ∂ θ ∂ S | - C | | 2 }
这里,S是前景区域的轮廓上的点,θ是轮廓的倾斜角度,θ/S表示沿着前景区域的轮廓的倾斜角度的变化量。此外,C是表示由用户指定的锯齿程度(光滑程度)的常数,越呈锯齿状则C为越大的值,越光滑则C为越小的值。上述公式是评价前景区域的轮廓的倾斜角度的变化量的合计值(表示轮廓的锯齿程度)是否接近值C(表示所指定的锯齿程度)的函数。即,通过增加该约束条件,具有与用户指定的锯齿程度接近的轮廓特征的区域作为最优解而被优先选择。
作为表示与检查区域的大小有关的特征的大小信息,能够使用检查区域的面积、纵横的长度等。在输入了面积作为大小信息的情况下,例如,插入下式作为约束条件即可。
[式8]
log { | | Σ i l i - C | | 2 }
这里,C是由用户指定的前景区域的面积(像素数)。由于前景标签为1、背景标签为0,因此Σli表示前景像素的总数、即前景区域的面积。因此,上述公式是评价前景区域的面积是否接近所指定的面积C的函数。通过增加该约束条件,与用户指定的面积接近的大小的区域的作为最优解被优先选择。
作为表示与检查区域的图像内的位置有关的特征的位置信息,能够使用检查区域的重心坐标、检查区域的存在范围(上、下、右、左、中央……)等。在输入了重心坐标作为位置信息的情况下,例如,插入下式作为约束条件即可。
[式9]
log{||ω-C||2}
这里,w是前景区域的重心坐标,C是由用户指定的重心坐标。上述公式是评价前景区域的重心坐标是否接近所指定的坐标C的函数。通过增加该约束条件,在与用户指定的坐标接近的位置具有重心的区域作为最优解被优先选择。
作为表示与检查区域的纹理有关的特征的纹理信息,能够使用表示检查区域内的图案、颜色的浓淡、凹凸、素材等的信息。例如,可以列表显示各种纹理模板,并使用户从其中选择符合的模板。在输入了纹理模板的情况下,例如,插入下式作为约束条件即可。
[式10]
logf(hl=1(I)-hl=1(E))
这里,I是样本图像,E是由用户指定的纹理模板。hl=1()表示前景像素的颜色直方图,f()是表示直方图的类似度的函数。即,上述公式是评价样本图像中的前景区域的颜色直方图是否与所指定的纹理的颜色直方图类似的函数。通过增加该约束条件,具有与用户指定的纹理类似的纹理的区域作为最优解被优先选择。
(本实施方式的优点)
根据以上说明的本实施方式的设定工具103,通过使用样本图像的最优解搜索来决定检查区域的位置和形状,因此与以往那样利用单纯图形手动输入检查区域相比,能够大幅减轻设定时间和作业负荷,并且对于复杂形状和特殊形状也能够进行应用。此外,除了使用颜色/亮度的信息以外,还使用边缘的信息,对检查区域的内侧和外侧之间的颜色或亮度的像素分离度以及检查区域的轮廓和边缘的边缘重叠度的双方综合地进行评价,由此,与二值化、色域提取这样的现有方法相比,能够提高区域的提取精度。
此外,本实施方式的设定工具103能够在设定画面中使用户任意选择使颜色信息和边缘信息的优先度中的哪个优先。例如,在前景和背景中包含图案等疑似轮廓较多的图像的情况下,相比边缘的信息,使颜色/亮度的信息优先能够得到好的结果的可能性高,在前景和背景的颜色相似的图像的情况下,使边缘的信息优先能够得到好的结果的可能性高。对于这样的难以区分前景和背景的图像,完全自动地找到正解是非常困难的。另一方面,如果是人的话,则观察图像而能够容易地判断应该使哪个优先,通过试行错误来设定参数也容易。因此,如上述结构那样,通过设为能够调整平衡参数,能够简单且在短时间内设定期望的检查区域。
<第2实施方式>
接着,对本发明的第2实施方式说明。在第1实施方式的设定工具中,通过调整前景/背景的代表颜色或颜色和边缘的优先度等参数,能够设定检查区域。然而,还设想仅通过这样的参数调整无法达到用户期望的检查区域的形状(残留少量误差)可能性、参数的试行错误耗费时间的情况。因此,在第2实施方式的设定工具中设有检查区域修正功能,在通过计算求出检查区域后,用户能够交互地手动修正其形状。
以下,作为由本实施方式的设定工具提供的检查区域修正功能的一例,针对(1)轮廓修正工具、(2)轮廓描绘工具、(3)圆弧变换工具、(4)直线变换工具、(5)绘制工具进行说明。例如设为能够从图5的设定画面启动这些工具即可。另外,图像检查装置的结构、检查处理的动作、检查区域的自动计算(最优化)的动作等与第1实施方式相同,因此省略说明。
(1)轮廓修正工具
图7是说明轮廓修正工具的动作例的图。(a)示出检查对象物(样本)70的图像,(b)示出检查区域71的自动计算结果。假定在检查对象物70的轮廓和检查区域71的轮廓之间产生了图中所示那样的偏差。
用户启动轮廓修正工具后,轮廓修正工具首先用贝塞尔曲线或样条曲线的轨迹72对检查区域71的轮廓进行近似,如(c)所示,对轨迹72与控制点73一起进行画面显示。此时,在检查对象物70的图像上覆盖显示有轨迹72和控制点73。用户利用输入装置14进行控制点73的修正、追加、删除,由此能够自由修正轨迹72的形状。被用户修正后的结果被马上反映到画面显示中。因此,用户能够一边在画面中确认,一边容易地使轨迹72的形状与检查区域71的轮廓一致。(d)示出修正后的轨迹72。
在通过上述操作完成了轨迹72的修正后,由用户指定轨迹的确定,然后,轮廓修正工具将被轨迹72包围的区域向检查区域71变换。由此,得到用户期望的形状的检查区域71。
(2)轮廓描绘工具
图8是说明轮廓描绘工具的动作例的图。(a)放大示出检查对象物70的图像和自动计算出的检查区域71的一部分。假定检查对象物70的轮廓与检查区域71的轮廓之间产生图中所示的偏差。
在用户启动轮廓描绘工具后,切换到轮廓描绘模式,用户能够使用输入装置14在图像上描绘自由曲线74。例如,在使用鼠标作为输入装置14的情况下,描绘鼠标的按钮从按下到释放为止的期间内的鼠标光标移动的轨迹作为自由曲线74。在自由曲线74描绘失败的情况下,暂时从轮廓描绘模式退出,并从最初重新进行操作即可。
在通过上述操作完成了自由曲线74的描绘后,用户指示轮廓的确定,然后,轮廓描绘工具合成自由曲线74和检查区域71,使得自由曲线74成为检查区域71的轮廓的一部分。(c)示出合成后的检查区域71。自由曲线74与检查区域71的合成方法是任意的。例如,也可以实施使自由曲线74与检查区域71的轮廓的连接部分或自由曲线74的形状光滑的平滑加工。此外,在自由曲线74的端点从检查区域71的轮廓偏离的情况下,可以用最近接点接合自由曲线74和检查区域71的轮廓,也可以进行插值,以平滑地连接自由曲线74和检查区域71的轮廓。通过以上的操作,能够得到用户期望的形状的检查区域71。
(3)圆弧变换工具
图9是说明圆弧变换工具的动作例的图。(a)放大示出了检查对象物70的图像和自动计算出的检查区域71的一部分。假定在检查对象物70的轮廓与检查区域71的轮廓之间产生图中所示的偏差。
在用户启动圆弧变换工具后,切换到圆弧输入模式,用户能够使用输入装置14在图像上输入圆弧。例如,在使用鼠标作为输入装置14的情况下,如(b)所示,使鼠标光标移动,在检查区域71的轮廓上的2点(1、2)和圆弧的通过点(3)这3处点击鼠标。于是,计算以点1、2为圆弧的起点、终点且通过点3的圆弧,在图像上覆盖显示。在圆弧的形状与期望的形状不同的情况下,对各点的位置进行修正,或者暂时从圆弧输入模式退出并从最初重新进行操作即可。另外,在本实施方式中,通过圆弧的起点/终点/通过点这3点指定圆弧,但是,当然也可以通过其他的指定方法进行圆弧的输入。
在通过上述操作完成了圆弧的指定后,用户指示圆弧的确定,然后,圆弧变换工具将检查区域71的轮廓中的起点(1)与终点(2)之间的区间的轮廓置换为上述圆弧。此时,在起点(1)或终点(2)从检查区域71的轮廓偏离的情况下,可以用最近接点接合圆弧与检查区域71的轮廓,也可以进行插值,以平滑地连接圆弧与检查区域71的轮廓。通过以上的操作,能够简单地将检查区域71的一部分区间的轮廓整形为圆弧。
(4)直线变换工具
图10是说明直线变换工具的动作例的图。(a)放大示出检查对象物70的图像和自动计算出的检查区域71的一部分。假定检查对象物70的轮廓与检查区域71的轮廓中产生图中所示的偏差。
在用户启动直线变换工具后,切换到直线输入模式,用户能够使用输入装置14在图像上输入直线段。例如,在使用鼠标作为输入装置14的情况下,如(b)所示,使鼠标光标移动,在检查区域71的轮廓上的2点(1、2)上点击鼠标。于是,计算以点1、2为起点、终点的线段,并在图像上覆盖显示。在线段的形状与期望的形状不同的情况下,对各点的位置进行修正,或者暂时从直线输入模式退出并从最初重新进行操作即可。另外,在本实施方式中通过起点、终点这2点指定直线,但是,当然也可以通过其他的指定方法进行直线的输入。
在通过上述操作完成了直线的指定后,用户指示直线的确定,然后,直线变换工具将检查区域71的轮廓中的起点(1)与终点(2)之间的区间的轮廓置换为上述线段。此时,在起点(1)或终点(2)偏离检查区域71的轮廓的情况下,可以用最近接点接合线段和检查区域71的轮廓,也可以进行插值,以平滑地连接线段与检查区域71的轮廓。通过以上的操作,能够简单地将检查区域71的一部分区间的轮廓整形为直线。
(5)绘制工具
图11是说明绘制工具的动作例的图。(a)放大示出检查对象物70的图像和自动计算出的检查区域71的一部分。在绘制工具中,以像素为单位对检查区域71进行修正,因此,为了便于说明,在图11中示出像素的格子。假定在检查对象物70的轮廓和检查区域71的轮廓中产生图中所示的偏差,在图的上方,检查区域71过小,在图的右方,检查区域71过大。
在用户启动绘制工具后,切换到绘制模式,用户能够使用输入装置14在图像上指定要追加到检查区域71中的像素,或者指定要从检查区域71中删除的像素。(b)示出了在检查区域中追加像素的状况。例如,在使用鼠标作为输入装置14的情况下,通过依次选择要追加的像素或者保持按下规定的按钮而使鼠标光标移动,能够指定要追加到检查区域71中的区域(像素组)75。另一方面,(c)示出从检查区域中删除像素的状况。也能够以与追加的情况相同的方式指定要从检查区域71中删除的区域(像素组)76。通过以上的操作,能够得到用户期望的形状的检查区域71。
根据以上说明的本实施方式的结构,通过设置用于手动修正检查区域的形状的功能,能够通过用户的支援将计算机难以自动提取的部分补充完成,结果为,能够简单且在短时间内得到最合适的(即用户期望的形状的)检查区域。另外,在本实施方式中,对(1)到(5)这5个修正功能进行了说明,但是,设定工具不需要具有该全部的修正功能。可以仅至少设有任意一个修正功能,相反,设定工具也优选具有其他的修正功能。此外,优选的是,在进行修正作业时,用户能够放大/缩小图7~图11中所示的作业画面,有效地进行作业,从而易于进行精密的输入。
上述的实施方式示出本发明的一具体例,本发明的范围不限于那些具体例。例如,在上述实施方式中,由于设想彩色图像作为样本图像而利用了图像的颜色信息,但是,在使用单色图像的情况下,使用亮度信息代替颜色信息即可。此外,在上述实施方式中,在最优化中利用了图形切割算法,但是,也能够利用水平集算法等其他的方法。在其他的方法的情况下,通过利用颜色信息(亮度信息)和边缘信息也能够实现检查区域的高精度的计算。此外,在该情况下,优先能够由用户变更颜色信息(亮度信息)和边缘信息的优先度。
标号说明
1:图像检查装置
2:检查对象物(壳体部件)
10:装置主体,11:图像传感器,12:显示装置,13:存储装置,14:输入装置,101:检查处理部,102:检查区域提取部,103:设定工具
20:铰链部分,21:按钮部分
30:检查区域,31:检查区域图像
50:图像窗口,51:图像取入按钮,52:前景指定按钮,53:背景指定按钮,54:优先度调整滑块,55:确定按钮
70:检查对象物,71:检查区域,72:轨迹,73:控制点,74:自由曲线。

Claims (18)

1.一种检查区域设定方法,对图像检查装置设定用于定义检查区域的检查区域定义信息,该图像检查装置从对检查对象物进行拍摄而得到的原始图像中提取作为所述检查区域的部分来作为检查区域图像,通过对所述检查区域图像进行分析来进行所述检查对象物的检查,该检查区域设定方法的特征在于,其具有:
取得步骤,由计算机取得对检查对象物的样本进行拍摄而得到的样本图像;
检查区域搜索步骤,由计算机根据所述样本图像中的各像素的颜色或亮度的信息以及所述样本图像中所包含的边缘的信息,针对作为检查区域的候选解的多个候选区域,评价像素分离度和边缘重叠度双方,从而从所述多个候选区域中求出检查区域的最优解,其中,该像素分离度是各候选区域的内侧与外侧之间的颜色或亮度的分离程度,该边缘重叠度是各候选区域的轮廓与所述样本图像中的边缘的重叠程度;以及
设定步骤,由计算机针对所述图像检查装置,设定用于定义在所述检查区域搜索步骤中求出的检查区域在图像内的位置和形状的检查区域定义信息。
2.根据权利要求1所述的检查区域设定方法,其特征在于,
所述检查区域设定方法还具有由计算机从用户受理参数的输入的参数受理步骤,
计算机每次在所述参数受理步骤中从用户受理参数的输入时,使用所输入的参数作为约束条件来执行所述检查区域搜索步骤,由此重新计算检查区域的最优解,将重新计算出的检查区域显示在显示装置中。
3.根据权利要求2所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入用于调整所述像素分离度和所述边缘重叠度的平衡的平衡参数作为一个参数,
在所述检查区域搜索步骤中,根据由用户输入的平衡参数,调整对所述像素分离度和所述边缘重叠度进行评价时的权重。
4.根据权利要求2或3所述的检查区域设定方法,其特征在于,
在所述检查区域搜索步骤中,将评价候选区域的内侧的各像素的颜色或亮度相对于前景的代表颜色或代表亮度的前景相似性而得的值、或者评价候选区域的外侧的各像素的颜色或亮度相对于背景的代表颜色或代表亮度的背景相似性而得的值、或者综合该双方的值后得到的值,作为所述像素分离度。
5.根据权利要求4所述的检查区域设定方法,其特征在于,
在所述检查区域搜索步骤中,以如下的方式调整对所述像素分离度和所述边缘重叠度进行评价时的权重:前景的代表颜色或代表亮度与背景的代表颜色或代表亮度之间的差异越大,则所述像素分离度的权重就越大,所述差异越小,则所述边缘重叠度的权重就越大。
6.根据权利要求4或5所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入前景或背景或它们双方的代表颜色或代表亮度作为一个参数。
7.根据权利要求6所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,将所述样本图像显示在显示装置中,使用户在所述显示的样本图像上指定要作为前景或背景的部分,取得所述指定的部分的颜色或亮度作为所述代表颜色或代表亮度。
8.根据权利要求2~7中的任意一项所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入表示与检查区域的形状有关的特征的形状信息作为一个参数,
在所述检查区域搜索步骤中,以除了所述像素分离度和所述边缘重叠度以外,还使得检查区域的形状和由所述形状信息表示的形状之间的类似程度提高的方式,求出检查区域的最优解。
9.根据权利要求2~8中的任意一项所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入表示与检查区域的大小有关的特征的大小信息作为一个参数,
在所述检查区域搜索步骤中,以除了所述像素分离度和所述边缘重叠度以外,还使得检查区域的大小与由所述大小信息表示的大小之间的类似程度提高的方式,求出检查区域的最优解。
10.根据权利要求2~9中的任意一项所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入表示与检查区域在图像内的位置有关的特征的位置信息作为一个参数,
在所述检查区域搜索步骤中,以除了所述像素分离度和所述边缘重叠度以外,还使得检查区域在样本图像内的位置与由所述位置信息表示的位置之间的类似程度提高的方式,求出检查区域的最优解。
11.根据权利要求2~10中的任意一项所述的检查区域设定方法,其特征在于,
在所述参数受理步骤中,使用户输入表示与检查区域内的图像的纹理有关的特征的纹理信息作为一个参数,
在所述检查区域搜索步骤中,以除了所述像素分离度和所述边缘重叠度以外,还使得检查区域内的图像的纹理与由所述纹理信息表示的纹理之间的类似程度提高的方式,求出检查区域的最优解。
12.根据权利要求1~11中的任意一项所述的检查区域设定方法,其特征在于,
所述检查区域设定方法还具有检查区域修正步骤,在检查区域修正步骤中,计算机将在所述检查区域搜索步骤中求出的检查区域显示在显示装置中,按照由用户输入的修正指示来修正检查区域的形状。
13.根据权利要求12所述的检查区域设定方法,其特征在于,
在所述检查区域修正步骤中,通过贝塞尔曲线或样条曲线的轨迹对检查区域的轮廓的全部或一部分进行近似,并使用户修正所述轨迹。
14.根据权利要求12或13所述的检查区域设定方法,其特征在于,
在所述检查区域修正步骤中,使用户描绘自由曲线,合成所述自由曲线和检查区域,以使得所述自由曲线成为检查区域的轮廓的一部分。
15.根据权利要求12~14中的任意一项所述的检查区域设定方法,其特征在于,
在所述检查区域修正步骤中,使用户指定检查区域的轮廓的一部分区间,将所指定的区间的轮廓置换为直线或圆弧。
16.根据权利要求12~15中的任意一项所述的检查区域设定方法,其特征在于,
在所述检查区域修正步骤中,将由用户指定的像素追加到检查区域中或者从检查区域中排除。
17.一种程序,其特征在于,该程序使计算机执行权利要求1~16中的任意一项所述的检查区域设定方法的各步骤。
18.一种检查区域设定装置,其对图像检查装置设定用于定义检查区域的检查区域定义信息,该图像检查装置从对检查对象物进行拍摄而得到的原始图像中提取作为所述检查区域的部分来作为检查区域图像,通过对所述检查区域图像进行分析来进行所述检查对象物的检查,该检查区域设定装置的特征在于,其具有:
取得单元,其取得对检查对象物的样本进行拍摄而得到的样本图像;
检查区域搜索单元,其根据所述样本图像中的各像素的颜色或亮度的信息以及所述样本图像中所包含的边缘的信息,针对作为检查区域的候选解的多个候选区域,评价像素分离度和边缘重叠度双方,从而从所述多个候选区域中求出检查区域的最优解,其中,该像素分离度是各候选区域的内侧与外侧之间的颜色或亮度的分离程度,该边缘重叠度是各候选区域的轮廓与所述样本图像中的边缘的重叠程度;以及
设定单元,其针对所述图像检查装置,设定用于定义由所述检查区域搜索单元求出的检查区域在图像内的位置和形状的检查区域定义信息。
CN201280061701.5A 2012-01-05 2012-08-29 图像检查装置的检查区域设定方法 Active CN103988069B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012000588A JP5874398B2 (ja) 2012-01-05 2012-01-05 画像検査装置の検査領域設定方法
JP2012-000588 2012-01-05
PCT/JP2012/071758 WO2013103032A1 (ja) 2012-01-05 2012-08-29 画像検査装置の検査領域設定方法

Publications (2)

Publication Number Publication Date
CN103988069A true CN103988069A (zh) 2014-08-13
CN103988069B CN103988069B (zh) 2016-10-05

Family

ID=48745100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280061701.5A Active CN103988069B (zh) 2012-01-05 2012-08-29 图像检查装置的检查区域设定方法

Country Status (6)

Country Link
US (1) US9269134B2 (zh)
EP (1) EP2801815B1 (zh)
JP (1) JP5874398B2 (zh)
KR (1) KR101626231B1 (zh)
CN (1) CN103988069B (zh)
WO (1) WO2013103032A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053984A (zh) * 2012-01-27 2014-09-17 欧姆龙株式会社 图像检查方法和图像检查装置
CN106682693A (zh) * 2016-12-23 2017-05-17 浙江大学 一种用于塑料瓶瓶身重叠图像的识别方法
WO2019129160A1 (zh) * 2017-12-29 2019-07-04 上海微电子装备(集团)股份有限公司 芯片崩边缺陷检测方法
CN111583170A (zh) * 2019-02-15 2020-08-25 东京毅力科创株式会社 图像生成装置和图像生成方法
CN111630561A (zh) * 2018-01-17 2020-09-04 株式会社富士 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102685A (ja) * 2012-11-20 2014-06-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9213896B2 (en) * 2013-03-05 2015-12-15 Mitsubishi Electric Research Laboratories, Inc. Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
US9734797B2 (en) * 2013-08-06 2017-08-15 Crackle, Inc. Selectively adjusting display parameter of areas within user interface
JP6478492B2 (ja) * 2014-06-27 2019-03-06 キヤノン株式会社 画像処理装置およびその方法
WO2016021030A1 (ja) 2014-08-07 2016-02-11 株式会社ニコン X線装置および構造物の製造方法
CN107076684B (zh) 2014-09-02 2021-04-02 株式会社尼康 测量处理装置、测量处理方法和测量处理程序
US11016038B2 (en) 2014-09-02 2021-05-25 Nikon Corporation Measurement processing device, measurement processing method, measurement processing program, and method for manufacturing structure
US10445612B2 (en) * 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2019516191A (ja) * 2016-05-03 2019-06-13 レオニ カーベル ゲーエムベーハー 操作者の強調された視認のための色の区分けを備える映像システム
CN106846302B (zh) * 2016-12-30 2024-03-15 河南中烟工业有限责任公司 一种工具正确取件的检测方法及基于此方法的考核台
US10943374B2 (en) * 2017-02-03 2021-03-09 Microsoft Technology Licensing, Llc Reshaping objects on a canvas in a user interface
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6931552B2 (ja) * 2017-05-09 2021-09-08 株式会社キーエンス 画像検査装置
JP6919982B2 (ja) * 2017-05-09 2021-08-18 株式会社キーエンス 画像検査装置
JP6864549B2 (ja) * 2017-05-09 2021-04-28 株式会社キーエンス 画像検査装置
SE541493C2 (en) * 2017-10-26 2019-10-15 Ivisys Aps System and method for optical inspection of an object
JP6693938B2 (ja) 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
JP2019185204A (ja) * 2018-04-04 2019-10-24 富士電機株式会社 画像処理装置、ロボットシステム、画像処理方法
IL260417B (en) 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
JP7299002B2 (ja) 2018-08-23 2023-06-27 ファナック株式会社 判別装置及び機械学習方法
JP6823025B2 (ja) 2018-09-12 2021-01-27 ファナック株式会社 検査装置及び機械学習方法
JP6795562B2 (ja) 2018-09-12 2020-12-02 ファナック株式会社 検査装置及び機械学習方法
JP7214432B2 (ja) * 2018-10-22 2023-01-30 キヤノン株式会社 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP6823839B2 (ja) * 2019-06-17 2021-02-03 大日本印刷株式会社 判定装置、判定装置の制御方法、判定システム、判定システムの制御方法、及び、プログラム
WO2021161321A1 (en) 2020-02-13 2021-08-19 Inspekto A.M.V Ltd User interface device for autonomous machine vision inspection
TWI742733B (zh) * 2020-06-19 2021-10-11 倍利科技股份有限公司 圖像轉換方法
CN112351247A (zh) * 2020-10-16 2021-02-09 国电大渡河枕头坝发电有限公司 一种基于图像处理的水电厂内电光闪光检测方法
CN112419298B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院(深圳)有限公司 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
US20230011330A1 (en) * 2021-07-09 2023-01-12 At&T Intellectual Property I, L.P. Device condition determination
JP2023071276A (ja) * 2021-11-11 2023-05-23 日立Astemo株式会社 検査方法および検査装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07280537A (ja) * 1994-04-11 1995-10-27 Sekisui Chem Co Ltd 撮像式検査方法および装置
US20060221090A1 (en) * 2005-03-18 2006-10-05 Hidenori Takeshima Image processing apparatus, method, and program
CN101256156A (zh) * 2008-04-09 2008-09-03 西安电子科技大学 平板裂缝天线裂缝精密测量方法
CN101526485A (zh) * 2008-03-06 2009-09-09 奥林巴斯株式会社 缺陷检查方法
TW201003300A (en) * 2008-05-22 2010-01-16 Toppan Printing Co Ltd An inspection and modification method for rules of do-not-inspect regions, recording medium for recording computer program for such inspection and modification and apparatus for such inspection and modification
CN102005025A (zh) * 2009-08-31 2011-04-06 欧姆龙株式会社 图像处理装置
US20110222766A1 (en) * 2010-03-12 2011-09-15 Omron Corporation Image processing method and image processing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2791303B2 (ja) * 1995-11-18 1998-08-27 株式会社電脳技研 1つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
US7130039B2 (en) 2002-04-18 2006-10-31 Kla-Tencor Technologies Corporation Simultaneous multi-spot inspection and imaging
JP2004354064A (ja) * 2003-05-27 2004-12-16 Hitachi High-Tech Electronics Engineering Co Ltd 光学系測定画像による磁気ヘッドの欠陥検査方法および欠陥検査装置
US7233329B2 (en) * 2003-11-03 2007-06-19 Siemens Corporate Research, Inc. Rendering for coronary visualization
JP4165538B2 (ja) 2004-07-21 2008-10-15 オムロン株式会社 部品実装検査方法および部品実装検査装置
JP2006038582A (ja) * 2004-07-26 2006-02-09 Dainippon Screen Mfg Co Ltd 画像の領域分割による欠陥の検出
US7609888B2 (en) * 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
EP1928578A2 (en) 2005-08-30 2008-06-11 Camtek Ltd. An inspection system and a method for detecting defects based upon a reference frame
JP4998787B2 (ja) * 2007-09-26 2012-08-15 楽天株式会社 物体領域抽出処理プログラム、物体領域抽出装置、および物体領域抽出方法
US7623229B1 (en) 2008-10-07 2009-11-24 Kla-Tencor Corporation Systems and methods for inspecting wafers
JP5011348B2 (ja) * 2009-06-01 2012-08-29 株式会社日立ハイテクノロジーズ パターン検査方法及びその装置
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US20130329987A1 (en) * 2012-06-11 2013-12-12 Genesis Group Inc. Video segmentation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07280537A (ja) * 1994-04-11 1995-10-27 Sekisui Chem Co Ltd 撮像式検査方法および装置
US20060221090A1 (en) * 2005-03-18 2006-10-05 Hidenori Takeshima Image processing apparatus, method, and program
CN101526485A (zh) * 2008-03-06 2009-09-09 奥林巴斯株式会社 缺陷检查方法
CN101256156A (zh) * 2008-04-09 2008-09-03 西安电子科技大学 平板裂缝天线裂缝精密测量方法
TW201003300A (en) * 2008-05-22 2010-01-16 Toppan Printing Co Ltd An inspection and modification method for rules of do-not-inspect regions, recording medium for recording computer program for such inspection and modification and apparatus for such inspection and modification
CN102005025A (zh) * 2009-08-31 2011-04-06 欧姆龙株式会社 图像处理装置
US20110222766A1 (en) * 2010-03-12 2011-09-15 Omron Corporation Image processing method and image processing device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053984A (zh) * 2012-01-27 2014-09-17 欧姆龙株式会社 图像检查方法和图像检查装置
CN106682693A (zh) * 2016-12-23 2017-05-17 浙江大学 一种用于塑料瓶瓶身重叠图像的识别方法
WO2019129160A1 (zh) * 2017-12-29 2019-07-04 上海微电子装备(集团)股份有限公司 芯片崩边缺陷检测方法
CN109991232A (zh) * 2017-12-29 2019-07-09 上海微电子装备(集团)股份有限公司 芯片崩边缺陷检测方法
CN109991232B (zh) * 2017-12-29 2022-02-15 上海微电子装备(集团)股份有限公司 芯片崩边缺陷检测方法
CN111630561A (zh) * 2018-01-17 2020-09-04 株式会社富士 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
CN111630561B (zh) * 2018-01-17 2024-04-02 株式会社富士 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
CN111583170A (zh) * 2019-02-15 2020-08-25 东京毅力科创株式会社 图像生成装置和图像生成方法

Also Published As

Publication number Publication date
JP5874398B2 (ja) 2016-03-02
KR20140088220A (ko) 2014-07-09
JP2013140090A (ja) 2013-07-18
US9269134B2 (en) 2016-02-23
EP2801815A4 (en) 2015-10-07
US20140314302A1 (en) 2014-10-23
EP2801815B1 (en) 2018-06-27
EP2801815A1 (en) 2014-11-12
CN103988069B (zh) 2016-10-05
KR101626231B1 (ko) 2016-05-31
WO2013103032A1 (ja) 2013-07-11

Similar Documents

Publication Publication Date Title
CN103988069A (zh) 图像检查装置的检查区域设定方法
CN104053984A (zh) 图像检查方法和图像检查装置
JP5953842B2 (ja) 画像検査方法および検査領域設定方法
US10648922B2 (en) Crack analysis device, crack analysis method, and crack analysis program
US9741112B2 (en) Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images
JP5898221B2 (ja) 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て
JP6089886B2 (ja) 領域分割方法および検査装置
Miao et al. Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
JP2001156135A (ja) 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
CN105184765A (zh) 检查设备、检查方法和程序
KR102502486B1 (ko) 화상을 생성하는 시스템
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP6278842B2 (ja) 検査装置、検査方法およびプログラム
CN114332004A (zh) 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质
JPWO2020189189A1 (ja) 検査装置及び方法
JP2015232482A (ja) 検査装置、検査方法およびプログラム
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
JP2015022533A (ja) 色彩デザイン評価装置、及び、色彩デザイン評価方法
US8655035B2 (en) Epithelial structure detector and related methods
US20150170355A1 (en) Wafer appearance inspection system and method of sensitivity threshold setting
CN115398228A (zh) 金属组织的拍摄条件确定方法、金属组织的拍摄方法、金属组织的相分类方法、金属组织的拍摄条件确定装置、金属组织的拍摄装置、金属组织的相分类装置、金属材料的材料特性预测方法及金属材料的材料特性预测装置
JP2007139421A (ja) 形態分類装置及び方法、並びに変化領域抽出装置及び方法
US20230104859A1 (en) Microscopy System and Method for Instance Segmentation
JP6864722B2 (ja) 検査装置、検査方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant