CN116074646A - 参数调整辅助装置以及参数调整辅助方法 - Google Patents

参数调整辅助装置以及参数调整辅助方法 Download PDF

Info

Publication number
CN116074646A
CN116074646A CN202211301374.8A CN202211301374A CN116074646A CN 116074646 A CN116074646 A CN 116074646A CN 202211301374 A CN202211301374 A CN 202211301374A CN 116074646 A CN116074646 A CN 116074646A
Authority
CN
China
Prior art keywords
image
parameter
value
adjustment
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211301374.8A
Other languages
English (en)
Inventor
松田健利
土井雄一
川岛孝平
荒木恒彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN116074646A publication Critical patent/CN116074646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及参数调整辅助装置以及参数调整辅助方法，针对具有多个检查处理的图像传感器，简化用户对参数的调整作业。参数调整辅助装置具备：调整对象设定部，其从多个检查处理中设定作为调整对象的N个项目的检查处理；图像取得部，其取得OK图像和NG图像；图表生成部，其针对N个项目的检查处理分别生成描绘了OK图像计测值、NG图像计测值以及当前的阈值的图表，所述OK图像计测值是根据OK图像按照设定参数的当前的条件计算出的计测参数的值，所述NG图像计测值是根据该检查处理的NG图像按照设定参数的当前的条件计算出的计测参数的值；以及输出部，其将图表输出到显示装置。

Description

参数调整辅助装置以及参数调整辅助方法
技术领域
本发明涉及用于对在图像传感器的检查处理中使用的参数的调整进行辅助的技术。
背景技术
在工厂的生产线等中，为了使制造物的检查自动化或省力化，经常使用被称为图像传感器的系统(参照专利文献1)。在图像传感器中，组合多个项目的检查处理而构成一系列的检查流程。为了通过图像传感器得到正确的检查结果，需要适当地设定在各检查处理中使用的参数，但以往，只有单独地设定各个检查处理的参数的方法，该参数的调整(调节)的作业并不简单。
专利文献1：日本特开2008-015706号公报
发明内容
发明所要解决的课题
本发明是鉴于上述实际情况而完成的，其目的在于，关于具有多个检查处理的图像传感器，提供用于简化用户进行的参数的调整作业的技术。
用于解决课题的手段
本公开包含一种参数调整辅助装置，其用于对能够对图像执行多个检查处理的图像传感器，辅助在各检查处理中使用的参数的调整，所述参数调整辅助装置的特征在于，所述检查处理根据图像计算规定的计测参数的值，将所述计测参数的值与阈值进行比较而输出OK或NG的判定结果，所述参数包含设定参数和所述阈值，所述设定参数规定计算所述计测参数的值时的条件，所述参数调整辅助装置具备：调整对象设定部，其从所述多个检查处理中设定作为调整对象的N个项目的检查处理，其中，N为2以上的整数；图像取得部，其取得在所述N个项目的检查处理的全部中应该得到OK判定的OK图像和在所述N个项目的检查处理中的至少任意一个检查处理中应该得到NG判定的NG图像；图表生成部，其针对所述N个项目的检查处理分别生成如下的图表：该图表中描绘了根据OK图像按照所述设定参数的当前的条件计算出的所述计测参数的值即OK图像计测值、根据该检查处理的NG图像按照所述设定参数的当前的条件计算出的所述计测参数的值即NG图像计测值、以及当前的所述阈值；以及输出部，其将所述图表输出到显示装置。
也可以是，所述OK图像计测值、所述NG图像计测值以及所述阈值以至少颜色或图形中的任一方不同的方式描绘于所述图表。
也可以是，所述图表生成部基于所述调整对象的检查处理中的所述OK图像计测值、所述NG图像计测值以及所述阈值的关系，判断是否需要该检查处理的所述参数的调整，将其判断结果描绘于所述图表。
也可以是，所述图表生成部还判断需要调整所述阈值和所述设定参数中的哪一方，将其判断结果描绘在所述图表中。
也可以是，所述图表生成部至少判断不需要所述参数的调整、需要所述阈值的调整、需要所述设定参数的调整这3个状态，所述3个状态以互不相同的颜色描绘于所述图表。
也可以是，所述输出部将用于进行所述参数的调整作业的调整窗口输出到所述显示装置。
也可以是，在所述调整窗口中显示描绘有各OK图像的OK图像计测值、各NG图像的NG图像计测值以及所述阈值的散布图。
也可以是，所述调整窗口能够将描绘于所述散布图的OK图像计测值和NG图像计测值切换为仅为从由所述阈值规定的OK范围偏离的OK图像的OK图像计测值和包含于所述OK范围的NG图像的NG图像计测值。
本公开包含一种参数调整辅助方法，其用于对能够对图像执行多个检查处理的图像传感器，辅助在各检查处理中使用的参数的调整，所述参数调整辅助方法的特征在于，所述检查处理根据图像计算规定的计测参数的值，将所述计测参数的值与阈值进行比较而输出OK或NG的判定结果，所述参数包含设定参数和所述阈值，所述设定参数规定计算所述计测参数的值时的条件，所述参数调整辅助方法包含如下步骤：从所述多个检查处理中设定作为调整对象的N个项目的检查处理，其中，N为2以上的整数；取得在所述N个项目的检查处理的全部中应该得到OK判定的OK图像和在所述N个项目的检查处理中的至少任意一个检查处理中应该得到NG判定的NG图像；针对所述N个项目的检查处理分别生成如下的图表：该图表中描绘了根据OK图像按照所述设定参数的当前的条件计算出的所述计测参数的值即OK图像计测值、根据该检查处理的NG图像按照所述设定参数的当前的条件计算出的所述计测参数的值即NG图像计测值、以及当前的所述阈值；以及将所述图表输出到显示装置。
本公开包含用于使处理器执行上述参数调整辅助方法的各步骤的程序。
本发明可以理解为具有上述单元的至少一部分的参数调整辅助装置，也可以理解为具备该装置的图像传感器。另外，本发明还能够理解为包含上述处理的至少一部分的参数调整辅助方法或图像传感器的控制方法、或者用于实现该方法的程序、非暂时性地记录有该程序的记录介质。此外，上述各个单元以及处理能够尽可能地相互组合而构成本发明。
发明效果
根据本发明，关于具有多个检查处理的图像传感器，能够简化由用户进行的参数的调整作业。
附图说明
[图1]图1是示意性地示出图像传感器的外观的图。
[图2]图2是示出检查功能和参数调整辅助功能的结构例的功能框图。
[图3]图3是用于说明检查的处理流程和参数的设定的图。
[图4]图4是示出参数调整操作的流程的流程图。
[图5]图5是参数调整辅助工具的主画面的例子。
[图6]图6是图像分类窗口的标签设定页签的例子。
[图7]图7是图像分类窗口的标签赋予页签的示例。
[图8]图8是雷达图显示的例子。
[图9]图9是通过调整窗口进行阈值的调整的例子。
[图10]图10是通过调整窗口进行设定参数的调整的例子。
[图11]图11是进行面积重心的设定参数的调整的例子。
[图12]图12是通过调整窗口进行设定参数的调整的例子。
[图13]图13是参数调整完成后的雷达图的例子。
具体实施方式
参照图1，对本发明的实施方式的图像传感器进行说明。图1是示意性地示出图像传感器的外观的图。
图像传感器1例如设置于工厂的生产线PL等，是用于利用了图像的各种处理的装置。图像传感器1也被称为图像处理系统、视觉传感器(vision sensor)、视觉系统(visionsystem)等。
图像传感器1具备拍摄装置10、图像处理装置11、显示装置12以及输入装置13作为硬件资源。拍摄装置10、显示装置12和输入装置13连接到图像处理装置11的输入/输出I/F(接口)。另外，在图1中，示出了拍摄装置10和图像处理装置11为分体构造的图像传感器1，但也可以是拍摄装置和图像处理装置成为一体的处理一体型的图像传感器。
拍摄装置10是具备照明部、镜头部、拍摄部等的器件，也被称为产业用照相机。照明部是对被摄体(检查对象物O)进行照明的器件，例如由LED光源等构成。镜头部是将被摄体的光学像成像于拍摄部的光学装置，例如使用具有焦点调整、光圈、变焦等功能的光学系统。拍摄部是通过光电转换生成并输出图像数据的器件，例如由CCD或CMOS传感器等拍摄元件构成。
作为主要的功能，图像处理装置11具有从拍摄装置10取入图像数据、对图像数据的图像处理、基于图像处理的结果的检查处理、经由输入输出I/F的与外部装置的数据收发、生成向外部装置输出的数据、对从外部装置接收到的数据的处理、拍摄装置10、输入输出I/F的控制等。图像处理装置11例如能够由具备处理器(CPU、GPU等)、存储器(RAM、ROM等)、存储设备(硬盘、固态硬盘等非易失性的存储装置)、输入输出I/F等的图像处理用计算机构成。后述的图像处理装置11的功能以及处理能够通过将存储于存储设备的程序加载到存储器并由处理器执行来实现。但是，也可以通过ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等来实现图像处理装置11的功能的一部分或全部，也可以通过其他计算机、云服务器等来执行。
图2是表示图像处理装置11中的检查功能和参数调整辅助功能的结构例的功能框图。
图像处理装置11具备图像输入部20、图像存储部21、检查执行部22、参数存储部23、检查处理设定部24、参数调整辅助部25。图像输入部20从拍摄装置10取入图像数据。所获取的图像数据被存储在图像存储部21中。检查执行部22对图像数据实施多个项目的检查，对各项目输出OK/NG的判定结果。检查的判定结果也可以与图像数据相关联地保存。在参数存储部23中登记有在各个检查处理中使用的参数的设定值。检查执行部22在执行检查处理时从参数存储部23参照参数的设定值。检查处理设定部24提供用于进行由检查执行部22实施的检查的处理流程、在个别的检查处理中使用的参数的设定的用户界面(UI)。参数调整辅助部25提供用于辅助用户将参数调整(调节)为适当的值的作业的工具。参数调整辅助部25具有图像取得部250、调整对象设定部251、图表生成部252、UI输出部253。这些功能的详细情况在后面叙述。
(检查处理的设定)
参照图3，对利用检查处理设定部24的UI来设定检查的处理流程、参数的步骤的例子进行说明。
在图像处理装置11中准备有多种执行特定处理的模块(以后称为“处理单元”)。处理单元大致分为与检查处理相关的处理单元和与检查处理以外的处理相关的处理单元。作为检查处理的处理单元，例如准备有检查规定形状的区域是否存在于图像内的“形状搜索”、检查规定颜色的区域的面积、位置的“面积重心”、检查被摄体的边缘的位置的“边缘位置”等各种处理单元。另外，作为检查处理以外的处理单元，例如准备有从拍摄装置10取入拍摄图像的“照相机图像输入”、从图像提取规定的颜色范围的“颜色提取滤色器”等。如图3所示，用户通过利用检查处理设定部24的UI适当组合处理单元，来设定想要实施的检查。将组合多个处理单元而制作的一系列的处理称为“处理流程”。
检查处理的处理单元具有如下共同的设计：基于从图像提取的特征来计算规定的计测参数的值，将该计测参数的值与阈值进行比较而输出“OK”或“NG”的判定结果。例如，在上述“形状搜索”的情况下，计算登记模型与从图像检测到的模型之间的相似度(相关值)、检测到模型的位置(XY坐标)、检测到的模型的倾斜度(相对于登记模型的相对角度)等作为计测参数。然后，针对相似度、位置、倾斜度分别设定阈值(规定OK范围的阈值上限值和阈值下限值)，如果相似度、位置、倾斜度的全部的值都包含在OK范围内，则输出“OK”的判定结果，即使1个偏离OK范围，则输出“NG”的判定结果。另外，如果是“面积重心”的情况，则作为计测参数，计算区域的面积、区域的重心位置(XY坐标)等。然后，针对面积、重心位置分别设定阈值，如果面积和重心位置都包含在OK范围内，则输出“OK”，如果任意一个偏离OK范围，则输出“NG”这样的判定结果。在此例示的“形状搜索”、“面积重心”成为对多种计测参数进行OK/NG判定的方式，即，成为由1个处理单元进行多个项目的检查处理的方式，但也存在仅具有1种计测参数(1个项目的检查处理)的处理单元。
在各处理单元中作为计测参数使用的指标被预先定义，用户无法对其进行变更。但是，关于计算计测参数的值时的各种条件(以后称为“设定参数”)和用于判定的阈值，用户能够设定。例如，作为“形状搜索”中的设定参数，可举出成为搜索对象的模型、模型的位置、在相似度的计算中关注的模型上的特征点等。另外，如图3所示，作为“面积重心”中的设定参数，可举出作为计算面积、重心的区域而提取的颜色的条件(色相、彩度、明度各自的范围)等。根据这些设定参数的设定，根据图像计算出的计测参数的值大幅变化。另外，阈值是否被适当地设定会对OK/NG的判定精度、判定结果的可靠性造成影响。
因此，用户在组合处理单元来制作处理流程之后，需要适当地设定各处理单元的设定参数和阈值，以得到期望的检查性能(判定结果)。然而，在将设定参数、阈值调整(调节)为适当的值的作业中要求高度的技能、知识。而且，在处理流程中包含的处理单元的数量较多的情况下、各个处理单元具有大量设定参数、阈值的情况下，不容易平衡良好地调整设定参数、阈值以使得在这些全部中得到适当的判定结果。
因此，在本实施方式的图像传感器1中，通过参数调整辅助部25提供用于辅助设定参数、阈值的调整作业的参数调整辅助工具(该参数调整辅助工具是本发明的参数调整辅助装置的一例)。
(参数调整辅助工具)
参照图4～图12，对本实施方式的参数调整辅助工具进行详细说明。图4是表示利用了参数调整辅助工具的参数调整作业的流程的流程图。图5是参数调整辅助工具的主画面的例子。
当启动参数调整辅助工具(以下也简称为“工具”)时，通过UI输出部253显示图5的主画面(步骤S40)。在主画面中显示有构成处理流程的多个处理单元的列表50。
用户首先在主画面的“再计测对象图像”栏51中指定保存有在调整作业中利用的图像(样本图像)的场所(步骤S41)。在指定了“主体记录图像”的情况下，能够利用存储在图像存储部21(例如图像传感器1的RAM盘或内部存储设备等)中的图像组，在指定了“指定文件夹图像”的情况下，能够利用保存在外部存储设备中的图像组。当指定了存储场所时，由图像取得部250取入样本图像。虽然仅通过1张样品图像也能够进行调整作业，但也可以将拍摄不同的检查对象物而得到的多个样品图像用于调整作业。另外，多个样品图像可以包含良品的图像和不良品的图像这两者，进而，在不良品的图像中可以包含多种不良(即，出现NG判定的检查处理项目互不相同)。通过使用具有变化的多个图像同时进行针对多个检查处理项目的参数调整，能够高效地实施适当的参数的调节(日语：追い込み)作业。
接着，当用户在主画面中按下“图像分类”按钮52时，通过调整对象设定部251显示图6所示的图像分类窗口。用户在图像分类窗口的“标签设定”页签60中指定作为调整对象的检查处理，进行对它们设定标签的作业(步骤S42)。具体而言，在“设定数量”栏61中输入作为调整对象的检查处理的项目数量。项目数量N例如可以在3～20的范围内设定。当输入项目数量N时，生成N个标签，因此用户对各标签设定“标签名”、“对象单元”、“计测参数”。“标签名”能够任意地设定。在“对象单元”中指定实施作为调整对象的检查处理的处理单元的名称，在“计测参数”中指定在作为调整对象的检查处理中使用的计测参数的名称。图6示出设定了“圆形度”、“印刷面积”、“印刷有无”、“印刷质量”、“印刷高度”这5个标签的例子。
若标签设定结束，则用户通过“标签赋予”页签62进行对图像赋予标签的作业(步骤S43)。当选择图像分类窗口的“标签赋予”页签62时，切换到图7所示的UI。“标签赋予”页签62的UI包括标签显示71、预览按钮72、文件列表73、标签赋予栏74。在标签显示71中显示“判定标签”和“缺陷种类标签”的一览。判定标签是表示图像的判定结果的标签，预先准备了“OK”、“NG”、“分类保留”这3种标签。缺陷种类标签是用户通过“标签设定”页签60定义的标签。在文件列表73中一览显示在步骤S41中指定的图像的文件名。在步骤S41中指定了多个图像的情况下，在文件列表73中显示多个图像的文件名。当按下预览按钮72时，能够显示在文件列表73中选择的图像的预览。用户一边确认预览图像，一边首先赋予判定标签。对在作为调整对象的所有检查处理中应该判定为OK的图像赋予“OK”标签，对在任意的检查处理中应该判定为NG的图像赋予“NG”标签，对既不能判断为OK也不能判断为NG的图像赋予“分类保留”标签。在标签赋予栏74中准备有与各标签对应的格子，能够在每次按下该格子时切换标签的赋予和解除。对于赋予了“NG”标签的图像，接着也进行缺陷种类标签的赋予。即，将在哪个检查处理中应判定为NG的信息与图像建立关联。另外，也可以对1个图像赋予多个缺陷种类标签。在标签显示71以及标签赋予栏74中，可以是各标签以相互不同的颜色显示。由此，容易目视确认对各图像赋予的标签，标签赋予作业变得容易，并且能够防止赋予错误的标签等的操作失误。通过进行上述的作业，能够准备多张OK图像和多张NG图像。
当标签赋予(即，图像的分类作业)完成并按下OK按钮时，返回主画面。另外，在想要保存通过“标签设定”页签60、“标签赋予”页签62设定的内容的情况下，能够通过“数据保存”页签63保存到文件中。
接着，当用户按下主画面的“再计测一并执行”按钮53时，检查执行部22按照处理流程对分类后的图像(赋予了标签的图像)分别实施多个检查处理，进行各检查处理中的计测参数的计算以及阈值判定(步骤S44)。此时，使用存储在参数存储部23中的设定参数的当前的条件值和当前的阈值。
在步骤S44的再计测处理完成之后，当切换为主画面的“数据详情”页签54时，通过图表生成部252生成表示再计测处理的结果的图表(步骤S45)，通过UI输出部253在主画面中显示图表(步骤S46)。在图表中，例如，可以对于作为调整对象的检查处理(即设定了缺陷种类标签的检查处理)分别描绘“根据OK图像按照设定参数的当前的条件计算出的计测参数的值”、“根据NG图像按照设定参数的当前的条件计算出的计测参数的值”、“当前的阈值”。图表的具体形式不限，只要是能够一目了然地确认多个项目的检查处理的结果的方式即可。例如，可以使用雷达图、柱状图、折线图等。
图8表示雷达图显示的一例。雷达图的各个轴与设定了缺陷种类标签的检查处理对应。例如在如图6那样设定了“圆形度”、“印刷面积”、“印刷有无”、“印刷质量”、“印刷高度”这5个缺陷种类标签的情况下，如图8所示，雷达图成为五边形。
在雷达图的各轴描绘有“OK最大值”、“OK平均值”、“OK最小值”、“NG最大值”、“NG平均值”、“NG最小值”、“阈值上限值”、“阈值下限值”这8个点。OK最大值、OK平均值、OK最小值分别表示根据多个OK图像分别计算出的计测参数的值的最大值、平均值、最小值。另外，NG最大值、NG平均值、NG最小值分别表示根据多个NG图像分别计算出的计测参数的值的最大值、平均值、最小值。这样，通过向用户提示将“OK最大值”、“OK平均值”、“OK最小值”、“NG最大值”、“NG平均值”、“NG最小值”、“阈值上限值”、“阈值下限值”这8个点与每个检查处理(每个轴)相关联地描绘的图表，能够容易理解各检查处理中的计测参数的倾向、与阈值的关系。在此，可以将根据OK图像计算出的计测参数的值(OK最大值、OK平均值、OK最小值)、根据NG图像计算出的计测参数的值(NG最大值、NG平均值、NG最小值)以及阈值(阈值上限值、阈值下限值)以至少颜色或图形的任意一方不同的方式描绘。另外，也可以以至少颜色或图形中的任一方不同的方式描绘最大值、平均值和最小值。通过采用这样的显示方式，容易在视觉上区分OK、NG、阈值。
雷达图的各轴的标尺可以使用上述8个值中的最小值和最大值进行标准化。即，可以调整标尺，使得8个值中的最小值和最大值到达雷达图的各轴的两端(图的中心和最外端)或其附近。由此，8个点的标绘位置尽可能地扩展，因此视觉辨认性(易观察性)提高。
在雷达图的各轴显示缺陷种类标签的“标签名”和“设定调整的状态”。设定调整的状态有“设定完成”、“需要阈值调整”、“需要设定调整”这3个模式。图表生成部252基于根据OK图像计算出的计测参数的值(以下也简称为“OK图像计测值”)、根据NG图像计算出的计测参数的值(以下也简称为“NG图像计测值”)以及阈值的关系，判断设定调整的状态。在图8的例子中，用颜色图标表示设定调整的状态(例如，绿色：设定完成，黄色：需要阈值调整，红色：需要设定调整)。
在此，“设定完成”是OK图像计测值与NG图像计测值分离、且阈值被设定在OK图像计测值与NG图像计测值之间的状态。如果得到该状态，则能够期待在该检查处理中实施适当的OK/NG判定，因此可以判断为与该计测参数相关的设定参数以及阈值的设定完成(不需要调整)。在图8的例子中，“圆形度”、“印刷质量”、“印刷有无”这3个处于“设定完成”状态。
“需要阈值调整”是OK图像计测值与NG图像计测值分离，但阈值未被设定在OK图像计测值与NG图像计测值之间的状态。在图8的例子中，“印刷高度”处于“需要阈值调整”的状态。在该情况下，通过调整阈值以使阈值处于OK图像计测值与NG图像计测值之间，从而成为“设定完成”状态。
“需要设定调整”是OK图像计测值与NG图像计测值未分离的状态。在该情况下，由于仅通过阈值的调整无法解决，因此需要设定参数的调整。在图8的例子中，“印刷面积”处于“需要设定调整”状态。
通过这样将设定调整的状态与图表一起显示，对于关于作为调整对象而选择的多个检查处理，区分参数的设定适当的检查处理(不需要调整的检查处理)和需要参数的调整的检查处理，进而对于需要参数的调整的检查处理，用户能够立即且无误地判断是调整阈值即可还是必须调整设定参数。另外，在图表中，不仅显示有“设定调整的状态”的判定结果(颜色图标)，还一并显示有OK图像计测值、NG图像计测值以及阈值之间的数值关系。因此，能够容易地确认“设定调整的状态”的判定依据(证据)，能够提高用户的信服性。另外，用户能够根据OK图像计测值、NG图像计测值以及阈值之间的数值关系，掌握如何或者以何种程度调整阈值、设定参数即可，因此能够高效地进行之后的参数调整作业。由于能够不仅使用1张图像，还使用多个OK图像和多个NG图像，在图表中示出“OK最大值”、“OK平均值”、“OK最小值”、“NG最大值”、“NG平均值”、“NG最小值”，因此用户能够整体地掌握针对多个图像的参数的调整状况，能够高效地进行参数调整作业。
在残留有判定为“需要阈值调整”或者“需要设定调整”的检查处理(标签)的情况下(步骤S47的“否”)，用户进行该检查处理的阈值的调整作业、设定参数的调整作业(步骤S48)。
参照图9，对“需要阈值调整”的情况下的操作进行说明。当选择(按下)图8的雷达图中显示的标签名(例如“印刷高度”)时，通过UI输出部253显示用于调整与该标签相关的参数的调整窗口(图9)。
散布图90和直方图91表示与所选择的标签相关的、OK图像计测值和NG图像计测值的分布的详细情况。散布图90的横轴对应于各个图像(图像No.)，纵轴对应于计测值(根据图像计算出的计测参数的值)。直方图91的横轴为度数(图像的数量)，纵轴与散布图90的纵轴相同。在此，在散布图90中，可以以将OK图像的群和NG图像的群分开的方式决定横轴上的图像的排列(在图9的例子中，最初排列OK图像，在后半排列NG图像，并且描绘表示OK图像群和NG图像群的边界的线)。另外，纵轴的标尺可以以计测值的最小值与最大值适当地分离的方式进行调整。另外，在散布图90以及直方图91中，可以在OK图像与NG图像之间使描绘颜色不同。通过这样的设计，容易掌握OK图像计测值的分布、倾向、NG图像计测值的分布、倾向。
在散布图90的下侧的文本框92B、92U中显示有阈值(下限)和阈值(上限)的当前的设定值。另外，在散布图90和直方图91中描绘有表示阈值(下限)和阈值(上限)的线93B、93U。
观察图9可知，尽管OK图像计测值和NG图像计测值足够分离，但OK图像计测值和NG图像计测值双方都进入由阈值(下限)和阈值(上限)规定的OK范围之间。在这种情况下，用户可以通过改变文本框92B、92U的值或者通过拖动移动线93B、93U，来调整阈值。在图9的例子中，通过将阈值(上限)修正为处于OK图像计测值与NG图像计测值之间，能够得到适当的判定结果。此外，也能够自动地进行阈值的调整。当按下“自动调整”按钮94时，基于OK图像计测值和NG图像计测值自动计算适当的阈值。阈值的决定算法是任意的。例如，也可以以阈值为OK图像计测值的代表值(平均值、中间值、最小值、最大值等)与NG图像计测值的代表值(平均值、中间值、最小值、最大值等)的正中间的方式决定阈值。或者，也可以利用判别分析法等阈值决定算法。
另外，在图9中，示出了十几张图像的例子，但在实际的运用中，还设想到使用几百或几千这样的数量级的图像来进行参数调整。若图像的数量变得庞大，则有可能导致散布图90、直方图91的视觉辨认性的降低，而看漏产生了误判定的图像，或者看错阈值的适当的配置。在这样的情况下，“以误判定图像调整设定”按钮95是有用的。若按下该按钮95，则从图像的母集团中仅提取发生了误判定的图像(即，计测值偏离OK范围的OK图像和计测值进入OK范围的NG图像)，仅将提取出的误判定图像的信息显示于散布图90以及直方图91。通过切换为这样的显示，能够一边观察针对多个图像的计测值，一边确认针对各个图像的计测值的状况，问题部位变得明确，因此能够进行高效且适当的参数调整。
用户通过选择散布图90上的描绘点、或在再计测图像栏96中输入图像No.，能够选择1个图像。若进行图像的选择，则该选择图像的计测值显示于散布图90。另外，对选择图像执行各处理单元的检查处理(再计测)，其OK/NG判定结果显示于处理单元列表97，并且成为调整对象的处理单元的判定结果和计测值显示于详情显示栏98。通过利用这样的功能，能够容易地确认针对各个图像的计测值、判定结果。
参照图10，对“需要设定调整”的情况下的操作进行说明。图10是在图8的雷达图中选择了“印刷面积”标签的情况下显示的调整窗口的例子。
观察散布图90和直方图91可知，OK图像计测值和NG图像计测值没有分离，仅通过阈值的调整无法解决。在这样的情况下，可以关注得到相似的计测值的OK图像和NG图像的组，或者关注在OK图像中得到与其他图像大不相同的计测值的图像，进行设定参数的调整。在图10的例子中，No.12的OK图像是与No.15的NG图像相同的计测值，并且与其他OK图像相比计测值明显小。因此，能够判断为进行与No.12的OK图像对应的参数调整是近道。
因此，用户在散布图90上选择No.12的OK图像，或者在再计测图像栏96中输入“12”，选择No.12的图像。在当前的条件下，在相应的处理单元“面积重心”的判定结果中显示“NG”，显示“面积：0.0000”这样的计测值。观察散布图90，在其他OK图像中面积的计测值大致为10000左右，因此能够推测为用于计算面积的设定参数存在问题。
为了进行设定参数的修正，选择(按下)处理单元列表97内的处理单元即可。例如，当选择“面积重心”时，如图11所示，显示用于设定面积重心的设定参数的设定窗口。由于在设定窗口右侧的预览中什么都没有显示，所以可知在当前的颜色指定设定(色相、彩度、明度)中，区域的提取失败。因此，用户一边确认预览，一边调整色相、彩度、明度的范围，使得正好提取想要检查的区域。图11的下段表示通过将明度的上限值变更为255，变得能够提取区域。当设置参数的调整完成时，按下“OK按钮”，关闭设置窗口。
如图12所示，当再次返回到调整窗口并按下“再计测一并执行”按钮99时，使用调整后的设定参数来重新计算计测参数。在图12的例子中，图像No.12的计测值为9631，可知能够得到与其他OK图像同等的值。如果是该状态，则能够进行将OK图像计测值和NG图像计测值分离那样的阈值的设定。因此，继续进行阈值的调整，完成调整作业。
在以上所述的步骤中，对“需要阈值调整”的标签和“需要设定调整”的标签的全部进行了参数的调整之后，按下主画面的“再计测一并执行”按钮53，进行雷达图的更新。如图13所示，如果所有标签的状态变为“设定完成”，则参数的调整作业完成(图4的步骤S47的“是”)。
上述实施方式只不过是例示性地说明本发明的结构例。本发明并不限定于上述的具体的方式，能够在其技术思想的范围内进行各种变形。例如，在上述实施方式中，例示了雷达图，但也可以使用柱状图、折线图等。另外，也可以不在雷达图等中绘制OK图像计测值、NG图像计测值的代表值(最大值、平均值、最小值)，而将各个计测值全部绘制。另外，在上述实施方式中例示的UI、参数只不过是一个例子，也可以适当变形。另外，在上述实施方式中，采用了用户自身选择作为调整对象的检查处理的方法，但参数调整辅助工具也可以自动地选择(设定)作为调整对象的检查处理，或者向用户推荐应该作为调整对象的检查处理。例如，也可以从处理流程所包含的多个检查处理中的、NG判定的图像数较多的检查处理起依次选择N个项目的检查处理作为调查对象(或者推荐对象)。或者，也可以预先决定作为调整对象的检查处理。

Claims (10)

1.一种参数调整辅助装置，其用于针对能够对图像执行多个检查处理的图像传感器，辅助在各检查处理中使用的参数的调整，所述参数调整辅助装置的特征在于，
所述检查处理根据图像计算规定的计测参数的值，将所述计测参数的值与阈值进行比较而输出OK或NG的判定结果，
所述参数包含设定参数和所述阈值，所述设定参数规定计算所述计测参数的值时的条件，
所述参数调整辅助装置具备：
调整对象设定部，其从所述多个检查处理中设定作为调整对象的N个项目的检查处理，其中，N为2以上的整数；
图像取得部，其取得在所述N个项目的检查处理的全部中应该得到OK判定的OK图像和在所述N个项目的检查处理中的至少任意一个检查处理中应该得到NG判定的NG图像；
图表生成部，其针对所述N个项目的检查处理分别生成如下的图表：该图表中描绘了根据OK图像按照所述设定参数的当前的条件计算出的所述计测参数的值即OK图像计测值、根据该检查处理的NG图像按照所述设定参数的当前的条件计算出的所述计测参数的值即NG图像计测值、以及当前的所述阈值；以及
输出部，其将所述图表输出到显示装置。
2.根据权利要求1所述的参数调整辅助装置，其特征在于，
所述OK图像计测值、所述NG图像计测值和所述阈值以至少颜色或图形中的任一方不同的方式描绘于所述图表。
3.根据权利要求1所述的参数调整辅助装置，其特征在于，
所述图表生成部基于所述调整对象的检查处理中的所述OK图像计测值、所述NG图像计测值以及所述阈值的关系，判断是否需要该检查处理的所述参数的调整，将其判断结果描绘于所述图表。
4.根据权利要求3所述的参数调整辅助装置，其特征在于，
所述图表生成部还判断需要调整所述阈值和所述设定参数中的哪一方，将其判断结果描绘在所述图表中。
5.根据权利要求4所述的参数调整辅助装置，其特征在于，
所述图表生成部至少判断不需要所述参数的调整、需要所述阈值的调整、需要所述设定参数的调整这3个状态，
所述3个状态以互不相同的颜色描绘于所述图表。
6.根据权利要求1～5中的任一项所述的参数调整辅助装置，其特征在于，
所述输出部将用于进行所述参数的调整作业的调整窗口输出到所述显示装置。
7.根据权利要求6所述的参数调整辅助装置，其特征在于，
在所述调整窗口中，显示描绘有各OK图像的OK图像计测值、各NG图像的NG图像计测值和所述阈值的散布图。
8.根据权利要求7所述的参数调整辅助装置，其特征在于，
所述调整窗口能够将描绘于所述散布图的OK图像计测值和NG图像计测值切换为仅为从由所述阈值规定的OK范围偏离的OK图像的OK图像计测值和包含于所述OK范围的NG图像的NG图像计测值。
9.一种参数调整辅助方法，其用于针对能够对图像执行多个检查处理的图像传感器，辅助在各检查处理中使用的参数的调整，所述参数调整辅助方法的特征在于，
所述检查处理根据图像计算规定的计测参数的值，将所述计测参数的值与阈值进行比较而输出OK或NG的判定结果，
所述参数包含设定参数和所述阈值，所述设定参数规定计算所述计测参数的值时的条件，
所述参数调整辅助方法包含如下步骤：
从所述多个检查处理中设定作为调整对象的N个项目的检查处理，其中，N为2以上的整数；
取得在所述N个项目的检查处理的全部中应该得到OK判定的OK图像和在所述N个项目的检查处理中的至少任意一个检查处理中应该得到NG判定的NG图像；
针对所述N个项目的检查处理分别生成如下的图表：该图表中描绘了根据OK图像按照所述设定参数的当前的条件计算出的所述计测参数的值即OK图像计测值、根据该检查处理的NG图像按照所述设定参数的当前的条件计算出的所述计测参数的值即NG图像计测值、以及当前的所述阈值；以及
将所述图表输出到显示装置。
10.一种记录介质，其非暂时性地记录有程序，所述程序用于使处理器执行权利要求9所述的参数调整辅助方法的各步骤。
CN202211301374.8A 2021-11-02 2022-10-24 参数调整辅助装置以及参数调整辅助方法 Pending CN116074646A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021179676A JP2023068507A (ja) 2021-11-02 2021-11-02 パラメータ調整支援装置及びパラメータ調整支援方法
JP2021-179676 2021-11-02

Publications (1)

Publication Number Publication Date
CN116074646A true CN116074646A (zh) 2023-05-05

Family

ID=86182734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211301374.8A Pending CN116074646A (zh) 2021-11-02 2022-10-24 参数调整辅助装置以及参数调整辅助方法

Country Status (3)

Country Link
JP (1) JP2023068507A (zh)
KR (1) KR20230063859A (zh)
CN (1) CN116074646A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747970B2 (ja) 2006-07-04 2011-08-17 オムロン株式会社 画像処理装置

Also Published As

Publication number Publication date
KR20230063859A (ko) 2023-05-09
JP2023068507A (ja) 2023-05-17

Similar Documents

Publication Publication Date Title
CN108876761B (zh) 图像处理装置、电脑可读取记录媒体、图像处理系统
EP3785021B1 (en) System and method for performing automated analysis of air samples
US20200043157A1 (en) Inspection Apparatus, Inspection Method, And Program
US11449980B2 (en) System and method for combined automatic and manual inspection
KR101361374B1 (ko) 결함 관찰 방법 및 결함 관찰 장치
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP2019212073A (ja) 画像判別装置および方法
JP2002008013A (ja) 外観検査プログラム作成装置およびその方法
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
WO2007074770A1 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
KR20130135962A (ko) 결함 분류 방법 및 결함 분류 시스템
WO2006080355A1 (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
CN104081248A (zh) 信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序
JP2013148361A (ja) はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
TWI462572B (zh) 半導體不良解析裝置、不良解析方法、及不良解析程式
JP2015087940A (ja) 情報処理装置、情報処理方法及びプログラム
WO2014208193A1 (ja) ウエハ外観検査装置
JP6049052B2 (ja) ウエハ外観検査装置及びウエハ外観検査装置における感度しきい値設定方法
JP2011044016A (ja) 三次元細胞画像解析装置
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
JP2007198968A (ja) 画像分類方法及び画像分類装置
CN116074646A (zh) 参数调整辅助装置以及参数调整辅助方法
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
CN112088395A (zh) 图像处理装置、图像处理方法以及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination