CN109978816A - 识别装置、识别方法以及存储介质 - Google Patents

识别装置、识别方法以及存储介质 Download PDF

Info

Publication number
CN109978816A
CN109978816A CN201811176344.2A CN201811176344A CN109978816A CN 109978816 A CN109978816 A CN 109978816A CN 201811176344 A CN201811176344 A CN 201811176344A CN 109978816 A CN109978816 A CN 109978816A
Authority
CN
China
Prior art keywords
attribute
identifier
image
workpiece
identification device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811176344.2A
Other languages
English (en)
Other versions
CN109978816B (zh
Inventor
玉井俊规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109978816A publication Critical patent/CN109978816A/zh
Application granted granted Critical
Publication of CN109978816B publication Critical patent/CN109978816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提供一种识别装置、识别方法以及存储介质，通过选择与对象物的属性对应的识别器来实现高识别精度的技术。提供一种识别装置，具有：存储部，将多个识别器与对象物的属性建立对应地进行存储，该多个识别器以根据对象物的图像来识别对象物所包括的检测对象的有无的方式学习；拍摄部，对规定的对象物的图像进行拍摄；确定部，确定规定的对象物的属性；选择部，从多个识别器中选择与所确定的属性建立对应关系地存储的第一识别器；输入部，向第一识别器输入规定的对象物的图像；以及输出部，输出从第一识别器输出的、规定的对象物所包括的检测对象的有无。

Description

识别装置、识别方法以及存储介质
技术领域
本发明涉及识别装置、识别方法以及存储介质。
背景技术
已知的是，在通过机械学习而生成了用于识别图像数据中是否包括检测对象的识别器的情况下，可应对各种各样的检测对象的通用性和识别精度一般为折衷选择的关系。
在此，在专利文献1中记载有检查装置，该检查装置具有识别对象物是否良好的识别器，该识别器根据以至少两个以上的不同的摄像条件对已知的对象物进行摄像而得到的图像来选择用于识别对象物是否良好的特征量，并基于所选择的特征量而生成外观是否良好的信息。
专利文献1：日本特开2017-049974号公报
考虑到例如在工厂的生产线等流动有具有各种各样的属性的对象物时，对于检测对象物所包含的检测对象的检测装置，要求对于这些具有各种各样的属性的对象物发挥较高的识别精度。但是，专利文献1所记载的检查装置以高精度且短时间判定检查对象物的外观是否良好为目的，没有考虑到上述那样对于具有各种各样的属性的对象物发挥较高的识别精度。
发明内容
因此，本发明的目的在于提供一种通过选择与对象物的属性对应的识别器来实现高识别精度的技术。
本发明的一方式的涉及的识别装置具有：具有：存储部，将多个识别器与对象物的属性建立对应关系地进行存储，所述多个识别器以根据对象物的图像来识别对象物所包括的检测对象的有无的方式学习；拍摄部，对规定的对象物的图像进行拍摄；确定部，确定规定的对象物的属性；选择部，从多个识别器中选择与所确定的属性建立对应关系地存储的第一识别器；输入部，向第一识别器输入规定的对象物的图像；以及输出部，输出从第一识别器输出的、规定的对象物所包括的检测对象的有无。
根据该方式，从预先学习的、识别装置所具备的多个识别器中选择与对象物的属性对应的识别器，因此能够实现高识别精度。另外，识别装置不使多个识别器同时执行，而使按照对象物而选择的识别器动作，因此，与使多个识别器同时执行的情况相比能够降低识别装置的处理负荷以及存储器使用量。
根据上述方式，确定部也可以根据规定的对象物的图像来确定规定的对象物的属性。另外，确定部也可以具备以根据对象物的图像来确定该对象物的属性的方式学习的第二识别器，第二识别器根据规定的对象物的图像来确定规定的对象物的属性。根据该方式，能够使用通过学习而生成的识别器来确定对象物的属性，能够实现高识别精度。
在上述方式中，确定部也可以以事前设定的顺序来确定规定的对象物的属性。根据该方式，识别装置能够以事前设定的顺序来识别对象物的属性，因此能够降低识别装置的处理负荷以及存储器使用量。
在上述方式中，存储于存储部的多个识别器也可以分别是以对于具有与识别器建立了对应关系的属性的对象物而利用比其它识别器高的精度来识别检测对象的有无的方式学习的识别器。根据该方式，各识别器对于确定的属性的对象物发挥高识别精度，因此能够实现更高的识别精度。
在上述方式中，对象物可以是检查对象物，检测对象可以是检查对象物所包括的缺陷。根据该方式，能够实现对检查对象物所包括的缺陷进行检测的识别装置。
本发明的其它方式涉及的识别方法是识别装置执行的识别方法，该识别装置具有将多个识别器与对象物的属性建立对应关系地进行存储的存储部，所述多个识别器以根据对象物的图像来识别对象物所包括的检测对象的有无的方式学习，该识别方法的特征在于，包括以下步骤：对规定的对象物的图像进行拍摄；确定规定的对象物的属性；从多个识别器中选择与所确定的属性建立对应关系地存储的第一识别器；向第一识别器输入规定的对象物的图像；以及输出从第一识别器输出的、规定的对象物所包括的检测对象的有无。
根据该方式，从预先学习的、识别装置所具备的多个识别器中选择与对象物的属性对应的识别器，因此能够实现高识别精度。另外，识别装置不使多个识别器同时执行，而使按照对象物而选择的识别器动作，因此，与使多个识别器同时执行的情况相比能够降低识别装置的处理负荷以及存储器使用量。
本发明的其它方式涉及的存储介质使识别装置作为如下构件发挥功能：存储构件，将多个识别器与对象物的属性建立对应关系地进行存储，该多个识别器以根据对象物的图像来识别对象物所包括的检测对象的有无的方式学习；拍摄构件，对规定的对象物的图像进行拍摄；确定构件，确定规定的对象物的属性；选择构件，从多个识别器中选择与所确定的属性建立对应关系地存储的第一识别器；输入构件，向第一识别器输入规定的对象物的图像；以及输出构件，输出从第一识别器输出的、规定的对象物所包括的检测对象的有无。
根据该方式，从预先学习的、识别装置所具备的多个识别器中选择与对象物的属性对应的识别器，因此能够实现高识别精度。另外，识别装置不使多个识别器同时执行，而使按照对象物而选择的识别器动作，因此，与使多个识别器同时执行的情况相比能够降低识别装置的处理负荷以及存储器使用量。
根据本发明，提供一种能够通过选择与检查对象物的属性对应的识别器来实现高识别精度的技术。
附图说明
图1示意性地表示本实施方式涉及的图像处理系统的适用场景的一个例子。
图2示意性地表示缺陷识别器的一个例子。
图3示意性地表示本实施方式涉及的管理装置的硬件构成的一个例子。
图4示意性地表示本实施方式涉及的图像处理装置的硬件构成的一个例子。
图5示意性地表示本实施方式涉及的管理装置的功能构成的一个例子。
图6示意性地表示本实施方式涉及的图像处理装置的功能构成的一个例子。
图7表示图像处理装置进行的处理顺序的一个例子。
图8表示图像处理装置在生产线上进行工件的检查的情形。
图9表示属性识别器选择缺陷识别器的动作的一个例子。
图10表示按照能够识别的缺陷的种类而区分的缺陷识别器的一个例子。
图11表示适用多个属性识别器来对工件的属性进行识别的动作的一个例子。
附图标记说明
1…图像处理系统、100…管理装置、101…处理器、102…存储器、103…存储装置、103A…程序、104…网络接口、105…显示部、106…操作部、107…存储卡读写器、107A…存储介质、108…内部总线、121A…CPU、200…图像处理装置、210…照明部、211…照明控制单元、212…照明透镜、220…控制装置、221…处理部、222…存储装置、222A…程序、223…网络通信部、225…外部输入输出部、230…摄像部、231…摄像透镜、232…摄像元件、501…学习数据生成部、502…识别器生成部、601…识别器DB、602…拍摄部、603…确定部、604…选择部、605…输入部、606…输出部、6011…缺陷识别器、6031…属性识别器。
具体实施方式
以下，基于附图来说明本发明的一侧面涉及的实施方式(以下，也表述为“本实施方式”)。
§1应用例
首先，使用图1来说明应用本发明的场景的一个例子。图1示意性地表示本实施方式涉及的图像处理系统1的适用场景的一个例子。典型来说，图像处理系统1组装于生产线等。图像处理系统1基于通过对在生产线上输送的工件进行摄像而得到的图像来执行工件的检查、文字的识别这样的处理。需要注意的是，工件是指制造过程中的部件、制品等，是本发明的“对象物”的一个例子。
如图1所示，图像处理系统1包括管理装置100、以及经由网络2与管理装置100通信的一个以上的图像处理装置200。例如，工件通过带式输送机等输送机构而在规定方向被输送，各个图像处理装置200配置在相对于其输送路径预先设定的位置。图像处理装置200是本发明的“识别装置”的一个例子。管理装置100是用于管理一个以上的图像处理装置200的装置。图像处理装置200是识别工件所包括的检测对象的有无的装置。以下，以检测对象是缺陷为前提进行说明，但缺陷是本发明的“检测对象”的一个例子，本实施方式也不限定于缺陷而能够应用于所有的检测对象。
图像处理装置200具备以通过输入工件的图像(对工件进行拍摄而得到的图像)来识别工件所包括的缺陷的有无的方式学习的多个识别器(以下，称为“缺陷识别器”)。这多个缺陷识别器是以各个缺陷识别器相对于不同的工件的属性发挥高识别精度的方式学习的识别器。由此，例如图2所示，通过选择与检查对象的工件的属性对应的适当的缺陷识别器，作为图像处理装置200整体，能够与各种各样的属性的工件对应地发挥高识别精度。缺陷识别器是本发明的“第一识别器”的一个例子。
在此，缺陷是指检查对象物所具有的异常，例如包括划痕、颜色等不均、污垢、裂痕、缺损、毛刺、异物、印字的磨损、印字等的错位等。工件的属性由与工件的外观相关的特征来表示，更具体而言，也可以由与工件的外观相关的一个或多个特征的组合来规定。另外，与工件的外观相关的特征例如也可以通过将“表面形状”、“反射率”、“透明度”等与工件的性质相关的观点、和相对于各个性质的“低、中、高”等程度、或者、“平滑”、“粗糙”、“凸凹”等与状态相关的观点组合来表示。作为与工件的外观相关的特征的具体例，例如可列举出“表面形状平滑”、“反射率高”、“透明度低”等。另外，作为工件的属性的具体例，例如可列举出“表面形状平滑、表面的反射率高、且透明度低的外观”、“表面形状粗糙、表面的反射率低、且透明度低的外观”等。
首先，图像处理装置200对在生产线等流动的工件进行拍摄、基于拍摄而得到的工件的图像来识别工件的属性。在此，图像处理装置200使用识别器(以下，称为“属性识别器”)来确定工件的属性，该识别器以通过输入工件的图像来确定工件的属性的方式学习。属性识别器可以由任何装置生成，但例如也可以由管理装置100生成并组装到图像处理装置200。属性识别器是本发明的“第二识别器”的一个例子。
接着，图像处理装置200从图像处理装置200所具备的多个缺陷识别器中选择与由属性识别器确定的工件的属性对应的特定的缺陷识别器。接着，图像处理装置200通过向所选择的缺陷识别器输入工件的图像来对工件所包括的缺陷的有无进行识别，并输出识别结果。
如前所述，多个缺陷识别器是以各个缺陷识别器相对于不同的工件的属性发挥高识别精度的方式学习的识别器。因此，根据工件的属性选择适当的缺陷识别器，由此，作为图像处理装置200整体，能够应对各种各样的属性的工件并发挥高识别精度。另外，图像处理装置200不是使图像处理装置200所具备的多个缺陷识别器同时执行，而是使与在生产线流动的工件对应的特定的缺陷识别器动作，因此，能够降低图像处理装置200的处理负荷以及存储器使用量。
§2构成例
[硬件构成]
<管理装置>
接下来，使用图3对本实施方式涉及的管理装置100的硬件构成的一个例子进行说明。图3示意性地表示本实施方式涉及的管理装置100的硬件构成的一个例子。在图3的例子中，管理装置100也可以包括处理器101、存储器102、HDD(Hard Disk Drive：硬盘驱动器)等存储装置103、网络接口(I/F)104、显示部105、操作部106、存储卡读写器107。上述的各部经由内部总线108以能够彼此通信的方式连接。
处理器101通过将存储于存储装置103的程序(指令码)103A向存储器102展开并执行，来实现管理装置100所具备的各种功能。存储器102以及存储装置103分别易失性以及非易失性地存储数据。存储装置103除了OS(Operating System：操作系统)之外还保持程序103A。
网络接口104经由网络2而在与图像处理装置200之间收发数据。
显示部105显示通过处理器101执行程序103A而实现的各种画面等。显示部105例如由LCD(Liquid Crystal Display：液晶显示器)等显示器等构成。
操作部106受理用户操作并将表示该受理的操作的内部指令向处理器101等输出。操作部106例如由键盘、鼠标、触摸屏、平板、声音识别装置等构成。
存储卡读写器107从存储介质107A读取数据，并且向存储介质107A写入数据。存储介质107A是以计算机及除此以外的装置、机械等能够读取所记录的程序等信息的方式，通过该电、磁、光、机械或化学的作用对该程序等信息进行积累的介质。管理装置100也可以从该存储介质107A获取程序103A。
<图像处理装置>
接下来，使用图4对本实施方式涉及的图像处理装置200的硬件构成的一个例子进行说明。图4示意性地表示本实施方式涉及的图像处理装置200的硬件构成的一个例子。在图4的例子中，图像处理装置200也可以包括照明部210、控制装置220、摄像部230。
照明部210向作为检查对象的工件照射摄像所需的光。即，照明部210向摄像部230的摄像范围照射光。更具体而言，照明部210包括设置在照明基板上的多个照明控制单元211。这些单元配置在照明基板上。各个照明控制单元211包括照明透镜212、LED213。照明控制单元211按照来自控制装置220的指令照射光。更具体而言，由LED213发出的光通过照明透镜212而被向工件照射。
摄像部230接收照明部210照射的光的反射光而输出图像信号。该图像信号被送向控制装置220。更具体而言，摄像部230除了摄像透镜231等光学系统之外，还包括CCD(Coupled Charged Device：电荷耦合器件)、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器等被划分为多个像素的摄像元件232。
控制装置220控制图像处理装置200的整体。即，控制装置220控制照明部210及摄像部230，并且基于来自摄像部230的图像信号进行图像处理。更具体而言，控制装置220包括处理部221、存储装置222、网络通信部223、外部输入输出部225。
处理部221由CPU121A、FPGA121B等集成电路构成。或者，处理部221也可以由DSP、GPU、ASIC(Application Specific Integrated Circuit：专用集成电路)、其它集成电路构成。
存储装置222包括ROM(Read Only Memory：只读存储器)、闪存、HDD、及SSD(SolidState Drive：固态硬盘)等非易失性存储装置、和/或RAM(Random Access Memory：随机存取存储器)等非易失性存储器。典型来说，处理部221执行存储于存储装置222的程序(指令码)222A，从而实现图像处理装置200所具备的各种处理。
网络通信部223是用于经由网络2而在与管理装置100之间收发数据的接口。更具体而言，网络通信部223采用按照Ethernet(注册商标)等的构成。外部输入输出部225是用于在与PLC(Programmable Logic Controller：可编程序逻辑控制器)300之间收发各种数据(输入数据和/或输出数据)的接口。
[功能构成]
<管理装置>
接下来，使用图5对本实施方式涉及的管理装置100的功能构成的一个例子进行说明。图5示意性地表示本实施方式涉及的管理装置100的功能构成的一个例子。
学习数据生成部501生成用于使属性识别器学习的学习数据。学习数据包括学习用的工件图像、相对于学习用的工件图像的工件的属性的正解值或应选择的缺陷识别器的正解值。学习数据生成部501也可以使学习数据生成用画面显示于显示部105。用户能够通过操作该画面来进行学习数据的生成。
例如，假设与表面为金属的工件所包括的缺陷的识别对应的缺陷识别器、与表面粗糙的工件所包括的缺陷的识别对应的缺陷识别器被组装于图像处理装置200。在这种情况下，也可以是，用户将通过对表面为金属的工件进行拍摄而得到的多个学习用得工件图像存入到管理装置100，将“工件的属性是表面为金属”或“应选择的缺陷识别器是与表面为金属的工件所包括的缺陷的识别对应的缺陷识别器”作为相对于各工件图像的正解值，输入到学习数据生成用画面，从而进行学习数据的生成。
识别器生成部502使用由学习数据生成部501生成的学习数据对任意的机械学习模型进行学习处理和评价处理，从而生成属性识别器。机械学习模型是如下模型：其具有规定的模型构造、因学习处理而变动的处理参数，基于从学习用数据得到的经验而使该处理参数最优化，从而使识别结果的精度提高。机械学习模型的算法例如可以使用支持向量机、回归分析、神经网络、深度神经网络等，但其种类不特别限定。识别器生成部502也可以将生成的属性识别器(详细而言，模型构造以及处理参数)向图像处理装置200发送，从而将生成的属性识别器组装到图像处理装置200。
<图像处理装置>
接下来，使用图6对本实施方式涉及的图像处理装置200的功能构成的一个例子进行说明。图6示意性地表示本实施方式涉及的图像处理装置200的功能构成的一个例子。
识别器DB(Data Base：数据库)601是存储多个缺陷识别器的数据库，存储于存储装置222。在图6的例子中，例示了多个缺陷识别器6011。这些缺陷识别器6011分别是以对于具有建立了对应关系的属性的对象物而利用比其它缺陷识别器6011高的精度识别缺陷的有无的方式学习的缺陷识别器。
缺陷识别器6011通过对任意的机械学习模型进行学习处理和评价处理额生成的。机械学习模型的算法例如可以使用支持向量机、回归分析、神经网络等，但其种类不特别限定。
拍摄部602控制摄像部230对工件的图像进行拍摄。另外，拍摄部602将拍摄得到的工件的图像传递给确定部603或输入部605。
确定部603根据由拍摄部602拍摄而得到的工件的图像来确定工件的属性。确定部603具备属性识别器6031，属性识别器603根据工件的图像来确定工件的属性。属性识别器603所使用的机械学习模型的算法例如可以使用支持向量机、回归分析、神经网络、深度神经网络等，但其种类不特别限定。
选择部604从多个缺陷识别器6011中选择与由确定部603确定的工件的属性对应的缺陷识别器6011。输入部605向由选择部604选择的缺陷识别器6011输入由拍摄部602拍摄而得到的工件的图像。输出部606输出从缺陷识别器6011输出的关于工件所包括的缺陷的有无的识别结果。
<其它>
在本实施方式中，说明了图像处理装置200的各功能均通过处理部221来实现的例子。但是，以上的功能的一部或全部也可以通过一个或多个专用的处理器等来实现。另外，关于图像处理装置200各自的功能构成，也可以根据实施方式而适当地进行功能性的省略、置换以及追加。
§3动作例
接下来，对图像处理装置200的动作例进行说明。在以下的动作例中，以如下的前提进行说明：即，图像处理系统1被组装于生产线、图像处理装置200对在生产线流动的工件识别缺陷的有无。需要注意的是，以下说明的处理顺序只不过是一个例子，各处理也可以在可能的范围内变更。另外，关于以下说明的处理顺序，可根据实施方式而适当地进行步骤的省略、置换、以及追加。
[处理顺序]
图7是表示图像处理装置200进行的处理顺序的一个例子的流程图。首先，拍摄部602对在生产线流动的工件进行拍摄(S101)。接着，确定部603通过将拍摄得到的工件图像输入到属性识别器6031，并从属性识别器6031输出工件的属性来确定工件的属性。接着，选择部604选择与所确定的工件的属性对应的缺陷识别器6011(S102)。接着，输入部605向所选择的缺陷识别器6011输入以步骤S101的处理顺序拍摄的工件的图像。缺陷识别器6011对工件是否包括有缺陷进行识别(S103)。接着，输出部606将由缺陷识别器6011识别出的识别结果向例如连接于图像处理装置200的外部的信息处理装置或连接于图像处理装置200的显示器等输出(S104)。
图像处理装置200每当在生产线上流动过来工件时就反复执行步骤S101～步骤S104的处理顺序。
图8示例性地表示图像处理装置200在生产线上进行工件的检查的情形。工件A、工件B以及工件C是分别具有属性a、属性b以及属性c的工件。拍摄部602在工件C在带式输送机上移动而来到图像处理装置200的下方的时刻进行拍摄，并将拍摄而得到的工件的图像传递给确定部603。确定部603使用属性识别器6031来确定工件的属性。选择部604选择与所确定的工件的属性对应的缺陷识别器6011。
图9表示选择缺陷识别器的动作的一个例子。例如，假设在识别器DB601存储有与属性a对应的缺陷识别器6011x、与属性b对应的缺陷识别器6011y、与属性c对应的缺陷识别器6011z。当工件A的图像被输入到属性识别器6031时，属性识别器6031输出作为工件A的属性的属性a。接着，选择部604选择与属性a对应的缺陷识别器6011x。同样地，当工件B的图像以及工件C的图像被输入到属性识别器6031时，属性识别器6031分别输出作为工件B的属性的属性b和作为工件C的属性的属性c。接着，选择部604选择与属性b对应的缺陷识别器6011y、和与属性c对应的缺陷识别器6011z。
在此，为了进一步提高识别精度，缺陷识别器6011也可以按照可检测的缺陷的种类进行区分。图10表示按照可识别的缺陷的种类进行区分的缺陷识别器的一个例子。例如，缺陷识别器60111a以及缺陷识别器60112a是专门对于划痕进行检测缺陷的缺陷识别器6011。另外，缺陷识别器60111b以及缺陷识别器60112b是专门对污垢检测缺陷的缺陷识别器6011。另外，缺陷识别器60111c以及缺陷识别器60112c是专门对颜色不均检测缺陷的缺陷识别器6011。需要注意的是，可检测的缺陷的种类也可以进一步详细区分。例如划痕的情况下，如深度100μm以下的划痕、深度100μm以上的划痕这样地以划痕的深度以及划痕的长度等详细区分，缺陷识别器6011也可以专门对于详细区分的划痕进行检测缺陷。
在这种情况下，选择部604从识别器DB601中选择可对由用户指定的缺陷的种类进行检测的缺陷识别器6011，也可以从选择的多个缺陷识别器6011中选择与由确定部603确定的工件的属性对应的缺陷识别器6011。例如，作为缺陷的种类而用户指定了“划痕”的情况下，选择部604从可检测划痕的缺陷识别器6011(60111a或60112a)中选择与工件的属性对应的缺陷识别器6011。假设工件的属性是“材质为金属”以及“表面形状为反射率低”的情况下，选择部604选择缺陷识别器60112a。
由此，用户在图像处理系统1设置多个图像处理装置200并按照图像处理装置200指定不同的缺陷的种类，由此，例如对于设置于生产线的三台图像处理装置200能够分别识别划痕的有无、污垢的有无、裂痕的有无等。这样地通过使用多个图像处理装置200而能够构建识别精度更高的图像处理系统1。
另外，确定部603也可以由分别具有识别特定的工件的属性的能力的多个属性识别器6031构成。图11表示使用多个属性识别器6031来识别工件的属性的动作的一个例子。在图11的例子中，确定部603包括具有对作为工件的属性的一部分的“工件的材质”进行识别的能力的属性识别器60311、和具有对作为工件的属性的一部分的“工件的表面形状”进行识别的能力的属性识别器60312。确定部603最开始通过将工件的图像输入到属性识别器60311来确定工件的材质，接下来，通过将工件的图像输入到属性识别器60312来确定工件的表面形状。需要注意的是，不限定于图11的例子，也可以属性识别器60311和属性识别器60312同时(并行)识别工件的属性。在图11的例子中，确定部603确定有光泽的金属来作为工件的属性，因此，选择部604选择适合于有光泽的金属的缺陷识别器6011。需要注意的是，确定部603不限定于图11的例子，也可以由三个以上的属性识别器6031构成。
§4变形例
[变形例1]
假设如下的情况：预先规定为，在生产线上，在带式输送机上流动的工件的顺序以工件A(属性a)、工件B(属性b)、工件C(属性c)的顺序反复流动。在这种情况下，从输入部605输入到缺陷识别器6011的工件的图像必定是工件A、工件B以及工件C的顺序。因此，选择部604以与属性a对应的缺陷识别器6011、与属性b对应的缺陷识别器6011、与属性c对应的缺陷识别器6011的顺序反复选择缺陷识别器6011即可。
为了实现这样的动作，也可以预先将表示与在生产线流动的工件的排列顺序(即图像处理装置200应对缺陷的有无进行检测的工件的排列顺序)建立了对应关系的工件的属性的顺序的“顺序信息”存储于存储装置222，选择部604按照顺序信息所示的工件的属性的顺序选择缺陷识别器6011。由此，能够简化选择部604的动作，能够降低图像处理装置200的处理负荷以及存储器使用量。
以上，对本发明的实施方式进行了详细说明，但至此为止的说明在任何方面都只不过是本发明的示例。能够不脱离本发明的范围地进行各种改良、变形，这是不言而喻的。
(附注1)
一种识别装置200，具有：
存储部601，将多个识别器6011与对象物的属性建立对应关系地进行存储，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习；
拍摄部602，对规定的对象物的图像进行拍摄；
确定部603，确定所述规定的对象物的属性；
选择部604，从所述多个识别器中选择与所确定的所述属性建立对应关系地存储的第一识别器6011；
输入部605，向所述第一识别器6011输入所述规定的对象物的图像；以及
输出部606，输出从所述第一识别器6011输出的、所述规定的对象物所包括的检测对象的有无。
(附注2)
在附注1所记载的识别装置200中，所述确定部603根据所述规定的对象物的图像来确定所述规定的对象物的属性。
(附注3)
在附注2所记载的识别装置200中，所述确定部603具备以根据对象物的图像来确定该对象物的属性方式学习的第二识别器6031，所述第二识别器6031根据所述规定的对象物的图像来确定所述规定的对象物的属性。
(附注4)
在附注1所记载的识别装置200中，所述确定部603以事前设定的顺序来确定所述规定的对象物的属性。
(附注5)
在附注1至4中任一项所记载的识别装置200中，存储于所述存储部的多个识别器6011分别是以对于具有与识别器6011建立了对应关系的属性的对象物而利用比其它识别器6011高的精度识别检测对象的有无的方式学习的识别器。
(附注6)
在附注1至5中任一项所记载的识别装置200中，
所述对象物是检查对象物，
所述检测对象是所述检查对象物所包括的缺陷。
(附注7)
一种识别方法，是识别装置200执行的识别方法，该识别装置具有将多个识别器6011与对象物的属性建立对应关系地进行存储的存储部601，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习，该识别方法具有：
对规定的对象物的图像进行拍摄的步骤；
确定所述规定的对象物的属性的步骤；
从所述多个识别器6011中选择与所确定的所述属性建立对应关系地存储的第一识别器6011的步骤；
向所述第一识别器6011输入所述规定的对象物的图像的步骤；以及
输出从所述第一识别器6011输出的、所述规定的对象物所包括的检测对象的有无的步骤。
(附注8)
一种程序，使识别装置200作为如下构件发挥功能：
存储构件601，将多个识别器6011与对象物的属性建立对应关系地进行存储，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习；
拍摄构件602，对规定的对象物的图像进行拍摄；
确定构件603，确定所述规定的对象物的属性；
选择构件604，从所述多个识别器6011中选择与所确定的所述属性建立对应关系地存储的第一识别器6011；
输入构件605，向所述第一识别器6011输入所述规定的对象物的图像；以及
输出构件606，输出从所述第一识别器6011输出的、所述规定的对象物所包括的检测对象的有无。

Claims (8)

1.一种识别装置，其特征在于，具有：
存储部，将多个识别器与对象物的属性建立对应关系地进行存储，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习；
拍摄部，对规定的对象物的图像进行拍摄；
确定部，确定所述规定的对象物的属性；
选择部，从所述多个识别器中选择与所确定的所述属性建立对应关系地存储的第一识别器；
输入部，向所述第一识别器输入所述规定的对象物的图像；以及
输出部，输出从所述第一识别器输出的、所述规定的对象物所包括的检测对象的有无。
2.根据权利要求1所述的识别装置，其特征在于，
所述确定部根据所述规定的对象物的图像来确定所述规定的对象物的属性。
3.根据权利要求2所述的识别装置，其特征在于，
所述确定部具备以根据对象物的图像来确定该对象物的属性的方式学习的第二识别器，所述第二识别器根据所述规定的对象物的图像来确定所述规定的对象物的属性。
4.根据权利要求1所述的识别装置，其特征在于，
所述确定部以事前设定的顺序来确定所述规定的对象物的属性。
5.根据权利要求1至4中任一项所述的识别装置，其特征在于，
存储于所述存储部的多个识别器分别是以对于具有与识别器建立了对应关系的属性的对象物而利用比其它识别器高的精度来识别检测对象的有无的方式学习的识别器。
6.根据权利要求1至4中任一项所述的识别装置，其特征在于，
所述对象物是检查对象物，
所述检测对象是所述检查对象物所包括的缺陷。
7.一种识别方法，是识别装置执行的识别方法，该识别装置具有将多个识别器与对象物的属性建立对应关系地进行存储的存储部，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习，该识别方法的特征在于，包括以下步骤：
对规定的对象物的图像进行拍摄；
确定所述规定的对象物的属性；
从所述多个识别器中选择与所确定的所述属性建立对应关系地存储的第一识别器；
向所述第一识别器输入所述规定的对象物的图像；以及
输出从所述第一识别器输出的、所述规定的对象物所包括的检测对象的有无。
8.一种存储介质，存储有程序，其特征在于，
所述程序使识别装置作为如下构件发挥功能：
存储构件，将多个识别器与对象物的属性建立对应关系地进行存储，所述多个识别器以根据所述对象物的图像来识别所述对象物所包括的检测对象的有无的方式学习；
拍摄构件，对规定的对象物的图像进行拍摄；
确定构件，确定所述规定的对象物的属性；
选择构件，从所述多个识别器中选择与所确定的所述属性建立对应关系地存储的第一识别器；
输入构件，向所述第一识别器输入所述规定的对象物的图像；以及
输出构件，输出从所述第一识别器输出的、所述规定的对象物所包括的检测对象的有无。
CN201811176344.2A 2017-12-14 2018-10-10 识别装置、识别方法以及存储介质 Active CN109978816B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017239302A JP6955211B2 (ja) 2017-12-14 2017-12-14 識別装置、識別方法及びプログラム
JP2017-239302 2017-12-14

Publications (2)

Publication Number Publication Date
CN109978816A true CN109978816A (zh) 2019-07-05
CN109978816B CN109978816B (zh) 2024-03-08

Family

ID=63862074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811176344.2A Active CN109978816B (zh) 2017-12-14 2018-10-10 识别装置、识别方法以及存储介质

Country Status (4)

Country Link
US (1) US10885626B2 (zh)
EP (1) EP3499409B1 (zh)
JP (1) JP6955211B2 (zh)
CN (1) CN109978816B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11240441B2 (en) * 2018-03-05 2022-02-01 Omron Corporation Method, device, system and computer-program product for setting lighting condition and storage medium
JP2021060355A (ja) * 2019-10-09 2021-04-15 株式会社デンソー 検査装置
JP7385417B2 (ja) * 2019-10-11 2023-11-22 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7016179B2 (ja) * 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム
JP6872214B1 (ja) * 2020-08-20 2021-05-19 株式会社医療情報技術研究所 分類システム
JP2022047442A (ja) * 2020-09-11 2022-03-24 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
JP2022086892A (ja) * 2020-11-30 2022-06-09 ブラザー工業株式会社 情報処理装置、および、情報処理方法
US20220207684A1 (en) * 2020-12-25 2022-06-30 Sintokogio, Ltd. Inspection device, inspection method, machine learning device, and machine learning method
US20240153065A1 (en) * 2021-03-04 2024-05-09 Nec Corporation Learning device, learning method, inspection device, inspection method, and recording medium
JP2022164146A (ja) * 2021-04-16 2022-10-27 株式会社キーエンス 画像検査装置、画像処理方法、画像処理プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
JP7101349B1 (ja) 2021-05-28 2022-07-15 株式会社医療情報技術研究所 分類システム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065900A1 (en) * 2000-10-02 2002-05-30 Applied Materials, Inc. Method and apparatus for communicating images, data, or other information in a defect source identifier
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US20110019245A1 (en) * 2009-07-21 2011-01-27 Fuji Xerox Co., Ltd. Image defect diagnostic system, image forming apparatus, image defect diagnostic method and computer readable medium
JP2011113464A (ja) * 2009-11-30 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 属性識別装置、属性識別方法およびプログラム
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN103578102A (zh) * 2012-07-23 2014-02-12 卡西欧计算机株式会社 被摄体检测装置及被摄体检测方法
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
CN105407257A (zh) * 2014-09-09 2016-03-16 卡西欧计算机株式会社 检测装置以及检测方法
US9355440B1 (en) * 2012-10-10 2016-05-31 Kla-Tencor Corp. Detection of selected defects in relatively noisy inspection data
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2017054239A (ja) * 2015-09-08 2017-03-16 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3002325B2 (ja) * 1992-04-27 2000-01-24 株式会社東芝 表面検査装置
JPH09152480A (ja) * 1995-11-30 1997-06-10 Mitsubishi Electric Corp 自動目標認識装置
US20170069075A1 (en) 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
US20020065900A1 (en) * 2000-10-02 2002-05-30 Applied Materials, Inc. Method and apparatus for communicating images, data, or other information in a defect source identifier
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
US20110019245A1 (en) * 2009-07-21 2011-01-27 Fuji Xerox Co., Ltd. Image defect diagnostic system, image forming apparatus, image defect diagnostic method and computer readable medium
JP2011113464A (ja) * 2009-11-30 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 属性識別装置、属性識別方法およびプログラム
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN103578102A (zh) * 2012-07-23 2014-02-12 卡西欧计算机株式会社 被摄体检测装置及被摄体检测方法
US9355440B1 (en) * 2012-10-10 2016-05-31 Kla-Tencor Corp. Detection of selected defects in relatively noisy inspection data
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
CN105407257A (zh) * 2014-09-09 2016-03-16 卡西欧计算机株式会社 检测装置以及检测方法
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2017054239A (ja) * 2015-09-08 2017-03-16 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵勇等: "邻域粗糙集在轮对踏面缺陷图像特征选择的应用", 计算机测量与控制, no. 11, 25 November 2008 (2008-11-25), pages 1730 - 1734 *
高永英等: "基于多级描述模型的渐进式图像内容理解", 电子学报, no. 10, 25 October 2001 (2001-10-25), pages 1376 - 1380 *

Also Published As

Publication number Publication date
US20190188845A1 (en) 2019-06-20
CN109978816B (zh) 2024-03-08
EP3499409B1 (en) 2020-12-23
EP3499409A1 (en) 2019-06-19
US10885626B2 (en) 2021-01-05
JP2019106090A (ja) 2019-06-27
JP6955211B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
CN109978816A (zh) 识别装置、识别方法以及存储介质
US10776911B2 (en) Information processing apparatus, identification system, setting method, and program
US10991088B2 (en) Defect inspection system and method using artificial intelligence
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
CN109978815A (zh) 检测系统、信息处理装置、评价方法及存储介质
TWI291561B (en) PC board inspecting apparatus, inspection logic setting method, and inspection logic setting apparatus
CN101334266B (zh) 一种基于大容量图像存储技术的电路板缺陷离线检测方法
CN108268895A (zh) 基于机器视觉的烟叶部位识别方法、电子设备及存储介质
CN113514394B (zh) 基于边缘场和深度学习的检查方法
CN112362679B (zh) 影像辨识装置、影像辨识方法及其计算机程序产品
CN113240673B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN110415214A (zh) 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN109614994A (zh) 一种瓷砖分类识别方法及装置
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN110490118A (zh) 图像处理方法及装置
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
KR102529354B1 (ko) 학습 장치, 검사 장치, 학습 방법 및 검사 방법
KR101893823B1 (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
CN111566438A (zh) 图像获取方法及系统
TWI842292B (zh) 自動化產線產品外觀瑕疵檢驗方法及系統
CN101201861A (zh) 自动检查测试点的方法与电脑可读取存储媒介
JP2022186079A (ja) 検出方法及びプログラム
CN111222299A (zh) 一种自动定位pcb摆件的方法与系统
CN117642769A (zh) 用于评估物理对象的质量的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant