CN109978817A - 信息处理装置、识别系统、设定方法以及存储介质 - Google Patents

信息处理装置、识别系统、设定方法以及存储介质 Download PDF

Info

Publication number
CN109978817A
CN109978817A CN201811179930.2A CN201811179930A CN109978817A CN 109978817 A CN109978817 A CN 109978817A CN 201811179930 A CN201811179930 A CN 201811179930A CN 109978817 A CN109978817 A CN 109978817A
Authority
CN
China
Prior art keywords
mentioned
identifier
identification
image
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811179930.2A
Other languages
English (en)
Inventor
玉井俊规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109978817A publication Critical patent/CN109978817A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供信息处理装置、识别系统、设定方法以及存储介质，能够调整识别精度以及识别所需的执行时间的双方。提供信息处理装置，其具有：存储部，对识别对象物且特性不同的多个识别器进行存储；测定部，按每一识别器测定针对特定的对象物的多个识别器各自的识别精度和执行时间；输出部，输出多个识别器各自的识别精度和执行时间；选择部，选择由测定部测定到的识别精度满足第一条件的识别器中执行时间满足第二条件的识别器；以及设定部，进行用于使所选择的识别器在识别装置上工作的设定。

Description

信息处理装置、识别系统、设定方法以及存储介质
技术领域
本发明涉及信息处理装置、识别系统、设定方法以及存储介质。
背景技术
已知在通过机器学习生成了为了识别在图像数据中是否包含检测对象而使用的识别器的情况下，生成的识别器的识别精度和识别所需的执行时间一般成为折衷的关系。
在此，在专利文献1中记载了如下的识别装置：具有强识别器，该强识别器包括识别性能较低的多个弱识别器，基于各弱识别器的特征量的判断结果与由各弱识别器设定的权重的积分值的线性总和来进行输入数据的识别。
专利文献1：日本特开2016-55188号公报
发明内容
然而，考虑对识别装置希望的识别精度或识别所需的执行时间根据用户的需求的不同而不同。例如，即使花费一些执行时间也重视识别精度的用户或者与识别精度相比更重视执行时间的用户等用户的需求是多种多样的，所以希望是能够调整识别精度和执行时间双方的结构。
通过调整识别精度和执行时间双方，从而能够在例如与执行时间相比更重视识别精度的情况下，通过提高识别精度来抑制检测对象的检测错误。另外，在与识别精度相比更重视执行时间的情况下，由于能够缩短识别所需的时间，所以能够抑制识别装置的CPU资源和存储器资源。但是，专利文献1所记载的识别装置终究是以将检测处理实现高速化为目的的，并未考虑能够调整识别精度和执行时间双方的问题。
因此，本发明的目的在于提供能够调整识别精度和识别所需的执行时间双方的识别器。
本发明的一方式的信息处理装置具有：存储部，对识别对象物且特性不同的多个识别器进行存储；测定部，按每一识别器测定针对特定的对象物的多个识别器各自的识别精度和执行时间；输出部，输出多个识别器各自的识别精度和执行时间；选择部，选择由测定部测定到的识别精度满足第一条件的识别器中执行时间满足第二条件的识别器；以及设定部，进行用于使所选择的识别器在识别装置上工作的设定。
根据该方式，能够从检查对象物的多个识别器中选择测定到的识别精度包含于规定的允许范围的识别器中执行时间满足规定的条件的识别器并使识别装置执行该识别器。由此，能够调整识别精度和识别所需的执行时间双方。另外，能够选择识别所需的执行时间满足规定的条件的识别器，因此能够抑制浪费CPU资源和存储器资源。
在上述方式中可以是，存储部存储为了测定针对特定的对象物的多个识别器各自的识别精度和执行时间而使用的测试图像，测定部分别使多个识别器识别测试图像，从而按每一识别器测定识别精度和执行时间。另外，在方式中可以是，存储部存储对象物的图像，信息处理装置具有生成部，生成部从用户接受关于图像的加工条件的输入，基于加工条件加工由存储部存储的对象物的图像，从而生成测试图像。根据该方式，用户能够不准备实际上对对象物拍摄到的图像，而使用测试图像来测定识别器的识别精度和执行时间。
在上述方式中可以是，生成部对由存储部存储的对象物的图像附加由用户指定的检测对象的图像，从而生成测试图像。根据该方式，用户能够创建符合使用识别装置的环境的测试图像，能够选择对于用户而言最佳的识别器。
在上述方式中可以是，生成部对由存储部存储的对象物的图像附加基于由用户指定的参数生成的检测对象的图像，从而生成测试图像。根据该方式，用户能够使用根据使用识别装置的环境自动创建的测试图像，能够选择对用户而言最佳的识别器。另外，根据该方式，能够减轻生成测试图像的用户的负担。
在上述方式中可以是，测测试图像包含以包含检测对象为正确的多个第一测试图像，识别精度包含作为识别器针对多个第一测试图像识别为包含检测对象的概率的第一概率，测定部分别使多个识别器识别多个第一测试图像，从而测定第一概率，选择部选择由测定部测定到的第一概率包含于第一条件的识别器中执行时间满足第二条件的识别器。根据该方式，用户能够使用以包含检测对象为正确的测试图像来评价识别器的识别精度，因此对于用户而言能够更具体地评价识别器的识别精度。
在上述方式中可以是，测试图像还包含以不包含检测对象为正确的多个第二测试图像，识别精度还包含作为识别器针对多个第二测试图像误识别为包含检测对象的概率的第二概率，测定部还分别使多个识别器识别多个第二测试图像，从而测定第二概率，选择部选择由测定部测定到的第二概率包含于第一条件的识别器中执行时间满足第二条件的识别器。根据该方式，用户能够使用以不包含检测对象为正确的测试图像来评价识别器的识别精度，因此对于用户而言能够更具体地评价识别器的识别精度。
在上述方式中可以是，第一条件是由使用识别装置的用户指定的识别精度的范围。根据该方式，用户能够任意地调整识别精度和识别所需的执行时间双方。
在上述方式中可以是，在由测定部测定到的识别精度包含于第一条件的识别器不存在的情况下，选择部选择识别精度最高的识别器。根据该方式，在即使不存在满足规定的识别精度的识别器的情况下，也能够实现高识别精度并使识别装置动作。
在上述方式中可以是，多个识别器分别是通过学习完成模型的类别与识别为有检测对象的阈值的组合而设计的。根据该方式，存在学习完成模型的类别与阈值的组合的数量的识别精度不同的识别器，因此对用户而言能够使用的识别器的选项扩大。其结果是，用户能够从大量的识别器中选择适当的识别器。
在上述方式中可以是，执行时间满足第二条件的识别器是执行时间最短的识别器。根据该方式，能够在识别精度满足允许范围的识别器中选择执行时间最短的识别器，因此能够抑制浪费CPU资源和存储器资源。
在上述方式中可以是，提供识别系统，其包含：上面记载的信息处理装置；以及与该信息处理装置进行通信的识别装置，识别装置具有：受理部，从信息处理装置受理由信息处理装置选择的识别器并保存到存储部；以及识别部，使用由存储部存储的识别器来识别对象物。根据该方式，能够实现使用由信息处理装置选择的识别器来识别对象物的识别系统。
本发明的其他方式的设定方法是信息处理装置所执行的设定方法，存储部对识别对象物且特性不同的多个识别器进行存储，设定方法具有：按每一识别器测定针对特定的对象物的多个识别器各自的识别精度和执行时间的步骤；输出多个识别器各自的识别精度和执行时间的步骤；选择所测定到的识别精度满足第一条件的识别器中执行时间满足第二条件的识别器的步骤；以及进行用于使所选择的识别器在识别装置上工作的设定的步骤。
根据该方式，能够从对检查对象物进行检查的多个识别器中选择测定到的识别精度包含于规定的允许范围的识别器中执行时间满足规定的条件的识别器并使识别装置执行该识别器。由此，能够调整识别精度和识别所需的执行时间双方。另外，能够选择识别所需的执行时间满足规定的条件的识别器，因此能够抑制浪费CPU资源和存储器资源。
本发明的其他方式的存储介质，存储程序，程序使计算机作为如下单元发挥功能：存储单元，对识别对象物且特性不同的多个识别器进行存储；测定单元，按每一识别器测定针对特定的对象物的多个识别器各自的识别精度和执行时间；输出单元，输出多个识别器各自的识别精度和执行时间；选择单元，选择由测定单元测定到的识别精度满足第一条件的识别器中执行时间满足第二条件的识别器；以及设定单元，进行用于使所选择的识别器在识别装置上工作的设定。
根据该方式，能够从对检查对象物进行检查的多个识别器中选择测定到的识别精度包含于规定的允许范围的识别器中执行时间满足规定的条件的识别器并使识别装置执行该识别器。由此，能够调整识别精度和识别所需的执行时间双方。另外，能够选择识别所需的执行时间满足规定的条件的识别器，因此能够抑制浪费CPU资源和存储器资源。
根据本发明，能够提供能够调整识别精度和识别所需的执行时间双方的识别器。
附图说明
图1示意性地例示本实施方式的图像处理系统的应用场景的一例。
图2示意性地例示本实施方式的管理装置的硬件构成的一例。
图3示意性地例示本实施方式的图像处理装置的硬件构成的一例。
图4示意性地例示本实施方式的管理装置的功能构成的一例。
图5示意性地例示本实施方式的图像处理装置的功能构成的一例。
图6例示神经网络的一例。
图7是例示管理装置所进行的处理步骤的一例的流程图。
图8例示测试图像创建画面(手动)的一例。
图9例示测试图像创建画面(自动)的一例。
图10例示学习完成模型的类别的一例。
图11例示管理装置选择识别器的处理步骤的一例。
图12例示对缺陷识别率和误报率进行测定后的结果的具体例。
图13例示对缺陷识别率和误报率进行测定后的结果的具体例。
图14例示对执行时间进行测定后的结果的具体例。
图15例示管理装置测定缺陷识别率的处理步骤的一例。
图16例示管理装置测定误报率的处理步骤的一例。
图17例示识别器所识别的检查对象物的一例。
附图标记说明
1...图像处理系统；100...管理装置；101...处理器；102...存储器(存储部或第一存储部)；103...存储装置(存储部或第一存储部)；103A...程序；104...网络接口；105...显示部；106...操作部；107...存储卡读卡器/写卡器；107A...存储介质；108...内部总线；121A...CPU；200...图像处理装置；210...照明部；211...照明控制单元；212...照明透镜；220...控制装置；221...处理部；222...存储装置(存储部或第二存储部)；222A...程序(指令代码)；223...网络通信部；230...拍摄部；231...拍摄镜头；232...拍摄元件；500...识别器DB；501...识别器；510...生成部；511...图像加工部；512...测试图像DB；513...现有图像DB；520...测定部；521...模拟部；522...参数调整部；530...输出部；540...选择部；550...设定部；551...设定文件生成部。
具体实施方式
下面，基于附图说明本发明的一个方面的实施方式(以下也记载为“本实施方式”)。
1应用例
首先，使用图1说明应用本发明的场景的一例。图1示意性地例示本实施方式的图像处理系统1的应用场景的一例。图像处理系统1典型地组装到生产线等。图像处理系统1基于通过拍摄在生产线上输送的工件而得到的图像来执行工件的检查。此外，图像处理系统1是本发明的“识别系统”的一例。
如图1所示，图像处理系统1包括管理装置100以及与管理装置100经由网络2进行通信的1个以上的图像处理装置200。例如，工件由皮带输送机等输送机构向规定的方向输送，各个图像处理装置200相对于该输送路径被配置于预定的位置。管理装置100是至少具有特性不同的多个识别器作为用于检查工件的识别器并从这些多个识别器中选择使图像处理装置200执行的识别器的装置。“特性不同的多个识别器”意味着，各个识别器能够检测的检测对象相同，但由于进行检测时的运算精度或运算量不同所以识别该检测对象的识别精度、从开始检测对象的检测到输出检测结果为止所需的执行时间(以下简称为“执行时间”。)不同的识别器。在此，工件是本发明的“检查对象物”的一例。另外，管理装置100是本发明的“信息处理装置”的一例。另外，图像处理装置200是本发明的“识别装置”的一例。
首先，管理装置100生成为了测定每一识别器针对特定的检查对象物的识别精度和执行时间而使用的多个测试图像。特定的检查对象物可以是，例如用户让图像处理装置200检查的、具有规定的属性(例如工件的材质、表面形状或工件所包含的缺陷内容等)的工件。另外，测试图像也可以是对不具有缺陷的工件的图像附加了疑似缺陷的图像。在此，缺陷包含检查对象物所具有的异常中的例如划痕、颜色等的不匀、污垢、凹痕、碎片、毛刺、异物、印刷模糊、印刷等的位置偏差等。接下来，管理装置100分别使多个识别器识别创建后的多个测试图像，从而按每一识别器测定识别精度和执行时间。识别精度可以用识别器能够正确地检测工件的图像所包含的缺陷的有无的概率来表示。
接下来，管理装置100选择测定到的识别精度包含于用户作为图像处理装置200的性能所要求的识别精度的范围即规定的允许范围的识别器中的、执行时间满足规定的条件的识别器作为使图像处理装置200执行的识别器。规定的条件可以是例如执行时间最短的识别器。选择的识别器被组装到图像处理装置200，图像处理装置200将对在生产线上输送的工件拍摄后的图像输入到识别器，从而进行工件的检查等。此外，规定的允许范围是本发明的“第一条件”的一例。规定的条件是本发明的“第二条件”的一例。
根据本实施方式，管理装置100能够在实际中在生产线上进行工件的检查前，在发挥规定的允许范围的识别精度的识别器中，选择执行时间满足规定的条件的识别器，将选择的识别器预先组装到图像处理装置200。由此，在图像处理系统1中，能够从多个识别器中选择具备适当的识别精度和执行时间的识别器，能够提供满足用户的需求的识别器。
另外，根据本实施方式，能够使用测试图像事先选择适当的识别器，因此不用大量准备实际中在生产线上进行工件的检查时的图像，能够选择适当的识别器。
2构成例
[硬件构成]
＜管理装置＞
下面，使用图2说明本实施方式的管理装置100的硬件构成的一例。图2示意性地例示本实施方式的管理装置100的硬件构成的一例。在图2的例子中，管理装置100可以包括处理器101、存储器102、HDD(Hard Disk Drive：硬盘驱动器)等存储装置103、网络接口(I/F)104、显示部105、操作部106以及存储卡读卡器/写卡器107。这些各部经由内部总线108连接成能够相互进行通信。
处理器101通过将由存储装置103保存的程序(指令代码)103A向存储器102展开后执行而实现管理装置100所具备的各种功能。存储器102和存储装置103分别以易失性和非易失性的方式保存数据。存储装置103除了OS(Operating System：操作系统)以外，还保存有程序103A。
网络接口104经由网络2在与图像处理装置200之间发送接收数据。
显示部105显示通过处理器101执行程序103A而实现的各种画面等。显示部105包括例如LCD(Liquid Crystal Display：液晶显示器)等显示器等。
操作部106受理用户操作，将表示该受理到的操作的内部指令向处理器101等输出。操作部106例如包括键盘、鼠标、触摸面板、平板电脑、声音识别装置等。
存储卡读卡器/写卡器107从存储介质107A读出数据以及向存储介质107A写入数据。存储介质107A是为了能够读取计算机以外的装置、机械等所记录的程序等信息而利用电、磁、光学、机械或化学作用来存储该程序等信息的介质。管理装置100可以从该存储介质107A取得程序103A。
＜图像处理装置＞
下面，使用图3说明本实施方式的图像处理装置200的硬件构成的一例。图3示意性地例示本实施方式的图像处理装置200的硬件构成的一例。在图3的例子中，图像处理装置200可以包括照明部210、控制装置220以及拍摄部230。
照明部210照射拍摄工件所需的光。即，照明部210在拍摄部230的拍摄范围内照射光。更具体地，照明部210包括设置于照明基板上的多个照明控制单元211。这些单元配置于照明基板上。照明控制单元211分别包括照明透镜212和LED213。照明控制单元211按照来自控制装置220的指令来照射光。更具体地，由LED213产生的光通过照明透镜212向工件照射。
拍摄部230接受照明部210照射的光的反射光，输出图像信号。该图像信号被向控制装置220发送。更具体地，拍摄部230包括拍摄镜头231等光学系统以及CCD(CoupledCharged Device：耦合充电装置)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等划分为多个像素的拍摄元件232。
控制装置220控制图像处理装置200的整体。即，控制装置220控制照明部210和拍摄部230，并且基于来自拍摄部230的图像信号进行图像处理。更具体地，控制装置220包括处理部221、存储装置222以及网络通信部223。
处理部221由CPU121A、FPGA121B等集成电路构成。或者，处理部221可以由DSP、GPU、ASIC(Application Specific Integrated Circuit：专用集成电路)、其他集成电路构成。
存储装置222包括ROM(Read Only Memory：只读存储器)、闪存、HDD以及SSD(SolidState Drive：固态硬盘)等非易失性存储装置和/或RAM(Random Access Memory：随机存取存储器)等易失性存储器。典型地说，处理部221通过执行由存储装置222保存的程序(指令代码)222A来实现图像处理装置200所具备的各种图像处理。
网络通信部223是用于经由网络2在与管理装置100之间发送接收数据的接口。更具体地，网络通信部223采用符合Ethernet(注册商标)等的构成。
[功能构成]
＜管理装置＞
下面，使用图4说明本实施方式的管理装置100的功能构成的一例。图4示意性地例示本实施方式的管理装置100的功能构成的一例。
识别器DB(DataBase)500是保存特性不同的多个识别器的数据库，能够通过存储器102或存储装置103来实现。存储器102或存储装置103是本发明的“存储部”的一例。在图4的例子中，作为多个识别器例示了识别器5011～501N。在以下的说明中，在不区分识别器5011～501N的情况下，记载为识别器501。
在此，识别器501是通过对任意的机器学习模型进行学习处理和评价处理而生成的。机器学习模型具有规定的模型结构和通过学习处理发生变动的处理参数并基于从学习用数据得到的经验使该处理参数实现最佳化从而提高识别结果的精度的模型。即，更具体地说，本实施方式的识别器501包括作为规定的模型结构与实现了最佳化的处理参数的组合的、所谓的“学习完成模型”。机器学习模型的算法能够使用例如支持向量机、逻辑回归、神经网络等，但其种类没有特别限定。
生成部510生成为了测定识别器5011～501N针对特定的检查对象物的各自的识别精度而使用的多个测试图像。生成部510可以通过对工件的图像附加由用户指定的缺陷图像来生成测试图像。用户能够自己创建(通过手动创建)任意地指定了附加的缺陷的大小或地方的测试图像。在此，缺陷图像包括例如表示划痕的图像、表示颜色等的不匀的图像、表示污垢的图像、表示凹痕的图像、表示碎片的图像、表示毛刺的图像、表示异物的图像、表示印刷模糊的图像或显示于错误印刷等的位置的图像等。
另外，生成部510可以通过对工件的图像附加基于由用户指定的参数生成的缺陷图像(从用户受理图像的加工条件)而自动地生成测试图像。由用户指定的参数例如是表示缺陷的大小的最大和最小的参数、表示要附加缺陷的地方的范围的参数等。生成部510可以在这些参数的范围内随机生成缺陷图像并将生成的缺陷图像附加到工件的图像从而自动地生成多个测试图像。
另外，更具体地，生成部510可以具有图像加工部511、测试图像DB512以及现有图像DB513。可以在测试图像DB512中保存生成的多个测试图像，在现有图像DB513中保存工件的图像。图像加工部511可以从现有图像DB513取得工件的图像，对取得的图像进行附加由测试图像DB512保存的缺陷图像的加工，从而生成测试图像。测试图像DB512和现有图像DB513能够由存储器102或存储装置103来实现。
测定部520按每一识别器501来测定识别器5011～501N针对特定的检查对象物的识别精度和执行时间。更具体地，测定部520通过分别使识别器5011～501N识别测试图像而按每一识别器501测定识别精度和执行时间。
选择部540选择由测定部520测定到的识别精度包含于规定的允许范围的识别器501中的、执行时间满足规定的条件的识别器501作为使图像处理装置200执行的识别器501。选择部540可以在用测定部520测定到的识别精度包含于规定的允许范围的识别器501不存在的情况下，选择识别精度最高的识别器501作为使图像处理装置200执行的识别器501。
输出部530将由测定部520测定到的识别器5011～501N各自的识别精度和执行时间输出到显示部105。设定部550进行用于使由选择部540选择的识别器501在图像处理装置200上工作的设定。另外，设定部550具有设定文件生成部551。设定文件生成部551生成设定文件，该设定文件用于在图像处理装置200中对作为使图像处理装置200执行的识别器501而选择的识别器501进行设定。设定文件例如可以包含所选择的识别器501的模型结构和处理参数。由设定文件生成部551生成的设定文件被发送到图像处理装置200，由图像处理装置200的处理部221执行。由此，用管理装置100的选择部540选择的识别器501在图像处理装置200中动作。或者可以是，将与由识别器DB500保存的识别器5011～501N为同一个的识别器预先保存到图像处理装置200，在设定文件中包含对在图像处理装置200中动作的识别器进行指定的信息。
在此，本实施方式的识别器501可以是将输出表示在输入的图像中包含缺陷的可能性的数值(以下称为“相似度”)的学习完成模型、与表示视为包含缺陷的相似度的边界的阈值进行组合从而识别检查对象物的缺陷的有无的识别器501。另外，在用于识别器5011～501N的学习完成模型中可以包含性能不同的多个类别的学习完成模型。即，识别器5011～501N可以是通过学习完成模型的类别与识别为有缺陷的阈值的组合从而分别使识别精度不同的识别器501。
例如，具有学习完成模型A且阈值设定为90％的识别器501在根据输入了图像的学习完成模型A而输出了85％这一相似度的情况下，输出在输入的图像中不包含缺陷这一识别结果。同样地，具有学习完成模型A且阈值设定为80％的识别器501在根据输入了图像的学习完成模型A而输出85％这一相似度的情况下，输出在输入的图像中包含缺陷这一识别结果。在后面描述学习完成模型的类别的具体例。
更具体地，测定部520可以具有模拟部521和参数调整部522。模拟部521通过对测定对象的识别器501输入测试图像而取得识别结果(在测试图像中是否包含缺陷)，基于取得的识别结果来测定识别器501的识别精度。参数调整部522对模拟部521指示应在识别器501中设定的阈值。
另外，测试图像可以包含应识别为包含缺陷的多个图像(以下称为“不合格品测试图像”)以及不应识别为包含缺陷的多个图像(以下称为“合格品测试图像”)。不合格品测试图像意味着，通过对工件的图像附加具有应识别为缺陷的尺寸或形状等的缺陷图像而生成的测试图像。合格品测试图像意味着，通过对工件的图像附加具有不应识别为缺陷(即不能说是缺陷)的尺寸或形状等的缺陷图像而生成的测试图像。
在该情况下，可以在测定部520所测定的识别器501的识别精度中包含：识别器对多个不合格品测试图像正确地识别为包含缺陷的概率(以下称为“缺陷识别率”)；以及识别器对多个合格品测试图像错误地识别为包含缺陷的概率(以下称为“误报率”)。
测定部520可以通过分别使识别器5011～501N识别多个不合格品测试图像来测定缺陷识别率和执行时间，而且，通过分别使识别器5011～501N识别多个合格品测试图像来测定误报率和执行时间。另外，选择部540可以选择由测定部520测定到的缺陷识别率和误报率包含于规定的允许范围的识别器501中的、执行时间满足规定的条件的识别器501作为使图像处理装置200执行的识别器501。
在此，不合格品测试图像是本发明的“第一测试图像”的一例。另外，合格品测试图像是本发明的“第二测试图像”的一例。另外，缺陷识别率是本发明的“第一概率”的一例。另外，误报率是本发明的“第二概率”的一例。
＜图像处理装置＞
图5示意性地例示本实施方式的图像处理装置200的功能构成的一例。受理部610从管理装置100受理由管理装置100追加学习到的识别器501，将其作为识别器222B保存到存储装置222。识别部620使用由存储装置222存储的识别器222B来识别用拍摄部230拍摄到的工件所包含的缺陷的有无。存储装置222是本发明的“存储部”的一例。
＜其他＞
在本实施方式中，说明了管理装置100的各功能均通过处理器101来实现的例子。但是，以上的功能的一部分或全部也可以通过1个或多个专用的处理器来实现。另外，关于管理装置100各自的功能构成，也可以按照实施方式适当地进行功能的省略、置换以及追加。
3动作例
下面，说明管理装置100的动作例。此外，以下说明的处理步骤不过是一例，各处理可以尽可能地变更。另外，关于以下说明的处理步骤，能够按照实施方式适当地进行步骤的省略、置换以及追加。
在本动作例中，作为在识别器501中使用的机器学习模型的算法，以使用神经网络中的、特别是阶层为3层以上的深度神经网络(以下称为“DNN”。)为前提进行说明。DNN从输入起按顺序具有输入层、1个以上的结合层(中间层)、输出层，构成各层的多个神经元与构成相邻的层的全部神经元结合。
下面，说明识别器。如图6所示，本实施方式的图像处理装置200使用神经网络1000作为对输出表示在输入的图像中包含缺陷的可能性的数值的能力进行了学习的识别器。神经网络1000是用于所谓的深层学习的多层结构的神经网络，从输入起按顺序具备输入层1001、中间层(隐藏层)1002以及输出层1003。
在图6中，神经网络1000具备多层的中间层1002，输入层1001的输出成为中间层1002的输入，中间层1002的输出成为输出层1003的输入。不过，中间层1002的数量可以不限于多层，神经网络1000可以是中间层1002仅为1层。
各层1001～1003具备1个或多个神经元。例如，输入层1001的神经元的数量能够按照输入到输入层1001的各拍摄图像的像素数进行设定。中间层1002的神经元的数量能够按照实施方式适当地设定。另外，输出层1003能够按照设为对象的检查对象物的识别种类数进行设定。
相邻的层的神经元彼此被适当地结合，在各结合中设定有权重(结合载荷)。在图6的例子中，各神经元与相邻的层的全部神经元结合，但神经元的结合可以不限于这种例子，可以按照实施方式适当地设定。
在各神经元中设定阈值，基本上根据各输入与各权重的乘积和是否超过阈值来确定各神经元的输出。图像处理装置200对这种神经网络1000的输入层1001输入上述各拍摄图像从而基于从输出层1003得到的输出值来识别对象物。
此外，表示这种神经网络1000的构成(例如神经网络1000的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元之间的结合的权重、以及各神经元的阈值的信息包含于学习完成模型。图像处理装置200参照学习完成模型进行在识别希望的对象物的处理中使用的学习完成神经网络1000的设定。
[处理步骤的整体流程]
图7是例示管理装置100所进行的处理步骤的一例的流程图。首先，用户事先进行不具有缺陷的工件的拍摄，将拍摄到的工件的图像取入管理装置100。取入的工件的图像被保存到现有图像DB513(S10)。工件的拍摄例如可以利用图像处理装置200的拍摄部230进行。
接下来，管理装置100的生成部510基于用户的指示生成不合格品测试图像和合格品测试图像(S11)。具体地，生成部510在显示部105中显示测试图像创建画面，将由用户指示的缺陷图像附加到工件的图像，从而创建不合格品测试图像和合格品测试图像。生成部510将创建后的不合格品测试图像和合格品测试图像保存到测试图像DB512。
接下来，管理装置100的测定部520从测试图像DB512读出多个不合格品测试图像，分别使识别器5011～501N识别多个不合格品测试图像，由此，测定部520按每一识别器501测定：识别器5011～501N各者中的缺陷识别率；以及从分别使识别器5011～501N开始检测在不合格品测试图像中是否包含缺陷直到识别器5011～501N分别输出检测结果为止的执行时间。另外，测定部520根据测试图像DB512读出多个合格品测试图像并分别使识别器5011～501N识别多个合格品测试图像，由此，测定部520按每一识别器501测定：识别器5011～501N各自的误报率；以及从分别使识别器5011～501N开始检测在合格品测试图像中是否包含缺陷直到识别器5011～501N分别输出检测结果为止的执行时间。选择部540选择测定到的识别率和误报率双方包含于规定的允许范围的识别器501中的、执行时间最短的识别器501作为使图像处理装置200执行的识别器501(S12)。在缺陷识别率的情况下，规定的允许范围是使用图像处理装置200的用户所指定的缺陷识别率的下限(例如90％以上)，在误报率的情况下，规定的允许范围是使用图像处理装置200的用户所希望的误报率的上限(例如5％以下)。
[测试图像的创建]
接下来，使用图8～图10具体地说明图7的步骤S11的处理步骤。
图8例示测试图像创建画面(手动)的一例。测试图像创建画面(手动)是用户用于通过手动来创建测试图像的画面。测试图像创建画面(手动)具有：缺陷基本设定区域1001，其用于输入希望对工件的图像附加的缺陷图像的大小或位置等；以及测试图像显示区域1002，其显示附加了缺陷图像的工件的图像。在缺陷基本设定区域1001中包含对所创建的测试图像是不合格品测试图像还是合格品测试图像进行选择的选择菜单1001a。
在测试图像创建画面(手动)中，用户能够通过鼠标操作或触摸面板操作等对工件的图像上的任意的地方附加缺陷图像。在图8的例子中，示出用户在工件的图像中附加有凹痕1002a、污垢1002b、划痕1002c的情况。另外，在测试图像创建画面(手动)中，用户还能够通过在缺陷基本设定区域1001中输入希望附加的缺陷的大小或位置等的数值来对工件的图像附加缺陷图像。当用户按下创建完成按钮1003时，生成部510将在测试图像显示区域1002中显示的、附加了缺陷图像的工件的图像保存到测试图像DB。更具体地，在用选择菜单1001a选择了“不合格品测试图像”的情况下，生成部510将附加了缺陷图像的工件的图像作为不合格品测试图像保存到测试图像DB。另外，在用选择菜单1001a选择了“合格品测试图像”的情况下，生成部510将附加了缺陷图像的工件的图像作为合格品测试图像保存到测试图像DB。
图9和图10例示测试图像创建画面(自动)的一例。测试图像创建画面(自动)是用于生成部510基于用户输入的参数而自动地生成测试图像的画面。测试图像创建画面(自动)具有：缺陷基本设定区域2001，其用于输入对工件的图像附加的缺陷图像的参数；以及测试图像显示区域2002，其显示附加有缺陷图像的工件的图像。图9例示正在生成不合格品测试图像的状态，图10例示正在同时生成不合格品测试图像和合格品测试图像双方的状态。
在图9的例子中，在缺陷基本设定区域2001中，作为为了生成不合格品测试图像而对工件的图像附加的缺陷图像的参数，设定有至少附加深度最低为10μm以上、且长度最低为1mm的划痕。另外，不合格品测试图像生成数量设定为10。另外，任意(auto)地设定划痕的地方或色调。在该情况下，生成部510生成10个至少将深度最低为10μm、且长度最低为1mm的任意的色调的划痕附加到任意的地方的不合格品测试图像。
另外，在图10的例子中，在缺陷基本设定区域2001中，设定有至少附加深度最低为10μm以上、且长度最低为1mm的划痕作为为了生成不合格品测试图像而对工件的图像附加的缺陷图像的参数。另外，设定有至少附加深度最大为10μm、且长度最大为1mm的划痕作为为了生成合格品测试图像而对工件的图像附加的缺陷图像的参数。另外，不合格品测试图像生成数量设定为6，合格品测试图像生成数量设定为4。在该情况下，生成部510生成6个至少将深度最低为10μm、且长度最低为1mm的任意的色调的划痕附加到任意的地方的不合格品测试图像，生成4个至少将深度最大为10μm、且长度最大为1mm的任意的色调的划痕附加到任意的地方的合格品测试图像。
[识别器的选择]
接下来，详细说明图7的步骤S12的处理步骤。在此，具体说明学习完成模型的类别。如上所述，识别器5011～501N可以是通过学习完成模型的类别与识别为有缺陷的阈值的组合设计的识别器501。
在图11中例示学习完成模型的类别的一例。类别1～3的学习完成模型是通过二进制型(2字节的整数)进行运算的学习完成模型。类别4～6的学习完成模型是通过整数型(8字节的整数)进行运算的学习完成模型。类别7～9的学习完成模型是通过浮点型(float)进行运算的学习完成模型。类别10～12的学习完成模型是通过浮点型(double)进行运算的学习完成模型。另外，类别2、5、8、11的学习完成模型分别是将类别1、4、7、10的学习完成模型的全结合层的神经元中的例如小于70％的神经元删除后的学习完成模型。另外，类别3、6、9、12的学习完成模型分别是将类别1、4、7、10的学习完成模型的全结合层的神经元中的例如70％以上的神经元删除后的学习完成模型。
运算精度越低，作为学习完成模型整体的运算量越下降，因此执行时间变短，识别精度下降。同样地，结合层的神经元的删除量越多，作为学习完成模型整体的运算量越下降，因此执行时间变短，识别精度下降。此外，希望将所删除的神经元设为学习时活性化率低的神经元。
此外，不限于图11所示的例子，例如也可以使用通过4字节的整数进行运算的学习完成模型。一般地CPU的最小运算单位是8字节，但通过使用FPGA或ASIC，也能够用4字节或2字节进行运算。另外，也可以使用将全结合层的神经元置换为平均过滤器的学习完成模型。另外，学习完成模型的类别不限于以上说明的实施方式，也可以是任意的学习完成模型。
图12是例示管理装置100选择识别器的处理步骤的一例的流程图。首先，测定部520通过分别使识别器5011～501N识别从测试图像DB512读出的多个不合格品测试图像来测定缺陷识别率和执行时间(S101)。接下来，测定部520通过分别使识别器5011～501N识别从测试图像DB512读出的多个合格品测试图像来测定误报率和执行时间(S102)。
接下来，选择部540确认测定到的缺陷识别率和误报率分别有无作为规定的允许范围以上的识别器501(S103)。在缺陷识别率和误报率分别存在作为规定的允许范围以上的识别器501的情况下，进入S104，在不存在的情况下，进入S106。
在此，规定的允许范围是由使用图像处理装置200的用户指定的缺陷识别率的下限和误报率的上限。用户例如当检查在生产线上输送的工件的缺陷时希望缺陷识别率至少是90％以上的情况下，将与缺陷识别率有关的允许范围设定为90％以上。同样地，用户例如当检查在生产线上输送的工件的缺陷时希望误报率至少是10％以下的情况下，将与误报率有关的允许范围设定为10％以下。
接下来，选择部540对缺陷识别率和误报率分别是规定的允许范围以上的识别器501按照执行时间短的顺序进行排序(S104)，将执行时间最短的识别器501选择为使图像处理装置200执行的识别器501(S105)。此外，选择部540也可以将在步骤S101的处理步骤中测定到的执行时间与在步骤S102的处理步骤中测定到的执行时间的平均值设为在步骤S104的处理步骤中使用的执行时间。
选择部540在缺陷识别率和误报率分别是规定的允许范围以上的识别器501不存在的情况下，选择缺陷识别率最高的识别器501(S106)。
图13例示对缺陷识别率和误报率进行测定的结果的具体例。纵轴表示缺陷识别率，横轴表示误报率。P1、P2和P3表示对具有浮点型的学习完成模型的识别器501分别设定了84％、87％和90％作为阈值时的缺陷识别率和误报率的例子。P4、P5和P6表示对具有整数型的学习完成模型的识别器501分别设定了84％、87％和90％作为阈值时的缺陷识别率和误报率的例子。P7、P8和P9表示对具有二进制型的学习完成模型的识别器501分别设定了81％、84％和87％作为阈值时的缺陷识别率和误报率的例子。另外，用户所设定的允许范围是，缺陷识别率为97％以上且误报率为8％以下。在图13的例子中，通过图12的步骤S103的处理步骤来选择符合P1、P2、P4、P5和P8的识别器501。
图14例示对执行时间进行测定的结果的具体例。纵轴表示缺陷识别率，横轴表示执行时间。根据图14，符合P1、P2、P4、P5和P8的识别器501中的执行时间最短的识别器501是符合P8的识别器501(具有阈值设定为84％的二进制型的学习完成模型的识别器501)。因而，在图14的例子中，通过图12的步骤S105的处理步骤选择具有阈值设定为84％的二进制型的学习完成模型的识别器501。
[识别器的选择：缺陷识别率的测定]
图15是例示管理装置100测定缺陷识别率的处理步骤的一例的流程图。使用图15详细说明图12的步骤S101的处理步骤。
首先，测定部520从在识别器5011～501N中使用的学习完成模型的类别中选择1个类别(S201)。接下来，测定部520从由测试图像DB512保存的多个不合格品测试图像中选择1个不合格品测试图像(S202)。接下来，测定部520对具有在步骤S201的处理步骤中选择的学习完成模型的类别的识别器501设定阈值，输入在步骤S202的处理步骤中选择的1个不合格品测试图像从而测定缺陷识别率和执行时间。执行时间例如能够通过算出对识别器501输入不合格品测试图像的时刻与输出识别结果的时刻的差分来测定。
另外，测定部520通过使在识别器501中设定的阈值变化，从而对能够在识别器501中设定的全部阈值测定缺陷识别率和执行时间(S203)。能够在识别器501中设定的阈值例如可以在75％～97％之间按每3％增加那样预先决定最小值、最大值和增加量。
接下来，测定部520针对由测试图像DB512保存的多个不合格品测试图像反复进行步骤S202至步骤S203的处理步骤。针对所有不合格品测试图像，当每一阈值的缺陷识别率和执行时间的测定完成时，进入步骤S205的处理步骤(S204)。
测定部520计算通过反复进行步骤S202至步骤S203的处理步骤而得到的每一阈值的缺陷识别率和执行时间的平均值(S205)。由此，针对具有在步骤S201的处理步骤中选择的学习完成模型的类别的识别器501，得到每一阈值的缺陷识别率和执行时间。
接下来，测定部520针对在识别器5011～501N中使用的多个学习完成模型的各个类别反复进行步骤S201至步骤S205的处理步骤，从而针对所有学习完成模型的类别进行每一阈值的缺陷识别率和执行时间的测定(S206)。当针对所有学习完成模型的类别的测定完成时，将处理结束。通过以上的处理步骤，针对各个识别器5011～501N能够得到缺陷识别率和执行时间。
[识别器的选择：误报率的测定]
图16是例示管理装置100测定误报率的处理步骤的一例的流程图。使用图16详细说明图12的步骤S102的处理步骤。
首先，测定部520从在识别器5011～501N中使用的多个学习完成模型的类别中选择1个类别(S301)。接下来，测定部520从由测试图像DB512保存的多个合格品测试图像中选择1个合格品测试图像(S302)。接下来，测定部520对具有在步骤S301的处理步骤中选择的学习完成模型的类别的识别器501设定阈值，输入在步骤S302的处理步骤中选择的合格品测试图像，从而测定误报率和执行时间。执行时间例如能够通过算出对识别器501输入合格品测试图像的时刻与输出识别结果的时刻的差分来测定。
另外，测定部520通过使在识别器501中设定的阈值变化，对能够在识别器501中设定的全部阈值测定误报率和执行时间(S303)。能够在识别器501中设定的阈值例如可以在0％～10％之间按每1％增加那样预先设定最小值、最大值和增加量。
接下来，测定部520针对由测试图像DB512保存的多个合格品测试图像反复进行步骤S302至步骤S303的处理步骤。针对所有合格品测试图像，当每一阈值的误报率和执行时间的测定完成时，进入步骤S305的处理步骤(S304)。
测定部520计算通过反复进行步骤S302至步骤S303的处理步骤而得到的每一阈值的误报率和执行时间的平均值(S305)。由此，针对具有在步骤S301的处理步骤中选择的学习完成模型的类别的识别器501，得到每一阈值的误报率和执行时间。
接下来，测定部520通过针对在识别器5011～501N中使用的多个学习完成模型的各个类别反复进行步骤S301至步骤S305的处理步骤，从而针对所有学习完成模型的类别进行每一阈值的误报率和执行时间的测定(S306)。当针对所有学习完成模型的类别的测定完成时，将处理结束。通过以上的处理步骤，能够针对各个识别器5011～501N得到误报率和执行时间。
4变形例
识别器5011～501N可以是特定且专用于同一检查对象物的识别器。图17例示识别器所识别的检查对象物的一例。例如识别器5011～501N可以是针对通过将多个属性(在图17的例子中是工件的材质、工件的表面形状、作为检测对象的缺陷的项目和能够检测的缺陷的尺寸等)的全部或一部分的组合而确定的检查对象物特定且专用于同一检查对象物的识别器501。识别器5011～501N可以在识别器5011～501N中分别通过不同的学习完成模型的类别来设计。
另外，识别器5011～501N也可以是专用于各种检查对象物的识别器的集合。具体地说，例如“识别器5011～501A：检查对象的工件是金属，工件的表面形状有光泽，且专用于深度为100μm以上的划痕并具有识别能力的识别器”、“识别器501A+1～501B：检查对象的工件的材质是金属，工件的表面形状有光泽，且专用于污垢并具有识别能力的识别器”、“识别器501B+1～501N：检查对象的工件的材质是金属，工件的表面形状粗糙，且专用于凹痕并具有识别能力的识别器”所示，识别器5011～501N可以是专用于各种检查项目的识别器的集合。另外，识别器5011～501A可以在识别器5011～501A中分别通过不同的学习完成模型的类别来设计。同样地，识别器501A+1～501B可以在识别器501A+1～501B中分别通过不同的学习完成模型的类别来设计，识别器501B+1～501N也可以在识别器501B+1～501N中分别通过不同的学习完成模型的类别来设计。
管理装置100也可以按每一检查项目来选择最佳的识别器501，分别在不同的图像处理装置200中设定所选择的识别器501。由此，例如设置于生产线的多个图像处理装置200能够对在生产线上输送的工件分别进行针对不同的检查项目进行识别的动作，能够构筑识别精度更高的图像处理系统1。
以上，说明了本实施方式。根据本实施方式，能够从检查工件的多个识别器501中选择测定到的识别精度包含于规定的允许范围的识别器中的、执行时间满足规定的条件的识别器并使图像处理装置200执行该识别器。由此，能够提供识别精度和执行时间符合用户的需求的识别器。
另外，例如提供图像处理系统1的企业等将多个识别器501以预先组装到图像处理系统1的(预设的)状态提供给用户，用户通过自己操作管理装置100，也能够进行选择具备与自身的需求相应的识别精度和处理时间的识别器的应用。
以上，详细说明本发明的实施方式，但上述的说明在所有方面不过是本发明的例示。当然能够不脱离本发明的范围地进行各种改良或变形。
(备注1)
信息处理装置(100)具有：
存储部(102、103)，对识别对象物且特性不同的多个识别器(501)进行存储；
测定部(520)，按每一识别器(501)测定针对特定的对象物的上述多个识别器(501)各自的识别精度和执行时间；
输出部(530)，输出上述多个识别器(501)各自的上述识别精度和上述执行时间；
选择部(540)，选择由上述测定部(520)测定到的上述识别精度满足第一条件的识别器(501)中上述执行时间满足第二条件的识别器(501)；以及
设定部(550)，进行用于使所选择的识别器(501)在识别装置(200)上工作的设定。
(备注2)
在备注1所述的信息处理装置中，
上述存储部(102、103)存储为了测定针对上述特定的对象物的上述多个识别器(501)各自的上述识别精度和上述执行时间而使用的测试图像，
上述测定部(520)分别使上述多个识别器(501)识别上述测试图像，从而按每一识别器(501)测定上述识别精度和上述执行时间。
(备注3)
在备注2所述的信息处理装置中，
上述存储部(102、103)存储对象物的图像，
上述信息处理装置(100)具有生成部，上述生成部从用户接受关于图像的加工条件的输入，基于上述加工条件加工由上述存储部(102、103)存储的对象物的图像，从而生成上述测试图像。
(备注4)
在备注3所述的信息处理装置中，
上述生成部对由上述存储部(102、103)存储的对象物的图像附加由用户指定的检测对象的图像，从而生成上述测试图像。
(备注5)
在备注3所述的信息处理装置中，
上述生成部对由上述存储部(102、103)存储的对象物的图像附加基于由用户指定的参数生成的检测对象的图像，从而生成上述测试图像。
(备注6)
在备注2至5中任一项所述的信息处理装置中，
上述测试图像包含以包含检测对象为正确的多个第一测试图像，
上述识别精度包含作为识别器(501)针对上述多个第一测试图像识别为包含检测对象的概率的第一概率，
上述测定部(520)分别使上述多个识别器(501)识别上述多个第一测试图像，从而测定上述第一概率，
上述选择部(540)选择由上述测定部(520)测定到的上述第一概率包含于上述第一条件的识别器(501)中上述执行时间满足上述第二条件的识别器(501)。
(备注7)
在备注6所述的信息处理装置中，
上述测试图像还包含以不包含检测对象为正确的多个第二测试图像，
上述识别精度还包含作为识别器(501)针对上述多个第二测试图像误识别为包含检测对象的概率的第二概率，
上述测定部(520)还分别使上述多个识别器(501)识别上述多个第二测试图像，从而测定上述第二概率，
上述选择部(540)选择由上述测定部(520)测定到的上述第二概率包含于上述第一条件的识别器(501)中上述执行时间满足上述第二条件的识别器(501)。
(备注8)
在备注1至7中任一项所述的信息处理装置中，
上述第一条件是由使用上述识别装置的用户指定的识别精度的范围。
(备注9)
在备注1至8中任一项所述的信息处理装置中，
在不存在由上述测定部(520)测定到的上述识别精度包含于上述第一条件的识别器(501)的情况下，上述选择部(540)选择上述识别精度最高的识别器(501)。
(备注10)
在备注1至9中任一项所述的信息处理装置中，
上述多个识别器(501)分别是通过学习完成模型的类别与识别为有检测对象的阈值的组合设计的。
(备注11)
在备注1至10中任一项所述的信息处理装置中，
上述执行时间满足上述第二条件的识别器(501)是上述执行时间最短的识别器(501)。
(备注12)
识别系统(1)包含备注1至11中任一项所述的信息处理装置(100)；以及与该信息处理装置(100)进行通信的识别装置(200)，
上述识别装置(200)具有：
受理部(610)，从上述信息处理装置(100)受理由上述信息处理装置(100)选择的识别器(501)并保存到存储部(222)；以及
识别部(620)，使用由上述存储部(222)存储的识别器(222B)来识别对象物。
(备注13)
一种设定方法，是具有存储部(102、103)的信息处理装置(100)所执行的设定方法，上述存储部(102、103)对识别对象物且特性不同的多个识别器(501)进行存储，上述设定方法具有：
按每一识别器(501)测定针对特定的对象物的上述多个识别器(501)各自的识别精度和执行时间的步骤；
输出上述多个识别器(501)各自的上述识别精度和上述执行时间的步骤；
选择所测定到的上述识别精度满足第一条件的识别器(501)中上述执行时间满足第二条件的识别器(501)的步骤；以及
进行用于使所选择的识别器(501)在识别装置上工作的设定的步骤。
(备注14)
一种存储介质，存储程序，上述程序使计算机(100)作为如下单元发挥功能：
存储单元(102、103)，对识别对象物且特性不同的多个识别器(501)进行存储；
测定单元(520)，按每一识别器(501)测定针对特定的对象物的上述多个识别器(501)各自的识别精度和执行时间；
输出单元(530)，输出上述多个识别器(501)各自的上述识别精度和上述执行时间；
选择单元(540)，选择由上述测定单元(520)测定到的上述识别精度满足第一条件的识别器(501)中上述执行时间满足第二条件的识别器(501)；以及
设定单元(550)，进行用于使所选择的识别器(501)在识别装置上工作的设定。

Claims (14)

1.一种信息处理装置，具有：
存储部，对识别对象物且特性不同的多个识别器进行存储；
测定部，按每一识别器测定针对特定的对象物的上述多个识别器各自的识别精度和执行时间；
输出部，输出上述多个识别器各自的上述识别精度和上述执行时间；
选择部，选择由上述测定部测定到的上述识别精度满足第一条件的识别器中上述执行时间满足第二条件的识别器；以及
设定部，进行用于使所选择的识别器在识别装置上工作的设定。
2.根据权利要求1所述的信息处理装置，其中，
上述存储部存储为了测定针对上述特定的对象物的上述多个识别器各自的上述识别精度和上述执行时间而使用的测试图像，
上述测定部分别使上述多个识别器识别上述测试图像，从而按每一识别器测定上述识别精度和上述执行时间。
3.根据权利要求2所述的信息处理装置，其中，
上述存储部存储对象物的图像，
上述信息处理装置具有生成部，上述生成部从用户接受关于图像的加工条件的输入，基于上述加工条件加工由上述存储部存储的对象物的图像，从而生成上述测试图像。
4.根据权利要求3所述的信息处理装置，其中，
上述生成部对由上述存储部存储的对象物的图像附加由用户指定的检测对象的图像，从而生成上述测试图像。
5.根据权利要求3所述的信息处理装置，其中，
上述生成部对由上述存储部存储的对象物的图像附加基于由用户指定的参数生成的检测对象的图像，从而生成上述测试图像。
6.根据权利要求2至5中任一项所述的信息处理装置，其中，
上述测试图像包含以包含检测对象为正确的多个第一测试图像，
上述识别精度包含作为识别器针对上述多个第一测试图像识别为包含检测对象的概率的第一概率，
上述测定部分别使上述多个识别器识别上述多个第一测试图像，从而测定上述第一概率，
上述选择部选择由上述测定部测定到的上述第一概率包含于上述第一条件的识别器中上述执行时间满足上述第二条件的识别器。
7.根据权利要求6所述的信息处理装置，其中，
上述测试图像还包含以不包含检测对象为正确的多个第二测试图像，
上述识别精度还包含作为识别器针对上述多个第二测试图像误识别为包含检测对象的概率的第二概率，
上述测定部还分别使上述多个识别器识别上述多个第二测试图像，从而测定上述第二概率，
上述选择部选择由上述测定部测定到的上述第二概率包含于上述第一条件的识别器中上述执行时间满足上述第二条件的识别器。
8.根据权利要求1至5中任一项所述的信息处理装置，其中，
上述第一条件是由使用上述识别装置的用户指定的识别精度的范围。
9.根据权利要求1至5中任一项所述的信息处理装置，其中，
在不存在由上述测定部测定到的上述识别精度包含于上述第一条件的识别器的情况下，上述选择部选择上述识别精度最高的识别器。
10.根据权利要求1至5中任一项所述的信息处理装置，其中，
上述多个识别器分别是通过学习完成模型的类别与识别为有检测对象的阈值的组合而设计的。
11.根据权利要求1至5中任一项所述的信息处理装置，其中，
上述执行时间满足上述第二条件的识别器是上述执行时间最短的识别器。
12.一种识别系统，包括权利要求1至11中任一项所述的信息处理装置以及与该信息处理装置进行通信的识别装置，
上述识别装置具有：
受理部，从上述信息处理装置受理由上述信息处理装置选择的识别器并保存到存储部；以及
识别部，使用由上述存储部存储的识别器来识别对象物。
13.一种设定方法，是具有存储部的信息处理装置所执行的设定方法，上述存储部对识别对象物且特性不同的多个识别器进行存储，上述设定方法具有：
按每一识别器测定针对特定的对象物的上述多个识别器各自的识别精度和执行时间的步骤；
输出上述多个识别器各自的上述识别精度和上述执行时间的步骤；
选择所测定到的上述识别精度满足第一条件的识别器中上述执行时间满足第二条件的识别器的步骤；以及
进行用于使所选择的识别器在识别装置上工作的设定的步骤。
14.一种存储介质，存储程序，上述程序使计算机作为如下单元发挥功能：
存储单元，对识别对象物且特性不同的多个识别器进行存储；
测定单元，按每一识别器测定针对特定的对象物的上述多个识别器各自的识别精度和执行时间；
输出单元，输出上述多个识别器各自的上述识别精度和上述执行时间；
选择单元，选择由上述测定单元测定到的上述识别精度满足第一条件的识别器中上述执行时间满足第二条件的识别器；以及
设定单元，进行用于使所选择的识别器在识别装置上工作的设定。
CN201811179930.2A 2017-12-14 2018-10-10 信息处理装置、识别系统、设定方法以及存储介质 Pending CN109978817A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-239570 2017-12-14
JP2017239570A JP6992475B2 (ja) 2017-12-14 2017-12-14 情報処理装置、識別システム、設定方法及びプログラム

Publications (1)

Publication Number Publication Date
CN109978817A true CN109978817A (zh) 2019-07-05

Family

ID=63878343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811179930.2A Pending CN109978817A (zh) 2017-12-14 2018-10-10 信息处理装置、识别系统、设定方法以及存储介质

Country Status (4)

Country Link
US (1) US10776911B2 (zh)
EP (1) EP3499418B1 (zh)
JP (1) JP6992475B2 (zh)
CN (1) CN109978817A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
IL265163B (en) * 2019-03-04 2022-01-01 Tinyinspektor Ltd System and method for adjustable production line inspection
WO2020245936A1 (ja) * 2019-06-05 2020-12-10 日本電信電話株式会社 推論処理装置および推論処理方法
JP2021015546A (ja) * 2019-07-16 2021-02-12 株式会社日立製作所 情報処理システムおよび情報処理方法
JP7269122B2 (ja) * 2019-07-18 2023-05-08 株式会社日立ハイテク データ分析装置、データ分析方法及びデータ分析プログラム
CN111062401A (zh) * 2019-09-27 2020-04-24 商汤国际私人有限公司 堆叠物体的识别方法及装置、电子设备和存储介质
US20210201191A1 (en) * 2019-12-27 2021-07-01 Stmicroelectronics, Inc. Method and system for generating machine learning based classifiers for reconfigurable sensor
EP4104100A4 (en) 2020-02-13 2024-01-10 Inspekto A.M.V Ltd USER INTERFACE DEVICE FOR AUTONOMOUS ARTIFICIAL VISION INSPECTION
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
WO2021215069A1 (ja) * 2020-04-21 2021-10-28 株式会社島津製作所 細胞画像解析装置
CN111582359B (zh) * 2020-04-28 2023-04-07 新疆维吾尔自治区烟草公司 一种图像识别方法、装置、电子设备及介质
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
US11937019B2 (en) 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
US20230394797A1 (en) * 2020-11-10 2023-12-07 Panasonic Intellectual Property Management Co., Ltd. Data creation system, learning system, estimation system, processing device, evaluation system, data creation method, and program
JP2022164146A (ja) * 2021-04-16 2022-10-27 株式会社キーエンス 画像検査装置、画像処理方法、画像処理プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器
US11605159B1 (en) 2021-11-03 2023-03-14 Elementary Robotics, Inc. Computationally efficient quality assurance inspection processes using machine learning
US12051186B2 (en) * 2021-11-03 2024-07-30 Elementary Robotics, Inc. Automatic object detection and changeover for quality assurance inspection
US11675345B2 (en) 2021-11-10 2023-06-13 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance architecture
US12050454B2 (en) 2021-11-10 2024-07-30 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance lifecycle architecture
US11605216B1 (en) 2022-02-10 2023-03-14 Elementary Robotics, Inc. Intelligent automated image clustering for quality assurance
US20240288991A1 (en) * 2023-02-28 2024-08-29 Zebra Technologies Corporation Machine learning based recommendations for user interactions with machine vision systems

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067636A1 (en) * 1998-05-28 2003-04-10 Hiroki Kanno Image processing apparatus and image processing method
JP2006157710A (ja) * 2004-11-30 2006-06-15 Oki Electric Ind Co Ltd 改ざん検出閾値決定システム，評価対象データ作成装置，閾値決定装置，評価対象データ作成方法，閾値決定方法
US20080075352A1 (en) * 2006-09-27 2008-03-27 Hisae Shibuya Defect classification method and apparatus, and defect inspection apparatus
KR20110126791A (ko) * 2010-05-18 2011-11-24 주식회사 만도 분류기 선택 방법 및 그 장치
US20160061745A1 (en) * 2014-08-27 2016-03-03 Kla-Tencor Corporation Repeater Detection
CN105407245A (zh) * 2014-09-08 2016-03-16 柯尼卡美能达株式会社 电子文件生成装置及其控制方法、电子文件生成系统
CN106447721A (zh) * 2016-09-12 2017-02-22 北京旷视科技有限公司 图像阴影检测方法和装置
CN106662538A (zh) * 2014-08-27 2017-05-10 科磊股份有限公司 重复缺陷检测
CN106650743A (zh) * 2016-09-12 2017-05-10 北京旷视科技有限公司 图像强反光检测方法和装置
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术（北京）有限公司 测试方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5311899B2 (ja) * 2008-06-30 2013-10-09 キヤノン株式会社 パターン検出器の学習装置、学習方法及びプログラム
JP2012018450A (ja) * 2010-07-06 2012-01-26 Keio Gijuku ニューラルネットワークシステム、ニューラルネットワークシステムの構築方法およびニューラルネットワークシステムの制御プログラム
US10185892B1 (en) * 2014-05-30 2019-01-22 Amazon Technologies, Inc. Automatic large-scale imaging device diagnostics
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US9445086B2 (en) * 2014-12-10 2016-09-13 Facebook, Inc. Methods, systems, and apparatus for camera testing using virtual images
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
JP6031181B2 (ja) 2015-12-10 2016-11-24 株式会社ユニバーサルエンターテインメント 識別装置及び遊技用装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067636A1 (en) * 1998-05-28 2003-04-10 Hiroki Kanno Image processing apparatus and image processing method
JP2006157710A (ja) * 2004-11-30 2006-06-15 Oki Electric Ind Co Ltd 改ざん検出閾値決定システム，評価対象データ作成装置，閾値決定装置，評価対象データ作成方法，閾値決定方法
US20080075352A1 (en) * 2006-09-27 2008-03-27 Hisae Shibuya Defect classification method and apparatus, and defect inspection apparatus
KR20110126791A (ko) * 2010-05-18 2011-11-24 주식회사 만도 분류기 선택 방법 및 그 장치
US20160061745A1 (en) * 2014-08-27 2016-03-03 Kla-Tencor Corporation Repeater Detection
CN106662538A (zh) * 2014-08-27 2017-05-10 科磊股份有限公司 重复缺陷检测
CN105407245A (zh) * 2014-09-08 2016-03-16 柯尼卡美能达株式会社 电子文件生成装置及其控制方法、电子文件生成系统
CN106447721A (zh) * 2016-09-12 2017-02-22 北京旷视科技有限公司 图像阴影检测方法和装置
CN106650743A (zh) * 2016-09-12 2017-05-10 北京旷视科技有限公司 图像强反光检测方法和装置
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术（北京）有限公司 测试方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINBAO SONG等: "Automatic recommendation of classification algorithms based on data set characteristics", 《PATTERN RECOGNITION》 *
QINBAO SONG等: "Automatic recommendation of classification algorithms based on data set characteristics", 《PATTERN RECOGNITION》, 27 December 2011 (2011-12-27), pages 3 - 4 *

Also Published As

Publication number Publication date
JP6992475B2 (ja) 2022-01-13
JP2019106112A (ja) 2019-06-27
EP3499418B1 (en) 2023-03-15
US20190188846A1 (en) 2019-06-20
EP3499418A3 (en) 2019-08-28
EP3499418A2 (en) 2019-06-19
US10776911B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109978817A (zh) 信息处理装置、识别系统、设定方法以及存储介质
CN109978816B (zh) 识别装置、识别方法以及存储介质
CN110402487B (zh) 对从晶片检测的缺陷进行分类的方法和装置
US10223812B2 (en) Image validation
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
US20200019938A1 (en) Systems and methods for artificial-intelligence-based automated surface inspection
JP2019087181A (ja) 画像検査装置および方法
CN106062819B (zh) 图像处理装置、图像传感器、图像处理方法
CN104053984A (zh) 图像检查方法和图像检查装置
CN111275705A (zh) 智能验布方法、装置、电子设备及存储介质
CN110599479A (zh) 一种监测区域变化检测方法、装置及存储介质
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
CN109167998A (zh) 检测相机状态的方法及装置、电子设备、存储介质
JP7321452B2 (ja) プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法
WO2022215446A1 (ja) 画像判定装置、画像判定方法、及び、プログラム
TW202020802A (zh) 信息處理方法及計算機程序
CN110472084A (zh) 图像处理装置、存储介质及照片数据的生成方法
CN110473162A (zh) 机器学习装置、摄影时间估计装置及学习模型的生成方法
JP2020177429A (ja) 情報処理装置、情報処理方法及びプログラム
US11012613B2 (en) Flat surface detection in photographs
JP2006085278A (ja) 画像処理システム、画像処理装置、アルゴリズム作成装置、画像検査装置、コンピュータを画像処理装置として機能させるためのプログラム、コンピュータをアルゴリズム作成装置として機能させるためのプログラム、および記録媒体
US11755948B2 (en) Attribution and generation of saliency visualizations for machine-learning models
CN113989183A (zh) 基于神经网络的木板缺陷检测方法、装置、设备及介质
US10949389B2 (en) Metadata analyzing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination