CN111738976A - 信息处理装置、用于控制信息处理装置的方法和存储介质 - Google Patents

信息处理装置、用于控制信息处理装置的方法和存储介质 Download PDF

Info

Publication number
CN111738976A
CN111738976A CN202010162225.2A CN202010162225A CN111738976A CN 111738976 A CN111738976 A CN 111738976A CN 202010162225 A CN202010162225 A CN 202010162225A CN 111738976 A CN111738976 A CN 111738976A
Authority
CN
China
Prior art keywords
training
unit
image
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010162225.2A
Other languages
English (en)
Inventor
星野彰市
真继优和
森克彦
御手洗裕辅
野上敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111738976A publication Critical patent/CN111738976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开公开了信息处理装置、用于控制信息处理装置的方法和存储介质。信息处理装置包括：接收单元，被配置为接收指定图像中包括的检测目标的位置的输入；获取单元，被配置为获取包括指示图像的信息和指示由输入指定的位置的信息的对的训练数据的存储量；训练单元，被配置为基于存储的训练数据，训练用于从图像中检测检测目标的训练模型；以及显示控制单元，被配置为控制显示单元以可比较的方式显示存储量以及训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量。

Description

信息处理装置、用于控制信息处理装置的方法和存储介质
技术领域
本公开涉及一种通过使用机器学习从图像中检测目标的技术。
背景技术
当检验诸如桥梁之类的结构的墙壁表面以及检验零件和产品外部的外观时，检验员通过视觉观察来检查诸如裂缝之类的缺陷。这种检验操作需要高操作成本。因而，日本专利No.5384429讨论了一种通过使用模式识别技术从检验目标的捕获图像中自动检测缺陷的检验方法。
在如日本专利No.5384429中讨论的模式识别技术中，为了训练分类器以实现目标检测准确性，需要与检测目标缺陷的特点对应的足够数量的多种类型的训练数据。在用于生成训练数据的方法中，用户手动输入由用户针对检验目标的捕获图像的一部分视觉检查到的缺陷数据，以使用该数据作为训练数据。当已经存储了足够数量的训练数据时，通过使用训练数据来训练分类器，并且通过对剩余图像使用经训练的分类器来执行用于检测缺陷的处理。这提高了用于检测在检验目标结构中出现的缺陷的操作的效率。但是，由于用于生成训练数据的处理需要花费时间和精力，因此需要高效地存储所需量的训练数据。
发明内容
根据一些实施例的一个方面，一种信息处理装置包括：接收单元，被配置为接收指定图像中包括的检测目标的位置的输入；获取单元，被配置为获取包括指示图像的信息和指示由输入指定的位置的信息的对的训练数据的存储量；训练单元，被配置为基于存储的训练数据，训练用于从图像中检测检测目标的训练模型；以及显示控制单元，被配置为控制显示单元以可比较的方式显示存储量以及训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量。
通过参考附图对示例性实施例的以下描述，不同实施例的其它特征将变得清楚。
附图说明
图1A、图1B和图1C是例示要存储作为训练数据的缺陷数据以及叠加在捕获图像上的缺陷数据的示例的图。
图2是示意性地例示当缺陷数据被输入到检验目标图像时的画面转变的图。
图3A和图3B是例示信息处理装置的配置的示例的框图。
图4是例示数据分类表的示例的表。
图5是例示由信息处理装置执行的处理的示例的流程图。
图6A和图6B是示意性地例示用于存储训练数据的处理的图。
图7A和图7B是例示由信息处理装置显示的显示数据的示例的图。
图8A和图8B是例示由信息处理装置显示的显示数据的其它示例的图。
图9A和图9B是例示信息处理装置的配置的其它示例的框图。
图10是例示由信息处理装置执行的处理的另一个示例的流程图。
图11A、图11B、图11C和图11D是例示检验目标图像组和对应的缺陷数据的示例的图。
图12A、图12B和图12C是示意性地例示用于显著显示要为其优先提示缺陷数据的输入的局部区域的处理的图。
图13A、图13B和图13C是例示在执行校正操作之前和之后的缺陷检测结果的示例的图。
图14是例示由信息处理装置显示的显示数据的示例的图。
图15是例示由信息处理装置执行的处理的又一个示例的流程图。
图16A、图16B和图16C是例示由信息处理装置显示的显示数据的其它示例的图。
具体实施方式
以下将参考附图详细描述示例性实施例。以下在示例性实施例中描述的配置是代表性示例，并且一些实施例的范围不限于具体的配置。
以下将使用如下处理的示例来描述第一示例性实施例，该处理用于向对检验目标图像进行视觉检查以识别缺陷的用户显示训练数据的存储状况，并取决于存储状况而提示用户发出用于通过使用存储的训练数据来执行训练的指令。特别地，下面将使用信息处理系统的示例来描述本示例性实施例，该信息处理系统用于对基础设施执行所谓的检验，以检查诸如桥梁之类的结构的老化劣化。
下面定义在本示例性实施例的描述中使用的术语。在用于对基础设施执行检验的信息处理系统的描述中，术语“检验目标”是指混凝土结构。根据本示例性实施例的信息处理系统的用户打算检验缺陷区域，以基于检验目标的捕获图像来确定表面上是否存在诸如裂缝之类的缺陷。例如，在混凝土结构的情况下，术语“缺陷区域”是指混凝土的裂缝、分层(delamination)和剥落。该术语还指具有诸如风化、加强铁棒暴露、生锈、漏水、滴水(waterdripping)、腐蚀、损坏、冷缝(cold joint)、沉积物和岩穴(rock pocket)之类的缺陷的区域。
术语“缺陷数据”是指缺陷类型和关于缺陷区域存在的位置的位置信息的组合数据。例如，用户对检验目标的捕获图像进行视觉检查并识别缺陷。缺陷数据包括用线表示识别出的缺陷的位置信息和关于缺陷类型的信息。缺陷数据还可以包括详细信息，诸如裂缝的宽度。缺陷数据可以包括作为由信息处理装置进行的缺陷检测处理的结果而获得的缺陷类型和位置信息。但是，在缺陷类型被识别为一种类型的情况下或者在不需要区分缺陷类型的情况下，将位置数据作为缺陷数据进行处置。术语“训练数据”是指作为被摄体的检验目标的捕获图像和缺陷数据的对。在本示例性实施例中，特别地，检验目标的捕获图像用作输入数据，并且通过使用其中缺陷数据用作正确答案数据(监管数据)的训练数据来训练缺陷检测方法的分类器。在本示例性实施例中，用户输入的缺陷数据被用作要用作训练数据的缺陷数据。但是，缺陷检测方法的结果在被用户校正之后也能够用作缺陷数据。
术语“数据分类”是指用于分类训练数据的特点和特性的分类信息。在本示例性实施例中，针对每种数据分类显示训练数据的存储状况，从而允许用户确定是否已经存储了期望的训练数据。在本示例性实施例中，与基础设施的检验相关的信息处理系统中的数据分类例如是通过包括缺陷区域的混凝土墙壁表面的类型来进行的。更具体而言，根据混凝土墙壁表面的颜色和表面粗糙度将数据分类到每种类型。
首先，下面将参考图1A、图1B、图1C和图2描述由根据本示例性实施例的信息处理装置显示的画面的示例。图1A、图1B和图1C是例示混凝土墙壁表面的捕获图像、指示应用窗口100中缺陷区域的输入结果的缺陷数据以及叠加在捕获图像上的缺陷数据的图。图1A例示了仅显示作为检验目标的混凝土墙壁表面的捕获图像110的状态。在下文中，混凝土墙壁表面的捕获图像被称为检验目标图像或简称为图像。图像110包括裂缝(缺陷区域)111、112和113。数据输入操作员或检验管理者(在下文中称为用户)视觉检查图像110中存在的裂缝111至113，并执行缺陷数据输入操作。缺陷数据输入操作是指例如通过借助于使用鼠标或手写平板追踪缺陷而在图像上输入线性数据的操作。这允许用户基于与图像相关联的坐标系来输入指示根据本示例性实施例作为检测目标的裂缝111至113的位置的数据。图1B例示了用户基于图1A中所示的图像110输入缺陷数据121、122和123的状态。虽然实际裂缝可以是如图1A中所示的各自具有面积的区域，但是图1B以及后续的附图中所示的相应缺陷数据121至123用细实线指示以简化描述。但是，信息处理装置可以将每条缺陷数据作为区域来处置，并且接收其中定义了缺陷数据的位置和面积的输入操作。图1C是例示图1B中所示的缺陷数据121、122和123叠加在图1A中所示的图像110上的图。
在存在大量检验目标图像的情况下以及在检验目标图像具有大尺寸的情况下，缺陷数据输入操作特别花费时间和精力。在这种情况下，为了提高操作的效率，通过以下来获取缺陷数据是有效的：不仅执行手动追踪操作，而且还执行通过使用用于识别图像中包括的缺陷的分类器来检测缺陷的缺陷检测方法。在这种情况下，用户可以通过将检验目标图像与缺陷数据进行比较来检查缺陷检测结果是否正确，并且然后仅在必要时才对缺陷检测结果进行校正。与从头开始输入缺陷数据的情况相比，这减少了操作负担。以下将在训练分类器以支持用于识别缺陷类型的处理的前提下描述本示例性实施例。但是，在从图像中检测缺陷(裂缝)的功能的方面，分类器等效于称为检测器的训练模型(经训练的模型)。
为了训练分类器，有必要准备足够数量的多种类型的训练数据。用户输入缺陷数据，并且如图1C中所示的获取图像和缺陷数据的对。该对可以被用作训练数据。更具体而言，与用户输入缺陷数据同时，将图像和缺陷数据的对存储为训练数据。当预定类型的训练数据的量达到足够量时，使用存储的训练数据执行分类器的训练。然后，通过使用经训练的分类器，将缺陷检测方法应用于剩余的检验目标图像以获取检测结果。因此，减少了缺陷数据输入操作的负担。
在本示例性实施例中，在用户输入缺陷数据的同时，在预定的显示单元上显示针对每种类型的训练数据的存储状况。这允许用户掌握针对每种类型的训练数据的存储状况，从而使得可以高效地执行缺陷数据输入操作以获取必要量的训练数据。
下面将参考图2描述用于显示训练数据的存储状况的方法。图2是示意性地例示了当用户将缺陷数据输入到检验目标图像上时的画面转变的图。图2例示了以下状态，其中检验目标图像组200中的图像被顺序地一个接一个地显示，并且用户在检查每个图像中是否存在缺陷的同时输入缺陷数据。窗口210显示所选择的图像201以及在指示训练数据的存储状况的进度条显示区域220中显示针对每种类型的进度条。在图2中，进度条221的条尚未达到上限，指示训练数据的量不足以执行训练的状态。用户在视觉检查图像201的同时执行缺陷数据输入操作。窗口211指示当输入缺陷数据时的显示状态。此时，将窗口211上的图像201和缺陷数据(缺陷231、232和233)的对存储为训练数据，并且进度条222的条增加。以这种方式，与用户输入缺陷数据同时，针对每种类型存储训练数据。
窗口212显示了以下状态，其中已经对预定数量的图像执行了缺陷数据输入操作并且已经针对每种类型存储了足够量的训练数据。在窗口212上的进度条显示区域240中，所有进度条的条都已经达到上限。此时，显示画面以提示用户发出用于执行训练的指令。例如，在窗口212中显示“执行训练”按钮241。下面将详细描述用于显示训练数据的存储状况的方法以及用于确定是否提示用户执行训练的方法。
在下面的描述中，在本示例性实施例中处置的图像是捕获了作为检验目标的混凝土墙壁表面的可见光图像(红色、绿色和蓝色(RGB)图像)，但是一些实施例不限于此。例如，一些实施例还适用于由红外相机捕获的热图像和由线传感器相机捕获的图像。
图3A和图3B例示了根据本示例性实施例的信息处理装置300的配置的示例。图3A是例示根据本示例性实施例的信息处理装置300的硬件配置的示例的框图。信息处理装置300可以由包括中央处理单元(CPU)301、主存储设备302、辅助存储设备303、操作单元304、显示单元305、网络接口(I/F)306和系统总线307的计算机器实现。部件经由系统总线307以能够相互通信的方式连接。计算机器可以是通用个人计算机(PC)或另一种信息处理装置(诸如服务器装置、平板装置或内置型计算机等)。为根据一个或多个实施例的处理而最优设计的硬件部件也是适用的。
CPU 301是用于控制信息处理装置300的处理器。主存储设备302是用作CPU 301的工作区域和临时数据存储区域的存储设备(诸如随机存取存储器(RAM))。辅助存储设备303是用于存储各种程序、各种设定信息、各种显示条件和视图数据的存储设备。辅助存储设备303例如是只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SSD)。主存储设备302和辅助存储设备303中的每一种是存储单元的示例。
操作单元304(诸如鼠标、键盘、触摸垫、触摸面板和手写平板)是用于将信息输入到信息处理装置300的输入装置。显示单元305是诸如监视器、显示器和触摸面板显示器之类的显示装置。网络I/F 306是用于经由网络与外部装置进行通信的接口。根据本示例性实施例，操作单元304和显示单元305是不同的部件。但是，作为另一个示例，操作单元304和显示单元305可以是具有输入装置(诸如触摸面板和平板)的功能以及显示装置的功能两者的单个部件。这些单元可以是经由输入/输出接口连接到信息处理装置300的外部装置。
图3B是例示信息处理装置300的软件配置的框图的示例。信息处理装置300包括接收单元311、获取单元313、设定单元314、显示控制单元315、训练单元317和检测单元318。每个功能单元通过CPU 301将存储在辅助存储设备303中的程序加载到主存储设备302中并且然后执行与以下描述的每个流程图对应的处理来实现。然后，CPU 301将处理的执行结果存储在主存储设备302中。例如，在通过使用CPU 301将硬件部件配置为软件处理的替代的情况下，需要配置与以下描述的每个功能单元的处理对应的计算单元或电路。
接收单元311接收用户经由操作单元304输入的操作信息。在本示例性实施例中，接收单元311接收用于指定在检验目标的捕获图像(检验目标图像)中包括的检测目标的位置的输入。在本示例性实施例中，检测目标是裂缝。接收单元311接收在显示单元305上显示的图形用户界面(GUI)项上的用户操作，并将该用户操作通知给每个相关功能单元。获取单元313获取在存储单元312中存储的训练数据的存储量。设定单元314基于用户输入或过去的训练结果来设定训练所需的训练数据的参考量。在本示例性实施例中，参考量是指为了以要求的准确性执行检测处理而需要训练的训练数据的量。参考量被预设为指示下限的一个值。例如，在某种设定方法中，在至少X个处于预定尺寸的检测目标图像需要缺陷数据的输入的情况下，将X定义为参考量。显示控制单元315是用于控制要在显示单元305上显示的内容的功能单元。在本示例性实施例中，表示检测目标的缺陷数据被叠加在检验目标图像上，并且以可比较的方式显示训练数据的参考量和存储量。
确定单元316确定训练数据的存储量是否已经达到设定的参考量。在本示例性实施例中，在确定单元316确定训练数据的存储量已经达到设定的参考量的情况下，确定单元316将确定通知给显示控制单元315。然后，显示控制单元315向用户呈现用于发出用于执行训练的指令的GUI。显示诸如图2中所示的“执行训练”按钮241之类的显示项，以提示用户确定是否执行训练。
在训练数据的存储量已经达到设定的参考量之后，训练单元317基于存储的训练数据，训练用于从检验目标图像中检测检测目标的训练模型。在本示例性实施例中，响应于接收到指定“执行训练”按钮241的用户操作来执行训练，该“执行训练”按钮241是作为由确定单元316进行的确定的结果而显示的GUI。检测单元318通过使用已经由训练单元317训练的分类器(训练模型)从检验目标图像中检测检测目标。但是，在信息处理装置300是包括作为不同装置的用于执行训练的学习装置和用于执行检测的检测装置的信息处理系统中的学习装置的情况下，检测单元318可以被省略。
存储单元312是辅助存储设备303或经由网络I/F 306连接的外部存储设备的功能单元。存储单元312将检验目标图像、与检验目标图像对应的缺陷数据以及关于诸如纹理之类的特点的信息和基于检验目标图像的缺陷类型的信息存储为数据分类表。在这些数据当中，检验目标图像和缺陷数据的对被称为根据本示例性实施例的训练数据。换句话说，训练数据被存储在存储单元312中。检验目标图像可以用通过执行特征提取而获得的特征量替换。通过配置为存储特征量数据而不是图像数据，可以减少要存储在存储单元312中的数据量。在任何情况下，表示检验目标图像的信息都被存储为训练数据的输入数据。
图4是例示存储在存储单元312中的数据分类表的示例的表。根据本示例性实施例的数据分类是指用于对训练数据的特性进行分类的分类信息，并且用于确定是否已经存储了具有必要特性的训练数据。图4例示了针对用于基础设施的检验的训练数据的数据分类表的示例。数据分类表包括针对每个项目的分类标识符(ID)和其它信息。分类ID是按照数据分类的注册次序自动指派的唯一编号。训练数据的特性预先通过分类ID进行分类。在图4中，与分类ID相关联的每个单独的分类与背景特征和检测目标的组合对应。在图4中，使用混凝土墙壁表面的颜色和纹理(背景特征)与缺陷图案(检测目标类型)的组合作为定义分类的项，但是也可以使用另一个项。
以下将参考流程图描述由根据本示例性实施例的信息处理装置300执行的具体处理的内容。图5是例示由根据本示例性实施例的信息处理装置300执行的主要处理的示例的流程图。在下面的描述中，每个操作编号将用前导S指示。在本示例性实施例中，当在信息处理装置300中激活用于执行从检验目标图像中检测缺陷的处理的应用时，初始化CPU301的工作区域，并且开始S501中的处理。
在S501中，设定单元314设定训练数据的参考量，该参考量是执行训练所需的数据量。根据本示例性实施例的基本参考量是针对每个图像和每种缺陷类型预定的量。可以使用任何应用方法来设定训练数据的参考量。例如，基于实验获取参考量可以是一种可能的方法。作为另一种方法，用户可以针对每种类型直接指定训练数据的参考量。
在S502中，显示控制单元315从存储单元312中读取检验目标图像组200的至少一个图像，并将该图像显示在显示单元305上。在S503中，接收单元311接收用于指定缺陷数据在所显示的检验目标图像中的位置的操作。在本示例性实施例中，在S502至S503中的处理中显示在显示单元305上的画面的形式如图2中的窗口210至212中所示。此时，除了缺陷数据的位置之外，用户还可以能够通过从选项中选择缺陷图案(类型)来指定缺陷图案。每次接收到缺陷数据的输入时，接收单元311在存储单元312中存储所显示的检验目标图像和缺陷数据的对作为训练数据。在S504中，获取单元313从存储单元312中获取训练数据的存储状况。在本示例性实施例中，获取单元313获取存储单元312中由用户输入的缺陷数据和对应图像的对组成的训练数据的存储状况。
下面将参考图6A和图6B描述根据本示例性实施例的用于存储训练数据的处理。图6A和图6B示意性地例示了根据第一示例性实施例的用于存储训练数据的处理。在本示例性实施例中，检验目标图像组200的图像被一个接一个地显示，在其中每个图像上，用户执行缺陷数据的输入。然后，CPU 301将输入的缺陷数据和显示的图像的对存储为训练数据。因此，在对检验目标图像组200中的所有图像完成缺陷数据输入操作之前，到目前为止执行的操作的结果被存储为训练数据。当这种数据的存储量达到参考量时，变得可以执行训练以对检验目标图像组200的剩余图像执行基于分类器的裂缝的检测和识别。图6A例示了将缺陷数据输入到作为检验目标图像组601的一部分的图像组602并且获得了缺陷数据611的状态。在图6A中，由点线包围的图像组602和缺陷数据611的对形成训练数据。
根据本示例性实施例的信息处理装置300分析该训练数据以获取图像的特性和缺陷类型。然后，基于获取的信息和在数据分类表中注册的数据分类信息，针对每个分类存储训练数据。在本示例性实施例中，获取图像中的混凝土墙壁表面的颜色和图像的指示平滑度的纹理作为关于图像(检验目标图像)的特性的信息。在对基础设施的检验中，使用混凝土墙壁表面的捕获图像。因此，可以基于特征量(诸如平均亮度值)来确定混凝土墙壁表面的颜色。为了获取图像的纹理，例如，可以基于通过快速傅立叶变换(FFT)获得的空间频率信息来确定诸如不平坦性和平滑度之类的纹理。由于缺陷类型是由缺陷数据保持的信息，因此缺陷类型可以通过分析缺陷数据来获取。基于通过分析获取的信息和存储在存储单元312中的数据分类表中的信息，可以针对每个数据分类存储训练数据。在分类之后，通过计算针对每个数据分类的数据量，可以获取训练数据中包括的数据类型(数据分类)和针对每个分类的数据量，如图6B中所示。在S504中，获取单元313以这种方式获取针对每个分类的训练数据的存储量。
返回参考图5中所示的流程图的描述，在S505中，显示控制单元315生成用于在显示单元305上显示由获取单元313获取的训练数据的存储状况的显示数据，并将显示数据输出到显示单元305。如图2中所示，在本示例性实施例中，指示相对于在S501中设定的训练数据的参考量的存储量的进度条显示区域220被显示在画面的上部。将存储量显示为指示相对于参考量的进展程度的进度条允许用户容易地比较存储量与参考量并检查这些量之间的差异。
在S506中，确定单元316确定获取的训练数据的存储量是否已经达到设定的参考量。在本示例性实施例中，除非另有说明，否则确定单元316全面地确定对于每个数据分类训练数据的存储量是否已经达到预定量。更具体而言，确定单元316确定在S504中获取的存储量是否已经达到在S501中设定的训练数据的参考量。确定方法可以例如由以下不等式(1)表示。
Dp≤Vp(p＝1，2，...，P) (1)
参数Dp和Vp分别表示第p个数据分类中的训练数据的参考量和训练数据的存储量。利用不等式(1)，确定单元316针对每个数据分类确定训练数据的存储量是否已经达到参考量。
当确定单元316确定存储量已经达到参考量(S506为“是”)时，处理前进到S507。在S507中，显示控制单元315使显示单元305显示“执行训练”按钮241，以提示用户执行训练。在S508中，确定单元316确定是否用户已经发出用于执行训练的指令。在本示例性实施例中，当用户对“执行训练”按钮241执行操作时，确定单元316确定用户已经发出用于执行训练的指令。如果确定单元316确定用户已经发出用于执行训练的指令(S508为“是”)，那么处理前进到S509。在S509中，训练单元317基于所存储的训练数据执行分类器(训练模型)的训练。
在S510中，确定单元316确定CPU 301是否已经发出用于结束用于执行从检查目标图像的缺陷检测处理的应用的指令。如果确定单元316确定尚未发出用于结束应用的指令(S510中为“否”)，那么处理返回到S502。在S502中，接收单元311接收针对同一个检验目标图像或另一个检验目标图像的缺陷数据输入操作。另一方面，如果确定单元316确定已经发出用于结束应用的指令(S510中为“是”)，那么图5中所示的流程图的处理结束。如果确定单元316确定存储量尚未达到参考量(S506中为“否”)，那么处理跳过S507至S509，并且前进到S510。如果确定单元316确定用户尚未发出用于执行训练的指令(S508中为“否”)，那么处理返回到S502。在S502中，接收单元311接收针对下一个检验目标图像的缺陷数据输入操作。这样完成了通过根据本示例性实施例的信息处理装置300执行的主要处理的示例的描述。
在S506中的处理中，可以取决于检验目标或检测目标的特性以及用户期望的检测结果的准确性来改变用于确定存储量是否已经达到参考量的方法。例如，可以针对每个数据分类独立地执行确定。在这种情况下，确定单元316基于不等式(1)针对五个不同的数据分类当中的一个或多个数据分类确定训练数据的存储量是否已经达到参考量。通过确定单元316基于数据分类中具有大数据量的一些数据分类的存储量来执行确定，可以忽略很少发生的缺陷的训练数据的存储量。作为另一种确定方法，确定单元316可以针对数据分类当中预先设定的一个或多个数据分类来确定训练数据的存储量是否已经达到参考量。这种确定方法在预先识别出期望的训练数据分类的情况下是有效的。在这种情况下，确定可以通过用户预先设定要存储的数据分类来实现。作为又一种确定方法，确定单元316可以确定训练数据的总存储量是否已经达到参考量，而不管数据分类的类型如何。
下面将参考图7A、图7B、图8A和图8B详细描述在主要处理中要由显示控制单元315在显示单元305上显示的显示数据。图7A是例示在S505中的处理中显示训练数据的存储状况的状态的图。在应用窗口700中，指示整体存储状况的进度条702和进度率703与检验目标图像701一起显示。当缺陷数据的输入被接收单元311接收并且新的训练数据被存储时，进度条702的条和进度率703增加，以指示存储量增加的状态。进度条702的条以及进度率703的文本的颜色和粗细可以随着存储状况而改变。以这种方式随着存储状况而改变显示使得更容易直观地掌握存储状况。
图7B是例示训练数据的存储状况的详细显示的示例的表。在图7B中，应用窗口711以列表形式显示针对每个数据分类的存储状况712。以这种方式显示详细信息使得用户更容易掌握针对每个数据类型的训练数据的存储量的水平。所显示的项包括混凝土墙壁表面、纹理、缺陷图案、存储量和存储率。但是，也可以显示其它项。存储状况最初以存储率的降序显示。但是，期望可以由用户自由地改变显示次序。用于控制显示次序的可能方法包括从用于确定显示次序的下拉菜单713中选择显示次序以及针对每个项点击排序控制图标714。
这种用于显示训练数据的存储状况的画面可以根据用户的要求而改变。例如，如果用户在图7A所示的画面中点击进度条702或进度率703，那么图7B中所示的详细画面出现。如果用户点击图7B中所示的“改变显示”按钮715，那么图7A中所示的画面出现。这种画面转变使得用户能够每次都根据需要查看处于所需级别的信息。取决于存储量的计算方法，在缺陷数据被输入到检验目标图像之一并且训练数据被添加的定时与指示训练数据的存储状况的进度条的进度以及进度率的数值被更新的定时之间，可能产生差异。因此，可以调整用于计算存储状况的方法，以使进度条的进度率达到100％的定时与S506中用于比较存储量与参考量的处理相关联。通过使进度条的条达到上限的定时(进度率达到100％时的定时)与存储量达到参考量的定时一致，变得更容易让用户掌握训练变得可执行的定时。
图8A例示了由于存储量达到参考量而在S507中的处理中显示的画面。类似于图7A和图7B，在应用窗口800中显示检验目标图像801、进度显示区域802和进度率803。应用窗口800表示已经对先前检验目标图像完成缺陷数据的输入之后立即显示的画面，并且已经显示了下一个图像。因此，没有用户输入的缺陷数据被叠加在检验目标图像801上。在进度显示区域802中，进度条已达到上限，并且进度率803为100％，这指示已经存储了训练所需的足够量的数据。此时，在本示例性实施例中，在进度率803的附近显示“执行训练”按钮804，以通知用户训练已经变得可执行并且提示用户执行训练。在本示例性实施例中，在S506中的确定处理之后显示“执行训练”按钮804。但是，不同的显示方法也是适用的。例如，“执行训练”按钮804可以一直以禁用状态显示，并且可以在S506中的确定处理之后立即被启用。禁用状态和启用状态可以通过例如改变按钮的颜色来指示。
为了提示用户发出用于执行训练的指令，除了上述显示方法以外的显示方法也是适用的。例如，显示弹出窗口以提示用户执行训练是一种可能的方法。弹出窗口的示例在图8B中例示。此时，仅弹出窗口被激活，而其它窗口被禁用。通过以这种方式改变活动窗口，即使在用户正在执行缺陷数据输入操作时，用户也能够容易地注意到训练已经变得可执行。基本上，显示弹出窗口的定时可以紧接在S506中的确定处理之后。在这种定时处，用户更容易最迅速地执行必要的训练。但是，另一种定时也是适用的。例如，可以在挂起或结束应用的定时处显示弹出窗口以提示用户执行训练。
上面已经描述了第一示例性实施例，其中显示训练数据的存储状况，并且基于训练数据的存储状况向用户通知训练是可执行的，并且提示用户执行训练。例如，特别是在某种应用中，可以有效地利用以这种方式委托用户进行执行训练的确定的形式。这种应用被结合到提供了作为收费选项的分类器的训练以及通过使用经训练的分类器来检测检测目标的处理的服务中。在这种情况下，用户可以在感觉到与用户的缺陷数据输入操作相关的负担的同时，在执行最少的必要操作之后确定是否依赖分类器的自动检测。但是，信息处理装置300可以在没有用户的指令的情况下自动执行训练。更具体而言，如果确定单元316确定存储量已经达到参考量(S506中为“是”)，那么处理前进到S509。在S509中，训练单元317执行训练。通过自动执行训练，可以避免训练数据被多余地存储并且防止用户忘记执行训练。
在上述示例性实施例中，已经描述了将用户输入缺陷数据和对应图像的对存储为训练数据的情况。但是，在一些实施例中，其它数据被用作训练数据。例如，可以预先准备训练数据数据库(DB)，并且在S504中的处理中计算训练数据的存储量时，从训练数据DB中取出数据以用作训练数据。
在上述示例性实施例中，在基础设施的检验中，在用于检查检验目标的捕获图像的操作中检查诸如裂缝之类的缺陷。但是，示例性实施例的应用不限于具体领域。例如，示例性实施例适用于用于在工厂中从产品(检验目标)的图像中检查诸如疤痕(检测目标)之类的故障的外观检验操作，以及用于在医院中从人体(检验目标)的捕获图像中检查病变(检测目标)的医疗诊断操作。此外，图像不限于光学捕获图像并且可以是例如向量数据。
在上述第一个示例性实施例中，用户可以在执行训练数据的输入操作以检测和识别诸如裂缝或疤痕之类的缺陷的同时，在画面上检查训练数据的存储状况。在训练数据达到预定量的同时，执行指示训练已经变为可执行的画面输出，从而用户可以适当地确定执行训练的定时。
上面已经使用示例描述了第一示例性实施例，在该示例中，在缺陷数据输入操作的中途，输入到检验目标图像的一部分的缺陷数据和对应图像的对被存储作为训练数据，并且存储状况被显示。在训练数据的量小于参考量(必要量)时，用户继续缺陷数据输入操作以补偿不足的训练数据量。为了高效地执行输入操作，有必要输入缺陷数据，以便优先存储不足类型(数据分类)的训练数据。以下将使用示例来描述第二示例性实施例，在该示例中，与对于参考量不足的训练数据的类型对应的图像被从检验目标图像组中选出，并被显示以支持优先执行针对这种类型的训练数据的缺陷数据输入操作。更具体而言，基于训练数据的存储状况，识别训练数据的量对于参考量不足的数据分类，并且从检验目标图像组中选择具有与该数据分类的背景纹理一致(或相似)的背景纹理的图像。所选择的图像被显示在缺陷数据输入画面中，并且，如果用户输入的缺陷数据包含落入不足的数据分类中的缺陷，那么缺陷数据被存储为属于该数据分类的训练数据。在本示例性实施例中，针对缺陷数据输入操作，优先显示可能是针对相对于参考量不足的数据分类的训练数据的检验目标图像，以提示用户输入缺陷数据。以下，将以与第一示例性实施例的差异为中心，对第二示例性实施例进行描述。
根据第二示例性实施例的信息处理装置300的硬件配置与图3A中所示的根据第一示例性实施例的信息处理装置300的硬件配置相似。因此，将省略其冗余的描述。图9A是例示根据第二示例性实施例的信息处理装置300的软件配置的示例的图。根据本示例性实施例的软件配置与图3B中所示的根据第一示例性实施例的软件配置的不同之处在于，附加地提供了分析单元901和选择单元902。分析单元901是CPU 301的功能单元，并且分析存储在存储单元312中的、要对其执行缺陷数据输入操作的检验目标图像，以获取每个检验目标图像的特性。选择单元902是CPU 301的功能单元，并且从存储在存储单元312中的检验目标图像组中选择被识别以提示用户输入缺陷数据的图像。
图10是例示由根据第二示例性实施例的信息处理装置300执行的主要处理的示例的流程图。在图10所示的流程图中，在以与根据第一示例性实施例在图5中所示的流程图中的操作编号相同的操作编号指示的操作中，执行与根据第一示例性实施例的处理等同的处理。在第二示例性实施例中，在S501中设定训练数据的参考量之后，处理前进到S1001。在S1001中，分析单元901读取在存储单元312中存储的检验目标图像、分析检验目标图像，并获取关于每个图像的特性的信息。与第一示例性实施例类似，根据本示例性实施例的每个图像的获取的特性包括混凝土墙壁表面的颜色和纹理。用于获取特性的方法类似于在第一示例性实施例中描述的方法(S504)，并且将省略其详细描述。在第二示例性实施例中，如果确定单元316确定未发出用于执行训练的指令(S508中为“否”)以及确定未发出用于结束应用的指令(S510中为“否”)，那么处理前进到S1002。在S1002中，选择单元902基于在S1001中获取的检验目标图像的特性和在S504中获取的训练数据的存储状况，从检验目标图像组中的剩余图像中选择要为其提示进行缺陷数据的输入的图像。然后，处理返回到S502。在S502中，显示控制单元315控制显示单元305显示所选择的图像。
下面将参考图11A、图11B、图11C和图11D详细描述用于选择要为其提示进行缺陷数据的输入的图像的S1002中的处理。图11A示意性地例示了根据本示例性实施例的检验目标图像组1101和对应的缺陷数据1102的示例。缺陷数据1102与作为检验目标图像组1101的一部分的图像组1103对应。图11B例示了训练数据的存储状况的示例，并且与根据第一示例性实施例在图7B中示出的示例对应。在图11B中，用于数据分类1111的部分的训练数据不足。为了弥补不足，从图11A中所示的图像组1104中选择与数据分类1111对应的检验目标图像，以支持对所选择的图像优先执行用户的缺陷数据输入操作。
在本示例性实施例中，为了从尚未输入缺陷数据的图像组1104中选择要为其提示进行缺陷数据的输入的图像，使用图10中所示的S1001中获取的关于检查目标图像的特性的信息。更具体而言，从图像组1104中选择具有与数据分类1111相同特性(混凝土墙壁表面的灰色颜色和平滑纹理)的图像。图11C中所示的图像1105、1106和1107表示具有与数据分类1111相同的图像特性并且选自图像组1104的图像。在S1002中，CPU 301进一步选择图像1105、1106和1107之一，并将该图像显示在显示单元305上，从而优先执行缺陷数据的输入。图11D例示了图11C中所示的图像1105和作为指示训练数据的存储状况的显示项的进度显示区域1122一起显示在窗口1121中的状态的示例。用户在检查图像1105的同时执行缺陷数据输入操作。因此，如果获得的缺陷数据的缺陷图案是与数据分类1111的缺陷图案相同的裂缝，那么存储缺陷数据和图像1105的对作为属于数据分类1111的训练数据。在第二示例性实施例中，在S1001中获得的信息仅仅是检验目标图像的背景信息。因此，如果输入缺陷数据的类型的结果不是裂缝，那么属于数据分类1111的训练数据不增加。
在对图像1105执行缺陷数据输入操作之后，显示改变为其它图像1106和1107，该缺陷数据的输入被优先接收，直到数据分类1111的训练数据的存储量达到参考量。为了改变窗口上的图像，任何方法均适用。例如，点击图11D中所示的“下一个图像”按钮1123是可能的方法。在第二示例性实施例中，也在数据分类1111的训练数据的存储量达到参考量时显示“执行训练”按钮。在第二示例性实施例中，如上所述，CPU 301选择被推荐优先存储为训练数据的图像，并将该图像呈现给用户。因此，用户不必从许多图像当中搜索要为其执行缺陷数据的输入的图像，并且能够高效地生成训练数据。
在第二示例性实施例中，即使如下所述地添加部分修改，也能够获得类似的效果。用于显示为其提示用户输入针对具体数据分类的缺陷数据的图像以优先生成针对存储量不足的数据分类的训练数据的方法不限于其中图像被一个接一个显示的上述方法。例如，在一个显示的图像中，可以显著地显示要为其优先提示进行缺陷数据的输入的局部区域。在基础设施的检验中，一个检验目标图像的尺寸非常大(例如，10000*10000像素或更多)。因此，在逐个角落地检查图像的同时输入缺陷数据是花费时间和精力的。在这种情况下，CPU 301显示一个图像中很可能用作针对训练数据的量对于参考量不足的数据分类的训练数据的局部区域，作为要为其优先提示进行缺陷数据的输入的部分。这使用户能够高效地存储训练数据。
下面将参考图12A、图12B和图12C描述用于显著地显示一个图像中要为其优先提示进行缺陷数据的输入的局部区域的处理。例如，在图10中所示的流程图中的S1002之后，插入下面描述的显示处理。显示控制单元315从存储单元312获取检验目标图像，并将图像划分为预定的划分尺寸。划分尺寸可以是易于查看的任何尺寸，诸如800x600像素。图12A例示了检验目标图像1200和划分图像的网格1201。图12A中所示的局部区域1202是一个划分区域的示例。然后，CPU 301获取关于每个划分区域(即，局部区域)的图像特性的信息。要获取的图像特性包括混凝土墙壁表面的颜色和纹理。用于获取这些图像特性的方法与根据第一示例性实施例的方法类似，并且将省略其冗余描述。基于针对每个局部区域获取的图像特性和训练数据的存储状况，CPU 301在应用窗口中显示要为其提示进行缺陷数据的输入的局部区域。
图12B例示了针对每个数据分类的存储状况1204和显示在应用窗口1203中的作为检验目标图像的一部分的区域1205。用点线指示的框架1206表示与训练数据不足的数据分类1207对应的局部区域。以这种方式显著地显示图像中的局部区域使得用户更容易识别要检查的区域以存储不足的训练数据。也可以显示用于促进在周边区域中搜索的用户界面(例如，滚动条显示项)。在图12B中，显示与单个数据分类对应的区域。但是，可以扩大窗口上的图像显示范围，以同时在框架中显示与多个数据分类对应的区域。对于每个数据分类，可以改变框架的颜色、装饰和粗细。
显著显示可以被自动执行以适合数据的存储状况，或者响应于用户指令而被执行。如果显著显示将响应于用户指令而被执行，那么显著显示可以响应于用户选择数据分类的任何项而被执行。更具体而言，用户点击图12B中所示的各个数据分类的复选框1208，以打开或关闭区域1205中的显著显示。作为用于执行显著显示的另一种方法，可以弹出目标局部区域或目标图像。图12C是例示从检验目标图像中提取与训练数据不足的数据分类对应的区域并将其弹出的状态的图。当缺陷数据输入操作完成时，用户点击“显示区域改变”按钮1209以改变显示。用户不必在窗口中移动检验目标图像的显示位置，并且能够以很少的麻烦进行缺陷数据输入操作。
用于从检验目标图像组中选择要为其优先提示进行缺陷数据的输入的图像的方法不限于如上所述的通过背景信息(背景颜色和纹理)缩小范围。例如，另一种可能的方法可以是通过使用预先准备的简单缺陷检测器，以存在缺陷的可能性的降序选择图像或区域。这种方法中的缺陷检测器是经训练的检测器，其输出用从0到1的实数指示图像中存在缺陷的可能性的得分。CPU 301通过使用检测器来执行识别处理，以对于每个图像或每个区域获取指示存在缺陷的可能性的得分。基于获取的得分，CPU 301以得分的降序在显示单元305上显示图像或区域，以提示进行缺陷数据的输入。以这种方式选择图像或区域使得更容易高效地存储包含许多缺陷的训练数据。通过采用上述修改中的任何一种，在第二示例性实施例中，类似于第一示例性实施例，当存储量已经达到参考量时，显示用于提示用户发出用于执行训练的指令的画面。如上所述，在第二示例性实施例中，能够更高效地存储必要的训练数据。
上面已经使用示例描述了第一示例性实施例和第二示例性实施例，在示例中，在缺陷数据输入操作的中途，输入到检验目标图像的一部分的缺陷数据和对应图像的对作为训练数据被存储，并且存储状况被显示。另一方面，下面将使用其中通过使用由用户执行的缺陷数据校正操作的结果作为训练数据来再训练分类器的示例来描述第三示例性实施例。缺陷数据是作为使用经训练的分类器(经训练的模型)的缺陷检测处理的结果而获取的数据。
例如，如果存在已经基于过去执行的基础设施的检验的结果进行了训练的经训练的分类器，那么可以执行一次基于该分类器的缺陷检测处理，以提高对新获取的检验目标图像组执行的缺陷数据输入操作的效率。因而，第三示例性实施例具有的优点是，通过用户执行用于校正所获取的检测结果的操作，相比于通过跟踪操作从头开始输入缺陷数据的情况，能够大大提高操作效率。但是，在缺陷检测性能由于各种因素(诸如先前检验的结构与新检验的结构之间的特点差异大)而降低的情况下，用于校正检测结果的操作量增加。在这种情况下，用户操作量没有减少。因此，使用到目前为止已校正的检测结果作为再训练数据来再训练分类器。因而，提高了缺陷检测性能。然后，对尚未经历校正操作的剩余图像执行缺陷检测处理。因此，剩余图像的缺陷检测结果变为相对于再训练之前的数据得到改善的数据，从而使得可以减轻用户的校正操作的负担。
但是，在缺陷检测性能足够高的情况下，不太可能通过执行再训练来获得在减少校正操作方面的效果。换句话说，与再训练具有足够高性能的分类器相比，再训练具有低性能的分类器提供了更高的再训练效果。出于这个原因，下面将使用以下示例来描述第三示例性实施例，在该示例中，在用户正在对缺陷检测结果执行校正操作时计算检测性能，并且将计算出的检测性能用作用于确定提示用户执行再训练的定时的因素。更具体而言，在检测性能低于预定标准的情况下，即，在再训练很可能减轻用户的校正操作的负担的情况下，执行显示控制以提示用户执行再训练。
还将使用以下示例来描述本示例性实施例，在该示例中，假设是检验混凝土结构的墙壁表面图像，检验目标是混凝土墙壁表面，以及检测目标是裂缝。在本示例性实施例中，作为考虑了错误检测结果和未检测结果二者的性能指标的F-测量值(F-measure)被用作用于比较检测性能的指标的示例。F-测量值取从0到1的值，并且性能越高，F-测量值越接近1。但是，要在本示例性实施例中使用的指标不限于此。
根据第三示例性实施例的信息处理装置300的硬件配置与图3A中所示的根据第一示例性实施例的信息处理装置300的硬件配置类似，并且将省略其冗余描述。图9B是例示根据第三示例性实施例的信息处理装置300的软件配置的示例的图。根据本示例性实施例的软件配置与图3B中所示的根据第一示例性实施例的软件配置的不同之处在于附加地提供了评估单元911。在第三示例性实施例中，接收单元311接收用于校正缺陷数据信息(位置和类型)的操作。评估单元911是CPU 301的功能单元，并且基于校正操作的结果来评估由检测单元318执行的检测处理的性能。在本示例性实施例中，评估单元911通过计算F-测量值来评估性能。在本示例性实施例中，确定单元316基于训练数据的存储量和计算出的F-测量值来执行确定处理。基于确定结果，显示控制单元315控制显示以提示用户发出用于执行再训练的指令。
图13A至图13C是例示根据第三示例性实施例的指示缺陷检测结果的缺陷数据(即，在用户执行校正操作之前和之后的缺陷数据)的示例的图。图像1301是包括多个裂缝的混凝土墙壁表面的捕获的检验目标图像。但是，除裂缝以外的元素被省略，以示意性地例示裂缝的状态。在实际的检验目标图像中，诸如混凝土接缝线(line of a concretejoint)、污垢(stain)和不平坦之类的元素与裂缝一起出现。检测结果1302表示作为将缺陷检测方法应用于图像1301的结果的缺陷数据。检测结果1303表示作为由用户基于检测结果1302执行的校正操作的结果的缺陷数据。对于检测结果1302中的缺陷数据1311，原始图像1301中没有裂缝。这意味着错误地检测出了缺陷数据1311。例如，如果分类器将除裂缝以外的某个元素不正确地检测为裂缝，那么发生了错误检测。用户通过校正操作来删除缺陷数据1311。因此，检测结果1303不包括缺陷数据1311。检测结果1303中的缺陷数据1312是由用户输入并且没有在检测结果1302中被检测到的新数据。以这种方式，检测结果1302包括作为不正确裂缝检测的结果的错误裂缝检测结果和未检测结果。可以基于校正操作之前和之后的检测结果1302和1303来计算检测结果中的正确答案和不正确答案的量。可以从计算出的量中获得在本示例性实施例中使用的F-测量值。
图14是例示根据本示例性实施例的显示数据的示例的图。更具体而言，图14是当用户正在对缺陷检测结果执行校正操作时指示再训练数据的存储状况的显示数据的示例。图14与第一示例性实施例中的图7B所示的应用窗口711对应。在第三示例性实施例中，显示数据包括指示检测性能的F-测量值1401的显示项作为显示因素。在本示例性实施例中，为了确定是否提示再训练，确定F-测量值是否小于预定值。例如，确定方法可以由以下不等式(2)表示。
γp＞fp(p＝1，2，...，P) (2)
参数fp表示指示针对第p个数据分类的检测性能的F-测量值。参数γ表示针对每个数据分类的性能标准，并且被设定为从0到1的任意常数。作为用于确定参数γ的可能方法，例如，可以使用基于实验的确定方法。
图15是例示由根据本示例性实施例的信息处理装置300执行的主要处理的示例的流程图。但是，执行与图5所示的流程图中的处理相同的处理的操作以相同的操作编号指示，并且将省略其冗余描述。在第三示例性实施例中，当用于从检验目标图像执行缺陷检测处理的应用显示由经训练的分类器进行的缺陷检测的结果时，CPU 301的工作区域被初始化，并且开始图15中所示的S1501中的处理。在S1501中，设定单元314设定再训练所需的新训练数据的参考量。在本示例性实施例中，设定单元314读取预定值。在S1502中，显示控制单元315控制显示单元305以重叠的方式显示检验目标图像和从图像中检测到的缺陷数据。在S1503中，接收单元311接收校正操作，并在存储单元312中存储在校正操作中生成的新训练数据(检验目标图像和缺陷数据的对)。在S1504中，获取单元313显示在存储单元312中存储的新训练数据的存储状况。在S1505中，显示控制单元315控制显示单元305以可比较的方式显示训练数据的存储状况和在S1501中设定的参考量。取决于所设定的参考量的定义，在S1505和S1506中处理的训练数据可以与在校正操作之前已经存储的训练数据进行组合。
在S1506中，评估单元911针对每个数据分类计算F-测量值。作为计算F-测量值的方法，可以使用已知的方法。但是，由于直到校正数据存储到一定程度才计算出准确的F-测量值，因此在数据量不足时，处理可以前进到S1507，而不计算F-测量值。在本示例性实施例中，例如，通过显示控制单元315生成如图14所示的显示数据，显示控制单元315在显示单元305上显示计算出的F-测量值。在S1507中，确定单元316确定所获取的训练数据的存储量是否已经达到设定的参考量。在本示例性实施例中，除非另外指定，否则确定单元316针对所有数据分类全面地确定训练数据的存储量是否已经达到预定量。如果确定单元316确定存储量已经达到参考量(S1507中为“是”)，那么处理前进到S1508。如果确定单元316确定存储量尚未达到参考量(S1507中为“否”)，那么处理前进到S510。在S1508中，确定单元316基于不等式(2)来确定针对任何数据分类的F-测量值是否已经达到预定值。如果针对至少一个数据分类的F-测量值尚未达到预定值(S1508中为“是”)，那么处理前进到S507。如果针对所有数据分类的F-测量值已经达到预定值(S1508中为“否”)，那么处理前进到S510。但是，如果还没有在S1506中计算出F-测量值，那么确定单元316可以始终确定F-测量值已经达到预定值(S1508中为“否”)。S507及后续操作中的处理与根据第一示例性实施例的处理类似，并且将省略其重复描述。
如上所述，在本示例性实施例中，如果针对任何数据分类的检测性能满足不等式(2)(S1508中为“是”)，那么在S507中，显示用于提示再训练的画面。随着由用户校正的错误检测数据和未检测数据的量增加，F-测量值减小。因此，在本示例性实施例中，在随着用户操作的进行而F-测量值变得低于预定值时，提示用户执行再训练。因此，在适当的定时处提示用户发出用于执行训练的指令，从而实现用户操作的提高效率。但是，针对每个分类基于不等式(2)执行确定的方法仅仅是示例，并且还可以使用另一种确定标准或确定方法。例如，可能的确定方法可以是确定整个训练数据的检测性能是否小于参考值，而不是针对每个数据类别的性能指标是否小于参考值。另外，作为另一种确定方法，如果具有训练数据的前五个存储量或存储率的任何一个数据类别的F-测量值小于固定值，那么可以显示用于提示再训练的画面。不等式(2)被用于确定F-测量值是否小于预定值。但是，当选择确定方法和参数时，可以任意确定是将比较目标相等的情况视为未达到预定性能还是满足预定性能。
根据第一示例性实施例的图8A和图8B中所示的显示方法可以被用作根据第三示例性实施例的用于显示用于提示再训练的画面的方法。上述方法使得能够在用户正在校正缺陷检测结果时基于缺陷检测性能来确定是否提示再训练。这使用户能够确定执行再训练的定时。如果检测性能从一开始就足够高，并且在校正操作期间F-测量值没有变得小于预定值，那么用户可以执行校正操作直至完成，而不会被再训练中断。虽然上面已经使用其中对经训练的分类器的检测结果进行校正的情况描述了本示例性实施例，但是经受校正的缺陷数据不仅可以包括分类器的检测结果，而且还可以包括通过用户的追踪操作输入的缺陷数据。
第三示例性实施例允许进行省略基于存储状况的确定(S1507)的修改。更具体而言，在用户的校正操作被执行到可以计算出F-测量值的程度并且已经执行了进一步的校正操作的情况下，如果针对任何数据分类，F-测量值变得小于预定值(S1508中为“是”)，那么在S507中，显示“执行训练”按钮。在这种情况下，在检查了在S1504和S1505中显示的训练数据的存储状况之后，用户可以在获取了足够的存储量时或在任意定时处决定执行再训练。
下面将描述适用于第一示例性实施例至第三示例性实施例的修改。图16A、16B和16C是例示根据该修改显示的显示数据的示例的图。在第一示例性实施例至第三示例性实施例中，训练数据的参考量被设定为例如绝对量(诸如图像的数量)。显示数据包括指示相对于参考量的训练数据的存储状况的进度的进度条，其中参考量用100％表示。但是，参考量可以被设定为相对量。例如，将大量输入的检验目标图像的40％设定为参考量。图16A中所示的应用窗口1600显示了进度显示区域1601，类似于图8A和图8B中所示的窗口800。进度条1602和进度率1604指示训练数据的存储状况的进度为20％。在该修改中，参考量(在这个示例中为40％)由指标1603指示。图16B例示了由于用户持续进行的缺陷数据输入操作而导致训练数据已经达到参考量时的显示状态。在图16B中，进度条1602已经到达指标1603，并且进度率1604指示40％。此外，显示训练按钮1605，以使用户能够确认训练数据已被存储到参考量。40％的参考量仅仅是示例。即使当参考量被定义为相对量时，参考量也可以被设定为适合于检验目标的尺寸、检验目标图像的总量以及分类器的内容。
如图16A和图16B中所示，即使在将参考量设定为绝对量的情况下，也可以使用将参考量显示为在进度条中间而不是结尾处的指标的方法。这种显示方法更容易使用户认识到不仅训练数据可用于训练，而且还可以继续进行手动缺陷数据输入操作。在生成超过参考量的训练数据使得能够进一步提高分类器的性能的情况下以及在附加训练是收费选项的情况下，该方法是有利的。在这种情况下，用户可以取决于用户操作的负担来容易地确定是否继续操作。
如图16C中所示，用于在训练之后发出用于使用经训练的分类器执行检测处理的指令的“检测”按钮1606可以与“训练”按钮1605一起显示。在这种情况下，响应于用户对“检测”按钮1606的操作，检测单元318执行检测处理，并且显示单元305将显示改变为用于显示检测结果的画面。在上述每个示例性实施例中，在训练数据上训练分类器的目的是检测检测目标。因此，通过提供用于在已经获取了足够量的训练数据时发出用于执行检测处理的指令的GUI，可以提高整体操作效率。为了使得能够立即发出用于执行训练和检测的指令，可以显示诸如集成“训练”按钮1605和“检测”按钮1606的功能的按钮图标之类的显示项。不用说，如果将“检测”按钮1606与进度显示区域一起显示，并且进度显示区域中设定的参考量与100％对应(如图8A和图8B中所示的窗口800那样)，那么可以获得类似的效果。
其它实施例
一些实施例还可以通过读出并执行记录在存储介质(也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然本公开已经描述了示例性实施例，但是应该理解的是，一些实施例不限于所公开的示例性实施例。所附权利要求的范围应被赋予最广泛的解释，以涵盖所有这种修改以及等同的结构和功能。

Claims (20)

1.一种信息处理装置，包括：
接收单元，被配置为接收输入，该输入指定图像中包括的检测目标的位置；
获取单元，被配置为获取训练数据的存储量，训练数据包括指示图像的信息和指示由输入指定的位置的信息的对；
训练单元，被配置为基于存储的训练数据，训练用于从图像中检测检测目标的训练模型；以及
显示控制单元，被配置为控制显示单元以可比较的方式显示存储量和训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量。
2.根据权利要求1所述的信息处理装置，其中显示控制单元执行控制，以在显示单元上显示存储量随着接收单元对输入的接收而改变的状态。
3.根据权利要求1所述的信息处理装置，其中图像是指作为被摄体要被检验的结构的捕获图像，并且检测目标是指在结构的表面上发生的裂缝。
4.根据权利要求1所述的信息处理装置，其中，当存储量达到参考量时，训练单元执行训练。
5.根据权利要求1所述的信息处理装置，
其中，在存储量达到参考量的情况下，显示控制单元控制显示单元显示用于接收用于通过训练单元对训练模型执行训练的指令的项，以及
其中训练单元响应于对所显示的项的用户操作而执行训练。
6.根据权利要求1所述的信息处理装置，其中，在存储量达到参考量的情况下，训练单元执行训练。
7.根据权利要求1所述的信息处理装置，还包括检测单元，该检测单元被配置为基于训练模型从图像中检测缺陷，
其中图像是指作为被摄体要被检验的结构的捕获图像，并且检测目标是指在结构的表面上发生的缺陷。
8.根据权利要求7所述的信息处理装置，其中缺陷包括在结构的表面上发生的裂缝。
9.根据权利要求1所述的信息处理装置，还包括设定单元，该设定单元被配置为基于用户输入或过去的训练结果来设定参考量。
10.根据权利要求1所述的信息处理装置，
其中基于图像的特点和检测目标的类型对训练数据进行分类，
其中获取单元获取针对每个分类的训练数据的存储量，以及
其中显示控制单元执行控制，以便以可比较的方式显示训练数据的参考量以及针对每个分类的存储量。
11.根据权利要求1所述的信息处理装置，其中，在接收单元正在接收输入的同时，显示控制单元在显示单元上显示图像和要输入的指示检测目标的位置的数据，并控制显示单元显示存储量随着接收单元对输入的接收而改变的状态。
12.根据权利要求1所述的信息处理装置，其中接收单元通过在显示单元上显示的图像上追踪检测目标来接收用于输入位置信息的操作。
13.根据权利要求1所述的信息处理装置，还包括检测单元，该检测单元被配置为基于已经被训练单元训练的经训练的模型从图像中检测检测目标，
其中接收单元接收用于校正位置信息的操作，该位置信息指示通过检测单元从图像中检测的检测目标。
14.根据权利要求13所述的信息处理装置，其中训练单元基于由接收单元接收的校正操作的结果，对经训练的模型执行再训练。
15.根据权利要求14所述的信息处理装置，还包括评估单元，该评估单元被配置为评估检测单元的检测结果；
其中，在评估单元评估由检测单元进行的检测处理的性能低于预定参考值的情况下，训练单元执行再训练。
16.根据权利要求15所述的信息处理装置，
其中，在评估单元评估由检测单元进行的检测处理的性能低于预定参考值的情况下，显示控制单元控制显示单元进一步显示用于接收用于执行由训练单元进行的再训练的指令的项，以及
其中训练单元响应于对所显示的项的用户操作而执行再训练。
17.根据权利要求7所述的信息处理装置，
其中，在存储量达到参考量的情况下，显示控制单元控制显示单元进一步显示用于接收用于执行基于已经训练了存储的训练数据的训练模型从图像中检测缺陷的处理的指令的项，
其中检测单元响应于对所显示的项的用户操作而执行检测处理。
18.一种用于控制信息处理装置的方法，该方法包括：
由接收单元接收输入，该输入指定图像中包括的检测目标的位置；
由获取单元获取训练数据的存储量，该训练数据包括指示图像的信息和指示由输入指定的位置的信息的对；
由训练单元基于存储的训练数据来训练用于从图像中检测检测目标的训练模型；以及
由显示控制单元控制预定的显示单元以可比较的方式显示存储量以及训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量。
19.一种非暂态计算机可读记录介质，存储有使计算机用作以下的程序：
接收单元，被配置为接收输入，该输入指定图像中包括的检测目标的位置；
获取单元，被配置为获取训练数据的存储量，该训练数据包括指示图像的信息和指示由输入指定的位置的信息的对；
训练单元，被配置为基于存储的训练数据，训练用于从图像中检测检测目标的训练模型；以及
显示控制单元，被配置为控制显示单元以可比较的方式显示存储量以及训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量。
20.一种信息处理系统，包括：
接收单元，被配置为接收输入，该输入指定图像中包括的检测目标的位置；
获取单元，被配置为获取训练数据的存储量，该训练数据包括关于图像的信息和关于输入位置的信息的对；
训练单元，被配置为基于存储的训练数据，训练用于从图像中检测检测目标的训练模型；
显示控制单元，被配置为控制显示单元以可比较的方式显示存储量以及训练数据的参考量，该参考量被设定为训练单元训练训练模型所必需的训练数据的量；以及
检测单元，被配置为在存储量达到了参考量之后基于已经被训练单元训练的经训练的模型从图像中检测检测目标。
CN202010162225.2A 2019-03-22 2020-03-10 信息处理装置、用于控制信息处理装置的方法和存储介质 Pending CN111738976A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-055558 2019-03-22
JP2019055558A JP7263074B2 (ja) 2019-03-22 2019-03-22 情報処理装置、及びその制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
CN111738976A true CN111738976A (zh) 2020-10-02

Family

ID=72513632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162225.2A Pending CN111738976A (zh) 2019-03-22 2020-03-10 信息处理装置、用于控制信息处理装置的方法和存储介质

Country Status (3)

Country Link
US (1) US11378522B2 (zh)
JP (1) JP7263074B2 (zh)
CN (1) CN111738976A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271305B2 (ja) * 2019-05-16 2023-05-11 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP7455046B2 (ja) 2020-10-27 2024-03-25 日立Ｇｅニュークリア・エナジー株式会社 水中検査装置および水中検査方法
CN114519841A (zh) * 2020-11-05 2022-05-20 百威雷科技控股有限公司 生产线监视方法及其监视系统
JP7509033B2 (ja) * 2020-12-25 2024-07-02 新東工業株式会社 検査装置、検査方法、機械学習装置、及び機械学習方法
JP7088391B1 (ja) * 2021-07-09 2022-06-21 トヨタ自動車株式会社 情報処理装置
WO2023149174A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN114663376A (zh) * 2022-03-15 2022-06-24 中国华能集团清洁能源技术研究院有限公司 基于改进ssd模型的风机叶片缺陷检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152592A1 (en) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic, Inc. Medical image processing apparatus and medical image processing system
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
US20150242761A1 (en) * 2014-02-26 2015-08-27 Microsoft Corporation Interactive visualization of machine-learning performance
US20170185913A1 (en) * 2015-12-29 2017-06-29 International Business Machines Corporation System and method for comparing training data with test data
CN107820620A (zh) * 2015-05-08 2018-03-20 科磊股份有限公司 用于缺陷分类的方法和系统
US20190012790A1 (en) * 2017-07-05 2019-01-10 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium
US20190012579A1 (en) * 2017-07-10 2019-01-10 Fanuc Corporation Machine learning device, inspection device and machine learning method
CN109389599A (zh) * 2018-10-25 2019-02-26 北京阿丘机器人科技有限公司 一种基于深度学习的缺陷检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP5384429B2 (ja) 2010-05-21 2014-01-08 日本電信電話株式会社 コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
JP6639123B2 (ja) * 2015-07-06 2020-02-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6624963B2 (ja) * 2016-02-12 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
US10282843B2 (en) * 2016-10-27 2019-05-07 International Business Machines Corporation System and method for lesion analysis and recommendation of screening checkpoints for reduced risk of skin cancer
JP7058941B2 (ja) * 2017-01-16 2022-04-25 キヤノン株式会社 辞書生成装置、辞書生成方法、及びプログラム
JP2018142097A (ja) * 2017-02-27 2018-09-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6911498B2 (ja) * 2017-05-01 2021-07-28 オムロン株式会社 学習装置、学習方法、及び学習プログラム
JP6901007B2 (ja) * 2017-12-06 2021-07-14 日本電気株式会社 学習装置、検査システム、学習方法、検査方法およびプログラム
WO2019188040A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20210115196A (ko) * 2020-03-12 2021-09-27 삼성에스디에스 주식회사 영상 기반의 안질환 진단 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152592A1 (en) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic, Inc. Medical image processing apparatus and medical image processing system
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
US20150242761A1 (en) * 2014-02-26 2015-08-27 Microsoft Corporation Interactive visualization of machine-learning performance
CN107820620A (zh) * 2015-05-08 2018-03-20 科磊股份有限公司 用于缺陷分类的方法和系统
US20170185913A1 (en) * 2015-12-29 2017-06-29 International Business Machines Corporation System and method for comparing training data with test data
US20190012790A1 (en) * 2017-07-05 2019-01-10 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium
US20190012579A1 (en) * 2017-07-10 2019-01-10 Fanuc Corporation Machine learning device, inspection device and machine learning method
CN109389599A (zh) * 2018-10-25 2019-02-26 北京阿丘机器人科技有限公司 一种基于深度学习的缺陷检测方法及装置

Also Published As

Publication number Publication date
JP2020155063A (ja) 2020-09-24
US11378522B2 (en) 2022-07-05
US20200300778A1 (en) 2020-09-24
JP7263074B2 (ja) 2023-04-24

Similar Documents

Publication Publication Date Title
US11378522B2 (en) Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium
KR102058427B1 (ko) 검사 장치 및 방법
JP6786035B2 (ja) 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
US20210271913A1 (en) Information processing apparatus, information processing method, and storage medium
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
JP2020071615A (ja) 検出方法、検出プログラムおよび検出装置
WO2016174926A1 (ja) 画像処理装置及び画像処理方法及びプログラム
JP7349816B2 (ja) 画像検査装置
JP7034840B2 (ja) 外観検査装置および方法
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
JP2010071951A (ja) 視覚検査装置および視覚検査方法
JP2010008159A (ja) 外観検査処理方法
JP7337557B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6786015B1 (ja) 動作分析システムおよび動作分析プログラム
JP7240199B2 (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
JP6765877B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110634124A (zh) 一种区域检测的方法及设备
TWI695980B (zh) 檢查結果提示裝置、檢查結果提示方法以及非暫態電腦可讀取儲存媒體
US20200264108A1 (en) Information processing apparatus, information processing method, and recording medium
US20230267727A1 (en) Image analysis apparatus, image analysis method, and storage medium
US20240161271A1 (en) Information processing apparatus, control program, and control method
WO2024095721A1 (ja) 画像処理装置および画像処理方法
US20230144757A1 (en) Image recognition system and image recognition method
US20240127422A1 (en) Information processing apparatus, information processing method, and storage medium
CN115876775A (zh) 检查装置及检查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination