CN109242820B - 机器学习装置、检查装置以及机器学习方法 - Google Patents

机器学习装置、检查装置以及机器学习方法 Download PDF

Info

Publication number
CN109242820B
CN109242820B CN201810736105.1A CN201810736105A CN109242820B CN 109242820 B CN109242820 B CN 109242820B CN 201810736105 A CN201810736105 A CN 201810736105A CN 109242820 B CN109242820 B CN 109242820B
Authority
CN
China
Prior art keywords
image
learning
mark
defect
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810736105.1A
Other languages
English (en)
Other versions
CN109242820A (zh
Inventor
并木勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109242820A publication Critical patent/CN109242820A/zh
Application granted granted Critical
Publication of CN109242820B publication Critical patent/CN109242820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种机器学习装置、检查装置以及机器学习方法，能够更加高效地生成用于机器学习的学习数据。生成用于机器学习的学习数据的机器学习装置具备：图像输入部，其输入拍摄标记了表示缺陷的记号的检查对象物而得到的图像；以及生成部，其根据所输入的图像来生成学习数据，在图像中没有记号的情况下，生成部生成由作为输入的图像本身的学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据，在输入的图像中有标记的情况下，生成部生成由以输入的上述图像为基础而生成的学习用图像和保持表示有缺陷的有缺陷值的标签组成的学习数据。

Description

机器学习装置、检查装置以及机器学习方法
技术领域
本发明涉及机器学习装置以及机器学习方法。特别涉及能够高效地生成用于机器学习的学习数据的机器学习装置以及机器学习方法。另外，涉及使用了该机器学习装置以及机器学习方法的检查装置。
背景技术
目前，已知一种系统，其通过视觉传感器取得检查对象物的图像，并且通过图像处理来检查所取得的图像。在通过图像处理进行检查对象物的检查时，有一种使用机器学习的方法来判别OK(良品)、NG(发现了某些缺陷的所谓不良品)的方法。
为了进行该机器学习，需要由检查对象物的图像和指定该图像中拍摄的检查对象物是OK还是NG的标签组成的学习数据。这样，如果大量地准备检查对象物的图像和具有“OK”或“NG”值的标签的学习数据的组，则能够使用这些学习数据的组进行机器学习。之后，(进行了机器学习的)机器学习装置能够根据机器学习到的内容对检查对象物的新输入图像判别OK、NG。
在进行机器学习之前，OK、NG的判断大多由人来进行，其判断结果被用作上述学习数据。另外，即使在进行了机器学习后，机器学习装置有时也会错误判定，因此需要人来进行其订正。
在这种情况下，需要将人进行的判断和订正提供给进行机器学习的装置等。作为提供的一个方法，考虑在通过视觉传感器得到的检查对象物的图像上由人附加OK、NG的标签。其结果，能够容易地得到检查对象物的图像与具有“OK”或“NG”的值的标签的组。作为关于这种技术的内容，列举有专利文献1～2。
在专利文献1中公开以下技术，即在被检查物的表面检查装置中针对进行被检查面的摄像的位置进行学习。该学习是指将进行摄像的顺序与摄像位置进行关联。即，在该专利文献1中没有示出机器学习。
专利文献2公开以下技术，即检查员通过目视检查车体的涂装，在缺陷位置附加标记。通过下游工序检测附加了标记的位置，将其作为缺陷部位进行研磨。在该专利文献2中，对付加了标记的位置进行修正处理。
在由人判断OK、NG时，大多观察实际的检测对象物(工件)来判断OK、NG。这样在人实际观察了检查对象物后再观察图像并附加OK、NG的标签可以说是繁琐的作业。这里，例如考虑以下两种情况。
(A)在拍摄了对象物的图像中，人一边观察该图像一边指定缺陷的位置。
(B)分割对象物的各部位来取得多张图像，人从该多张图像中找出拍摄了缺陷的图像，并对该图像附加NG标签。
在(A)的情况下，首先由人在实际的检查对象物上发现缺陷后，人再次从通过视觉传感器得到的图像找出与缺陷部分对应的位置，在该图像上指定缺陷部位，并且赋予NG标签。但是，需要在实际的检查对象物上找到缺陷部位的作业和在图像上找到缺陷部位的作业的二次操作，容易成为繁琐的作业。
在(B)的情况下，首先由人在实际的检查对象物上发现缺陷后，人从多张图像中找出与该缺陷部位对应的图像，对该图像赋予NG标签。因此，需要在实际的检查对象物上找到缺陷部位的作业和寻找包括该缺陷部位的图像的作业的二次操作，容易成为繁琐的作业。另外，当图像的数量较多时，作业量会与此成正比地增大。
以上，直接使用由人观察检查对象物而发现的缺陷来用在用于机器学习的学习数据中即可，但是现状是还不知道这样的技术。
专利文献1：日本特开2009-14357号公报
专利文献2：日本特开平5-196444号公报
发明内容
本发明的目的为提供能够更加高效地生成用于机器学习的学习数据的机器学习装置以及机器学习方法。
本发明者们为了达到上述目的，深入研究以下原理。
首先，检查员在实际检查对象物上的缺陷部分标记特定的记号。通过与使用上述现有的图像处理进行检查情况相同的方法，拍摄图像并取得标记了上述记号的检查对象物的图像。从取得的图像找出特定的记号，将被标记了记号的部分作为缺陷进行登记。作为缺陷进行登记时，还能够对该图像赋予NG的标签来进行登记。
通过这种原理，能够得到能够用于机器学习的学习数据。这里，学习数据是至少包括机器学习用的图像(称为“学习用的图像”)和保持NG或OK的值的标签的数据。此时，可以从机器学习用的图像去除被标记在检查对象物上的记号。
另外，本发明者们关于记号去除的机制，例如研究了以下的处理。
作为去除方法1，作为对检查对象物进行标记的记号，利用使用了特定的形状或特定的颜色的记号。此时，如果图像中有特定的形状或特定的颜色的记号，则通过图像处理将其去除，由此能够将该图像用作学习用的图像。另外，如果图像中有特定的形状或颜色的记号，则在机器学习中也能够不使用该部分。
另外，作为去除方法2，使用荧光涂料对检查对象物标记记号。例如，可以使用在可视光下无色透明，但是在紫外线下发出荧光的荧光涂料。检查员在使用这种荧光涂料对检查对象物标记记号后，检查/学习用的图像在可视光照明下拍摄，能够以记号不拍摄到图像中的方式取得。另外，缺陷检查用图像，在紫外光照明下拍摄，可以使记号拍摄到图像中来取得。
本发明具体来说采用以下的结构。
(1)本发明为生成用于机器学习的学习数据的机器学习装置(例如后述的机器学习装置40)，具备：图像输入部(例如，后述的图像输入部42)，其输入拍摄标记了表示缺陷的记号的检查对象物(例如后述的检查对象物12)而得到的图像；以及生成部(例如后述的生成部44)，其根据所输入的上述图像来生成上述学习数据，在所输入的上述图像中没有上述记号的情况下，上述生成部生成由作为输入的上述图像本身的学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据，在所输入的上述图像中有上述记号的情况下，上述生成部生成由以输入的上述图像为基础而生成的学习用图像和保持表示有缺陷的有缺陷值的标签组成的学习数据。
(2)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、通过上述记号表示的缺陷的位置以及保持上述有缺陷值的标签组成的学习数据。
(3)在(1)记载的机器学习装置中，表示缺陷的上述记号是根据上述缺陷的种类而不同的记号，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、通过上述记号表示的缺陷的种类以及保持有缺陷值的标签组成的学习数据。
(4)在(3)记载的机器学习装置中，上述缺陷中可以包括上述检查对象物的伤痕、污垢以及缺损。
(5)在(3)记载的机器学习装置中，上述不同的记号可以是反射光波长互不相同的记号。
(6)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从以输入的上述图像为基础而生成的图像中去除上述记号来生成学习用图像，并生成由所生成的上述学习用图像、保持上述有缺陷值的标签组成的学习数据。
(7)在(6)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从所输入的上述图像中只切下通过上述记号表示的区域的内侧来生成学习用图像。
(8)在(6)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以从所输入的上述图像中用上述记号周围的像素置换构成上述记号的像素来生成学习用图像。
(9)在(1)记载的机器学习装置中，在所输入的上述图像中有上述记号时，上述生成部可以生成由以输入的上述图像为基础而生成的学习用图像、保持表示有缺陷的有缺陷值的标签以及掩盖上述记号的掩模图像组成的学习数据。
(10)在(9)记载的机器学习装置中，上述掩模图像可以为将构成上述记号的像素设为1，将上述记号以外的像素作为0的图像。
(11)在(1)记载的机器学习装置中，上述图像输入部输入标记图像和学习用图像，该标记图像是在由能够看见上述记号的波长的光进行照明的状态下拍摄标记了表示缺陷的记号的检查对象物而得到的，该学习用图像是在由看不见上述记号的波长的光进行照明的状态下拍摄标记了表示缺陷的记号的检查对象物而得到的，上述生成部可以生成由从上述标记图像取得的缺陷的信息和上述学习用图像组成的学习数据。
(12)一种检查装置，具备(1)～(11)中任意一项记载的机器学习装置、存储由上述机器学习装置生成的学习数据的存储部，上述机器学习装置可以具备通过上述存储部所存储的学习数据进行了学习的学习部，该学习部根据上述图像输入部输入的上述检查对象物的图像来输出缺陷的判断结果。
(13)一种检查装置，具备(11)记载的机器学习装置、存储由上述机器学习装置生成的学习数据的存储部，上述图像输入部输入在由看不见表示缺陷的上述记号的波长的光进行照明的状态下进行拍摄而得到的图像，上述机器学习装置可以具备通过上述存储部所存储的学习数据进行了学习的学习部，该学习部根据上述图像输入部输入的上述检查对象物的图像来输出缺陷的判断结果。
(14)本发明为生成用于机器学习的学习数据的机器学习方法，包括：输入拍摄标记了表示缺陷的记号的检查对象物而得到的图像的步骤、根据输入的上述图像生成上述学习数据的步骤，生成上述学习数据的步骤包括以下步骤：在所输入的上述图像中没有上述记号时，生成由作为输入的上述图像本身的学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据的步骤；以及在所输入的上述图像中有上述记号时，生成由以输入的上述图像为基础而生成的学习用图像和保持表示有缺陷的有缺陷值的标签组成的学习数据。
根据本发明，能够提供可以根据被标记的图像来生成学习用数据的机器学习装置、机器学习方法。因此，能够更高效地执行学习用数据的生成。
附图说明
图1是表示使用本发明实施方式的检查装置10来检查检查对象物12的情况的说明图。
图2是本发明实施方式的检查装置10的结构图。
图3是表示在本发明的实施方式中对学习数据追加新的学习用图像和标签的对的步骤的流程图。
图4是表示对检查对象物12标记了记号22的情况的说明图。
图5是机器人50使用其机械手52来把持检查对象物12，并能够改变检查对象物12的位置姿势的情况的说明图。
图6是在机器人50的臂(或机械手52)的前端设置视觉传感器14，并能够改变视觉传感器14的位置姿势的情况的说明图。
图7是拍摄到的图像24的说明图。
图8是表示拍摄了多个图像时的情况的说明图。
图9是只切下记号22的内侧作为学习用图像的情况的说明图。
图10是将使用周围像素的信息置换记号22的部分像素而得的图像作为学习用图像的情况的说明图。
图11A是表示在可视光照明下进行拍摄，并且只拍摄到缺陷20的图像的情况的说明图。
图11B是表示在紫外线照明下进行拍摄，并且只拍摄到记号22的图像的情况的说明图。
图12是表示与缺陷20重叠地标记了记号22的情况的说明图。
图13A是表示原样保留记号22用作学习用图像的例子的说明图。
图13B是表示仅将记号22部分的像素值设为1，将这以外的像素值设为0的掩模图像的例子的说明图。
附图标记的说明
10：检查装置、12：检查对象物、14：视觉传感器、15：照明设备、16：工作台、20：缺陷、22：记号(标记)、24：图像、33：存储部、40：机器学习装置、42：图像输入部、44：生成部、46：学习部、50：机器人、52：机械手、54：机器人控制装置。
具体实施方式
以下，参照附图说明本发明的实施方式。
[检查装置]
图1是表示使用检查对象物的检查装置10来检查检查对象物12的情况的说明图。如该图所示，在检查装置10上连接有拍摄检查对象物12的视觉传感器14。视觉传感器14拍摄检查对象物12，将其图像提供给检查装置10。另外，检查对象物12被装载在进行加工等的工作台16上。检查装置10根据从视觉传感器14提供的图像来检查检查对象物12是否有缺陷，并将其结果输出到外部。视觉传感器14只要是能够拍摄检查对象物12的摄像机，可以是任何装置。
检查装置10是根据图像判断检查对象物12有无缺陷的装置。为了实现这种功能，检查装置10进行所谓的机器学习，并根据其学习结果来对图像判断该图像的检查对象物12是否有缺陷。
例如，检查装置10可以采用图2那样的结构。
如图2所示，检查装置10内的机器学习装置40能够根据存储部33所存储的学习数据群进行机器学习，使得根据输入的图像数据(学习用图像)和标签(OK或NG)输出用于适当地判别OK、NG的判断结果，并取得学习模型。在本实施方式中，学习数据至少由学习用图像和表示有无缺陷的标签构成。学习部46根据这些学习数据来进行学习，形成学习模型。
使机器学习装置40的学习部46学习输入和输出之间的关系，以使从学习部46取出的输出与成为推定对象的判断结果一致，从而能够根据从图像输入部42输入的图像数据来推定判断结果。在本实施方式中，例如根据由包括多层神经网络的神经网络而构建的学习模型(学习部46中)来进行机器学习。通过包括输入层、输出层以及中间层的神经网络所构建的学习模型能够使用适当的方式。例如也能够应用CNN(Convolutional Neural Network卷积神经网络)。
学习部46在学习之后，针对图像输入部42所输入的图像，根据学习模型进行预定的判断，并输出判断结果。在本实施方式中，判断结果例如可以是OK(无缺陷)、NG(有缺陷)。学习数据是学习用图像和从该学习用图像应该得到的标签的对(组)的集合，但是也可以包括其他信息。
该学习数据被存储在存储部33中，学习部46使用其进行学习。准备大量的学习数据并使机器学习装置40的学习部46学习即可，但是如上所述，生成学习数据会使繁琐的作业多，人的负担大。因此，在本实施方式中提出一种学习数据的高效的生成方法。为了实现该生成方法，本实施方式的机器学习装置40具备根据被标记的图像来生成学习数据的生成部44。该生成部44根据从图像输入部42输入的被标记的图像来生成学习数据，并存储在存储部33中。之后，学习部46能够根据存储部33中存储的学习数据进行学习。
[学习数据的生成]
图3表示对学习数据追加新的学习用图像和标签的对的步骤的流程图。
在步骤S3-1中，检查员通过目视进行检查对象物12的检查。
在步骤S3-2中，检查员在发现了缺陷时对该缺陷部位进行标记。
图4表示该标记的样子。通过将预定的记号(标记)22即用于表示检查对象物12的缺陷20的部位的预定记号(标记)22附加(标记)到该部位来进行标记。如图4所示，检查员通过目视检查检查对象物12的表面，以示出所发现的缺陷20的部位的方式将记号22附加给检查对象物12(进行标记)。记号22是确实地表示缺陷20的部位的标记，例如通过以包围缺陷20的方式喷涂预定的涂料来进行标记。可以用预定色彩的笔来描绘例如矩形，也可以描绘圆圈。除了笔以外，也可以使用印章、毛笔、刷子、喷雾器等各种工具。另外，上面说明了“涂料”，但也能够使用各种颜料、染料等。另外，可以使用在可视光中是透明的涂料，但是对紫外线反应而发出预定的荧光的荧光涂料。如果使用这样的涂料，则通常通过肉眼不能够识别出附加了记号22，所以能够不损害检查对象物12的外观地识别缺陷的有无。另外，也可以使用包括对其他波长的光反应的其他荧光材料的涂料。
图4中，为了便于说明而用虚线表示记号22，但是也可以用预定色彩的笔以包围检查对象物12的表面的缺陷20的方式来附加预定的色彩。这样，能够使用预定的色彩作为记号22。另外，也可以使用预定的形状作为记号22。例如，也能够使用矩形的图形、星形等各种形状作为记号22。可以用矩形的图形包围缺陷20或在缺陷20的部位上描绘星形。只要在图像上是其他容易区别的色彩或形状，则可以使用任意的色彩、形状作为记号22。
另外，也可以根据缺陷的种类来变更进行标记的记号22的种类。例如，可以根据缺陷的种类来变更记号22的形状。也可以使用圆圈、四角、三角、星形等各种形状。另外，也可以将反射光波长不同的材料作为记号22来使用。在使用了容易反射红外线的材料的情况下和使用了容易反射紫外线的材料的情况下，还可以将反射光的光谱相互不同的各种材料涂在检查对象物12上来构成记号22。
在反射光波长不同的例子之一中，考虑使用色彩不同的涂料。例如，可以根据“伤痕”、“污垢”、“缺损”等的种类来变更进行标记的记号22的色彩。例如，如果是伤痕则用红色喷涂，如果是污垢则用蓝色喷涂，如果是缺损则用绿色喷涂等来变更色彩。学习数据中包括从标记得到的缺陷种类的信息，由此学习部能够判别缺陷的种类。另外，说明了由检查员进行步骤S3-2中的标记的例子，但是也可以由机器人来执行。另外，在生产工序的检查工序中，可以由检查员或检查机器人来执行。
在步骤S3-3中，检查员在视觉传感器14的视野中设置检查对象物12。然后，控制视觉传感器14，进行缺陷位置的摄像。该情况例如如图1所说明的那样。另外，如图5所示，机器人50使用其机械手52把持检查对象物12，可以构成为改变检查对象物12的位置姿势。此时，检查装置10使用机器人控制装置54来控制机器人50以及其机械手52并将检查对象物12控制为希望的位置姿势。另外，在图5所示的例子中，表示了移动检查对象物12，所以视觉传感器14的位置姿势固定，照明设备15也固定的例子。
在该图5的例子中，在拍摄检查对象物12的任意检查位置时，机器人50把持检查对象物12并使之移动。该结果为，视觉传感器14能够进行检查对象物12的各个检查位置的摄像。
另外，如图6所示，可以在机器人50的臂(或机械手52)的前端设置视觉传感器14，可以构成为改变视觉传感器14的位置姿势。并且，与进行检查时同样地进行检查对象物12的摄像。
此时，检查装置10能够使用机器人控制装置54来控制机器人50以及其机械手52来将视觉传感器14控制为希望的位置姿势。另外，在图6所示的例子中，视觉传感器14侧移动，所以检查对象物12的位置姿势是固定的，与图1同样地将检查对象物12放置在工作台16上。
在该图6的例子中，当拍摄检查对象物12的任意检查位置时，机器人50使其机械手52上的视觉传感器14在检查对象物12的表面上移动，进行检查对象物12的各个检查位置的摄像。
这样，在步骤S3-3中与视觉传感器14进行检查时同样地进行摄像，进行了该摄像时的图像24的说明图示出在图7中。在拍摄而得到的图像24中包括记号(标记)22时的例子为图7。图7中，表示在拍摄而得到的图像24中包括记号(标记)22时的例子，但是当没有缺陷时，拍摄而得到的图像24中不出现记号(标记)。
另外，根据图5或图6的结构，通过移动检查对象物12或视觉传感器14的任意一个，能够进行多个检查位置的摄像。图8表示拍摄了多个图像时的情况。在图8的例子中，表示图像24a、24b、24c、24d这4张图像重叠地进行拍摄的情况。
图5中，视觉传感器14的输出数据经由机器人控制装置54与检查装置10连接。另外，图6中，视觉传感器14的输出数据直接与检查装置连接。这样，视觉传感器14所拍摄的图像被提供给检查装置10，检查装置10内的机器学习装置40(的生成部44)进行处理。在接下来的步骤S3-4中说明该处理的细节。
在步骤S3-4中，从拍摄到的图像中检测记号(标记)22，如果存在记号22，则对该图像标注NG的标签。例如，图8的图像24a的情况下，存在记号22，所以标注NG的标签。另外，例如如图8的图像24d那样没有标记的情况下，对该图像标注OK的标签。
另外进一步，也可以对该图像标注缺陷的位置和大小等的信息。这样，生成用于机器学习的学习数据。学习数据是至少包括图像(例如上述的图像24a、24b、24c、24d)、对这些图像所标注的标签(保持OK或NG的值)的数据。该学习数据中也可以包括缺陷的各种信息。除了上述缺陷的位置和尺寸之外，也可以包括缺陷的种类等各种信息。构成该学习数据的上述图像是学习用图像。这里，直接将拍摄并输入的图像本身作为学习用图像来使用。这样，可以将以输入的图像为基础而生成的图像用作学习用图像。以输入的图像为基础而生成的图像表示包括输入的图像本身，此外，例如也包括实施了记号22的去除、修剪、扩大等各种图像处理的图像。
如上所述，在根据缺陷的种类而变更记号并进行标记时，可以包括与此对应的缺陷的种类作为学习数据。
该步骤S3-4的上述处理由检查装置10内的机器学习装置40(的生成部44)来执行。具体地说，机器学习装置40经由图像输入部42输入由视觉传感器14拍摄的图像。图像输入部42例如能够使用计算机的外部输入接口等。
该机器学习装置40的学习部46根据存储部33中的学习数据进行学习，并根据其学习结果(学习模型)对所输入的图像判断是否有缺陷。
在本实施方式的机器学习装置40中，特征是具备根据所赋予的图像，自身生成学习数据，并据此来进行学习的动作模式。因此，与以往由人来生成学习数据的情况相比，能够减轻人的劳动。
现有的机器学习装置40具备以下2种动作模式：赋予学习数据(例如图像和标签)并据此进行学习的学习模式；根据学习到的结果，对图像也进行预定的判断的判断模式。对此，本实施方式的机器学习装置40除了上述2种模式，还具有输入包括被标记的图像的图像群，并生成学习数据的学习数据生成模式的第三种动作模式。在该第三种的学习数据生成模式中，生成部44执行上述步骤S3-4的处理，生成学习数据。所生成的学习数据可以直接存储在存储部33中，也可以在实施接下来说明的步骤S3-5的处理后存储在存储部33中。
在步骤S3-5中，机器学习装置40的生成部44在对图像附加了记号22时，可以通过预定的手段从该图像去除记号22。虽然也依赖于记号22的种类，但是如果直接将标记了记号22的图像用作学习数据来执行学习，则将带有记号22的图像作为NG进行学习的可能性较高。其结果为，有时错误判断没有带有记号22的图像。即，在实际检查的阶段，检查对象物12上没有标记记号22，所以应该将没有被标记的图像作为学习数据进行学习。因此，当记号22位于图像中时，最好将从该图像去除了记号22(＝没有拍摄记号22)的图像作为学习数据中包括的学习用图像来使用。能够由机器学习装置40的生成部44来执行这种记号22的去除。
在步骤S3-6中，机器学习装置40的生成部44将该图像作为学习用图像，与对该图像所标注的标签一起作为学习数据来使用。即，将标签和学习用图像的对追加到已有的学习数据。所追加的学习用图像与其标签被存储在存储部33中。另外，在拍摄了多个检查位置时，追加多个学习数据的对。
[机器学习]
在生成了用于学习的足够数量的学习用图像和标签的对(学习数据)时，能够将学习用图像作为输入，将标签作为训练数据来进行学习。机器学习装置40是确实地进行机器学习的装置，所以能够与以往一样地执行学习。机器学习装置40的结构已经在图2中表示。也可以使学习已经进行了某种程度推进的学习部46追加进行学习。在本实施方式中，如果学习部46的学习结束，则能够在检查中使用学习部46。即，在学习(学习模式)结束后，能够在上述的判断模式中使用。
本实施方式的检查装置10如果使用学习结束的学习部46由图像输入部42输入新的图像(通过检查拍摄到的图像)，则可以使该学习部46进行OK(无缺陷)/NG(有缺陷)的判别。另外，也能够求出缺陷的概率、求出缺陷位置等。这是因为根据作为学习的训练数据(标签)使用什么，输出的数据也发生变化。在上述例子中，说明了使用OK/NG作为标签的例子，但此时学习部46输出OK/NG。作为训练数据，如果使用缺陷的概率或缺陷的位置，则学习部46输出缺陷的概率、缺陷的位置。
另外，作为学习结果的学习模型可以通过其它机器学习装置40的学习部46来共享。即，可以使进行学习的学习部46仅有1台，由其它机器学习装置40直接利用共享学习到的结果。
[记号(标记)的去除]
在上述图3的例子中，在步骤S3-5中说明了去除记号22(标记)的例子，但是存在各种去除记号22的方法。以下说明从图像去除记号22的方法。
(方法1)
在如图4那样通过在矩形中进行喷涂而进行了标记时，能够只切除记号22的内侧作为学习用图像。图9表示该情况。该处理是上述生成部44在步骤S3-5中执行的处理。作为图像处理的一种，已知将由某个边界(这里为记号22)包围的区域以不包括该边界(记号22)的方式进行选择，所以生成部44进行这种图像处理，生成学习用图像即可。
(方法2)
能够将构成记号22的部分的像素使用其周围的像素的信息置换(由周围的像素进行置换)而得的图像作为学习用图像。在图10表示该情况。该处理是上述生成部44在步骤S3-5中执行的处理。通过将某个区域(这里为记号22)用其边界周围的像素进行置换，从而使其消失，作为图像处理的一种而被了解，所以生成部44进行这种图像处理来生成学习用图像即可。能够根据其形状、色彩等来判别是否是记号22的区域。
(方法3)
能够用只有在照射特定波长的光时才能看见的特殊涂料来进行标记。这里说明使用只有在照射紫外线时才能看见(发出荧光)的涂料来进行标记的例子。说明该涂料是在可见光下透明，在自然光下不能看见(透明)的涂料的例子。
本实施方式的紫外线是能看到记号22的波长光的优选一例，但是如果是其它种类的涂料，则也可以使用其它的波长光。本实施方式的可见光是不能看到记号22的波长光的优选一例，但如果是其它种类的涂料，则也可以使用其它波长的光。
此时，在拍摄图像时，照射可视光照明来进行摄像，接着照射紫外线照明来进行摄像。这样，在通过可视光照明进行摄像时，能够得到如图11A那样只拍到了缺陷的图像。另一方面，在只通过紫外线照明进行摄像时，能够得到如图11B那样只拍到了记号22的图像。这里，检查对象物12没有针对紫外线发光的部位。
因此，记号22的检测通过照射了紫外线照明的图像(图11B)来进行，能够使用照射了可视光照明的图像(图11A)作为学习用图像。这种处理可以由人手动操作调整照明设备15来执行。也可以由检查装置10控制照明设备15按照顺序拍摄各个图像。如果能够采用这种方法，则如图12所示，能够在缺陷20上重叠记号22地进行标记，能够更准确地表示(表现)缺陷的位置、形状等信息。图12中，与缺陷20重叠地标记了记号22。
(方法4)
在图3说明的步骤S3-5中，去除记号22来生成了学习用图像，但是也考虑不从学习用图像去除记号22而在学习时存在记号22的方法。
首先，将原样保留了记号22的图像作为学习用图像来使用。图13A表示这种学习用图像的例子。
记号22的存在也赋予学习部46，因此生成只包括记号22的掩模图像。在从图像中检测出记号22时，生成仅将记号22部分的像素值设为1且将这以外的像素值设为0的掩模图像。图13B表示这种掩模图像。
学习时，将掩模图像(图13B)和学习用图像(13A)一起输入给学习部46，从而学习部46能够考虑记号22的存在而进行学习。此时，需要对没有缺陷的检查对象物12也标注记号22，将标签为OK的图像输入给学习部46。通过这样，即使标有记号22也能够不立刻判断为NG。
另外，说明本实施方式与专利文献2的不同点。在本实施方式中如上述那样将标注了记号22的位置用于学习用图像的缺陷部位的确定。与此相对，专利文献2中没有公开针对这种学习用图像标记记号22的事项。另外，在本实施方式中如上所述，有时执行从图像去除标注了记号22的位置的处理。但是，专利文献2中也没有公开去除这种记号22部分的图像处理。
以上，详细说明了本发明的实施方式，但是上述实施方式不过是表示在实施本发明时的具体例。本发明的技术范围不限定于上述实施方式。本发明能够在不脱离该主旨的范围中进行各种变更，这些也包括在本发明的技术范围内。

Claims (6)

1.一种机器学习装置，生成用于机器学习的学习数据，其特征在于，
该机器学习装置具备：
图像输入部，其输入标记图像和与该标记图像对应的学习用图像，上述标记图像是对包含用仅在照射特定波长的光时能够看见的特殊涂料对表示缺陷的记号进行标记而得的记号的检查对象物，在由能够看见上述记号的波长的光进行照明的状态下拍摄而得到的图像，上述学习用图像是在由看不见上述记号的波长的光进行照明的状态下拍摄上述检查对象物而得到的图像；以及
生成部，其根据所输入的上述图像来生成上述学习数据，
在上述标记图像中没有上述记号的情况下，上述生成部生成由上述学习用图像和保持表示没有缺陷的无缺陷值的标签组成的学习数据，
在上述标记图像中有上述记号的情况下，上述生成部生成由上述学习用图像、从上述标记图像取得的缺陷的信息和保持表示有缺陷的有缺陷值的标签组成的学习数据。
2.根据权利要求1所述的机器学习装置，其特征在于，
表示上述缺陷的上述记号是根据上述缺陷的种类而不同的记号，
上述生成部生成包含上述学习用图像、通过上述记号表示的缺陷的种类以及保持上述有缺陷值的标签的学习数据。
3.根据权利要求2所述的机器学习装置，其特征在于，
上述缺陷中包括上述检查对象物的伤痕、污垢以及缺损。
4.根据权利要求2所述的机器学习装置，其特征在于，
上述不同的记号是反射光波长互不相同的记号。
5.一种检查装置，其特征在于，具备：
权利要求1～4中任意一项记载的机器学习装置；以及
存储部，其存储由上述机器学习装置生成的学习数据，
上述机器学习装置具备通过上述存储部所存储的学习数据进行了学习的学习部，该学习部根据上述图像输入部输入的上述检查对象物的图像来输出缺陷的判断结果。
6.一种机器学习方法，生成用于机器学习的学习数据，其特征在于，
该机器学习方法包括以下步骤：
对检查对象物进行检查，在发现缺陷时，在缺陷部位用仅在照射特定波长的光时能够看见的特殊涂料附加记号的步骤；
输入标记图像和与该标记图像对应的学习用图像的步骤，上述标记图像是在由能够看见上述记号的波长的光进行照明的状态下拍摄上述检查对象物而得到的图像，上述学习用图像是在由看不见上述记号的波长的光进行照明的状态下拍摄上述检查对象物而得到的图像；以及
根据输入的上述图像生成上述学习数据的步骤，
生成上述学习数据的步骤包括：
在上述标记图像中没有上述记号时，生成包含上述学习用图像和保持表示没有缺陷的无缺陷值的标签的学习数据的步骤；以及
在上述标记图像中有上述记号时，生成包含上述学习用图像、从上述标记图像取得的缺陷的信息和保持表示有缺陷的有缺陷值的标签的学习数据的步骤。
CN201810736105.1A 2017-07-10 2018-07-06 机器学习装置、检查装置以及机器学习方法 Active CN109242820B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-134508 2017-07-10
JP2017134508A JP6705777B2 (ja) 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法

Publications (2)

Publication Number Publication Date
CN109242820A CN109242820A (zh) 2019-01-18
CN109242820B true CN109242820B (zh) 2021-06-08

Family

ID=64666481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810736105.1A Active CN109242820B (zh) 2017-07-10 2018-07-06 机器学习装置、检查装置以及机器学习方法

Country Status (4)

Country Link
US (1) US10891520B2 (zh)
JP (1) JP6705777B2 (zh)
CN (1) CN109242820B (zh)
DE (1) DE102018211212A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101992239B1 (ko) * 2017-08-24 2019-06-25 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US10810501B1 (en) 2017-10-20 2020-10-20 Amazon Technologies, Inc. Automated pre-flight and in-flight testing of aerial vehicles by machine learning
US10346969B1 (en) * 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
CN111727412B (zh) * 2018-03-05 2023-07-14 欧姆龙株式会社 用于设定照明条件的方法、装置、系统以及存储介质
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
JP7262232B2 (ja) * 2019-01-29 2023-04-21 東京エレクトロン株式会社 画像認識システムおよび画像認識方法
US10611497B1 (en) 2019-02-18 2020-04-07 Amazon Technologies, Inc. Determining vehicle integrity using vibrometric signatures
JP7095798B2 (ja) * 2019-03-08 2022-07-05 日本電気株式会社 画像処理方法、画像処理装置、プログラム
US11541274B2 (en) 2019-03-11 2023-01-03 Rom Technologies, Inc. System, method and apparatus for electrically actuated pedal for an exercise or rehabilitation machine
US11904202B2 (en) 2019-03-11 2024-02-20 Rom Technolgies, Inc. Monitoring joint extension and flexion using a sensor device securable to an upper and lower limb
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
CN111861966B (zh) * 2019-04-18 2023-10-27 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110006923B (zh) * 2019-04-23 2021-07-09 Oppo广东移动通信有限公司 一种标牌品质检测方法、装置及计算机可读存储介质
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US12102878B2 (en) 2019-05-10 2024-10-01 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to determine a user's progress during interval training
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
JP2021047839A (ja) * 2019-06-10 2021-03-25 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 機械学習用データセットの作成方法、学習モデルの生成方法、学習用データ作成装置、推論装置、ロボットの動作制御装置、訓練済みモデル、及び、ロボット
WO2020251172A1 (ko) * 2019-06-10 2020-12-17 주식회사 수아랩 데이터 생성 방법
WO2020252574A1 (en) 2019-06-17 2020-12-24 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
DE102019209408A1 (de) * 2019-06-27 2020-12-31 MTU Aero Engines AG Verfahren zum Erkennen von Fehlstellen in einem Bauteil, Verfahren zum Trainieren eines maschinellen Lernsystems, Computerprogrammprodukt, computerlesbares Medium und System zum Erkennen von Fehlstellen in einem Bauteil
US20220277439A1 (en) * 2019-07-18 2022-09-01 Mitsubishi Electric Corporation Inspection device, inspection method, and recording medium
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11071597B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11075000B2 (en) 2019-10-03 2021-07-27 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US20210134458A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US20210128080A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US12020799B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. Rowing machines, systems including rowing machines, and methods for using rowing machines to perform treatment plans for rehabilitation
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US12087426B2 (en) 2019-10-03 2024-09-10 Rom Technologies, Inc. Systems and methods for using AI ML to predict, based on data analytics or big data, an optimal number or range of rehabilitation sessions for a user
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US20210134425A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11101028B2 (en) 2019-10-03 2021-08-24 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US20210142893A1 (en) 2019-10-03 2021-05-13 Rom Technologies, Inc. System and method for processing medical claims
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US12020800B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. System and method for using AI/ML and telemedicine to integrate rehabilitation for a plurality of comorbid conditions
US20210127974A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Remote examination through augmented reality
US12062425B2 (en) 2019-10-03 2024-08-13 Rom Technologies, Inc. System and method for implementing a cardiac rehabilitation protocol by using artificial intelligence and standardized measurements
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US20210134432A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US20210134412A1 (en) 2019-10-03 2021-05-06 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11069436B2 (en) 2019-10-03 2021-07-20 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11481540B2 (en) 2019-11-19 2022-10-25 Salesforce.Com, Inc. Discrepancy resolution processor and methods for implementing the same
JP2021099261A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 付着物判定方法、付着物判定装置、及び付着物判定プログラム
KR102268909B1 (ko) * 2020-04-10 2021-06-23 코그넥스코오포레이션 Edge Field와 딥러닝 기반 검사 방법
US11107591B1 (en) 2020-04-23 2021-08-31 Rom Technologies, Inc. Method and system for describing and recommending optimal treatment plans in adaptive telemedical or other contexts
JPWO2021235311A1 (zh) 2020-05-18 2021-11-25
US12100499B2 (en) 2020-08-06 2024-09-24 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
CN114092382A (zh) * 2020-08-07 2022-02-25 富泰华工业（深圳）有限公司 产品瑕疵标记装置和方法
CN112505049B (zh) * 2020-10-14 2021-08-03 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
US20220198632A1 (en) * 2020-12-23 2022-06-23 Transportation Ip Holdings, Llc Systems and methods for equipment inspection
JP2022099535A (ja) * 2020-12-23 2022-07-05 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
CN116917910A (zh) * 2021-04-05 2023-10-20 松下知识产权经营株式会社 混合模型制作方法、混合模型制作装置以及程序
JP7036477B1 (ja) * 2021-10-18 2022-03-15 株式会社Anamorphosis Networks 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
JP7076167B1 (ja) 2021-12-01 2022-05-27 Ｅａｇｌｙｓ株式会社 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム
FR3133924A1 (fr) * 2022-03-24 2023-09-29 Psa Automobiles Sa Procede de detection et de marquage de defauts sur une piece et installation pour la mise en œuvre du procede
EP4325206A1 (en) 2022-08-18 2024-02-21 F. Hoffmann-La Roche AG Method for compensating defective partitions of a microfluidic chip

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320654B1 (en) * 1997-07-18 2001-11-20 Audi Ag Method for the automatic recognition of surface defects in body shells and device for carrying out said method
CN1340163A (zh) * 1999-02-11 2002-03-13 创新技术公司 在印刷电路板上校验部件的极性、存在、对准和短路的方法
JP2014032122A (ja) * 2012-08-03 2014-02-20 Omron Corp 部品実装検査のための検査基準情報の設定方法および検査基準情報の作成システム
CN104937619A (zh) * 2012-11-28 2015-09-23 法国圣戈班玻璃厂 用于标识玻璃中的缺陷的方法和系统
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
JP2017102865A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2629880B2 (ja) * 1988-09-09 1997-07-16 オムロン株式会社 基板検査装置における教示方法
JP3070774B2 (ja) 1991-03-28 2000-07-31 マツダ株式会社 ワークの表面状態監視方法
JP3051001B2 (ja) * 1992-11-13 2000-06-12 株式会社東芝 欠陥検査装置
JPH11153551A (ja) * 1997-11-20 1999-06-08 Nkk Corp 金属板の疵手入範囲教示装置
JP2001331784A (ja) * 2000-05-18 2001-11-30 Hitachi Ltd 欠陥分類方法及びその装置
US6975754B2 (en) * 2000-10-26 2005-12-13 Hitachi, Ltd. Circuit pattern inspection method and apparatus
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
CA2496935C (en) * 2002-08-28 2011-09-13 Wayne State University System and method for acoustic chaos in sonic infrared imaging
JP4163654B2 (ja) * 2004-04-19 2008-10-08 株式会社日立ハイテクノロジーズ 走査電子顕微鏡
US7462809B2 (en) * 2004-10-22 2008-12-09 Northrop Grumman Corporation Spectral filter system for infrared imaging of substrates through coatings
JP4750444B2 (ja) * 2005-03-24 2011-08-17 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置
ATE553371T1 (de) * 2005-12-16 2012-04-15 Automation W & R Gmbh Verfahren und anordnung zur erkennung von materialfehlern in werkstücken
WO2007074770A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像解析によって欠陥検査を行う欠陥検査装置
JP4862765B2 (ja) 2007-06-29 2012-01-25 関東自動車工業株式会社 表面検査装置及び表面検査方法
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5217781B2 (ja) * 2008-08-26 2013-06-19 セイコーエプソン株式会社 検査装置および検査システム
JP5287178B2 (ja) * 2008-11-27 2013-09-11 富士通セミコンダクター株式会社 欠陥レビュー装置
JP5340717B2 (ja) * 2008-12-16 2013-11-13 株式会社イシダ Ｘ線検査装置
JP5201416B2 (ja) 2009-04-13 2013-06-05 株式会社アイティーティー 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP5479782B2 (ja) * 2009-06-02 2014-04-23 株式会社日立ハイテクノロジーズ 欠陥画像処理装置、欠陥画像処理方法、半導体欠陥分類装置および半導体欠陥分類方法
JP2015534734A (ja) * 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
EP2832908B1 (de) * 2013-07-30 2023-01-04 Stäubli Sargans AG Überwachungsvorrichtung für eine Webmaschine, Webmaschine und Verfahren zur Überwachung
JP2016058465A (ja) * 2014-09-08 2016-04-21 株式会社日立ハイテクノロジーズ 欠陥定量化方法、欠陥定量化装置、および欠陥評価値表示装置
US10211025B2 (en) * 2015-08-12 2019-02-19 Kla-Tencor Corp. Determining a position of a defect in an electron beam image
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
US20170212829A1 (en) * 2016-01-21 2017-07-27 American Software Safety Reliability Company Deep Learning Source Code Analyzer and Repairer
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320654B1 (en) * 1997-07-18 2001-11-20 Audi Ag Method for the automatic recognition of surface defects in body shells and device for carrying out said method
CN1340163A (zh) * 1999-02-11 2002-03-13 创新技术公司 在印刷电路板上校验部件的极性、存在、对准和短路的方法
JP2014032122A (ja) * 2012-08-03 2014-02-20 Omron Corp 部品実装検査のための検査基準情報の設定方法および検査基準情報の作成システム
CN104937619A (zh) * 2012-11-28 2015-09-23 法国圣戈班玻璃厂 用于标识玻璃中的缺陷的方法和系统
JP2017102865A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置

Also Published As

Publication number Publication date
US10891520B2 (en) 2021-01-12
JP2019015654A (ja) 2019-01-31
US20190012579A1 (en) 2019-01-10
CN109242820A (zh) 2019-01-18
JP6705777B2 (ja) 2020-06-03
DE102018211212A1 (de) 2019-01-10

Similar Documents

Publication Publication Date Title
CN109242820B (zh) 机器学习装置、检查装置以及机器学习方法
KR101782542B1 (ko) 차량 도장표면 검사시스템 및 검사방법
US20220084183A1 (en) Defect detection device, defect detection method, and program
JP5228490B2 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
JP2006189421A (ja) 高知能デジタルイメージ検査システム及びその検査方法
JP7514259B2 (ja) カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法
CN110231352B (zh) 图像检查装置、图像检查方法以及图像检查记录介质
JP2019196964A (ja) 分類器の学習支援システム、学習データの収集方法、検査システム
CN117260076A (zh) 用于自动焊接的系统和方法
JP2022133297A (ja) 操作者の強調された視認のための色の区分けを備える映像システム
JP2009258069A (ja) 紡糸口金の孔内異物の検査装置および検査方法
CN115937059A (zh) 具有生成式训练模型的零件检查系统
JP7484091B2 (ja) 立体物の外観検査装置および立体物の外観検査方法
JP2006506622A (ja) 着色型眼用部品の自動化検査
US20230237636A1 (en) Vision inspection system for defect detection
JP2008241424A (ja) 画像処理装置及びこれを用いた画像処理方法
JP6438275B2 (ja) 塗装表面検査装置
TWI703320B (zh) 刻印檢查裝置、刻印檢查方法及物品檢查裝置
CN117321641A (zh) 用于汽车部件的自动化光学检查
US20220238396A1 (en) Laser repair method and laser repair device
KR101704690B1 (ko) 세포 분석 장치 및 방법
JPH04223262A (ja) 蛍光磁粉探傷における画像処理方法
JP4017585B2 (ja) 塗装面の検査装置
JP2020118572A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2019215348A (ja) 画像検査ロボット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant