DE102018211212A1 - Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren - Google Patents

Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren Download PDF

Info

Publication number
DE102018211212A1
DE102018211212A1 DE102018211212.6A DE102018211212A DE102018211212A1 DE 102018211212 A1 DE102018211212 A1 DE 102018211212A1 DE 102018211212 A DE102018211212 A DE 102018211212A DE 102018211212 A1 DE102018211212 A1 DE 102018211212A1
Authority
DE
Germany
Prior art keywords
image
symbol
machine learning
defect
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018211212.6A
Other languages
English (en)
Inventor
Yuta Namiki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102018211212A1 publication Critical patent/DE102018211212A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Es werden eine Maschinelles-Lernen-Vorrichtung und ein Maschinelles-Lernen-Verfahren vorgesehen, die effizienter Trainingsdaten für ein maschinelles Lernen erzeugen können. Eine Maschinelles-Lernen-Vorrichtung, die Trainingsdaten für die Verwendung in einem maschinellen Lernen erzeugt, umfasst: eine Bildeingabeeinheit, die ein durch das Aufnehmen eines Prüfziels erhaltenes Bild, an dem ein einen Defekt angebendes Symbol markiert ist, eingibt; und eine Erzeugungseinheit, die die Trainingsdaten basierend auf dem eingegebenen Bild erzeugt, wobei die Erzeugungseinheit: Trainingsdaten erzeugt, die aus einem Trainingsbild, das das Bild wie eingegeben ist, und einem Etikett, das einen keinen Defekt angebenden Wert OK aufweist, bestehen, wenn das Symbol nicht in dem eingegebenen Bild enthalten ist; und Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild und einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • Erfindungsfeld
  • Die Erfindung betrifft eine Maschinelles-Lernen-Vorrichtung und ein Maschinelles-Lernen-Verfahren. Insbesondere betrifft die Erfindung eine Maschinelles-Lernen-Vorrichtung und ein Maschinelles-Lernen-Verfahren, die effizient Trainingsdaten für ein maschinelles Lernen erzeugen können. Außerdem betrifft die Erfindung eine Prüfvorrichtung, die die Maschinelles-Lernen-Vorrichtung und das Maschinelles-Lernen-Verfahren verwendet.
  • Stand der Technik
  • Es ist ein System bekannt, das ein Bild eines Prüfziels unter Verwendung eines visuellen Sensors erhält und eine Prüfung durch eine Bildverarbeitung des erhaltenen Bilds durchführt. Für das Durchführen einer Prüfung eines Prüfziels mit einer Bildverarbeitung ist eine Methode bekannt, die eine Technik eines maschinellen Lernens für das Durchführen einer Unterscheidung zwischen OK (gutes Produkt) und NG (sogenanntes schlechtes Produkt, in dem ein Defekt festgestellt wurde) verwendet.
  • Um dieses maschinelle Lernen durchzuführen, sind Trainingsdaten erforderlich, die aus einem Bild des Prüfziels und aus einem Etikett, das angibt, dass das in diesem Bild aufgenommene Prüfziel OK oder NG ist, bestehen. Wenn mehrere Gruppen von Sätzen von Trainingsdaten des Bilds des Prüfziels und des Etiketts mit einem Wert „OK“ oder „NG“ auf diese Weise vorbereitet werden, kann ein maschinelles Lernen unter Verwendung von Gruppen dieser Trainingsdatensätze durchgeführt werden. Anschließend kann die Maschinelles-Lernen-Vorrichtung (nach dem Durchführen des maschinellen Lernens) basierend auf den durch das maschinelle Lernen erzeugten Inhalten zwischen OK und NG in neu eingegebenen Bildern des Prüfziels unterscheiden.
  • Vor dem Durchführen des maschinellen Lernens wird die Bestimmung von OK oder NG häufig durch eine Person durchgeführt und wird das Bestimmungsergebnis als die oben genannten Trainingsdaten verwendet. Und weil die Maschinelles-Lernen-Vorrichtung auch nach einem maschinellen Lernen eine Fehlbestimmung vornehmen kann, muss eine Korrektur durch eine Person durchgeführt werden.
  • In diesem Fall muss die Bestimmung oder Korrektur durch eine Person an einer Vorrichtung oder ähnlichem für das Durchführen eines maschinellen Lernens vorgenommen werden. Eine Methode hierfür sieht vor, dass Personen eine Etikettierung von OK oder NG an einem durch den visuellen Sensor erhaltenen Bild des Prüfziels durchführen. Auf diese Weise kann einfach eine aus dem Bild des Prüfziels und dem Etikett mit einem Wert von „OK“ oder „NG“ bestehe de Gruppe erhalten werden. Die Patentdokumente 1 und 2 werden hier als Dokumente in Bezug auf diesen Typ von Technik angeführt.
  • Das Patentdokument 1 gibt eine Technik zum Durchführen eines Lernens für eine Position für das Durchführen einer Aufnahme einer Prüffläche in einer Flächenprüfvorrichtung für das geprüfte Objekt an. Das Lernen umfasst das Durchführen einer Assoziation zwischen der Aufnahmesequenz und der Aufnahmeposition. Mit anderen Worten gibt das Patentdokument 1 kein maschinelles Lernen an.
  • Das Patentdokument 2 gibt eine Technik für einen Prüfer für das visuelle Prüfen der Beschichtung eines Fahrzeugkörpers und das Anbringen von Markierungen an Defektpositionen an. Die Position, an der eine Markierung angebracht wird, wird in einem nachfolgenden Schritt erfasst, und es wird ein Polieren an dieser Defektposition durchgeführt. In dem Patentdokument 2 wird eine korrigierende Verarbeitung an den Positionen, an denen Markierungen angebracht sind, durchgeführt.
    • Patentdokument 1: Ungeprüfte japanische Patentanmeldung mit der Veröffentlichungsnummer 2009-14357
    • Patentdokument 2: Ungeprüfte japanische Patentanmeldung mit der Veröffentlichungsnummer H05-196444
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Wenn eine Person eine Bestimmung von OK oder NG vornimmt, wird die Bestimmung von OK oder NH häufig durch das Betrachten des tatsächlichen Prüfziels (tatsächlichen Werkstücks) vorgenommen. Nachdem eine Person das Prüfziel tatsächlich auf diese Weise betrachtet hat, werden das zusätzliche Betrachten eines Bilds und das Durchführen einer Etikettierung mit OK oder NG als eine mühsame Arbeit empfunden. Es werden hier zwei beispielhafte Fälle beschrieben. (A) In einem Bild, in dem das Ziel aufgenommen ist, gibt eine Person die Position eines Defekts an, während sie das Bild betrachtet. (B) Das Ziel wird geteilt, und es werden eine Vielzahl von Bildern erhalten, wobei eine Person dann nach Bildern, in denen ein Defekt aufgenommen ist, innerhalb der Vielzahl von Bildern sucht und ein Etikett von NG an diesem Bild anbringt.
  • Nachdem in dem Fall (A) eine Person einen Defekt an einem tatsächlichen Prüfziel gefunden hat, sucht die Person erneut nach der Position in Entsprechung zu dem defekten Teil innerhalb der durch einen visuellen Sensor erhaltenen Bilder und weist zum Angeben der Defektposition in diesem Bild das NG-Etikett zu. Weil jedoch neben der Arbeit zum Finden einer Defektposition an dem tatsächlichen Prüfziel auch noch die Arbeit zum Suchen nach der Defektposition in dem Bild geleistet werden muss, ist diese Vorgehensweise umständlich.
  • Nachdem in dem Fall B eine Person einen Defekt an dem tatsächlichen Prüfziel gefunden hat, sucht die Person nach einem Bild in Entsprechung zu dieser Defektposition innerhalb der Vielzahl von Bildern und weist das NG-Etikett zu diesem Bild zu. Weil jedoch neben der Arbeit zum Finden der Defektposition an dem tatsächlichen Prüfziel auch noch die Arbeit zum Suchen nach einem Bild mit der darin enthaltenen Defektposition geleistet werden muss, ist diese Vorgehensweise umständlich. Und wenn eine große Anzahl von Bildern gegeben ist, wächst der Arbeitsaufwand proportional dazu an.
  • Es wäre vorteilhaft, wenn der durch eine das Prüfziel betrachtende Person gefundene Defekt unmittelbar in den Trainingsdaten für ein maschinelles Lernen verwendet werden könnte. Eine derartige Technik ist jedoch noch nicht bekannt.
  • Es ist eine Aufgabe der Erfindung, eine Maschinelles-Lernen-Vorrichtung und ein Maschinelles-Lernen-Verfahren vorzusehen, die Trainingsdaten für ein maschinelles Lernen effizienter erzeugen können.
  • Um die oben genannte Aufgabe zu lösen, haben die Erfinder die folgenden Prinzipien genau untersucht. Zuerst markiert ein Prüfer einen defekten Teil des tatsächlichen Prüfziels mit einem spezifischen Symbol. Durch eine ähnliche Methode wie in dem Fall einer Prüfung unter Verwendung der oben genannten herkömmlichen Bildverarbeitung wird ein Bild aufgenommen und wird ein Bild des Prüfziels, an dem das oben genannte Symbol markiert wurde, erhalten. Das spezifische Symbol wird in dem erhaltenen Bild gefunden, und der Teil mit dem markierten Symbol wird als ein Defekt aufgezeichnet. Bei der Aufzeichnung eines Defekts kann auch ein Etikett NG an diesem Bild vorgesehen und aufgezeichnet werden.
  • Gemäß diesem Prinzip können Trainingsdaten erhalten werden, die für ein maschinelles Lernen angewendet werden können. Dabei sind die Trainingsdaten Daten, die wenigstens ein Bild für das maschinelle Lernen (auch als „Trainingsbild“ bezeichnet) und ein Etikett mit dem Wert NG oder OK enthalten. In diesem Fall kann das an dem Prüfziel markierte Symbol aus dem Bild für das maschinelle Lernen entfernt werden.
  • Außerdem haben die Erfinder die folgende Verarbeitung zum Beispiel für den Mechanismus für die Entfernung des Symbols analysiert. In einer Entfernungsmethode 1 wird ein Symbol mit einer spezifischen Form oder einer spezifischen Farbe als das Symbol für die Markierung des Prüfziels verwendet. Wenn in diesem Fall ein Symbol mit einer spezifischen Form oder einer spezifischen Farbe in dem Bild vorhanden ist, kann das Bild, nachdem das Symbol mittels einer Bildverarbeitung entfernt wurde, als das Trainingsbild verwendet werden. Und wenn ein Symbol mit einer spezifischen Form oder Farbe in dem Bild vorhanden ist, kann vorgesehen sein, dass dieser Teil nicht in dem maschinellen Lernen verwendet wird.
  • Weiterhin wird in einer Entfernungsmethode 2 ein Symbol an dem Prüfziel unter Verwendung einer fluoreszierenden Farbe markiert. Zum Beispiel kann eine fluoreszierende Farbe verwendet werden, die unter sichtbarem Licht farblos und transparent ist, aber unter UV-Licht fluoresziert. Der Prüfer kann ein Bild für das Prüfen/Lernen erhalten, nachdem er das Symbol an dem Prüfziel unter Verwendung einer derartigen fluoreszierenden Farbe markiert hat, indem er das Bild unter einer Beleuchtung mit sichtbarem Licht aufnimmt, sodass das Symbol in dem Bild nicht aufgenommen wird. Außerdem kann ein Bild für das Erfassen von Defekten unter einer Beleuchtung mit UV-Licht aufgenommen werden, sodass das Symbol in dem Bild aufgenommen wird.
  • Insbesondere verwendet die vorliegende Erfindung die folgende Konfiguration. Ein erster Aspekt der Erfindung betrifft eine Maschinelles-Lernen-Vorrichtung (zum Beispiel die weiter unten beschriebene Maschinelles-Lernen-Vorrichtung 40) zum Erzeugen von Trainingsdaten für die Verwendung in einem maschinellen Lernen, wobei die Maschinelles-Lernen-Vorrichtung umfasst: eine Bildeingabeeinheit (zum Beispiel die weiter unten beschriebene Bildeingabeeinheit 42), die ein durch das Aufnehmen eines Prüfziels (zum Beispiel des weiter unten beschriebenen Prüfziels 12) erhaltenes Bild, an dem ein einen Defekt angebendes Symbol markiert ist, eingibt; und eine Erzeugungseinheit (zum Beispiel die weiter unten beschriebene Erzeugungseinheit 44), die die Trainingsdaten basierend auf dem eingegebenen Bild erzeugt, wobei die Erzeugungseinheit: Trainingsdaten erzeugt, die aus einem Trainingsbild, das das Bild wie eingegeben ist, und einem Etikett, das einen keinen Defekt angebenden Wert OK aufweist, bestehen, wenn das Symbol nicht in dem eingegebenen Bild enthalten ist; und Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild und einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem zweiten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem ersten Aspekt die Erzeugungseinheit Trainingsdaten erzeugen, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einer durch das Symbol angegebenen Position eines Defekts und einem Etikett, das den Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem dritten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem ersten Aspekt das den Defekt angebende Symbol in Abhängigkeit von dem Typ des Defekts ein anderes Symbol sein und kann die Erzeugungseinheit Trainingsdaten erzeugen, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einem durch das Symbol angegebenen Typ von Defekt und einem Etikett, das den Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem vierten Aspekt der Erfindung können in der Maschinelles-Lernen-Vorrichtung gemäß dem dritten Aspekt ein Kratzer, ein Flecken oder ein Span des Prüfziels als Typen von Defekt vorgesehen sein.
  • Gemäß einem fünften Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem dritten Aspekt das andere Symbol ein Symbol mit einer anderen reflexiven optischen Wellenlänge als ein weiteres Symbol sein.
  • Gemäß einem sechsten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem ersten Aspekt die Erzeugungseinheit: ein Trainingsbild durch das Entfernen des Symbols aus einem basierend auf dem eingegebenen Bild erzeugten Bild erzeugen, wenn das Symbol in dem eingegebenen Bild enthalten ist, und die Trainingsdaten erzeugen, die aus dem derartig erzeugten Trainingsbild und einem den Wert NG aufweisenden Etikett bestehen.
  • Gemäß einem siebten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem sechsten Aspekt die Erzeugungseinheit ein Trainingsbild durch das Ausschneiden nur des Inneren eines durch das Symbol angegebenen Bereichs aus dem eingegebenen Bild erzeugen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem achten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem sechsten Aspekt die Erzeugungseinheit ein Trainingsbild durch das Ersetzen von Pixeln des Symbols aus dem eingegebenen Bild durch periphere Pixel des Symbols erzeugen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem neunten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem ersten Aspekt die Erzeugungseinheit Trainingsdaten erzeugen, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, und einem Maskenbild, das das Symbol maskiert, besteht, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß einem zehnten Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem neunten Aspekt das Maskenbild ein Bild sein, das Pixel des Symbols als 1 und andere Pixel als diejenigen des Symbols als 0 setzt.
  • Gemäß einem elften Aspekt der Erfindung kann in der Maschinelles-Lernen-Vorrichtung gemäß dem ersten Aspekt die Bildeingabeeinheit ein durch das Aufnehmen eines Prüfziels, an dem ein einen Defekt angebendes Symbol markiert ist, in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei der das Symbol sichtbar ist, erhaltenes Markierungsbild und ein durch das Aufnehmen in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei der das Symbol nicht sichtbar ist, erhaltenes Trainingsbild eingeben und kann die Erzeugungseinheit Trainingsdaten, die aus von dem Markierungsbild erhaltenen Informationen eines Defekts und dem Trainingsbild bestehen, erzeugen.
  • Gemäß einem zwölften Aspekt der Erfindung enthält eine Prüfvorrichtung: die Maschinelles-Lernen-Vorrichtung gemäß einem der ersten bis elften Aspekte; und eine Speichereinheit, die durch die Maschinelles-Lernen-Vorrichtung erzeugte Trainingsdaten speichert; wobei die Maschinelles-Lernen-Vorrichtung einer Lerneinheit enthalten kann, die aus durch die Speichereinheit gespeicherten Trainingsdaten gelernt hat und ein Bestimmungsergebnis eines Defekts basierend auf einem durch die Bildeingabeeinheit eingegebenen Bild des Prüfziels ausgibt.
  • Gemäß einem dreizehnten Aspekt der Erfindung enthält eine Prüfvorrichtung: die Maschinelles-Lernen-Vorrichtung gemäß dem elften Aspekt; und eine Speichereinheit, die durch die Maschinelles-Lernen-Vorrichtung erzeugte Trainingsdaten speichert; wobei die Bildeingabeeinheit ein durch das Aufnehmen in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei welcher das einen Defekt angebende Symbol nicht sichtbar ist, erhaltenes Bild eingeben kann und die Maschinelles-Lernen-Vorrichtung eine Lerneinheit enthalten kann, die aus durch die Speichereinrichtung gespeicherten Trainingsdaten gelernt hat und ein Bestimmungsergebnis eines Defekts basierend auf einem Bild des durch die Bildeingabeeinheit eingegebenen Prüfziels ausgibt.
  • Ein vierzehnter Aspekt der Erfindung betrifft ein Maschinelles-Lernen-Verfahren zum Erzeugen von Trainingsdaten für die Verwendung in einem maschinellen Lernen, wobei das Verfahren die folgenden Schritte umfasst: Eingeben eines durch das Aufnehmen eines Prüfziels, an dem ein einen Defekt angebendes Symbol markiert ist, erhaltenen Bilds; und Erzeugen der Trainingsdaten basierend auf dem eingegebenen Bild; wobei der Schritt zum Erzeugen der Trainingsdaten umfasst: einen Schritt zum Erzeugen von Trainingsdaten, die aus einem Trainingsbild, das das Bild wie eingegeben ist, und einem Etikett, das einen keinen Defekt angebenden Wert OK aufweist, bestehen, wenn das Symbol nicht in dem eingegebenen Bild enthalten ist; und einen Schritt zum Erzeugen von Trainingsdaten, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, und einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  • Gemäß der vorliegenden Erfindung können eine Maschinelles-Lernen-Vorrichtung und ein Maschinelles-Lernen-Verfahren vorgesehen werden, die Trainingsdaten basierend auf einem markierten Bild erzeugen können. Deshalb kann die Erzeugung von Trainingsdaten effizienter durchgeführt werden.
  • Figurenliste
    • 1 ist eine erläuternde Ansicht, die einen Aspekt zum Prüfen eines Prüfziels 12 unter Verwendung einer Prüfvorrichtung 10 gemäß einer Ausführungsform der Erfindung zeigt.
    • 2 ist ein Blockdiagramm der Prüfvorrichtung 10 gemäß einer Ausführungsform der Erfindung.
    • 3 ist ein Flussdiagramm, das eine Sequenz zum Hinzufügen eines Paars aus einem neuen Trainingsbild und einem Etikett zu Trainingsdaten in einer Ausführungsform der Erfindung zeigt.
    • 4 ist eine erläuternde Ansicht, die einen Aspekt zum Markieren eines Symbols 22 an dem Prüfziel 12 zeigt.
    • 5 ist eine erläuternde Ansicht für den Fall einer Konfiguration, in welcher ein Roboter 50 das Prüfziel 12 unter Verwendung einer Hand 52 greift und die Positionshaltung des Prüfziels 12 nicht geändert wird.
    • 6 ist eine erläuternde Ansicht für den Fall einer Konfiguration, in welcher ein visueller Sensor 14 an einem vorderen Ende eines Arms (oder einer Hand 52) des Roboters 50 installiert ist und die Positionshaltung des visuellen Sensors 14 nicht geändert wird.
    • 7 ist eine erläuternde Ansicht eines aufgenommenen Bilds 24.
    • 8 ist eine erläuternde Ansicht, die einen Aspekt für einen Fall zeigt, in welchem eine Vielzahl von Bildern aufgenommen werden.
    • 9 ist eine erläuternde Ansicht für einen Fall, in dem ein Trainingsbild durch das Ausschneiden nur des Inneren eines Symbols 22 erzeugt wird.
    • 10 ist eine erläuternde Ansicht für einen Fall, in dem ein durch das Ersetzen von Pixeln eines Teils des Symbols 22 unter Verwendung von Informationen von peripheren Pixeln erhaltenes Bild als ein Trainingsbild erzeugt wird.
    • 11A ist eine erläuternde Ansicht, die einen Aspekt eines durch eine Beleuchtung mit sichtbarem Licht aufgenommenen Bilds zeigt, wobei nur ein Defekt 20 reflektiert wird.
    • 11B ist eine erläuternde Ansicht, die einen Aspekt eines durch eine Beleuchtung mit nur ultraviolettem Licht aufgenommenen Bilds zeigt, wobei nur ein Symbol 22 reflektiert wird.
    • 12 ist eine erläuternde Ansicht, die einen Aspekt des Symbols 22 zeigt, das derart markiert ist, dass es den Defekt 20 überlagert.
    • 13A ist eine erläuternde Ansicht, die ein Beispiel zeigt, in dem das Symbol 22 so wie es ist gelassen wird und als ein Trainingsbild verwendet wird.
    • 13B ist eine erläuternde Ansicht, die ein Beispiel für ein Maskenbild zeigt, das nur Pixelwerte eines Teils des Symbols 22 als 1 und andere Pixelwerte als 0 definiert.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Im Folgenden werden Ausführungsformen der Erfindung mit Bezug auf die Zeichnungen beschrieben.
  • (Prüfvorrichtung)
  • 1 ist eine erläuternde Ansicht, die einen Aspekt zum Prüfen eines Prüfziels 12 unter Verwendung einer Prüfvorrichtung 10 für das Prüfen eines Prüfziels zeigt. Wie in der Zeichnung gezeigt, ist ein visueller Sensor 14, der das Prüfziel 12 aufnimmt, mit der Prüfvorrichtung 10 verbunden. Der visuelle Sensor 14 nimmt das Prüfziel 12 auf und führt dieses Bild zu der Prüfvorrichtung 10 zu. Außerdem wird das Prüfziel 12 auf einer Werkbank 16 für das Durchführen einer Bearbeitung usw. platziert. Die Prüfvorrichtung 10 prüft, ob ein Defekt in dem Prüfziel 12 vorhanden ist, basierend auf dem von dem visuellen Sensor 14 zugeführten Bild und gibt das Ergebnis nach außen aus. Der visuelle Sensor 14 kann eine beliebige Einrichtung sein, solange er eine Kamera ist, die das Prüfziel 12 aufnehmen kann.
  • Die Prüfvorrichtung 10 ist eine Vorrichtung, die das Vorhandensein/die Abwesenheit von Defekten in dem Prüfziel 12 basierend auf dem Bild bestimmt, Um eine derartige Funktion zu realisieren, führt die Prüfvorrichtung 10 ein sogenanntes maschinelles Lernen durch und bestimmt für das Bild, ob ein Defekt in dem Prüfziel 12 dieses Bilds vorhanden ist, basierend auf dem Lernergebnis.
  • Zum Beispiel kann die Prüfvorrichtung 10 eine Konfiguration wie in 2 gezeigt verwenden. Wie in 2 gezeigt, kann die Maschinelles-Lernen-Vorrichtung 40 in der Prüfvorrichtung 10 ein Lernmodell durch das Durchführen eines maschinellen Lernens erhalten, um ein Bestimmungsergebnis für ein korrektes Unterscheiden zwischen OK, NG aus den Bilddaten (Trainingsbild) und dem Etikett (OK oder NG), die basierend auf der in einer Speichereinheit 33 gespeicherten Trainingsdatengruppe eingegeben werden, auszugeben. Die Trainingsdaten bestehen in dieser Ausführungsform aus wenigstens einem Trainingsbild und einem Etikett, das das Vorhandensein/die Abwesenheit eines Defekts angibt. Basierend auf diesen Trainingsdaten führt eine Lerneinheit 46 ein Lernen durch und erzeugt ein Lernmodell.
  • Die Bestimmungsergebnisse in Reaktion auf von der Bildeingabeeinheit 42 eingegebene Bilddaten können geschätzt werden, indem ein Lernen der Beziehung zwischen der Eingabe und der Ausgabe in der Lerneinheit 46 der Maschinelles-Lernen-Vorrichtung 40 veranlasst wird, sodass die von der Lerneinheit 46 abgerufene Ausgabe dem Bestimmungsergebnis entspricht, das das Ziel der Schätzung ist. In dieser Ausführungsform wird ein maschinelles Lernen (in der Lerneinheit 46) zum Beispiel einem durch ein neuronales Netz wie etwa einem mehrschichtigen neuronalen Netz gebildeten Lernmodell folgend durchgeführt. Das durch ein neuronales Netz mit einer Eingabeschicht, einer Ausgabeschicht und einer Zwischenschicht gebildete Lernmodell kann ein entsprechendes System verwenden. Zum Beispiel kann auch ein CNN (Convolutional Neural Network) angewendet werden.
  • Nach dem Lernen führt die Lerneinheit 46 eine vorbestimmte Bestimmung basierend auf dem Lernmodell für ein durch die Bildeingabeeinheit 42 eingegebenes Bild durch und gibt ein Bestimmungsergebnis aus. In dieser Ausführungsform kann das Bestimmungsergebnis zum Beispiel OK (kein Defekt) oder NG (weist einen Defekt auf) sein. Die Trainingsdaten sind eine Konstellation von Paaren (Gruppen) aus einem Trainingsbild und einem aus diesem Trainingsbild zu erhaltenden Etikett, wobei sie jedoch auch andere Informationen enthalten können.
  • Die Trainingsdaten sind in der Speichereinheit 33 gespeichert, und die Lerneinheit 46 lernt unter Verwendung derselben. Obwohl es ausreicht, mehrere Sätze von Trainingsdaten vorzubereiten und durch die Lerneinheit 46 der Maschinelles-Lernen-Vorrichtung 40 lernen zu lassen., erfordert das Erzeugen von Trainingsdaten viele komplexe Operationen und stellt wie oben genannt einen großen Aufwand für Personen dar. Deshalb schlägt diese Ausführungsform eine effiziente Methode für das Erzeugen von Trainingsdaten vor. Um diese Erzeugungsmethode zu realisieren, enthält die Maschinelles-Lernen-Vorrichtung 40 dieser Ausführungsform eine Erzeugungseinheit 44, die Trainingsdaten basierend auf markierten Bildern erzeugt. Die Erzeugungseinheit 44 erzeugt Trainingsdaten basierend auf den von der Bildeingabeeinheit 42 eingegebenen markierten Bildern und speichert sie in der Speichereinheit 33. Anschließend kann die Lerneinheit 46 ein Lernen basierend auf den in der Speichereinheit 33 gespeicherten Trainingsdaten durchführen.
  • (Erzeugung von Trainingsdaten)
  • 3 zeigt ein Flussdiagramm, das eine Sequenz zum Hinzufügen eines Paars aus einem neuen Trainingsbild und einem Etikett zu den Trainingsdaten zeigt. In Schritt S3-1 führt ein Prüfer eine visuelle Prüfung des Prüfziels 12 durch.
  • Wenn er einen Defekt findet, führt der Prüfer in Schritt S3-2 eine Markierung an dieser Defektposition durch. Ein Aspekt dieser Markierung ist in 4 gezeigt. Die Markierung wird durch das Anbringen eines vorbestimmten Symbols (Marke) 22 für das Angeben der Position des Defekts 20 an dem Prüfziel 12 an dieser Position durchgeführt (Markierung). Wie in 4 gezeigt, prüft der Prüfer visuell die Oberfläche des Prüfziels 12 und bringt das Symbol 22 an dem Prüfziel 12 an (markiert dieses), um die Position des gefundenen Defekts 20 anzugeben. Das Symbol 22 ist eine Marke, die die Position des Defekts 20 angibt, wobei die Markierung durch das Malen einer vorbestimmten Farbe um den Defekt 20 herum durchgeführt wird. Es kann zum Beispiel ein Rechteck oder ein Kreis mit einem vorbestimmten Farbstift gezeichnet werden. Anstatt eines Stifts kann auch ein Stempel, ein Schreibpinsel, ein Malpinsel oder ein Spray verwendet werden. Und obwohl hier von Farbe die Rede ist, können allgemein verschiedene Pigmente, Farbstoffe usw. verwendet werden. Außerdem kann eine fluoreszierende Farbe verwendet werden, die bei sichtbarem Licht transparent ist, aber auf UV-Licht reagiert, indem sie eine vorbestimmte Fluoreszenz emittiert. Weil bei der Verwendung einer derartigen Farbe das angebrachte Symbol 22 nicht mit dem bloßen Auge erkannt werden kann, kann das Vorhandensein/die Abwesenheit eines Defekts angegeben werden, ohne das Aussehen des Prüfziels 12 zu beeinträchtigen. Es kann auch eine Farbe verwendet werden, die ein anderes fluoreszierendes Material enthält, das mit Licht einer anderen Wellenlänge reagiert.
  • In 4 wird das Symbol 22 der Einfachheit halber durch eine gepunktete Linie wiedergegeben, wobei jedoch eine vorbestimmte Farbe um den Defekt 20 herum auf der Oberfläche des Prüfziels 12 unter Verwendung eines vorbestimmten Farbstifts vorgesehen werden kann. Es kann also eine vorbestimmte Farbe für das Symbol 22 verwendet werden. Außerdem kann eine vorbestimmte Form für das Symbol 22 verwendet werden. Zum Beispiel können verschiedene Formen wie etwa eine Grafik eines Rechtecks oder eine Sternform verwendet werden. Der Defekt 20 kann durch die Grafik eines Rechtecks umgeben werden, oder es kann eine Sternform an der Position des Defekts 20 gezeichnet werden. Solange es sich um eine Farbe und/oder Form handelt, die einfach in dem Bild zu erkennen ist, können eine beliebige Form und/oder Form für das Symbol 22 verwendet werden.
  • Außerdem kann der Typ der Symbol 22-Markierung in Entsprechung zu dem Typ von Defekt geändert werden. Zum Beispiel kann die Form des Symbols 22 in Entsprechung zu dem Typ von Defekt geändert werden. Es können verschiedene Formen wie etwa ein Kreis, ein Quadrat, ein Dreieck oder eine Sternform verwendet werden. Außerdem können Materialien mit verschiedenen reflexiven optischen Wellenlängen für das Symbol 22 verwendet werden. Und wenn ein Material verwendet wird, das dazu neigt, Infrarotlicht zu reflektieren, oder ein Material verwendet wird, das dazu neigt, ultraviolettes Licht zu reflektieren, kann das Symbol 22 durch das Beschichten des Prüfziels 12 mit verschiedenen Materialien, die jeweils unterschiedliche Reflexionslichtspektren aufweisen, konfiguriert werden.
  • In einem Beispiel mit verschiedenen reflexiven optischen Wellenlängen können verschiedene Farben mit unterschiedlichen Farbtönen verwendet werden. Zum Beispiel kann die Farbe des Symbols 22 in Entsprechung zu verschiedenen Typen wie etwa „Kratzer“, „Flecken“ oder „Span“ geändert werden. Zum Beispiel wird im Fall eines Kratzers eine rote Farbe verwendet und wird im Fall eines Fleckens eine blaue Farbe verwendet. Die Farbe kann auch derart geändert werden, dass eine grüne Farbe im Fall eines Spans verwendet wird. Indem sie verschiedene Informationen des Defekts aus der Markierung in den Trainingsdaten erhält, kann die Lerneinheit den Typ von Defekt bestimmen. Die Markierung in Schritt S3-2 wird durch einen Prüfer durchgeführt, wobei dies jedoch auch durch einen Roboter bewerkstelligt werden könnte. Auch der Prüfungsschritt in dem Herstellungsprozess kann durch den Prüfer und/oder einen Prüfroboter durchgeführt werden.
  • In Schritt S3-3 installiert der Prüfer das Prüfziel 12 in dem Sichtfeld des visuellen Sensors 14. Dann wird der visuelle Sensor 14 gesteuert, um eine Aufnahme einer Defektposition durchzuführen. Dieser Aspekt wird mit Bezug auf 1 erläutert. Es ist zu beachten, dass wie in 5 gezeigt der Roboter 50 das Prüfziel 12 mit seiner Hand 52 greifen kann und dabei die Positionshaltung des Prüfziels 12 nicht geändert wird. In diesem Fall kann die Prüfvorrichtung 10 das Prüfziel 12 zu einer gewünschten Positionshaltung steuern, indem sie den Roboter 50 und seinen Arm 52 unter Verwendung einer Robotersteuereinrichtung 54 steuert. Und weil sich in dem Beispiel von 5 das Prüfziel 12 bewegt, ist die Positionshaltung des visuellen Sensors 14 fixiert und ist auch das Licht 15 fixiert.
  • Wenn in dem Beispiel von 5 eine beliebige Prüfposition des Prüfziels 12 aufgenommen wird, greift der Roboter 50 das Prüfziel 12 und bewegt es. Auf diese Weise kann eine Aufnahme jeder Prüfposition des Prüfziels 12 durchgeführt werden. Außerdem kann wie in 6 gezeigt der visuelle Sensor 14 an dem vorderen Ende des Arms (oder der Hand 52) des Roboters 50 installiert sein, sodass die Positionshaltung des visuellen Sensors 14 nicht geändert wird. Dann wird eine Aufnahme des Prüfziels 12 in gleicher Weise wie bei einer Prüfung durchgeführt. In diesem Fall kann die Prüfvorrichtung 10 den visuellen Sensor 14 zu der gewünschten Positionshaltung steuern, indem sie den Roboter 50 und seine Hand 52 unter Verwendung der Robotersteuereinrichtung 54 steuert. Und weil in dem Beispiel von 6 die Seite des visuellen Sensors 14 bewegt wird, ist die Positionshaltung des Prüfziels 12 fixiert und wird das Prüfziel 12 auf der Werkbank 16 ähnlich wie in 1 platziert. Wenn in dem Beispiel von 6 eine beliebige Prüfposition an dem Prüfziel 12 aufgenommen wird, veranlasst der Roboter 50, dass sich der visuelle Sensor 14 an der Hand 52 über die Oberfläche des Prüfziels 12 bewegt und eine Aufnahme an jeder Prüfposition des Prüfziels 12 durchführt.
  • Bei dieser Konfiguration wird eine Aufnahme ähnlich wie während der Prüfung durch den visuellen Sensor 14 in Schritt S3-3 durchgeführt. Eine erläuternde Ansicht eines Bilds 24 nach dem Durchführen der Aufnahme ist in 7 gezeigt. 7 zeigt ein Beispiel, in dem das Symbol (Marke) 22 in dem durch die Aufnahme erhaltenen Bild 24 enthalten ist. Wenn dagegen kein Defekt vorhanden ist, ist kein Symbol (Marke) 22 in dem durch die Aufnahme erhaltenen Bild 24 enthalten. Außerdem kann in der Konfiguration von 5 oder 6 eine Aufnahme einer Vielzahl von Prüfpositionen durchgeführt werden, indem entweder das Prüfziel 12 oder der visuelle Sensor 14 bewegt wird. Ein Aspekt für den Fall des Aufnehmens einer Vielzahl von Bildern ist in 8 gezeigt. Das Beispiel von 8 zeigt einen Aspekt der vier Bilder 24a, 24b, 24c und 24d, die überlappend aufgenommen werden. In 5 werden Ausgabedaten des visuellen Sensors 14 über die Robotersteuereinrichtung 54 zu der Prüfvorrichtung 10 geführt. Und in 6 werden die Ausgabedaten des visuellen Sensors 14 direkt zu der Prüfvorrichtung geführt. In jedem Fall wird das durch den visuellen Sensor 14 aufgenommene Bild zu der Prüfvorrichtung 10 geführt und führt die Maschinelles-Lernen-Vorrichtung 40 (die Erzeugungseinheit 44 derselben) in der Prüfvorrichtung 10 eine Verarbeitung durch. Details dieser Verarbeitung werden für den nächsten Schritt S3-4 erläutert.
  • In Schritt S3-4 wird das Symbol (Marke) 22 aus dem aufgenommenen Bild erfasst. Und wenn das Symbol 22 vorhanden ist, wird das Etikett NG mit diesem Bild assoziiert. Weil zum Beispiel in dem Fall des Bilds 24a von 8 das Symbol 22 vorhanden ist, wird das Label NG assoziiert. Und wenn wie in dem Fall des Bilds 24d von 8 kein Symbol vorhanden ist, wird das Etikett OK mit diesem Bild assoziiert. Weiterhin können Informationen wie etwa die Position und/oder die Größe des Defekts mit diesem Bild assoziiert werden. Durch diese Konfiguration werden Trainingsdaten für ein maschinelles Lernen erzeugt. Die Trainingsdaten sind Daten, die wenigstens Bilder (z.B. die oben genannten Bilder 24a, 24b, 24c, 24d) und mit diesen Bildern assoziierte Etiketten (mit einem Wert OK oder NG) enthalten. Die Trainingsdaten können verschiedene Informationen von Defekten enthalten. Sie können verschiedene Informationen wie etwa den Typ von Defekt zusätzlich zu der oben genannten Position und Größe des Defekts enthalten. Das oben genannte Bild der Trainingsdaten ist ein Trainingsbild. Dabei wird das aufgenommene und eingegebene Bild selbst als das Trainingsbild verwendet. Auf diese Weise kann das basierend auf dem eingegebenen Bild erzeugte Bild als das Trainingsbild verwendet werden. Ein basierend auf dem eingegebenen Bild erzeugtes Bild umfasst das eingegebene Bild selbst und zusätzlich dazu ein Bild, in dem verschiedene Bildverarbeitungen wie zum Beispiel ein Entfernen, Zuschneiden oder Vergrößern des Symbols 22 durchgeführt wurden.
  • Wenn wie oben genannt das Symbol in Entsprechung zu dem Typ von Defekt geändert und markiert wird, kann der entsprechende Typ von Defekt als Trainingsdaten enthalten sein. Die oben genannte Verarbeitung in dem Schritt S3-4 wird durch die Maschinelles-Lernen-Vorrichtung 40 (durch die Erzeugungseinheit 44 derselben) in der Prüfvorrichtung 10 durchgeführt. Insbesondere gibt die Maschinelles-Lernen-Vorrichtung 40 das durch den visuellen Sensor 14 aufgenommene Bild über die Bildeingabeeinheit 42 ein. Die Bildeingabeeinheit 42 kann zum Beispiel eine externe Eingabeschnittstelle eines Computers oder ähnliches verwenden. Die Lerneinheit 46 der Maschinelles-Lernen-Vorrichtung 40 führt ein Lernen basierend auf den Trainingsdaten in der Speichereinheit 33 durch und führt eine Bestimmung dazu, ob ein Defekt in dem eingegebenen Bild vorhanden ist, basierend auf den Lernergebnissen durch (Lernmodell). Charakteristisch für die Maschinelles-Lernen-Vorrichtung 40 dieser Ausführungsform ist, dass sie einen Betriebsmodus aufweist, der Trainingsdaten selbst basierend auf den gegebenen Bildern erzeugt und ein Lernen darauf basierend durchführt. Im Vergleich zu dem herkömmlichen Fall, in dem eine Person die Trainingsdaten erzeugt, kann also der durch Menschen zu leistende Arbeitsaufwand reduziert werden.
  • Die herkömmliche Maschinelles-Lernen-Vorrichtung 40 weist zwei Typen von Betriebsmodi auf: einen Lernmodus, der Trainingsdaten (zum Beispiel Bilder und Etiketten) vorsieht und ein Lernen darauf basierend durchführt; und einen Bestimmungsmodus, der eine vorbestimmte Bestimmung ebenfalls für Bilder basierend auf den Lernergebnissen durchführt. Im Gegensatz zu den oben genannten zwei Typen von Modi weist die Maschinelles-Lernen-Vorrichtung 40 dieser Ausführungsform einen dritten Betriebsmodus auf, der ein Lerndaten-Erzeugungsmodus zum Eingeben einer Bildgruppe mit darin enthaltenen markierten Bildern und zum Erzeugen von Trainingsdaten ist. In diesem dritten Trainingsdaten-Erzeugungsmodus führt die Erzeugungseinheit 44 die oben genannte Verarbeitung von Schritt S3-4 durch und erzeugt die Trainingsdaten. Die erzeugten Trainingsdaten können so wie sie sind in der Speichereinheit 33 gespeichert werden, wobei aber auch die Verarbeitung des nachfolgend erläuterten Schritts S3-5 auf ihnen durchgeführt werden kann und sie dann in der Speichereinheit 33 gespeichert werden können.
  • In Schritt S3-5 kann die Erzeugungseinheit 44 der Maschinelles-Lernen-Vorrichtung 40, wenn das Symbol 22 an dem Bild angebracht ist, das Symbol 22 unter Verwendung einer vorbestimmten Einrichtung aus dem Bild entfernen. In Abhängigkeit von dem Typ des Symbols 22 ist beim Durchführen eines Lernens unter Verwendung des durch das Symbol 22 markierten Bilds als der Trainingsdaten die Wahrscheinlichkeit des Lernens eines Ziels, an dem ein Symbol 22 mit dem Wert NG angebracht ist, hoch. Daraus resultiert, dass ein Bild, an dem das Symbol 22 nicht angebracht ist, falsch bestimmt werden kann. Weil mit anderen Worten in der tatsächlichen Prüfungsphase das Symbol 22 nicht an dem Prüfziel 12 markiert wird, sollte ein nicht markiertes Bild als Trainingsdaten gelernt werden. Wenn also das Symbol 22 in dem Bild vorhanden ist, sollte ein Bild, das durch das Entfernen des Symbols 22 aus dem Bild (= Symbol 22 nicht aufgenommen) erhalten wird, als das Trainingsbild in den Trainingsdaten verwendet werden. Eine derartige Entfernung des Symbols 22 kann durch die Erzeugungseinheit 44 der Maschinelles-Lernen-Vorrichtung 40 durchgeführt werden.
  • In Schritt S3-6 verwendet die Erzeugungseinheit 44 der Maschinelles-Lernen-Vorrichtung 40 dieses Bild als ein Trainingsbild und als Trainingsdaten zusammen mit dem mit diesem Bild assoziierten Etikett. Mit anderen Worten wird das aus einem Etikett und einem Trainingsbild bestehende Paar zu den bestehenden Trainingsdaten hinzugefügt. Das hinzugefügte Trainingsbild und das Etikett desselben werden in der Speichereinheit 33 gespeichert. Und wenn eine Vielzahl von Prüfpositionen aufgenommen werden, wird eine Vielzahl von Paaren von Trainingsdaten hinzugefügt.
  • (Maschinelles Lernen)
  • Wenn eine ausreichende Anzahl von Paaren von Trainingsbildern und Etiketten für das Lernen (Trainingsdaten) erzeugt wurde, kann das Lernen mit den Trainingsdaten als der Eingabe und dem Etikett als Lerndaten durchgeführt werden. Die Maschinelles-Lernen-Vorrichtung 40 kann als eine das maschinelle Lernen durchführende Vorrichtung das Lernen auf herkömmliche Weise durchführen. Die Konfiguration der Maschinelles-Lernen-Vorrichtung 40 wurde bereits in 2 gezeigt. Die bereits zu einem Lernen fortgeschrittene Lerneinheit 46 kann ein sequentielles Lernen durchführen. Wenn in dieser Ausführungsform das Lernen der Lerneinheit 36 abgeschlossen ist, kann die Lerneinheit 46 für die Prüfung verwendet werden. Mit anderen Worten kann nach Abschluss des Lernens (Lernmodus) der weiter oben beschriebene Bestimmungsmodus verwendet werden.
  • Die Prüfvorrichtung 10 dieser Ausführungsform kann die Lerneinheit 46 nach dem Lernen dazu veranlassen, eine Bestimmung von OK (kein Defekt) / NG (weist einen Defekt auf) veranlassen, wenn sie ein neues Bild (ein in der Prüfung aufgenommenes Bild) über die Bildeingabeeinheit 42 eingibt. Außerdem kann ein Betrieb zum Erhalten der Wahrscheinlichkeit eines Defekts und zum Erhalten der Defektposition durchgeführt werden. In Abhängigkeit davon, was als die Lerndaten (Etikett) für das Lernen verwendet wird, ändert sich auch die Ausgabe. In dem oben beschriebenen Beispiel werden OK/NG als Etiketten verwendet, wobei in diesem Fall die Lerneinheit 46 OK/NG ausgibt. Wenn die Wahrscheinlichkeit eines Defekts oder die Position eines Defekts als die Lerndaten verwendet wird, gibt die Lerneinheit 46 die Wahrscheinlichkeit eines Defekts oder die Position des Defekts aus. Es ist zu beachten, dass das aus dem Lernen resultierende Lernmodell auch durch die Lerneinheit 46 einer anderen Maschinelles-Lernen-Vorrichtung 40 verwendet werden kann. Mit anderen Worten ist die das Lernen durchführende Lerneinheit 46 nur eine mögliche Vorrichtung und kann das Ergebnis des Lernens auch mit einer andere Maschinelles-Lernen-Vorrichtung 40 geteilt werden.
  • (Entfernen des Symbols (Marke))
  • In dem oben beschriebenen Beispiel von 3 wird das Symbol 22 (Marke) in Schritt S3-5 entfernt, wobei verschiedene Methoden für das Entfernen des Symbols 22 angewendet werden können. Im Folgenden werden mehrere Methoden für das Entfernen des Symbols 22 aus einem Bild erläutert.
  • (Methode 1)
  • Wenn die Markierung durch das Malen eines Rechtecks wie in 4 vorgesehen wird, kann ein Lernbild durch das Ausschneiden nur des Inneren des Symbols 22 erzeugt werden. Dieser Aspekt ist in 9 gezeigt. Diese Verarbeitung wird in Schritt S3-5 durch die weiter oben genannte Erzeugungseinheit 44 durchgeführt. Das Auswählen eines durch eine bestimmte Grenze (hier das Symbol 22) umgebenen Bereichs, sodass die Grenze (Symbol 22) nicht enthalten ist, ist ein bekannter Typ von Bildverarbeitung. Es reicht also aus, wenn die Erzeugungseinheit 44 eine derartige Bildverarbeitung für das Erzeugen des Trainingsbilds durchführt.
  • (Methode 2)
  • Ein Bild kann durch das Austauschen von Pixeln eines Teils des Symbols 22 durch Informationen von peripheren Pixeln desselben (Ersetzung durch periphere Pixel) als das Trainingsbild erzeugt werden. Dieser Aspekt ist in 10 gezeigt. Diese Verarbeitung wird durch die weiter oben genannte Erzeugungseinheit 44 in Schritt S3-5 durchgeführt. Das Beseitigen durch Austauschen einer bestimmten Grenze (hier das Symbol 22) durch die peripheren Pixel dieser Grenze ist ein bekannter Typ von Bildverarbeitung. Es reicht also aus, wenn die Erzeugungseinheit 44 eine derartige Bildverarbeitung für das Erzeugen eines Trainingsbilds durchführt. Ob es sich um einen Bereich des Symbols 22 handelt oder nicht, kann anhand der Form, Farbe usw. bestimmt werden.
  • (Methode 3)
  • Eine Markierung kann unter Verwendung einer speziellen Farbe vorgenommen werden, die nur sichtbar ist, wenn Licht mit einer spezifischen Wellenlänge darauf einfällt. Es wird hier ein Beispiel beschrieben, in dem eine Markierung unter Verwendung einer Farbe vorgenommen wird, die nur sichtbar ist, wenn ultraviolette Strahlen darauf einfallen (eine Fluoreszenz emittiert wird). Es wird ein Beispiel beschrieben, in dem diese Farbe in sichtbarem Licht transparent ist (in natürlichem Licht nicht sichtbar (transparent) ist). Die ultravioletten Strahlen in dieser Ausführungsform sind ein bevorzugtes Beispiel für Licht mit einer Wellenlänge, bei der das Symbol 22 gemäß den Ansprüchen sichtbar ist. Bei einem anderen Typ von Farbe kann Licht mit einer anderen Wellenlänge verwendet werden. Das sichtbare Licht in dieser Ausführungsform ist ein bevorzugtes Beispiel für Licht mit einer Wellenlänge, bei der das Symbol 22 gemäß den Ansprüchen nicht gesehen werden kann. Bei einem anderen Typ von Farbe kann Licht mit einer anderen Wellenlänge verwendet werden. Wenn in diesem Fall ein Bild aufgenommen wird, wird die Aufnahme unter sichtbarem Licht durchgeführt und wird die Aufnahme anschließend unter ultraviolettem Licht durchgeführt. Bei der Aufnahme unter sichtbarem Licht wird ein Bild wie in 11A erhalten, in dem nur ein Defekt reflektiert wird. Bei der Aufnahme unter ultraviolettem Licht dagegen wird ein Bild wie in 11B erhalten, in dem nur das Symbol 22 reflektiert wird. Es wird hier angenommen, dass das Prüfziel 12 ein Ziel ohne eine Position ist, sodass es unter ultravioletten Strahlen luminesziert. Deshalb kann die Erfassung des Symbols 22 durch das mit ultravioletten Strahlen bestrahlte Bild (11B) durchgeführt werden und kann das mit sichtbarem Licht bestrahlte Bild (11A) als ein Trainingsbild verwendet werden. Eine derartige Verarbeitung kann durch eine das Licht 15 manuell einstellende Person durchgeführt werden. Die Prüfvorrichtung 10 kann das Licht 15 steuern und nacheinander die Bilder aufnehmen. Wenn eine derartige Methode angewendet werden kann, kann die Markierung durch das Überlagern des Symbols 22 über den Defekt 20 vorgenommen werden und können Informationen wie etwa die Position und die Form des Defekts wie in 12 gezeigt zuverlässiger ausgedrückt (realisiert) werden. In 12 wird das Symbol 22 in Überlappung mit dem Defekt 20 markiert.
  • (Methode 4)
  • In Schritt S3-5 von 3 wird das Trainingsbild durch das Entfernen des Symbols 22 erzeugt, wobei jedoch auch eine Methode verwendet werden kann, die das Vorhandensein des Symbols 22 während des Lernens berücksichtigt, ohne das Symbol 22 aus dem Lernbild zu entfernen. Zuerst wird das Bild mit dem darin gelassenen Symbol 22 als das Trainingsbild verwendet. Ein Beispiel für ein derartiges Trainingsbild ist in 13A gezeigt. Weil das Vorhandensein des Symbols 22 an die Lerneinheit 36 vermittelt wird, wird ein nur das Symbol 22 enthaltendes Maskenbild erzeugt. Wenn das Symbol 22 aus dem Bild erfasst wird, wird ein Maskenbild erzeugt, das nur Pixelwerte des Teils des Symbols 22 als 1 definiert und andere Pixelwerte als 0 definiert. Ein derartiges Maskenbild ist in 13B gezeigt. Während des Lernens kann die Lerneinheit 46 unter Berücksichtigung des Vorhandenseins des Symbols 22 lernen, indem auch ein Maskenbild ( 13B) zu der Lerneinheit 46 zusammen mit dem Trainingsbild (13A) eingegeben wird. Bei dieser Konfiguration muss das Symbol 22 auch an dem keinen Defekt aufweisenden Erfassungsziel 12 angebracht werden und müssen Daten mit dem Etikett OK in die Lerneinheit 46 eingegeben werden. Bei dieser Konfiguration kann NG unter Umständen nicht unmittelbar bestimmt werden, auch wenn das Symbol 22 angebracht ist.
  • Im Folgenden werden die Unterschiede zwischen dem Patentdokument 2 und dieser Ausführungsform beschrieben, In dieser Ausführungsform wird wie weiter oben genannt die Anbringungsposition des Symbols 22 in der Spezifikation der Defektposition des Trainingsbilds verwendet. Im Gegensatz dazu macht das Patentdokument 2 keine Angaben zu der Markierung des Symbols 22 für ein derartiges Trainingsbild. Weiterhin wird in dieser Ausführungsform wie weiter oben genannt eine Verarbeitung durchgeführt, die die Anbringungsposition der Symbole 22 aus dem Bild entfernt. Eine derartige Bildverarbeitung für das Entfernen eines Symbol 22 wird in dem Patentdokument 2 nicht angegeben.
  • Vorstehend wurden Ausführungsformen der Erfindung im Detail beschrieben, wobei die hier beschriebenen Ausführungsformen jedoch lediglich beispielhaft sind. Der Erfindungsumfang ist nicht auf die hier beschriebenen Ausführungsformen beschränkt. Und die hier beschriebenen Ausführungsformen können auf verschiedene Weise geändert werden, ohne dass deshalb der durch die folgenden Ansprüche definierte Erfindungsumfang verlassen wird.
  • Bezugszeichenliste
    • 10
    Prüfvorrichtung
    12
    Prüfziel
    14
    visueller Sensor
    15
    Licht
    16
    Werkbank
    20
    Defekt
    22
    Symbol (Marke)
    24
    Bild
    33
    Speichereinheit
    40
    Maschinelles-Lernen-Vorrichtung
    42
    Bildeingabeeinheit
    44
    Erzeugungseinheit
    46
    Lerneinheit
    50
    Roboter
    52
    Hand
    54
    Robotersteuereinrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 200914357 [0007]
    • JP H05196444 [0007]

Claims (14)

  1. Maschinelles-Lernen-Vorrichtung (40) zum Erzeugen von Trainingsdaten für die Verwendung in einem maschinellen Lernen, wobei die Maschinelles-Lernen-Vorrichtung umfasst: eine Bildeingabeeinheit (42), die ein durch das Aufnehmen eines Prüfziels (12) erhaltenes Bild, an dem ein einen Defekt angebendes Symbol markiert ist, eingibt, und eine Erzeugungseinheit (44), die die Trainingsdaten basierend auf dem eingegebenen Bild erzeugt, wobei die Erzeugungseinheit (44): Trainingsdaten erzeugt, die aus einem Trainingsbild, das das Bild wie eingegeben ist, und einem Etikett, das einen keinen Defekt angebenden Wert OK aufweist, bestehen, wenn das Symbol nicht in dem eingegebenen Bild enthalten ist, und Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild und einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  2. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 1, wobei die Erzeugungseinheit (44) Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einer durch das Symbol angegebenen Position eines Defekts und einem Etikett, das den Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  3. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 1, wobei das den Defekt angebende Symbol in Abhängigkeit von dem Typ des Defekts ein anderes Symbol ist, und wobei die Erstellungseinheit (44) Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einem durch das Symbol angegebenen Typ von Defekt und einem Etikett, das den Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  4. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 3, wobei ein Kratzer, ein Flecken oder ein Span des Prüfziels (12) als Typen von Defekt vorgesehen sind.
  5. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 3, wobei das andere Symbol ein Symbol mit einer anderen reflexiven optischen Wellenlänge als ein weiteres Symbol ist.
  6. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 1, wobei die Erstellungseinheit (44): ein Trainingsbild durch das Entfernen des Symbols aus einem basierend auf dem eingegebenen Bild erzeugten Bild erzeugt, wenn das Symbol in dem eingegebenen Bild enthalten ist, und die Trainingsdaten erzeugt, die aus dem derartig erzeugten Trainingsbild und einem den Wert NG aufweisenden Etikett bestehen.
  7. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 6, wobei die Erzeugungseinheit (44) ein Trainingsbild durch das Ausschneiden nur des Inneren eines durch das Symbol angegebenen Bereichs aus dem eingegebenen Bild erzeugt, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  8. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 6, wobei die Erzeugungseinheit (44) ein Trainingsbild durch das Ersetzen von Pixeln des Symbols aus dem eingegebenen Bild durch periphere Pixel des Symbols erzeugt, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  9. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 1, wobei die Erzeugungseinheit (44) Trainingsdaten erzeugt, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, und einem Maskenbild, das das Symbol maskiert, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
  10. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 9, wobei das Maskenbild ein Bild ist, das Pixel des Symbols als 1 und andere Pixel als diejenigen des Symbols als 0 setzt.
  11. Maschinelles-Lernen-Vorrichtung (40) nach Anspruch 1, wobei die Bildeingabeeinheit (42) ein durch das Aufnehmen eines Prüfziels (12), an dem ein einen Defekt angebendes Symbol markiert ist, in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei der das Symbol sichtbar ist, erhaltenes Markierungsbild und ein durch das Aufnehmen in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei der das Symbol nicht sichtbar ist, erhaltenes Trainingsbild eingibt, und wobei die Erzeugungseinheit (44) Trainingsdaten, die aus von dem Markierungsbild erhaltenen Informationen eines Defekts und dem Trainingsbild bestehen, erzeugt.
  12. Prüfvorrichtung (10), umfassend: die Maschinelles-Lernen-Vorrichtung (40) gemäß einem der Ansprüche 1 bis 11, und eine Speichereinheit (33), die durch die Maschinelles-Lernen-Vorrichtung (40) erzeugte Trainingsdaten speichert, wobei die Maschinelles-Lernen-Vorrichtung (40) einer Lerneinheit (46) enthält, die aus durch die Speichereinheit (33) gespeicherten Trainingsdaten gelernt hat und ein Bestimmungsergebnis eines Defekts basierend auf einem durch die Bildeingabeeinheit (42) eingegebenen Bild des Prüfziels (12) ausgibt.
  13. Prüfvorrichtung (10), umfassend: die Maschinelles-Lernen-Vorrichtung (40) gemäß Anspruch 11, und eine Speichereinheit (33), die durch die Maschinelles-Lernen-Vorrichtung (40) erzeugte Trainingsdaten speichert, wobei die Bildeingabeeinheit (42) ein durch das Aufnehmen in einem Beleuchtungszustand mit Licht einer Wellenlänge, bei welcher das einen Defekt angebende Symbol nicht sichtbar ist, erhaltenes Bild eingibt, und die Maschinelles-Lernen-Vorrichtung (40) eine Lerneinheit (46) enthält, die aus durch die Speichereinrichtung (33) gespeicherten Trainingsdaten gelernt hat und ein Bestimmungsergebnis eines Defekts basierend auf einem Bild des durch die Bildeingabeeinheit (42) eingegebenen Prüfziels (12) ausgibt.
  14. Maschinelles-Lernen-Verfahren zum Erzeugen von Trainingsdaten für die Verwendung in einem maschinellen Lernen, wobei das Verfahren die folgenden Schritte umfasst: Eingeben eines durch das Aufnehmen eines Prüfziels (12), an dem ein einen Defekt angebendes Symbol markiert ist, erhaltenen Bilds, und Erzeugen der Trainingsdaten basierend auf dem eingegebenen Bild, wobei der Schritt zum Erzeugen der Trainingsdaten umfasst: einen Schritt zum Erzeugen von Trainingsdaten, die aus einem Trainingsbild, das das Bild wie eingegeben ist, und einem Etikett, das einen keinen Defekt angebenden Wert OK aufweist, bestehen, wenn das Symbol nicht in dem eingegebenen Bild enthalten ist, und einen Schritt zum Erzeugen von Trainingsdaten, die aus einem basierend auf dem eingegebenen Bild erzeugten Trainingsbild, und einem Etikett, das einen einen Defekt angebenden Wert NG aufweist, bestehen, wenn das Symbol in dem eingegebenen Bild enthalten ist.
DE102018211212.6A 2017-07-10 2018-07-06 Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren Pending DE102018211212A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017134508A JP6705777B2 (ja) 2017-07-10 2017-07-10 機械学習装置、検査装置及び機械学習方法
JP2017-134508 2017-07-10

Publications (1)

Publication Number Publication Date
DE102018211212A1 true DE102018211212A1 (de) 2019-01-10

Family

ID=64666481

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018211212.6A Pending DE102018211212A1 (de) 2017-07-10 2018-07-06 Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren

Country Status (4)

Country Link
US (1) US10891520B2 (de)
JP (1) JP6705777B2 (de)
CN (1) CN109242820B (de)
DE (1) DE102018211212A1 (de)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259732A1 (de) * 2019-06-27 2020-12-30 MTU Aero Engines AG Verfahren zum erkennen von fehlstellen in einem bauteil, verfahren zum trainieren eines maschinellen lernsystems, computerprogrammprodukt, computerlesbares medium und system zum erkennen von fehlstellen in einem bauteil
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US12020800B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. System and method for using AI/ML and telemedicine to integrate rehabilitation for a plurality of comorbid conditions
US12020799B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. Rowing machines, systems including rowing machines, and methods for using rowing machines to perform treatment plans for rehabilitation
US12029940B2 (en) 2019-11-06 2024-07-09 Rom Technologies, Inc. Single sensor wearable device for monitoring joint extension and flexion

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101992239B1 (ko) * 2017-08-24 2019-06-25 주식회사 수아랩 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US10810501B1 (en) 2017-10-20 2020-10-20 Amazon Technologies, Inc. Automated pre-flight and in-flight testing of aerial vehicles by machine learning
US10346969B1 (en) * 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
US11240441B2 (en) * 2018-03-05 2022-02-01 Omron Corporation Method, device, system and computer-program product for setting lighting condition and storage medium
JP6863946B2 (ja) * 2018-10-31 2021-04-21 ファナック株式会社 画像処理装置
US11468553B2 (en) * 2018-11-02 2022-10-11 Kla Corporation System and method for determining type and size of defects on blank reticles
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
JP7262232B2 (ja) * 2019-01-29 2023-04-21 東京エレクトロン株式会社 画像認識システムおよび画像認識方法
US10611497B1 (en) 2019-02-18 2020-04-07 Amazon Technologies, Inc. Determining vehicle integrity using vibrometric signatures
JP7095798B2 (ja) * 2019-03-08 2022-07-05 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
CN111861966B (zh) * 2019-04-18 2023-10-27 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110006923B (zh) * 2019-04-23 2021-07-09 Oppo广东移动通信有限公司 一种标牌品质检测方法、装置及计算机可读存储介质
WO2020251172A1 (ko) * 2019-06-10 2020-12-17 주식회사 수아랩 데이터 생성 방법
US11361423B2 (en) 2019-06-17 2022-06-14 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
WO2021010269A1 (ja) * 2019-07-18 2021-01-21 三菱電機株式会社 検査装置、検査方法及びプログラム
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
US20210150127A1 (en) 2019-11-19 2021-05-20 Salesforce.Com, Inc. Systems and methods including a rapid pictorial demonstration (rpd) controller for creating and editing interactive demonstration presentations for an envisioned software product
JP2021099261A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 付着物判定方法、付着物判定装置、及び付着物判定プログラム
KR102268909B1 (ko) * 2020-04-10 2021-06-23 코그넥스코오포레이션 Edge Field와 딥러닝 기반 검사 방법
DE112021002846T5 (de) 2020-05-18 2023-03-02 Fanuc Corporation Maschinenlernvorrichtung und Maschinenlernsystem
CN114092382A (zh) * 2020-08-07 2022-02-25 富泰华工业（深圳）有限公司 产品瑕疵标记装置和方法
CN112505049B (zh) * 2020-10-14 2021-08-03 上海互觉科技有限公司 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
US20220198632A1 (en) * 2020-12-23 2022-06-23 Transportation Ip Holdings, Llc Systems and methods for equipment inspection
JP2022099535A (ja) * 2020-12-23 2022-07-05 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
JPWO2022215559A1 (de) * 2021-04-05 2022-10-13
JP7036477B1 (ja) * 2021-10-18 2022-03-15 株式会社Anamorphosis Networks 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
JP7076167B1 (ja) 2021-12-01 2022-05-27 Ｅａｇｌｙｓ株式会社 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム
FR3133924A1 (fr) * 2022-03-24 2023-09-29 Psa Automobiles Sa Procede de detection et de marquage de defauts sur une piece et installation pour la mise en œuvre du procede
EP4325206A1 (de) 2022-08-18 2024-02-21 F. Hoffmann-La Roche AG Verfahren zur kompensation defekter partitionen eines mikrofluidischen chips

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196444A (ja) 1991-03-28 1993-08-06 Mazda Motor Corp ワークの表面状態監視方法
JP2009014357A (ja) 2007-06-29 2009-01-22 Kanto Auto Works Ltd 表面検査装置及び表面検査方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2629880B2 (ja) * 1988-09-09 1997-07-16 オムロン株式会社 基板検査装置における教示方法
JP3051001B2 (ja) * 1992-11-13 2000-06-12 株式会社東芝 欠陥検査装置
DE19730885A1 (de) * 1997-07-18 1999-01-21 Audi Ag Verfahren zur automatischen Erkennung von Oberflächenfehlern an Rohkarosserien und Vorrichtung zur Durchführung des Verfahrens
JPH11153551A (ja) * 1997-11-20 1999-06-08 Nkk Corp 金属板の疵手入範囲教示装置
US6272018B1 (en) * 1999-02-11 2001-08-07 Original Solutions Inc. Method for the verification of the polarity and presence of components on a printed circuit board
JP2001331784A (ja) * 2000-05-18 2001-11-30 Hitachi Ltd 欠陥分類方法及びその装置
US6975754B2 (en) * 2000-10-26 2005-12-13 Hitachi, Ltd. Circuit pattern inspection method and apparatus
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
US6998616B2 (en) * 2002-08-28 2006-02-14 Wayne State University System and method for acoustic chaos and sonic infrared imaging
JP4163654B2 (ja) * 2004-04-19 2008-10-08 株式会社日立ハイテクノロジーズ 走査電子顕微鏡
US7462809B2 (en) * 2004-10-22 2008-12-09 Northrop Grumman Corporation Spectral filter system for infrared imaging of substrates through coatings
JP4750444B2 (ja) * 2005-03-24 2011-08-17 株式会社日立ハイテクノロジーズ 外観検査方法及びその装置
WO2007073879A1 (de) * 2005-12-16 2007-07-05 Automation W + R Gmbh Verfahren und anornung zur erkennung von materialfehlern, in werkstücken
WO2007074770A1 (ja) * 2005-12-26 2007-07-05 Nikon Corporation 画像解析によって欠陥検査を行う欠陥検査装置
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5217781B2 (ja) * 2008-08-26 2013-06-19 セイコーエプソン株式会社 検査装置および検査システム
JP5287178B2 (ja) * 2008-11-27 2013-09-11 富士通セミコンダクター株式会社 欠陥レビュー装置
JP5340717B2 (ja) * 2008-12-16 2013-11-13 株式会社イシダ Ｘ線検査装置
JP5201416B2 (ja) 2009-04-13 2013-06-05 株式会社アイティーティー 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP5479782B2 (ja) * 2009-06-02 2014-04-23 株式会社日立ハイテクノロジーズ 欠陥画像処理装置、欠陥画像処理方法、半導体欠陥分類装置および半導体欠陥分類方法
KR20150023907A (ko) * 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
JP5958160B2 (ja) * 2012-08-03 2016-07-27 オムロン株式会社 部品実装検査のための検査基準情報の設定方法および検査基準情報の作成システム
EP2731051A1 (de) * 2012-11-07 2014-05-14 bioMérieux Biologisches Abbildungsverfahren
CA2892576C (en) * 2012-11-28 2020-12-15 Saint-Gobain Glass France Method and system for identifying defects in glass
EP2832908B1 (de) * 2013-07-30 2023-01-04 Stäubli Sargans AG Überwachungsvorrichtung für eine Webmaschine, Webmaschine und Verfahren zur Überwachung
JP2016058465A (ja) * 2014-09-08 2016-04-21 株式会社日立ハイテクノロジーズ 欠陥定量化方法、欠陥定量化装置、および欠陥評価値表示装置
WO2017027748A1 (en) * 2015-08-12 2017-02-16 Kla-Tencor Corporation Determining a position of a defect in an electron beam image
US20170069075A1 (en) * 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP2017102865A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170212829A1 (en) * 2016-01-21 2017-07-27 American Software Safety Reliability Company Deep Learning Source Code Analyzer and Repairer
CN106127780B (zh) * 2016-06-28 2019-01-18 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196444A (ja) 1991-03-28 1993-08-06 Mazda Motor Corp ワークの表面状態監視方法
JP2009014357A (ja) 2007-06-29 2009-01-22 Kanto Auto Works Ltd 表面検査装置及び表面検査方法

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904202B2 (en) 2019-03-11 2024-02-20 Rom Technolgies, Inc. Monitoring joint extension and flexion using a sensor device securable to an upper and lower limb
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11541274B2 (en) 2019-03-11 2023-01-03 Rom Technologies, Inc. System, method and apparatus for electrically actuated pedal for an exercise or rehabilitation machine
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
WO2020259732A1 (de) * 2019-06-27 2020-12-30 MTU Aero Engines AG Verfahren zum erkennen von fehlstellen in einem bauteil, verfahren zum trainieren eines maschinellen lernsystems, computerprogrammprodukt, computerlesbares medium und system zum erkennen von fehlstellen in einem bauteil
DE102019209408A1 (de) * 2019-06-27 2020-12-31 MTU Aero Engines AG Verfahren zum Erkennen von Fehlstellen in einem Bauteil, Verfahren zum Trainieren eines maschinellen Lernsystems, Computerprogrammprodukt, computerlesbares Medium und System zum Erkennen von Fehlstellen in einem Bauteil
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US12020799B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. Rowing machines, systems including rowing machines, and methods for using rowing machines to perform treatment plans for rehabilitation
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US12020800B2 (en) 2019-10-03 2024-06-25 Rom Technologies, Inc. System and method for using AI/ML and telemedicine to integrate rehabilitation for a plurality of comorbid conditions
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11978559B2 (en) 2019-10-03 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US12029940B2 (en) 2019-11-06 2024-07-09 Rom Technologies, Inc. Single sensor wearable device for monitoring joint extension and flexion
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session

Also Published As

Publication number Publication date
US20190012579A1 (en) 2019-01-10
JP6705777B2 (ja) 2020-06-03
US10891520B2 (en) 2021-01-12
CN109242820A (zh) 2019-01-18
CN109242820B (zh) 2021-06-08
JP2019015654A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
DE102018211212A1 (de) Maschinelles-Lernen-Vorrichtung, Prüfvorrichtung und Maschinelles-Lernen-Verfahren
EP0425595B1 (de) Verfahren und anordnung zur automatischen optischen klassifikation von pflanzen
DE102021114967A1 (de) Werkstückinspektions- und fehlererkennungssystem, das die anzahl der fehlerbilder für das training angibt
EP3807838A2 (de) Materialprüfung von optischen prüflingen
DE102009011270B4 (de) Verfahren und Vorrichtung zur Qualitätssicherung von zumindest partiell lichtdurchlässigen Hohlkörpern
EP3948688B1 (de) Training für künstliche neuronale netzwerke mit besserer ausnutzung der lern-datensätze
DE102020126554A1 (de) Mikroskopiesystem und verfahren zum überprüfen von eingabedaten
US20220222855A1 (en) System and method for determining whether a camera component is damaged
DE102017219244B4 (de) Inspektionsbedingungsbestimmungseinrichtung, inspektionsbedingungsbestimmungsverfahren und inspektionsbedingungsbestimmungsprogramm
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
EP2581731B1 (de) Vorrichtung und Verfahren zum Erkennen von Anomalien an Instrumenten
DE102018009836A1 (de) Objektprüfsystem und Objektprüfverfahren
DE102006014345B3 (de) Sichtprüfgerät und Verfahren zu dessen Konfiguration
DE19801400A1 (de) Verfahren und Anordnung zur automatischen Erkennung, Eigenschaftsbeschreibung und Interpretation von Hep-2-Zellmustern
EP3726425A1 (de) Verfahren zum physikalischen, insbesondere zum optischen, erfassen zumindest eines nutzungsobjektes
DE102007039983A1 (de) Verfahren zum Messen von Positionen von Strukturen auf einem Substrat mit einer Koordinaten Messmaschine
DE202005015485U1 (de) Mess- und/oder Einstellgerät mit einer Bilderfassungseinheit
KR101704690B1 (ko) 세포 분석 장치 및 방법
DE112020006158T5 (de) Bild-gut/fehlerhaft-Lernvorrichtung, Bild-gut/fehlerhaft-Bestimmungsvorrichtung und Bild-Lesevorrichtung
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
EP1789909B1 (de) Verfahren zur zuordnung eines digitalen bildes in eine klasse eines klassifizierungssystems
EP3754544A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren
DE112007001115T5 (de) Automatisiertes Programmiersystem, das eine textfreie Nutzerschnittstelle verwendet
DE102022102219A1 (de) Mikroskopiesystem und Verfahren zum Bearbeiten von Übersichtsbildern
DE3636823C1 (en) Method and arrangement for automatic image analysis

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009660000

Ipc: G06V0030194000

R016 Response to examination communication