DE102020102853A1 - Fehlerprüfvorrichtung und -verfahren - Google Patents

Fehlerprüfvorrichtung und -verfahren Download PDF

Info

Publication number
DE102020102853A1
DE102020102853A1 DE102020102853.9A DE102020102853A DE102020102853A1 DE 102020102853 A1 DE102020102853 A1 DE 102020102853A1 DE 102020102853 A DE102020102853 A DE 102020102853A DE 102020102853 A1 DE102020102853 A1 DE 102020102853A1
Authority
DE
Germany
Prior art keywords
defect
unit
image
dimension
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102020102853.9A
Other languages
English (en)
Inventor
Yuusuke Oota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102020102853A1 publication Critical patent/DE102020102853A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Eine Fehlerprüfvorrichtung (1) gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Einheit zum tiefgehenden Lernen (31), der ein durch Fotografieren einer Oberfläche eines Prüfgegenstands (O) erzieltes Bild zugeführt wird, und wobei die Einheit zum tiefgehenden Lernen auf der Grundlage des zugeführten Bildes das Fehlen oder Vorhandensein eines Fehlers auf einer Oberfläche des Prüfgegenstands (O) beurteilt und eine als der Fehler beurteilte Stelle spezifiziert; eine Abmessung-Messeinheit (32), die eine Abmessung des Fehlers auf der Grundlage des Bildes der durch die Einheit zum tiefgehenden Lernen (31) spezifizierten Stelle misst; und eine Fehlerklassifizierungseinheit (33), die den Fehler auf der Grundlage der durch die Abmessung-Messeinheit (32) gemessenen Abmessung des Fehlers klassifiziert.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenlegung betrifft eine Fehlerprüfvorrichtung und ein Fehlerprüfverfahren.
  • STAND DER TECHNIK
  • Eine automatische Prüfvorrichtung, die einen Prüfgegenstand unter Verwendung von tiefgehendem Lernen (Deep Learning) in einem neuronalen Netzwerk prüft, ist bekannt (siehe zum Beispiel PTL 1).
  • PTL 1 Japanische nicht geprüfte Patentanmeldung, Veröffentlichung Nummer 2003-76991
  • KURZDARSTELLUNG DER ERFINDUNG
  • TECHNISCHES PROBLEM
  • Wenn Fehler an einem Prüfgegenstand unter Verwendung von tiefgehendem Lernen zu prüfen sind, wird die Qualität auf der Grundlage von durch tiefgehendes Lernen definierten abstrakten Fehlermerkmalen beurteilt. Daher wird spezifische Information, wie beispielsweise Längen und Tiefen von Fehlern, nicht verwendet.
  • Bei einigen Prüffällen ist es jedoch wünschenswert, zum Beispiel Fehler mit einer Länge oder Tiefe kleiner als ein vorgegebener Wert zu reparieren und Prüfgegenstände mit Fehlern mit einer Länge oder Tiefe gleich oder größer als der vorgegebene Wert zu ersetzen.
  • Wenn eine solche Beurteilung durch tiefgehendes Lernen durchgeführt wird, müssen Abmessungen, wie beispielsweise Längen und Tiefen, einer großen Anzahl von Fehlern in der Lernphase gemessen werden, und eine solche Lernaufgabe ist kompliziert und zeitaufwändig.
  • Es ist daher wünschenswert, Prüfgegenstände entsprechend vorgesehener Abmessungen zu klassifizieren, ohne Zeit zum Lernen zu verbrauchen.
  • LÖSUNG DES PROBLEMS
  • Gemäß einem Aspekt der vorliegenden Offenlegung wird eine Fehlerprüfvorrichtung bereitgestellt, umfassend: eine Einheit zum tiefgehenden Lernen (Deep-Learning-Einheit), der ein durch Fotografieren einer Oberfläche eines Prüfgegenstands erzieltes Bild zugeführt wird, wobei die Einheit zum tiefgehenden Lernen auf der Grundlage des zugeführten Bildes das Fehlen oder Vorhandensein eines Fehlers auf einer Oberfläche des Prüfgegenstands beurteilt und eine als der Fehler beurteilte Stelle spezifiziert; eine Abmessung-Messeinheit, die eine Abmessung des Fehlers auf der Grundlage des Bildes der durch die Einheit zum tiefgehenden Lernen spezifizierten Stelle misst; und eine Fehlerklassifizierungseinheit, die den Fehler auf der Grundlage der durch die Abmessung-Messeinheit gemessenen Abmessung des Fehlers klassifiziert.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Fehlerprüfvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist eine Darstellung eines Beispiels eines durch eine Kamera in der in 1 dargestellten Fehlerprüfvorrichtung erzielten Bildes.
    • 3 ist eine Darstellung, die rechteckige Bereiche darstellt, die als Fehler beurteilte Stellen umfassen, und die durch Zuführen des in 2 dargestellten Bildes einer Einheit zum tiefgehenden Lernen erzielt werden.
    • 4 stellt ein Beispielbild dar, auf dem die Wahrscheinlichkeit, dass der in 3 gezeigte rechteckige Bereich A einen Fehler aufweist, in Graustufen ausgedrückt ist.
    • 5 stellt ein Beispielbild dar, auf dem die Wahrscheinlichkeit, dass der in 3 gezeigte rechteckige Bereich B einen Fehler aufweist, in Graustufen ausgedrückt ist.
    • 6 stellt ein Beispielbild eines durch Binarisieren des in 4 gezeigten Bildes erzielten binären Bildes dar.
    • 7 stellt ein Beispielbild eines durch Binarisieren des in 5 gezeigten Bildes erzielten binären Bildes dar.
    • 8 ist ein ein Fehlerprüfverfahren angebendes Flussdiagramm, das die in 1 gezeigte Fehlerprüfvorrichtung verwendet.
    • 9 ist ein Blockdiagramm, das eine Modifikation der in 1 gezeigten Fehlerprüfvorrichtung angibt.
  • BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Eine Fehlerprüfvorrichtung 1 und ein Fehlerprüfverfahren gemäß einer Ausführungsform der vorliegenden Erfindung werden nunmehr mit Bezug auf die Zeichnungen beschrieben.
  • Wie es in 1 gezeigt ist, ist die Fehlerprüfvorrichtung 1 gemäß dieser Ausführungsform mit einer Kamera 2, die einen Prüfgegenstand O fotografiert, und einer Bildverarbeitungseinrichtung 3 ausgerüstet, die ein durch die Kamera 2 erzieltes Bild (zweidimensionales Bild) P1 verarbeitet.
  • Die Bildverarbeitungseinrichtung 3 ist mit einer Einheit zum tiefgehenden Lernen (Deep-Learning-Einheit) 31, der das durch die Kamera 2 erzielte Bild P1 zugeführt wird; einer Fehlerabmessung-Messeinheit (Abmessung-Messeinheit) 32, die eine Abmessung eines Fehlers von dem aus der Einheit zum tiefgehenden Lernen 31 ausgegebenen Bild berechnet; einer Fehlerklassifizierungseinheit 33, die den Fehler auf der Grundlage, ob die berechnete Abmessung des Fehlers einen vorgegebenen Schwellenwert übersteigt oder nicht, klassifiziert; und einer Speichereinheit 34 ausgerüstet, die den Fehler und die Abmessung in Zusammenhang miteinander speichert. Die Einheit zum tiefgehenden Lernen 31, die Fehlerabmessung-Messeinheit 32 und die Fehlerklassifizierungseinheit 33 werden jeweils durch einen Prozessor gebildet, und die Speichereinheit 34 wird durch einen Speicher gebildet.
  • Der Einheit zum tiefgehenden Lernen 31 werden im Voraus erzielte Bilder P1 einer großen Anzahl von Prüfgegenständen O und die Information über Fehlen oder Vorhandensein von Fehlern auf den Bildern P1 zugeführt, um tiefgehendes Lernen zu ermöglichen und ein Lernmodell zu konfigurieren.
  • Da die zum Konfigurieren des Lernmodells verwendete Information lediglich Information darüber sein muss, ob es Mängel gibt oder nicht, ist es nicht notwendig, die Abmessungen der Fehler zu messen, und somit ist die Lernaufgabe einfach.
  • Wenn ein durch die Kamera 2 erzieltes Bild P1 dem Lernmodell in der Einheit zum tiefgehenden Lernen 31 zugeführt ist, wird das Fehlen oder Vorhandensein von Fehlern auf der Oberfläche des Prüfgegenstands O auf dem Bild P1 beurteilt. 2 stellt ein durch die Kamera 2 erzieltes Bild P1 dar, und 3 stellt das durch die Kamera 2 erzielte Bild P1 dar, auf dem Informationen über Positionen von rechteckigen Bereichen A und B, die als Fehler beurteilte Stellen enthalten, durch die Einheit zum tiefgehenden Lernen 31 spezifiziert werden.
  • Die Einheit zum tiefgehenden Lernen 31 gibt dann Information über die Wahrscheinlichkeit eines Fehlers für jedes Pixel in den rechteckigen Bereichen A und B aus.
  • Wie es in 4 und 5 gezeigt ist, werden Bilder P2 und P3, in welchen Abschnitte mit hohen Wahrscheinlichkeiten für Fehler in hellen Schattierungen und Abschnitte mit niedrigen Wahrscheinlichkeiten für Fehler in dunklen Schattierungen angegeben sind, in der Fehlerabmessung-Messeinheit 32 auf der Grundlage der von der Einheit zum tiefgehenden Lernen 31 ausgegebenen Information erzeugt. Darüber hinaus werden die erzeugten Bilder P2 und P3 durch einen vorgegebenen Schwellenwert binarisiert, um binäre Bilder P4 und P5 zu erzeugen, wie es in 6 und 7 gezeigt ist.
  • Für jeden weißen Pixelbereich in den erzeugten binären Bildern P4 und P5 berechnet die Fehlerabmessung-Messeinheit 32 zumindest die Länge in der Längsrichtung, die Länge in einer Richtung senkrecht zu der Längsrichtung, den Umfang und/oder die Fläche.
  • Die Fehlerklassifizierungseinheit 33 vergleicht den Schwellenwert und die in der Fehlerabmessung-Messeinheit 32 berechnete Abmessung. Der Schwellenwert ist ein Wert zur Beurteilung, ob zum Beispiel eine Reparatur möglich ist oder ob eine Auslieferung möglich ist, und kann nach Wunsch eingestellt werden.
  • Mit anderen Worten können Fehler, die Längen, Umfänge oder Flächen kleiner als ein vorgegebener Schwellenwert aufweisen als reparierbar oder akzeptabel für die Auslieferung klassifiziert werden, und Fehler, die Längen, Umfänge, oder Flächen gleich oder größer als der Schwellenwert aufweisen, als irreparabel oder inakzeptabel für die Auslieferung klassifiziert werden.
  • Die Speichereinheit 34 speichert die klassifizierten Fehler in Zusammenhang mit den durch die Fehlerabmessung-Messeinheit 32 gemessenen Abmessungen.
  • Ein Fehlerprüfverfahren, das die Fehlerprüfvorrichtung 1 der vorliegenden Ausführungsform mit den vorstehend beschriebenen Merkmalen verwendet, wird nunmehr beschrieben.
  • Wie es in 8 dargestellt ist, beinhaltet das Fehlerprüfverfahren dieser Ausführungsform Fotografieren eines Prüfgegenstands O mit der Kamera 2, um ein Bild P1 zu erzielen (Schritt S1) und Zuführen des erzielten Bildes P1 der Einheit zum tiefgehenden Lernen 31. In der Einheit zum tiefgehenden Lernen 31 wird das Fehlen oder Vorhandensein von Fehlern auf der Oberfläche des Prüfgegenstands O beurteilt (Schritt S2) und werden die als Mängel beurteilten Stellen spezifiziert (Schritt S3).
  • Wenn es keine als Fehler beurteilten Stellen in Schritt S2 gibt, ist das Verfahren beendet. Wenn es als Fehler beurteilte Stellen gibt, wird Information hinsichtlich der Wahrscheinlichkeit, dass ein Fehler vorhanden ist, an die Fehlerabmessung-Messeinheit 32 für jeden diese Stellen enthaltenden rechteckigen Bereich A und B ausgegeben und wird für jeden Fehler mindestens die Länge, Umfang und/oder Fläche in der Fehlerabmessung-Messeinheit 32 berechnet (Schritt S4).
  • Als nächstes wird in der Fehlerklassifizierungseinheit 33 beurteilt, ob die berechnete Abmessung gleich oder größer als ein Schwellenwert ist (Schritt S5) und werden die Fehler in zwei Kategorien X und Y klassifiziert, die jeweils Fehlern entsprechen, die eine Abmessung kleiner als der Schwellenwert aufweisen, und Fehlern, die eine Abmessung gleich oder größer als der Schwellenwert aufweisen (Schritte S6 und S7). Die klassifizierten Fehler werden in der Speichereinheit 34 in Zusammenhang mit den in der Fehlerabmessung-Messeinheit 32 gemessenen Abmessungen der Fehler gespeichert (Schritt 8).
  • Wenn nicht alle rechteckigen Bereiche A und B klassifiziert sind, werden die Schritte von Schritt S4 an für die nächsten rechteckigen Bereiche A und B wiederholt (Schritt S9).
  • Gemäß der Fehlerprüfvorrichtung 1 und dem Fehlerprüfverfahren dieser Ausführungsform wird das Fehlen oder Vorhandensein von Fehlern durch tiefgehendes Lernen von einem durch die Kamera 2 erzielten Bild P1 beurteilt. Somit kann das Fehlen oder Vorhandensein von Fehlern beurteilt werden und können deren Stellen spezifiziert werden, ohne klar zu definieren, was Fehler sind. Mit anderen Worten kann gemäß tiefgehendem Lernen leicht erlernt werden, ob der betreffende Gegenstand ein Fehler oder anhaftende Materie, wie beispielsweise Staub, ist und kann das Fehlen oder Vorhandensein von Fehlern auf dem zugeführten Bild P1 leicht beurteilt werden.
  • Die als Fehler beurteilten Stellen werden Bildverarbeitung in der Fehlerabmessung-Messeinheit 32 unterzogen, um mindestens die Länge, Umfang und/oder Fläche für jeden Fehler zu messen. Somit können die Fehler leicht in der Fehlerklassifizierungseinheit 33 klassifiziert werden.
  • In diesem Fall wird eine beim tiefgehenden Lernen als Fehler beurteilte Stelle gemessen, um die Abmessung des Fehlers durch Bildverarbeitung zu ermitteln. Somit besteht ein Vorteil darin, dass es keine Notwendigkeit gibt, Abmessungen von Fehlern bei der Lernphase von tiefgehendem Lernen zu verwenden, und somit kann Lernen leicht und in kurzer Zeit abgeschlossen werden. Ein weiterer Vorteil besteht darin, dass, wenn die gemessene Abmessung kleiner als ein Schwellenwert ist und wenn zum Beispiel der Fehler als akzeptabel zur Auslieferung klassifiziert ist, der Fehler und die Abmessung in Zusammenhang miteinander in der Speichereinheit 34 gespeichert werden und somit die Rückverfolgbarkeit nach Auslieferung verbessert werden kann. Noch ein weiterer Vorteil besteht darin, dass der Auslieferungsstandard durch Ändern des Schwellenwerts der Abmessung des Fehlers eingestellt werden kann, ohne das Lernen erneut durchführen zu müssen.
  • Bei dieser Ausführungsform wird in der Fehlerabmessung-Messeinheit 32 mindestens die Länge, Umfang und/oder Fläche eines Fehlers berechnet und wird die berechnete Abmessung mit einem Schwellenwert verglichen, um den Fehler in zwei Kategorien X und Y zu klassifizieren. Alternativ können sowohl die Länge, der Umfang als auch die Fläche eines Fehlers berechnet werden, und der Fehler kann in zwei Kategorien X und Y auf der Grundlage, ob einer dieser Werte gleich oder größer als der entsprechende Schwellenwert ist, klassifiziert werden. In Abhängigkeit der Arten von Abmessungen, die die Schwellenwerte überschreiten, kann der Fehler in drei oder mehr Kategorien klassifiziert werden.
  • Bei dieser Ausführungsform werden Bilder P2 und P3, die von der Information erzeugt werden, die die Wahrscheinlichkeit, dass ein von der Einheit zum tiefgehenden Lernen 31 ausgegebener Fehler besteht, binarisiert und werden die Abmessungen von diesen binären Bilder gemessen; alternativ kann das durch die Kamera 2 erzielte Bild P1 direkt Bildverarbeitung unterzogen werden, um den Rand eines Fehlers zu extrahieren und mindestens die Länge, Umfang und/oder Fläche des Fehlers unter Verwendung des extrahierten Randes zu berechnen.
  • Bei dieser Ausführungsform nimmt die Kamera 2 ein zweidimensionales Bild P1 auf; alternativ kann die Kamera 2 ein zweidimensionales Bild und ein dreidimensionales Bild aufnehmen. Wie es in 9 dargestellt ist, kann die Kamera 2 sowohl mit einer zweidimensionalen Kamera 21 als auch mit einer dreidimensionalen Kamera 22 ausgerüstet sein, um ein zweidimensionales Bild und ein dreidimensionales Bild durch Wechseln zwischen diesen Kameras aufzunehmen. Alternativ können zwei zweidimensionale Bilder mit unterschiedlichen Parallaxen erzielt werden, um ein dreidimensionales Bild aus den zweidimensionalen Bildern zu bilden.
  • In einem solchen Fall können, wie es in 9 dargestellt ist, in der Einheit zum tiefgehenden Lernen 31 die zweidimensionalen Bilder verwendet werden, um das Fehlen oder Vorhandensein eines Fehlers zu beurteilen und die Stelle des Fehlers zu spezifizieren, und kann in der Fehlerabmessung-Messeinheit 32 das dreidimensionale Bild verwendet werden, um die Tiefe des Fehlers zu messen. Auf diese Weise kann die Tiefe als Standard zur Klassifizierung des Fehlers verwendet werden. In der Fehlerabmessung-Messeinheit 32 können sowohl ein zweidimensionales Bild als auch ein dreidimensionales Bild verwendet werden, um mindestens die Länge, Umfang, Fläche und/oder Tiefe des Fehlers zu verwenden, um den Fehler zu klassifizieren.
  • Bei dieser Ausführungsform kann ein Bewegungsmechanismus vorgesehen sein, der die dreidimensionale Kamera 22 bewegt. Auf diese Weise kann die dreidimensionale Kamera 22 durch den Bewegungsmechanismus auf der Grundlage der Positionsinformation des aus dem zweidimensionalen Bild erzielten Fehlers bewegt werden und somit kann eine dreidimensionale Kamera 22 mit einem engeren Sichtfeld (zum Beispiel eine Kamera mit höherer Auflösung aber mit einem engeren Sichtfeld) als die zweidimensionale Kamera 21 verwendet werden.
  • Bezugszeichenliste
    • 1
    Fehlerprüfvorrichtung
    31
    Einheit zum tiefgehenden Lernen (Deep-Learning-Einheit)
    32
    Fehlerabmessung-Messeinheit (Abmessung-Messeinheit)
    33
    Fehlerklassifizierungseinheit
    34
    Speichereinheit
    O
    Prüfgegenstand
    P1
    Bild (zweidimensionales Bild)

Claims (6)

  1. Fehlerprüfvorrichtung, umfassend: eine Einheit zum tiefgehenden Lernen, der ein durch Fotografieren einer Oberfläche eines Prüfgegenstands erzieltes Bild zugeführt wird, wobei die Einheit zum tiefgehenden Lernen auf der Grundlage des zugeführten Bildes das Fehlen oder Vorhandensein eines Fehlers auf einer Oberfläche des Prüfgegenstands beurteilt und eine als der Fehler beurteilte Stelle spezifiziert; eine Abmessung-Messeinheit, die eine Abmessung des Fehlers auf der Grundlage des Bildes der durch die Einheit zum tiefgehenden Lernen spezifizierten Stelle misst; und eine Fehlerklassifizierungseinheit, die den Fehler auf der Grundlage der durch die Abmessung-Messeinheit gemessenen Abmessung des Fehlers klassifiziert.
  2. Fehlerprüfvorrichtung nach Anspruch 1, wobei die Abmessung-Messeinheit mindestens eine Länge und/oder eine Fläche des Fehlers in einem binären Bild misst, das durch Binarisieren von beim Beurteilen des Fehlens oder Vorhandenseins des Fehlers in der Einheit zum tiefgehenden Lernen verwendeten Pixelwerten erzielt wird.
  3. Fehlerprüfvorrichtung nach Anspruch 1, wobei die Abmessung-Messeinheit einen Rand des Fehlers aus den Bilddaten extrahiert und mindestens eine Länge und/oder eine Fläche des Fehlers auf der Grundlage des extrahierten Randes misst.
  4. Fehlerprüfvorrichtung nach Anspruch 1, wobei das zugeführte Bild ein zweidimensionales Bild und ein dreidimensionales Bild umfasst; auf der Grundlage des zweidimensionalen Bildes die Einheit zum tiefgehenden Lernen das Fehlen oder Vorhandensein des Fehlers auf der Oberfläche des Prüfgegenstands beurteilt und die als der Fehler beurteilte Stelle spezifiziert, und auf der Grundlage des dreidimensionalen Bildes die Abmessung-Messeinheit eine Tiefe des Fehlers an der durch die Einheit zum tiefgehenden Lernen spezifizierten Stelle misst.
  5. Fehlerprüfvorrichtung nach einem der Ansprüche 1 bis 4, ferner umfassend eine Speichereinheit, die den durch die Fehlerklassifizierungseinheit klassifizierten Fehler in Zusammenhang mit der durch die Abmessung-Messeinheit gemessenen Abmessung des Fehlers speichert.
  6. Fehlerprüfverfahren, umfassend: Zuführen eines durch Fotografieren einer Oberfläche eines Prüfgegenstands erzielten Bildes; Beurteilen des Fehlens oder Vorhandenseins eines Fehlers auf der Oberfläche des Prüfgegenstands und Spezifizieren der als der Fehler beurteilten Stelle auf der Grundlage des zugeführten Bildes; Messen einer Abmessung des Fehlers auf der Grundlage des Bildes der spezifizierten Stelle; und Klassifizieren des Fehlers auf der Grundlage der gemessenen Abmessung des Fehlers.
DE102020102853.9A 2019-02-14 2020-02-05 Fehlerprüfvorrichtung und -verfahren Withdrawn DE102020102853A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019024369A JP2020134187A (ja) 2019-02-14 2019-02-14 傷検査装置および方法
JP2019-024369 2019-02-14

Publications (1)

Publication Number Publication Date
DE102020102853A1 true DE102020102853A1 (de) 2020-08-20

Family

ID=71843897

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020102853.9A Withdrawn DE102020102853A1 (de) 2019-02-14 2020-02-05 Fehlerprüfvorrichtung und -verfahren

Country Status (4)

Country Link
US (1) US20200265575A1 (de)
JP (1) JP2020134187A (de)
CN (1) CN111563873A (de)
DE (1) DE102020102853A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7356962B2 (ja) 2020-12-15 2023-10-05 株式会社神戸製鋼所 機械学習装置および該方法ならびに膜厚測定装置および該方法
KR102494890B1 (ko) * 2020-12-17 2023-02-06 텔스타홈멜 주식회사 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템
JP2022187282A (ja) * 2021-06-07 2022-12-19 日本電気硝子株式会社 検査装置、検査方法、ガラス板の製造方法、および検査プログラム
CN113758932B (zh) * 2021-09-07 2022-11-25 广东奥普特科技股份有限公司 一种基于深度学习的锂电池膈膜缺陷视觉检测方法
CN114529507B (zh) * 2021-12-30 2024-05-17 广西慧云信息技术有限公司 一种基于视觉Transformer的刨花板表面缺陷检测方法

Also Published As

Publication number Publication date
CN111563873A (zh) 2020-08-21
US20200265575A1 (en) 2020-08-20
JP2020134187A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
DE102020102853A1 (de) Fehlerprüfvorrichtung und -verfahren
DE3937950C2 (de)
DE60100594T2 (de) Verfahren und system zur aufspürung von fehlern auf einer gedruckten leiterplatte
DE10000364B4 (de) Merkmalbasierende Feststellung von Fehlern
DE10392705B4 (de) Verfahren zur Musterprüfung
DE60225354T2 (de) Verfahren und vorrichtung zur herstellung eines referenzbildes bei einer prüfvorrichtung für glasflaschen
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
DE69822608T2 (de) Binarisierungsverfahren in einem Zeichenerkennungssystem
DE4201514A1 (de) Verfahren zur ermittlung von fehlerhaften stellen
DE112013000627T5 (de) Segmentierung zur Waferinspektion
DE19641414A1 (de) Verfahren und Vorrichtung zur Einteilung eines Fehlers auf einem Halbleiterwafer
DE102008015499A1 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
DE112015004721T5 (de) Defektdetektion unter verwendung von strukturinformation
DE102012107287A1 (de) System und Verfahren zum identifizieren von Fehlern in einem Material
DE202009013865U1 (de) Konzept zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen und Konzept zum Inspizieren einer Freiformoberfläche
DE2831297C2 (de) Automatische Prüfanordnung zum Untersuchen von Zeichenstrukturen
EP2605212A2 (de) Verfahren und Vorrichtung zum optischen Prüfen von bei der Herstellung und/oder Verpackung von Zigaretten zu prüfenden Objekten
DE69913274T2 (de) Automatische Überwachung der Druckqualität durch ein elastisches Modell
DE102016100132B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE102010032241A1 (de) Verfahren und Vorrichtung zum Erkennen von Oberflächenfehlern
DE102016100134A1 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE60026774T2 (de) Defekterkennung mit Verwendung von Grauwertsignaturen
DE3303841C2 (de) Musterprüfeinrichtung und Verfahren zum Prüfen eines Musters
DE102023113166A1 (de) Bildverarbeitungsverfahren und -einrichtung
DE102016123194A1 (de) Messvorrichtung, Messverfahren und Produktfertigungsverfagren

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee