DE112020006158T5

DE112020006158T5 - Bild-gut/fehlerhaft-Lernvorrichtung, Bild-gut/fehlerhaft-Bestimmungsvorrichtung und Bild-Lesevorrichtung

Info

Publication number: DE112020006158T5
Application number: DE112020006158.2T
Authority: DE
Inventors: Naoyuki Tokida; Atsushi Ito; Yoshihiro Amamori; Kosaku Yamagata; Kazuya Makabe
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-12-16
Filing date: 2020-12-15
Publication date: 2022-09-29
Also published as: JP7069436B2; CN114787615A; US20230025299A1; JPWO2021125154A1; WO2021125154A1

Abstract

Eine bildbasierte Akzeptanzlernvorrichtung (2) lernt ein Ergebnis der Bestimmung, ob ein planares Objekt (1) akzeptabel oder fehlerhaft ist, basierend auf mindestens einer dreidimensionalen Form oder einer Farbe auf einer Oberfläche des planaren Objekts (1). Die Vorrichtung (2) umfasst einen Oberflächenbild-Empfänger (3), um eingegebene zweidimensionale Daten zu empfangen, die Bilddaten der Oberfläche des planaren Objekts (1) sind, einen Bestimmungsinformationsempfänger (4), um eingegebene Bestimmungsinformationen zu empfangen, die das Ergebnis der Bestimmung anzeigen, ob das planare Objekt (1), das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Lerner (5), um auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformationen einen relevanten Bereich (1R) zu lernen, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält. Der relevante Bereich ist eine Grundlage für die Bestimmungsinformation.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine bildbasierte Akzeptanzlernvorrichtung, die Ergebnisse der Bestimmung lernt, ob ein planares Objekt, das ein Untersuchungsziel ist, akzeptabel oder fehlerhaft ist, eine bildbasierte Akzeptanzbestimmungsvorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet, und eine Bildlesevorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet.
Stand der Technik
Eine bekannte Bildlesevorrichtung untersucht planare Objekte (Blattobjekte), wie z.B. Filme, die Untersuchungsziele sind, auf Fehlere, wie z.B. Kratzer (siehe z.B. Patentliteratur 1 und 2). Beispiele für planare Objekte sind neben Filmen auch Drucksachen, Folien, Stoffe, Tafeln, Etiketten, Halbleiterwafer und Substrate (Masken). Die in den Patentschriften 1 und 2 beschriebenen Bildlesevorrichtungen untersuchen einen Film, der sichtbares Licht durchlässt, indem sie sowohl das vom Film reflektierte als auch das durch den Film transmittierte Licht verwenden. Die Bildlesevorrichtung, die ein planares Objekt untersucht, kann je nach Bedarf entweder das reflektierte Licht oder das transmittierte Licht verwenden. Ein planares Objekt kann auch mit unsichtbarem Licht wie Infrarot- oder Ultraviolettstrahlen untersucht werden. Sowohl sichtbares als auch unsichtbares Licht kann zur Untersuchung eines planaren Objekts verwendet werden. Beispiele für eine Bildlesevorrichtung zur Untersuchung eines planaren Objekts umfassen eine Vorrichtung, die ein Lernmodell verwendet, das durch maschinelles Lernen, z.B. mit Hilfe von künstlicher Intelligenz (KI), gewonnen wurde (siehe z.B. Patentliteratur 3 und 4).
Patentliteratur 3 beschreibt die Unterscheidung von Fehlertypen von Untersuchungsobjekten auf der Grundlage von akkumulierten Daten von maschinellen Lernergebnissen über die Unterscheidung von Fehlertypen, die in Liniensegmentierungsbildern enthalten sind, die in Leuchtdichte und Aussehen für aufgenommene Bilder desselben Untersuchungsobjekts variieren. Patentliteratur 4 beschreibt die Bestimmung, ob ein Untersuchungszielobjekt mit AI akzeptabel oder fehlerhaft ist, basierend auf der Übereinstimmungsrate, die aus dem Vergleich zwischen den von AI erzeugten Basisdaten und Bildern des Untersuchungszielobjekts gewonnen wird.
Eine andere Bildlesevorrichtung zur Untersuchung eines Untersuchungsobjekts bestimmt den Erfolg oder Misserfolg der Untersuchung auf der Grundlage von Informationen, die auf ein einem Untersuchungsobjekt manuell zugewiesenes Etikett hinweisen, anstatt die Akzeptanz eines physischen Etiketts zu bestimmen (siehe z.B. Patentliteratur 5). Patentliteratur 5 beschreibt einen Lerner, der durch maschinelles Lernen unter Verwendung von Daten aufgenommener Bilder die Beziehung zwischen den Bilddaten und dem Untersuchungserfolg oder -misserfolg eines Objekts als Untersuchungsziel erlernt.
Beispiele für eine Bildlesevorrichtung zur Untersuchung eines Untersuchungsobjekts umfassen eine Vorrichtung mit einem Zeilensensor, wie z.B. ein aufrechtes unvergrößertes optisches System (siehe z.B. Patentliteratur 1, 2 und 3) und eine Vorrichtung mit einem Bereichssensor, wie z.B. ein optisches Verkleinerungssystem oder eine Kamera (siehe z.B. Patentliteratur 4 und 5). Andere Beispiele für eine Bildlesevorrichtung zur Untersuchung eines Untersuchungsobjekts umfassen eine Vorrichtung mit einer eingebauten oder externen Lichtquelle, die ein Untersuchungsobjekt beleuchtet.
Zitierliste
Patentliteratur

Patentliteratur 1: Ungeprüfte japanische Patentanmeldung Veröffentlichung Nr. 2015-68670
Patentliteratur 2: Ungeprüfte japanische Patentanmeldung Veröffentlichung Nr. 2019-23587
Patentliteratur 3: Ungeprüfte japanische Patentanmeldung Veröffentlichung Nr. 2019-23588
Patentliteratur 4: Ungeprüfte japanische Patentanmeldung Veröffentlichung Nr. 2019-56591
Patentliteratur 5: Ungeprüfte japanische Patentanmeldung Veröffentlichung Nr. 2019-184305

Zusammenfassung der Erfindung
Technisches Problem
Bekanntes maschinelles Lernen kann jedoch ein Lernmodell enthalten, das auf Bestimmungsinformationen trainiert wird, ohne dass eine Grundlage für die Bestimmung klar dargestellt wird.
Als Antwort auf das obige Problem besteht ein Ziel der vorliegenden Offenbarung darin, eine bildbasierte Akzeptanzlernvorrichtung bereitzustellen, die Ergebnisse der Bestimmung lernt, ob ein planares Objekt akzeptabel oder fehlerhaft ist, basierend auf mindestens einer dreidimensionalen Form oder einer Farbe auf der Oberfläche des planaren Objekts, eine bildbasierte Akzeptanzbestimmungsvorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet, und eine Bildlesevorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet.
Lösung des Problems
Eine bildbasierte Akzeptanzlernvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist eine Vorrichtung, die ein Ergebnis der Bestimmung, ob ein planares Objekt akzeptabel oder fehlerhaft ist, auf der Grundlage von mindestens einer dreidimensionalen Form oder einer Farbe auf einer Oberfläche des planaren Objekts lernt. Die Vorrichtung umfasst einen Oberflächenbild-Empfänger, um eingegebene zweidimensionale Daten zu empfangen, die Bilddaten der Oberfläche des planaren Objekts sind, einen Bestimmungsinformationsempfänger, um eingegebene Bestimmungsinformationen zu empfangen, die das Ergebnis der Bestimmung anzeigen, ob das planare Objekt, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Lerner, um basierend auf den zweidimensionalen Daten und den Bestimmungsinformationen einen relevanten Bereich zu lernen, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält. Der relevante Bereich ist eine Basis für die Bestimmungsinformation.
Eine bildbasierte Akzeptanzbestimmungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist eine Vorrichtung zur Verwendung eines Lernergebnisses von einer bildbasierten Akzeptanzlernvorrichtung, die ein Ergebnis der Bestimmung lernt, ob ein planares Objekt akzeptabel oder fehlerhaft ist, basierend auf mindestens einer dreidimensionalen Form oder einer Farbe auf einer Oberfläche des planaren Objekts. Die bildbasierte Akzeptanzlernvorrichtung umfasst einen Oberflächenbild-Empfänger, um eingegebene zweidimensionale Daten zu empfangen, die Bilddaten der Oberfläche des planaren Objekts sind, einen Bestimmungsinformationsempfänger, um eingegebene Bestimmungsinformationen zu empfangen, die das Ergebnis der Bestimmung anzeigen, ob das planare Objekt, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Lerner, um auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformationen einen relevanten Bereich zu lernen, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält. Der relevante Bereich ist eine Grundlage für die Bestimmungsinformation. Die bildbasierte Akzeptanzbestimmungsvorrichtung enthält einen Neues-Oberflächenbild-Empfänger, um eingegebene neue zweidimensionale Daten zu empfangen, die durch erneutes Lesen des planaren Objekts erhalten werden, und einen bildbasierten Akzeptanzbestimmer, um zu bestimmen, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, auf der Grundlage des Lernergebnisses akzeptabel oder fehlerhaft ist.
Eine Bildlesevorrichtung gemäß einem Aspekt der vorliegenden Offenbarung enthält eine bildbasierte Akzeptanzbestimmungsvorrichtung, um ein Lernergebnis von einer bildbasierten Akzeptanzlernvorrichtung zu verwenden, die ein Ergebnis der Bestimmung, ob ein planares Objekt akzeptabel oder fehlerhaft ist, auf der Grundlage von mindestens einer dreidimensionalen Form oder einer Farbe auf einer Oberfläche des planaren Objekts lernt. Die bildbasierte Akzeptanzlernvorrichtung umfasst einen Oberflächenbild-Empfänger, um eingegebene zweidimensionale Daten zu empfangen, die Bilddaten der Oberfläche des planaren Objekts sind, einen Bestimmungsinformationsempfänger, um eingegebene Bestimmungsinformationen zu empfangen, die das Ergebnis der Bestimmung anzeigen, ob das planare Objekt, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Lerner, um auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformationen einen relevanten Bereich zu lernen, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält. Der relevante Bereich ist eine Grundlage für die Bestimmungsinformation. Die bildbasierte Akzeptanzbestimmungsvorrichtung enthält einen Neues-Oberflächenbild-Empfänger, um eingegebene neue zweidimensionale Daten zu empfangen, die durch erneutes Lesen des planaren Objekts erhalten wurden, und einen bildbasierten Akzeptanzbestimmer, um zu bestimmen, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, auf der Grundlage des Lernergebnisses akzeptabel oder fehlerhaft ist. Die Lesevorrichtung umfasst eine optische Vorrichtung, um Licht von dem planaren Objekt zu konvergieren, und einen Sensor, um das von der optischen Vorrichtung konvergierte Licht zu empfangen und die neuen zweidimensionalen Daten zu erzeugen.
Vorteilhafte Wirkungen der Erfindung
Die bildbasierte Akzeptanzlernvorrichtung gemäß dem obigen Aspekt der vorliegenden Offenbarung erwirbt ein Lernergebnis (Lernmodell), das durch Lernen eines relevanten Bereichs erhalten wird, der die dreidimensionale Form oder die Farbe auf der Oberfläche eines planaren Objekts enthält. Auf diese Weise können die bildbasierte Akzeptanzbestimmungsvorrichtung und die Bildlesevorrichtung eine Bestimmung an Bilddaten der Oberfläche des planaren Objekts mit einem klaren Basisteil für Bestimmungsinformationen durchführen oder diese lesen.
Figurenliste

1A und 1B sind funktionale Blockdiagramme einer bildbasierten Akzeptanzlernvorrichtung gemäß Ausführungsform 1;
2 ist ein Flussdiagramm einer Operation der bildbasierten Akzeptanzlernvorrichtung (bildbasiertes Akzeptanzlernverfahren) gemäß Ausführungsform 1;
3A, 3B und 3C sind jeweils ein Diagramm von Beispielbilddaten, die in die bildbasierte Akzeptanzlernvorrichtung gemäß Ausführungsform 1 eingegeben werden (neue Bilddaten, die in eine Bildlesevorrichtung gemäß Ausführungsform 1 eingegeben werden);
4 ist ein funktionelles Blockdiagramm einer bildbasierten Akzeptanzbestimmungsvorrichtung und der Bildlesevorrichtung gemäß Ausführungsform 1;
5 ist ein Flussdiagramm von Operationen der bildbasierten Akzeptanzlernvorrichtung, der bildbasierten Akzeptanzbestimmungsvorrichtung und der Bildlesevorrichtung gemäß Ausführungsform 1 (bildbasiertes Akzeptanzbestimmungsverfahren); und
6A und 6B sind funktionale Blockdiagramme der Bildlesevorrichtung gemäß Ausführungsform 1.

Beschreibung der Ausführungsformen
Ausführungsform 1
Eine bildbasierte Akzeptanzlernvorrichtung gemäß Ausführungsform 1, eine bildbasierte Akzeptanzbestimmungsvorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet, und eine Bildlesevorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet (eine bildbasierte Akzeptanzbestimmungsvorrichtung gemäß Ausführungsform 1 und eine Bildlesevorrichtung gemäß Ausführungsform 1), werden nun unter Bezugnahme auf die 1A bis 6B beschrieben. In den Zeichnungen bezeichnen dieselben Referenzzeichen dieselben oder entsprechende Elemente, und solche Elemente werden nicht im Detail beschrieben. In den 3A bis 3C ist ein planares Objekt 1, das als Prüfobjekt dient, beispielsweise ein Blatt wie ein Druckerzeugnis, ein Film, eine Folie, ein Stoff, eines Panels, ein Etikett (Drucketikett), ein Halbleiterwafer oder ein Substrat (Maske). Mehrere planare Objekte 1 werden hier beim Lernen verwendet. So können mit fortschreitendem Lernen auch unbekannte planare Objekte 1 in neu aufgenommenen Bildern (später beschrieben) als akzeptabel oder fehlerhaft bestimmt werden.
In 1A, 1B und 3A bis 3C lernt eine bildbasierte Akzeptanzlernvorrichtung 2 die Ergebnisse der Bestimmung, ob das planare Objekt 1 akzeptabel oder fehlerhaft ist, basierend auf mindestens einer der dreidimensionalen Form oder der Farbe auf der Oberfläche des planaren Objekts 1 (zum Beispiel basierend auf einem Bild, das die dreidimensionale Form oder die Farbe enthält), und baut ein Lernmodell auf (bildbasierte Akzeptanzlernvorrichtung gemäß Ausführungsform 1). Die dreidimensionale Form der Oberfläche des planaren Objekts 1 ist die dreidimensionale Form des planaren Objekts 1 in der Dickenrichtung auf der Oberfläche des planaren Objekts 1. Die dreidimensionale Form der Oberfläche des planaren Objekts 1 variiert beispielsweise in Dickenrichtung des planaren Objekts 1 oder weist Unebenheiten auf, die auf der Oberfläche des planaren Objekts 1 in Dickenrichtung des planaren Objekts 1 ausgebildet sind. Die Farbe auf der Oberfläche des planaren Objekts 1 zeigt z.B. eine Veränderung der Farbe auf der Oberfläche des planaren Objekts 1 an. Die Farbe kann mit drei Attributen dargestellt werden, einschließlich Farbton, Helligkeit und Chroma.
In 1A, 1B und 3A bis 3C empfängt ein Oberflächenbild-Empfänger 3 eingegebene zweidimensionale Daten, die Bilddaten der Oberfläche des planaren Objekts 1 sind. Bei den eingegebenen Bilddaten handelt es sich zum Beispiel um Daten eines aufgenommenen Bildes der Oberfläche des planaren Objekts 1. In den 1A und 3A bis 3C empfängt ein Bestimmungsinformationsempfänger 4 eine eingegebene Bestimmungsinformation, die die Ergebnisse der Bestimmung anzeigt, ob das planare Objekt 1, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist. Ein Lerner 5 lernt, basierend auf den zweidimensionalen Daten und der Bestimmungsinformation, einen relevanten Bereich 1R, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält, die eine Basis für die Bestimmungsinformation sind.
In einigen Ausführungsformen empfängt der Oberflächenbild-Empfänger 3 eingegebene zweidimensionale Daten (Bilddaten), die als dreidimensionale Form mindestens ein auf der Oberfläche gebildetes gewebtes Muster, eine auf der Oberfläche gebildete Unebenheit oder ein auf der Oberfläche montiertes Bauteil aufweisen, oder die als Farbe mindestens ein Zeichenmuster (Farbmuster) auf der Oberfläche, eine Transparenz oder ein gedrucktes Verdrahtungsmuster aufweisen. Die zweidimensionalen Daten (Bilddaten) werden durch Erfassen eines Bildes von mindestens einem auf der Oberfläche gebildeten gewebten Muster, einer auf der Oberfläche gebildeten Unebenheit oder einem auf der Oberfläche montierten Bauteil als dreidimensionale Form oder durch Erfassen eines Bildes von mindestens einem Zeichenmuster (Farbmuster) auf der Oberfläche, einer Transparenz oder einem gedruckten Verdrahtungsmuster als Farbe erfasst. Das gewebte Muster, das die dreidimensionale Form ist, zeigt ein Muster an, das durch Sticken oder Färben auf dem Stoff eines Textils durch Änderungen der Fäden, die das Material wie einen Stoff oder die Art des Webens bilden, erhalten wird. Das gewebte Muster oder die Unebenheiten, die sich auf der dreidimensionalen Oberfläche bilden, können die Glätte der Oberfläche bestimmen. Das Muster des Druckerzeugnisses, d.h. das gewebte Muster, entspricht einem Zeichenmuster (Farbmuster) auf der Oberfläche als Farbe.
Die auf der Oberfläche gebildeten Unebenheiten umfassen Vertiefungen und Durchbrüche auf der Oberfläche von z.B. Druckerzeugnissen, einem Film, einer Folie, einem Stoff, eines Panels, einem Etikett (Drucketikett), einem Halbleiterwafer oder einem Substrat (Maske). Das auf der Oberfläche montierte Bauteil entspricht insbesondere einem Vorsprung, der in der auf der Oberfläche gebildeten Unebenheit enthalten ist. Genauer gesagt handelt es sich bei dem auf der Oberfläche montierten Bauteil um ein Objekt, das z.B. auf einer Drucksache, einem Film, einer Folie oder einem Stoff angebracht ist, oder um ein Bauteil, das z.B. auf eines Panels, einem Etikett (Drucketikett), einer Halbleiterscheibe oder einem Substrat (Maske) montiert ist. Das Zeichnungsmuster auf der Oberfläche als Farbe bezeichnet ein Muster auf der Oberfläche von z.B. Druckerzeugnissen, einem Film, einer Folie, einem Stoff, eines Panels, einem Etikett (Drucketikett), einem Halbleiterwafer oder einem Substrat (Maske). Ein solches Zeichenmuster kann ein Farbmuster (einschließlich eines monochromen Musters) sein. Dieses Farbmuster umfasst ein Testchart (einschließlich eines monochromen Charts) für einen Lesetest einer Bildlesevorrichtung wie z.B. eines eindimensionalen Zeilensensors oder einer Kamera (z.B. einer später beschriebenen Bildlesevorrichtung 10). Transparenz bezeichnet die Durchsichtigkeit (Sichtbarkeit oder Unsichtbarkeit) von z.B. Druckerzeugnissen, einem Film, einer Folie, einem Stoff, einer Panel oder einem Etikett (Drucketikett). Das gedruckte Verdrahtungsmuster bezeichnet ein gedrucktes Verdrahtungsmuster auf der Oberfläche von z.B. Druckerzeugnissen, einem Film, einem Panel, einem Halbleiterwafer oder einem Substrat (Maske).
Der Lerner 5 (bildbasierte Akzeptanzlernvorrichtung 2) kann maschinelles Lernen wie KI verwenden. Der Lerner 5 (bildbasierte Akzeptanzlernvorrichtung 2) baut Lernmodelle auf und akkumuliert sie. Je mehr der Lerner 5 lernt, desto genauer kann der Lerner 5 auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformationen den relevanten Bereich 1R identifizieren, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält, die eine Grundlage für die Bestimmungsinformationen sind. Genauer gesagt hat der Teil der Oberfläche, der die dreidimensionale Form oder die Farbe enthält, die verwendet wird, um die Akzeptanz in den zweidimensionalen Daten zu bestimmen, zu Beginn des Lernens einen relativ großen Bereich, der einen für die Akzeptanzbestimmung im Wesentlichen irrelevanten Teil enthält. Mit fortschreitendem Lernprozess enthält der Teil der Oberfläche, der die dreidimensionale Form oder die zur Bestimmung der Akzeptanz in den zweidimensionalen Daten verwendete Farbe enthält, keinen oder fast keinen für die Akzeptanzbestimmung im Wesentlichen irrelevanten Teil. Zum Beispiel für die dreidimensionale Form der Oberfläche, die ein auf der Oberfläche montiertes Bauteil ist, entspricht der Teil, der keinen für die Akzeptanzbestimmung im Wesentlichen irrelevanten Teil enthält, dem Bauteil (dem Bereich des Bauteils), und der Teil, der fast keinen für die Akzeptanzbestimmung im Wesentlichen irrelevanten Teil enthält, entspricht dem Bauteil und der Umgebung (Umgebungsbereich) des Bauteils.
Anders als das Spezifizieren (Eingrenzen) des relevanten Bereichs 1R mit dem Fortschritt des Lernens, kann die bildbasierte Akzeptanzlernvorrichtung 2 den relevanten Bereich 1R von Anfang an lernen. Wie in 1B gezeigt, kann der Oberflächenbild-Empfänger 3 eingegebene zweidimensionale Daten empfangen, die Informationen enthalten, die den relevanten Bereich 1R anzeigen. Obwohl nicht dargestellt, können die Informationen, die den relevanten Bereich 1R anzeigen, in die bildbasierte Akzeptanzlernvorrichtung 2 mit anderen Mitteln eingegeben werden. Zum Beispiel kann der Bestimmungsinformationsempfänger 4 eine eingegebene Bestimmungsinformation empfangen, die Informationen über den relevanten Bereich 1R enthält. Die bildbasierte Akzeptanzlernvorrichtung 2 kann einen speziellen Informationsempfänger für den relevanten Bereich enthalten, über den die Informationen, die den relevanten Bereich 1R anzeigen, in den Lerner 5 eingegeben werden. Genauer gesagt, in der in 1A gezeigten bildbasierten Akzeptanzlernvorrichtung 2 verknüpft der Lerner 5 die eingegebenen zweidimensionalen Daten mit den Bestimmungsinformationen. In der in 1B dargestellten bildbasierten Akzeptanzlernvorrichtung 2 verknüpft der Lerner 5 die eingegebenen zweidimensionalen Daten mit den Bestimmungsinformationen und mit den Informationen, die den relevanten Bereich 1R angeben. Die in 1A dargestellte bildbasierte Akzeptanzlernvorrichtung 2 entspricht der in 3 dargestellten bildbasierten Akzeptanzlernvorrichtung 2. Die in 1B dargestellte bildbasierte Akzeptanzlernvorrichtung 2 in der Struktur wie in 3 ist nicht dargestellt. Die Information, die den relevanten Bereich 1R angibt, kann jede Information sein, die die Position auf dem planaren Objekt 1 angibt, wie die Koordinaten oder der Abstand vom Rand des planaren Objekts 1.
Der Betrieb der bildbasierten Akzeptanzlernvorrichtung gemäß Ausführungsform 1 (bildbasiertes Akzeptanzlernverfahren gemäß Ausführungsform 1) wird nun unter Bezugnahme auf 2 beschrieben. In 2 ist Schritt 1 ein Prozess der Eingabe von zweidimensionalen Daten, die Bilddaten der Oberfläche des planaren Objekts 1 sind, in den Oberflächenbild-Empfänger 3. Schritt 2 ist ein Verfahren zur Eingabe von Bestimmungsinformationen in den Bestimmungsinformationsempfänger 4, die das Ergebnis der Bestimmung anzeigen, ob das planare Objekt 1, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist. Die Schritte 1 und 2 können in beliebiger Reihenfolge oder gleichzeitig durchgeführt werden. Schritt 3 ist ein Verfahren zum Trainieren des Lerners 5, um auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformationen zu lernen, dass der relevante Bereich 1R, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält, eine Basis für die Bestimmungsinformationen ist. Schritt 3 kann unter Verwendung der Informationen, die den oben beschriebenen relevanten Bereich 1R angeben, durchgeführt werden.
Der Oberflächenbild-Empfänger 3 kann eingegebene zweidimensionale Daten empfangen, bei denen es sich um Bilddaten handelt, die ein Array aus mehreren Stücken linearer eindimensionaler Daten enthalten (bei denen es sich jeweils um einen Streifen von Bilddaten handelt, der einen Teil oder eine Spalte von Bilddaten des planaren Objekts 1 darstellt). Beispielsweise erfasst ein eindimensionaler Zeilensensor (der einem Beispiel für die später beschriebene Bildlesevorrichtung 10 entspricht), der ein Leseziel (planares Objekt 1) in einer Hauptabtastrichtung parallel zu der Richtung, in der sich die linearen eindimensionalen Daten erstrecken, liest, eindimensionale Datenstücke nacheinander in einer die Hauptabtastrichtung kreuzenden Nebenabtastrichtung. Der Oberflächenbild-Empfänger kann solche zweidimensionalen Daten empfangen, die von dem eindimensionalen Linearsensor erfasst wurden. In diesem Fall kann der Lerner 5 den Teil, der den relevanten Bereich 1R enthält, für jeden Teil der eindimensionalen Daten lernen. Der Lerner 5 kann auch Bestimmungsinformationen für eine Einheit eines Teils der linearen eindimensionalen Daten, die den relevanten Bereich 1R enthalten, neu erzeugen. In einem anderen Beispiel kann der Lerner 5 neu Bestimmungsinformationen für eine Einheitsgruppe von mehreren Bilddatenstreifen erzeugen, die den relevanten Bereich 1R enthalten, wobei jeder einem Teil der endgültigen Bilddaten (zweidimensionale Daten) entspricht. Bei den mehreren Bilddatenstreifen kann es sich um kontinuierliche oder intermittierende Bilder handeln.
Anstelle von virtuellen Daten, die nur eine Lesedimension in der Hauptabtastrichtung haben, umfassen eindimensionale Daten und neue eindimensionale Daten, die von der Bildlesevorrichtung 10 (wie unten beschrieben) erfasst werden, der Einfachheit halber Streifen von Bilddaten, die eine Lesedimension in der Unterabtastrichtung eines Pixels (Sensorelement) zusätzlich zu der Lesedimension in der Hauptabtastrichtung haben. Somit variiert die Lesedimension in der Unterabtastrichtung in Abhängigkeit von der Dimension eines Pixels (Sensorelements). Mit anderen Worten: Obwohl der eindimensionale Zeilensensor die Dimension eines Pixels (Sensorelements) in der Nebenabtastrichtung zusätzlich zur Dimension in der Hauptabtastrichtung liest, wird der Sensor der Einfachheit halber als eindimensionaler Zeilensensor bezeichnet. Die Bilddatenstreifen können als zweidimensionale Daten in den Oberflächenbild-Empfänger 3 eingegeben werden, um den Lerner 5 zu trainieren, die einzelnen Eigenschaften anhand der Bilddatenstreifen zu erlernen. So können die Bilddatenstreifen hier entweder eindimensionale Daten (neue eindimensionale Daten) oder zweidimensionale Daten (neue zweidimensionale Daten) sein. Mit anderen Worten, die eindimensionalen Daten (neue eindimensionale Daten), die ein Bilddatenstreifen sind, können hier auch zweidimensionale Daten (neue zweidimensionale Daten) sein. Wie oben beschrieben, kann ein Streifen von Bilddaten ein Teil (eine Spalte) von Bilddaten des planaren Objekts 1 sein. Die oben beschriebenen mehreren Streifen von Bilddaten können ebenfalls zweidimensionale Daten sein.
In jeder der 3A bis 3C ist der relevante Bereich 1R von einer punktierten und gestrichelten Linie umgeben. Obwohl jede der 3A bis 3C einen relevanten Bereich 1R zeigt, kann das planare Objekt 1 mehrere relevante Bereiche 1R enthalten. 3A zeigt die Position des relevanten Bereichs 1R auf dem planaren Objekt 1. 3B zeigt die Position des relevanten Bereichs 1R in Bilddaten, die eine Anordnung von mehreren linearen eindimensionalen Daten enthalten. 3C zeigt einen relevanten Bereich 1R, der sich in einem eindimensionalen Datenteil im Zustand von 3B befindet. In 3B erstreckt sich der relevante Bereich 1R über vier eindimensionale Datenteile. Für den relevanten Bereich 1R in den 3B und 3C kann der Lerner 5, wie oben beschrieben, den Teil, der den relevanten Bereich 1R enthält, für jedes Stück eindimensionaler Daten leicht erlernen, und kann ferner leicht neue Bestimmungsinformationen durch eine Einheit eines Stücks der eindimensionalen Daten, die den relevanten Bereich 1R enthalten, erzeugen. Der relevante Bereich 1R in neuen zweidimensionalen Daten (neues Oberflächenbild), die später beschrieben werden, hat die gleiche Beziehung zu einem neuen planaren Objekt 1, für das neue zweidimensionale Daten (neues Oberflächenbild) erfasst werden. Zum besseren Verständnis des planaren Objekts 1 und eines Unterabtastbereichs des eindimensionalen Zeilensensors zeigen die 3B und 3C weniger eindimensionale Daten als tatsächlich vorhanden. Die Unterabtastungszone kann mehr eindimensionale Daten enthalten, obwohl sich die Anzahl der Daten je nach dem relativen Dimensionsunterschied zwischen dem planaren Objekt 1 und dem eindimensionalen Zeilensensor ändern kann.
Beispiele für akzeptable und fehlerhafte Objekte in der Bestimmungsinformation werden im Folgenden beschrieben. Bei Bilddaten von Druckerzeugnissen weisen akzeptable Objekte eine beabsichtigte Farbe im Druckerzeugnis, eine beabsichtigte Anordnung, Ausrichtung und Dimensionen im resultierenden Druck oder eine beabsichtigte Anordnung, Ausrichtung und Dimensionen in einer Referenzmarke auf, wohingegen fehlerhafte Objekte eine falsche Ausrichtung, Aussetzer, Streifen, Farbunregelmäßigkeiten oder Kratzer im Druckerzeugnis aufweisen. Bei Bilddaten von Filmen weisen akzeptable Objekte die vorgesehene Filmfarbe, die Glätte der Filmoberfläche und die Transparenz des Films auf, während fehlerhafte Objekte Kratzer, Risse, Farbunregelmäßigkeiten oder Löcher im Film aufweisen. Bei Bilddaten von Folien weisen akzeptable Objekte die beabsichtigte Folienfarbe und glatte Folienoberfläche auf, während fehlerhafte Objekte Kratzer, Risse, Farbunregelmäßigkeiten oder Löcher in der Folie aufweisen. Bei Bilddaten von Stoffen weisen akzeptable Objekte die vorgesehene Stofffarbe, die vorgesehene Ausrichtung und Größe einer Masche und die vorgesehene Glätte der Stoffoberfläche auf, während fehlerhafte Objekte Farbunregelmäßigkeiten, Aussetzer oder Flusen im Stoff aufweisen. Bei Bilddaten eines Panels (Tafel) haben akzeptable Objekte eine beabsichtigte Panelfarbe, eine beabsichtigte glatte Paneloberfläche oder die beabsichtigte Größe, Ausrichtung und Dimensionen eines Objekts (einer Komponente) auf der Panel Oberfläche, während fehlerhafte Objekte Farbunregelmäßigkeiten, Kratzer, Risse oder Löcher in dem Panel aufweisen.
Bei Bilddaten eines Etiketts (Drucketikett) haben akzeptable Objekte eine beabsichtigte Etikettenfarbe, eine beabsichtigte glatte Etikettenoberfläche oder eine eingerückte Breite, Ausrichtung und Dimensionen für den Aufdruck auf dem Etikett (einschließlich eines eindimensionalen Codes, eines zweidimensionalen Codes, einer Linie oder eines Zeichens), wohingegen fehlerhafte Objekte eine Fehlausrichtung, Aussetzer, Streifenbildung, Farbunregelmäßigkeiten oder Kratzer im Aufdruck auf dem Etikett aufweisen. Bei Bilddaten eines Halbleiterwafers haben akzeptable Objekte eine beabsichtigte Farbe auf dem Halbleiterwafer, eine beabsichtigte Oberflächenglätte des Halbleiterwafers oder die beabsichtigte Größe, Ausrichtung und Dimensionen eines Objekts (Bauteils) auf der Oberfläche des Halbleiterwafers, während fehlerhafte Objekte Farbunregelmäßigkeiten, Kratzer, Risse oder Löcher auf dem Halbleiterwafer aufweisen. Bei Bilddaten eines Substrats (Maske) weisen akzeptable Objekte eine beabsichtigte Substratfarbe, eine beabsichtigte Substratoberflächenglätte, eine beabsichtigte Position und Dimension eines Lochs im Substrat, eine beabsichtigte Anordnung, Orientierung und Dimension des Drucks auf dem Substrat (einschließlich eines eindimensionalen Codes, eines zweidimensionalen Codes, einer Linie oder eines Zeichens) auf, einen beabsichtigten Zustand des Lots auf dem Substrat, eine beabsichtigte Lötnaht auf dem Substrat oder das beabsichtigte Vorhandensein, die beabsichtigte Anordnung, Ausrichtung oder Dimension eines auf der Substratoberfläche montierten Bauteils, wohingegen fehlerhafte Objekte Farbunregelmäßigkeiten, Kratzer, Risse oder Löcher im Substrat oder Fehlausrichtungen, Aussetzer, Streifen oder Kratzer im Druck auf dem Substrat aufweisen.
Wie oben beschrieben, kann der Bestimmungsinformationsempfänger 4 die eingegebene Bestimmungsinformation einschließlich der Information, die den relevanten Bereich anzeigt, empfangen, und die bildbasierte Akzeptanzlernvorrichtung 2 kann einen speziellen Informationsempfänger für den relevanten Bereich enthalten, durch den die Information, die den relevanten Bereich anzeigt, in den Lerner 5 eingegeben wird. In diesen Fällen wird die Information, die die Position in den Bilddaten angibt, die die Grundlage für die Akzeptanzbestimmung in den Bilddaten des planaren Objekts 1 als Untersuchungsziel ist (Daten von Bildern des planaren Objekts 1 als Untersuchungsziel), als die Information verwendet, die den relevanten Bereich angibt. Zu den Bilddaten des planaren Objekts 1 als Untersuchungsziel gehören z.B. die Bilddaten einer Drucksache, die Bilddaten eines Films, die Bilddaten einer Folie, die Bilddaten eines Stoffes, die Bilddaten eines Panels, die Bilddaten eines Etiketts (Drucketiketts), die Bilddaten eines Halbleiterwafers oder die Bilddaten eines Substrats (Maske) wie oben beschrieben.
Der Lerner 5 kann somit frühzeitig ein Lernmodell aufbauen, indem er Informationen erhält und lernt, die den relevanten Bereich angeben. Der Lerner 5 lernt, basierend auf den zweidimensionalen Daten (Bilddaten) und den Bestimmungsinformationen, den relevanten Bereich, der die dreidimensionale Form oder die Farbe auf der Oberfläche des planaren Objekts 1 in den zweidimensionalen Daten (Bilddaten) enthält, die eine Grundlage für die Bestimmungsinformationen sind. Sobald eine bestimmte Anzahl von Sätzen eingegebener zweidimensionaler Daten (Bilddaten) und Bestimmungsinformationen empfangen wurde, kann der Lerner 5 den relevanten Bereich durch den Vergleich zweidimensionaler Datenstücke (Bilddatenstücke) bestimmen. Wenn zum Beispiel mehrere Bilddatenteile desselben Untersuchungsobjekts mit derselben Zusammensetzung unterschiedliche Akzeptanzbestimmungsergebnisse haben, zeigt der Unterschied zwischen den Bilddatenteilen den Bereich an, der die Grundlage für die Akzeptanzbestimmung ist, oder genauer gesagt, zeigt er den relevanten Bereich an. Mit anderen Worten, wenn die zweidimensionalen Datenteile (Bilddatenteile) desselben planaren Objekts 1 unterschiedliche Bestimmungsergebnisse (akzeptabel und fehlerhaft) haben, ob das planare Objekt 1 akzeptabel oder fehlerhaft ist, basierend auf den zweidimensionalen Daten (Bilddaten) und der Bestimmungsinformation, lernt der Lerner 5 aus dem Unterschied zwischen den zweidimensionalen Datenteilen (Bilddatenteilen) den relevanten Bereich, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält, die eine Basis für die Bestimmungsinformation sind.
In 4 verwendet eine bildbasierte Akzeptanzbestimmungsvorrichtung 6 Lernergebnisse (Lernmodell) von der in 1A, 1B und 4 gezeigten bildbasierten Akzeptanzlernvorrichtung 2 (die bildbasierte Akzeptanzbestimmungsvorrichtung gemäß Ausführungsform 1). Ein Neues-Oberflächenbild-Empfänger 7 empfängt eingegebene neue zweidimensionale Daten (neues Oberflächenbild), die durch erneutes Lesen des planaren Objekts 1 gewonnen wurden. Die neuen zweidimensionalen Daten (neues Oberflächenbild) werden einfach als neu bezeichnet, um sie von den zweidimensionalen Daten (Oberflächenbild) zu unterscheiden, die von dem Lerner 5 (bildbasierte Akzeptanzlernvorrichtung 2) zum Aufbau des Lernmodells verwendet wurden. Die neuen zweidimensionalen Daten schließen also die vorhandenen zweidimensionalen Daten (Oberflächenbild) ein. Daher können die neuen zweidimensionalen Daten (neues Oberflächenbild) auch als zu bestimmende Bilddaten bezeichnet werden.
In 4 bestimmt ein bildbasierter Akzeptanzbestimmer 8, ob das planare Objekt 1, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, basierend auf den Lernergebnissen des Lerners 5. Der bildbasierte Akzeptanzbestimmer 8 kann bestimmen, ob das planare Objekt 1, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Basisbereich 9 extrahieren, der eine Grundlage für die Bestimmung ist und dem relevanten Bereich 1R in den neuen zweidimensionalen Daten entspricht. Wenn der Basisbereich 9 (relevanter Bereich 1R) in den neuen zweidimensionalen Daten auf diese Weise bestimmt wird und der bildbasierte Akzeptanzbestimmer 8 das planare Objekt als fehlerhaft bestimmt, kann der detektierende Teil bestimmt werden. Wenn der Basisbereich 9 (relevanter Bereich 1R) in den neuen zweidimensionalen Daten bestimmt wird, und der bildbasierte Akzeptanzbestimmer 8 das planare Objekt als akzeptabel bestimmt, kann der Basisbereich 9 (relevanter Bereich 1R) als akzeptabel bestimmt werden.
In ähnlicher Weise enthält in 4 die Bildlesevorrichtung 10 die bildbasierte Akzeptanzbestimmungsvorrichtung 6 (die Bildlesevorrichtung gemäß Ausführungsform 1). Die Bildlesevorrichtung 10 umfasst eine optische Vorrichtung 11 und einen Sensor 12. In einigen Ausführungsformen kann die Bildlesevorrichtung 10 auch eine Ausgabevorrichtung 13 umfassen. Die optische Vorrichtung 11 konvergiert Licht (Reflexionslicht oder Transmission) von dem planaren Objekt 1. Der Sensor 12 ist ein Farbsensor, der das von der optischen Vorrichtung 11 konvergierte Licht empfängt und neue zweidimensionale Daten erzeugt. Die Ausgabevorrichtung 13 gibt die neuen zweidimensionalen Daten als neue zweidimensionale Daten (neues Oberflächenbild), die durch das Ablesen des planaren Objekts 1 neu gewonnen wurden, an den Neues-Oberflächenbild-Empfänger 7 aus (sendet sie). Die Ausgabevorrichtung 13 kann entfallen, und die neuen zweidimensionalen Daten können direkt vom Sensor 12 an den Neues-Oberflächenbild-Empfänger 7 übertragen werden. In diesem Fall hat der Sensor 12 die Funktion der Ausgabevorrichtung 13.
Unter Bezugnahme auf 5 wird nun hauptsächlich der Betrieb (ein bildbasiertes Akzeptanzbestimmungsverfahren in Ausführungsform 1) der bildbasierten Akzeptanzbestimmungsvorrichtung (Bildlesevorrichtung) gemäß Ausführungsform 1 beschrieben. In 5 ist Schritt 11 ein Prozess der Eingabe neuer zweidimensionaler Daten (neues Oberflächenbild), die durch das Lesen des planaren Objekts 1 neu gewonnen wurden, in den Neues-Oberflächenbild-Empfänger 7. Schritt 12 ist ein Verfahren zur Eingabe des neu erfassten Bildes aus dem Neues-Oberflächenbild-Empfänger 7 in den Lerner 5 und die Verwendung eines Lernmodells. Schritt 13 ist ein Prozess, bei dem der bildbasierte Akzeptanzbestimmer 8 bestimmt, ob das planare Objekt 1, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, basierend auf den Lernergebnissen (Lernmodell) des Lerners 5. In Schritt 13 kann der bildbasierte Akzeptanzbestimmer 8 den Basisbereich 9 extrahieren, der die Grundlage für die Bestimmung bildet und dem relevanten Bereich 1R in den neuen zweidimensionalen Daten entspricht.
Unter Bezugnahme auf 6A und 6B wird ein Beispiel für die optische Vorrichtung 11 in der Bildlesevorrichtung 10 beschrieben. In den 6A und 6B ist eine Lichtquelle 14 eine Beleuchtungsvorrichtung, wie z.B. eine Leuchtdiode (LED), eine organische Elektrolumineszenzvorrichtung (EL) oder eine Entladungslampe, und kann eine Zeilenlichtquelle 14 sein, die sich in der Hauptscanrichtung erstreckt. Die Lichtquelle 14 beleuchtet das planare Objekt 1, und die optische Vorrichtung 11 bündelt das Reflexionslicht oder das Durchlicht. Die Lichtquelle 14 kann in der Bildlesevorrichtung 10 installiert sein, sich außerhalb der Bildlesevorrichtung 10 befinden oder von der Bildlesevorrichtung 10 gesteuert werden. Die Bildlesevorrichtung 10 und die Lichtquelle 14 können durch entsprechende übergeordnete Steuerungen (nicht dargestellt) gesteuert werden.
In 6A nimmt eine Kamera 11a Licht (Reflexionslicht oder Transmission) von dem planaren Objekt 1 auf. Die Kamera 11a und der Sensor 12 sind in einem Bereichssensor enthalten. In 6B enthält eine Linsenanordnung 11b mehrere aufrechte, unvergrößerte optische Systemlinsen. Der Sensor 12 ist eine Sensorelementanordnung 12 mit mehreren Sensorelementen, die den aufrechten unvergrößerten optischen Systemlinsen entsprechen. Die Sensorelementanordnung 12 kann neue eindimensionale Daten (ein Streifen von Bilddaten, der ein Teil oder eine Spalte von Bilddaten des planaren Objekts 1 ist) an den Empfänger 7 für neue Oberflächenbild-Er ausgeben, wenn ein Teil der ID-Daten erzeugt wird. Diese Struktur veranlasst die bildbasierte Akzeptanzbestimmungsvorrichtung 6, den unten beschriebenen Vorgang durchzuführen. In der Grundstruktur der bildbasierten Akzeptanzbestimmungsvorrichtung 6 empfängt der Neues-Oberflächenbild-Empfänger 7 zunächst eingegebene neue zweidimensionale Daten, die von der in 6B dargestellten Bildlesevorrichtung 10 erfasst werden, die ein eindimensionaler Zeilensensor ist, der das planare Objekt 1 neu liest. Die neuen zweidimensionalen Daten umfassen neue eindimensionale Datenteile, die nacheinander in der Unterabtastrichtung durch die Bildlesevorrichtung 10 erfasst werden. Der bildbasierte Akzeptanzbestimmer 8 bestimmt dann, ob das planare Objekt 1, das den neuen zweidimensionalen Daten entspricht, für jeden Teil der neuen eindimensionalen Daten akzeptabel oder fehlerhaft ist.
Der bildbasierte Akzeptanzbestimmer 8 kann bestimmen, ob das planare Objekt 1, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und ferner den Basisbereich 9 extrahieren, der die Grundlage für diese Bestimmung ist und dem relevanten Bereich 1R in den neuen zweidimensionalen Daten für jedes neue eindimensionale Datenstück entspricht. Die Ausgabevorrichtung 13 (Sensor 12) kann so gesteuert werden, dass sie bei jeder Erfassung des neuen eindimensionalen Datenstücks durch den eindimensionalen Zeilensensor ein neues eindimensionales Datenstück in den Neues-Oberflächenbild-Empfänger 7 eingibt. In diesem Fall kann der bildbasierte Akzeptanzbestimmer 8 den Bestimmungsprozess unterbrechen, wenn er feststellt, dass ein neues eindimensionales Datenstück fehlerhaft ist. Dies erleichtert die Bestimmung eines fehlerhaften Objekts. Um andere Abschnitte des planaren Objekts 1 (andere als die aktuell bestimmte Basisbereich 9) auf einen möglicherweise als fehlerhaft bestimmte relevanten Bereich 1R (Basisbereich 9) zu untersuchen, kann die bildbasierte Akzeptanzbestimmungsvorrichtung 6 erneut verwendet werden, um die Akzeptanzbestimmung an einem in Unterabtastrichtung folgenden Abschnitt der aktuell bestimmten Basisbereich 9 durchzuführen.
In solchen Fällen wird ein Streifen von Bilddaten (eindimensionale Daten), der einem einzelnen Abschnitt des planaren Objekts 1 entspricht, als zweidimensionale Daten in den Oberflächenbild-Empfänger 3 eingegeben, um den Lerner 5 zu trainieren, die Akzeptanz oder Fehlerhaftigkeit eines einzelnen Streifens von Bilddaten (eindimensionale Daten) zu lernen. So kann die bildbasierte Akzeptanzbestimmungsvorrichtung 6 eine Akzeptanzbestimmung am planaren Objekt 1 durchführen, ohne dass der Lerner 5 die gesamten Bilddaten des planaren Objekts 1 erlernt. Dazu gehören auch mehrere Streifen von Bilddaten. Die einzelnen Abschnitte entsprechen beispielsweise Abschnitten des planaren Objekts 1, die als dreidimensionale Form mindestens ein auf der Oberfläche ausgebildetes Webmuster, eine auf der Oberfläche ausgebildete Unebenheit oder ein auf der Oberfläche montiertes Bauteil oder als Farbe mindestens ein auf der Oberfläche ausgebildetes Zeichenmuster (Farbmuster), eine Transparenz oder ein aufgedrucktes Verdrahtungsmuster aufweisen.
Die oben beschriebene bildbasierte Abnahmebestimmungsvorrichtung (Bildlesevorrichtung) gemäß Ausführungsform 1 bestimmt hauptsächlich den relevanten Bereich 1R (Basisbereich 9), der eine Grundlage für die Bestimmung des planaren Objekts 1 als fehlerhaft ist. Die hauptsächlich bildbasierte Abnahmebestimmungsvorrichtung (Bildlesevorrichtung) gemäß Ausführungsform 1 kann jedoch auch den relevanten Bereich 1R (Basisbereich 9), der die Grundlage für die Bestimmung als akzeptabel ist, bestimmen. In der hauptsächlich bildbasierten Akzeptanzbestimmungsvorrichtung (Bildlesevorrichtung) gemäß Ausführungsform 1 umfasst die Akzeptanzbestimmung zusätzlich zu der Bestimmung, ob ein Objekt akzeptabel oder fehlerhaft ist, die Bestimmung, ob ein Bereich akzeptabel oder fehlerhaft ist. Mit anderen Worten, wenn mindestens einer der Bereiche des planaren Objekts 1 als fehlerhaft bestimmt wird, kann das gesamte planare Objekt 1 als fehlerhaft bestimmt werden, oder jeder Bereich des planaren Objekts 1 kann separat als akzeptabel oder fehlerhaft bestimmt werden.
Gleiches gilt für das Lernen des Lerners 5 in der hauptsächlich bildbasierten Akzeptanzlernvorrichtung gemäß Ausführungsform 1. Mit anderen Worten kann die bildbasierte Akzeptanzlernvorrichtung 2 den Lerner 5 im Voraus entsprechend der Art der von der bildbasierten Akzeptanzbestimmungsvorrichtung 6 durchzuführenden Akzeptanzbestimmung trainieren. Bei einem größer skalierten Lerner 5 (Lernmodell) kann der Lerner 5 alle Varianten der Akzeptanzbestimmung lernen. Genauer gesagt, obwohl die 3A bis 3C jeweils einen relevanten Bereich 1R (Basisbereich 9) zeigen, können die Bilddaten mehrere relevante Bereiche 1R (Basisbereiche 9) enthalten.
In einem solchen Fall empfängt der Oberflächenbild-Empfänger 3 eingegebene lineare eindimensionale Daten (einen Streifen von Bilddaten, der ein Teil oder eine Spalte von Bilddaten des planaren Objekts 1 ist) als zweidimensionale Daten. Dies schließt auch mehrere Bilddatenstreifen ein. Mit anderen Worten: Der Oberflächenbild-Empfänger 3 empfängt eingegebene lineare eindimensionale Daten als zweidimensionale Daten. Beispielsweise erfasst ein eindimensionaler Zeilensensor (Bildlesevorrichtung 10), der ein Leseziel (planares Objekt 1) in einer Hauptabtastrichtung parallel zu der Richtung liest, in der sich die linearen eindimensionalen Daten erstrecken, einen Streifen von Bilddaten (einen Teil oder eine Spalte von Bilddaten des planaren Objekts 1), wobei mindestens ein Abtastvorgang in einer die Hauptabtastrichtung kreuzenden Nebenabtastrichtung durchgeführt wird. Der Oberflächenbild-Empfänger 3 kann einen solchen Bilddatenstreifen empfangen. Der Teil oder die Spalte von Bilddaten des planaren Objekts 1 bezeichnet mindestens eine Spalte von Bilddaten, die in 3B und 3C gezeigt ist.
Wie oben beschrieben, lernen die bildbasierte Akzeptanzlernvorrichtung gemäß Ausführungsform 1, die bildbasierte Akzeptanzbestimmungsvorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet, und die Bildlesevorrichtung, die die bildbasierte Akzeptanzlernvorrichtung verwendet, basierend auf den zweidimensionalen Daten (Streifen von Bilddaten, die eindimensionale Daten enthalten) des planaren Objekts 1 und der Bestimmungsinformation, ob das planare Objekt 1 akzeptabel oder fehlerhaft ist, wobei der relevante Bereich, der die dreidimensionale Form oder die Farbe auf der Oberfläche des planaren Objekts 1 in zweidimensionalen Daten (Streifen von Bilddaten, die eindimensionale Daten enthalten) enthält, eine Grundlage für die Bestimmungsinformation ist, ob das planare Objekt 1 akzeptabel oder fehlerhaft ist. Die bildbasierte Akzeptanzlernvorrichtung, die bildbasierte Akzeptanzbestimmungsvorrichtung und die Bildlesevorrichtung können somit Lernergebnisse (Lernmodell) bereitstellen, die durch Lernen des relevanten Bereichs erhalten werden, der die Grundlage für die Bestimmungsinformation ist.
Bezugszeichenliste

1: Planares Objekt
1R: Relevanter Bereich
2: Bildbasierte Akzeptanzlernvorrichtung
3: Oberflächenbild-Empfänger
4: Bestimmungsinformationsempfänger
5: Lerner
6: Bildbasierte Akzeptanzbestimmungsvorrichtung
7: Neues-Oberflächenbild-Empfänger
8: Bildbasierter Akzeptanzbestimmer
9: Basisbereich
10: Bildlesevorrichtung
11: Optische Vorrichtung
11a: Kamera
11b: Linsenanordnung
12: Sensor (Sensorelementanordnung)
13: Ausgabevorrichtung
14: Lichtquelle (Zeilenlichtquelle)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201568670 [0005]
JP 201923587 [0005]
JP 201923588 [0005]
JP 201956591 [0005]
JP 2019184305 [0005]

Claims

Eine bildbasierte Akzeptanzlernvorrichtung, die ein Ergebnis der Bestimmung, ob ein planares Objekt akzeptabel oder fehlerhaft ist, auf der Basis von mindestens einer dreidimensionalen Form oder einer Farbe auf einer Oberfläche des planaren Objekts lernt, wobei die bildbasierte Akzeptanzlernvorrichtung umfasst: einen Oberflächenbild-Empfänger, um eingegebene zweidimensionale Daten zu empfangen, die Bilddaten der Oberfläche des planaren Objekts sind; einen Bestimmungsinformationsempfänger, um eine eingegebene Bestimmungsinformation zu empfangen, die das Ergebnis der Bestimmung anzeigt, ob das planare Objekt, das den zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist; und einen Lerner, um auf der Grundlage der zweidimensionalen Daten und der Bestimmungsinformation einen relevanten Bereich zu lernen, der die dreidimensionale Form oder die Farbe auf der Oberfläche in den zweidimensionalen Daten enthält, wobei der relevante Bereich eine Basis für die Bestimmungsinformation ist.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 1, wobei der Oberflächenbild-Empfänger die eingegebenen zweidimensionalen Daten empfängt, die als dreidimensionale Form mindestens eines von einem auf der Oberfläche gebildeten gewebten Muster, einer auf der Oberfläche gebildeten Unebenheit oder einem auf der Oberfläche montierten Bauteil oder als Farbe mindestens eines von einem Zeichnungsmuster auf der Oberfläche, einer Transparenz oder einem gedruckten Verdrahtungsmuster enthalten.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 1 oder 2, wobei der Oberflächenbild-Empfänger die eingegebenen zweidimensionalen Daten empfängt, die Informationen enthalten, die den relevanten Bereich angeben.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 1 oder 2, wobei der Bestimmungsinformationsempfänger die eingegebenen Bestimmungsinformationen empfängt, die Informationen enthalten, die den relevanten Bereich angeben.
Die bildbasierte Akzeptanzlernvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Oberflächenbild-Empfänger eingegebene lineare eindimensionale Daten als zweidimensionale Daten empfängt.
Die bildbasierte Akzeptanzlernvorrichtung nach einem der Ansprüche 1 bis 4, wobei der Oberflächenbild-Empfänger die eingegebenen zweidimensionalen Daten empfängt, die die Bilddaten sind, die eine Anordnung von Teilen linearer eindimensionaler Daten enthalten.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 6, wobei der Lerner einen Teil einschließlich des relevanten Bereichs für jedes Stück der linearen eindimensionalen Daten lernt.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 7, wobei der Lerner die Bestimmungsinformation für eine Einheit eines Teils der linearen eindimensionalen Daten einschließlich des relevanten Bereichs neu erzeugt.
Die bildbasierte Akzeptanzlernvorrichtung nach Anspruch 5, wobei der Oberflächenbild-Empfänger als die eingegebenen zweidimensionalen Daten die eindimensionalen Daten empfängt, die von einem eindimensionalen Zeilensensor sequentiell in einer Unterabtastrichtung erfasst werden, die eine Hauptabtastrichtung kreuzt, und der eindimensionale Zeilensensor ein Leseziel in der Hauptabtastrichtung parallel zu einer Richtung liest, in der die linearen eindimensionalen Daten verlaufen.
Die bildbasierte Akzeptanzlernvorrichtung nach einem der Ansprüche 6 bis 8, wobei der Oberflächenbild-Empfänger die eingegebenen zweidimensionalen Daten einschließlich der Stücke linearer eindimensionaler Daten empfängt, die von einem eindimensionalen Zeilensensor sequentiell in einer Unterabtastrichtung erfasst werden, die eine Hauptabtastrichtung kreuzt, und der eindimensionale Zeilensensor ein Leseziel in der Hauptabtastrichtung parallel zu einer Richtung liest, in der sich die linearen eindimensionalen Daten erstrecken.
Eine bildbasierte Akzeptanzbestimmungsvorrichtung zur Verwendung eines Lernergebnisses von der bildbasierten Akzeptanzlernvorrichtung nach einem der Ansprüche 1 bis 10, wobei die bildbasierte Akzeptanzbestimmungsvorrichtung umfasst: einen Neues-Oberflächenbild-Empfänger, um eingegebene neue zweidimensionale Daten zu empfangen, die durch erneutes Lesen des planaren Objekts erhalten werden; und einen bildbasierten Akzeptanzbestimmer, um zu bestimmen, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, basierend auf dem Lernergebnis des Lerners.
Die bildbasierte Akzeptanzbestimmungsvorrichtung nach Anspruch 11, wobei der bildbasierte Akzeptanzbestimmer bestimmt, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Basisbereich extrahiert, der eine Basis für die Bestimmung ist und dem relevanten Bereich in den neuen zweidimensionalen Daten entspricht.
Eine bildbasierte Akzeptanzbestimmungsvorrichtung zur Verwendung eines Lernergebnisses von der bildbasierten Akzeptanzlernvorrichtung nach Anspruch 9, wobei die bildbasierte Akzeptanzbestimmungsvorrichtung umfasst: einen Neues-Oberflächenbild-Empfänger, um eingegebene neue eindimensionale Daten zu empfangen, die durch erneutes Lesen des planaren Objekts erhalten werden; und eine bildbasierte Akzeptanzbestimmungsvorrichtung, um zu bestimmen, ob das planare Objekt, das den neuen eindimensionalen Daten entspricht, auf der Grundlage des Lernergebnisses von dem Lerner akzeptabel oder fehlerhaft ist, wobei der Neues-Bild-Oberflächenbild-Empfänger die eingegebenen neuen eindimensionalen Daten empfängt, die von dem eindimensionalen Zeilensensor sequentiell in der Unterabtastrichtung erfasst werden, und der bildbasierte Akzeptanzbestimmer bestimmt, ob das planare Objekt, das den neuen eindimensionalen Daten entspricht, für jedes Stück der neuen eindimensionalen Daten akzeptabel oder fehlerhaft ist.
Eine bildbasierte Akzeptanzbestimmungsvorrichtung zur Verwendung eines Lernergebnisses von der bildbasierten Akzeptanzlernvorrichtung nach Anspruch 10, wobei die bildbasierte Akzeptanzbestimmungsvorrichtung umfasst: einen Neues-Bild-Oberflächenbild-Empfänger, um eingegebene neue zweidimensionale Daten zu empfangen, die durch erneutes Lesen des planaren Objekts erhalten werden; und einen bildbasierten Akzeptanzbestimmer, um zu bestimmen, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, auf der Grundlage des Lernergebnisses des Lerners akzeptabel oder fehlerhaft ist, wobei der Neues-Bild-Oberflächenbild-Empfänger die eingegebenen neuen zweidimensionalen Daten empfängt, die durch erneutes Lesen des planaren Objekts erhalten werden, wobei die neuen zweidimensionalen Daten Teile neuer eindimensionaler Daten enthalten, die von dem eindimensionalen Zeilensensor sequentiell in der Unterabtastrichtung erfasst werden, und der bildbasierte Akzeptanzbestimmer bestimmt, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, für jeden Teil der neuen eindimensionalen Daten akzeptabel oder fehlerhaft ist.
Die bildbasierte Akzeptanzbestimmungsvorrichtung nach Anspruch 14, wobei der bildbasierte Akzeptanzbestimmer bestimmt, ob das planare Objekt, das den neuen zweidimensionalen Daten entspricht, akzeptabel oder fehlerhaft ist, und einen Basisbereich extrahiert, der eine Basis für die Bestimmung ist und dem relevanten Bereich in den neuen zweidimensionalen Daten für jedes Stück der neuen eindimensionalen Daten entspricht.
Die bildbasierte Akzeptanzbestimmungsvorrichtung nach Anspruch 14 oder 15, wobei der Neues-Bild-Oberflächenbild-Empfänger die eingegebenen neuen eindimensionalen Daten bei jeder Erfassung der neuen eindimensionalen Daten durch den eindimensionalen Zeilensensor empfängt und er bildbasierte Akzeptanzbestimmer einen Bestimmungsprozess aussetzt, wenn ein Teil der neuen eindimensionalen Daten als fehlerhaft bestimmt wird.
Eine Bildlesevorrichtung mit der bildbasierten Akzeptanzbestimmungsvorrichtung nach einem der Ansprüche 11, 12 und 14 bis 16, wobei die Bildlesevorrichtung umfasst: eine optische Vorrichtung zum Konvergieren von Licht von dem planaren Objekt; und einen Sensor zum Empfangen des von der optischen Vorrichtung konvergierten Lichts und zum Erzeugen der neuen zweidimensionalen Daten.
Eine Bildlesevorrichtung, die die bildbasierte Akzeptanzbestimmungsvorrichtung nach Anspruch 13 enthält, wobei die Bildlesevorrichtung umfasst: eine optische Vorrichtung zum Konvergieren von Licht von dem planaren Objekt; und einen Sensor zum Empfangen des von der optischen Vorrichtung konvergierten Lichts und zum Erzeugen der neuen eindimensionalen Daten.
Die Bildlesevorrichtung nach Anspruch 17 oder 18, wobei die optische Vorrichtung eine Linsenanordnung aus einer Vielzahl von aufrechten, unvergrößerten optischen Systemlinsen enthält, und der Sensor eine Sensorelementanordnung aus einer Vielzahl von Sensorelementen enthält, die der Vielzahl von aufrechten unvergrößerten optischen Systemlinsen entsprechen.
Eine Bildlesevorrichtung, die den eindimensionalen Zeilensensor mit der bildbasierten Akzeptanzbestimmungsvorrichtung nach einem der Ansprüche 14 bis 16 enthält, wobei die Bildlesevorrichtung umfasst: eine Linsenanordnung aus einer Vielzahl aufrechter unvergrößerter optischer Systemlinsen in der Hauptabtastrichtung, wobei die Linsenanordnung konfiguriert ist, Licht von dem planaren Objekt zu konvergieren; und eine Sensorelementanordnung aus einer Vielzahl von Sensorelementen in der Hauptabtastrichtung, wobei die Vielzahl von Sensorelementen der Vielzahl von aufrechten unvergrößerten optischen Systemlinsen entspricht, wobei die Sensorelementanordnung konfiguriert ist, durch die Linsenanordnung konvergierte Licht zu empfangen und die neuen zweidimensionalen Daten zu erzeugen.
Die Bildlesevorrichtung nach Anspruch 19 oder 20, wobei die Sensorelementanordnung die neuen eindimensionalen Daten an den Neues-Oberflächenbild-Empfänger bei der Erzeugung eines Teils der neuen eindimensionalen Daten ausgibt.