DE102015101079A1

DE102015101079A1 - System und verfahren zum ermitteln von 3d-oberflächenmerkmalen und unregelmässigkeiten auf einem objekt

Info

Publication number: DE102015101079A1
Application number: DE102015101079.8A
Authority: DE
Inventors: Mikhail Akopyan; Lowell D. Jacobson; Robert A. Wolff
Original assignee: Cognex Corp
Current assignee: Cognex Corp
Priority date: 2014-01-27
Filing date: 2015-01-26
Publication date: 2015-07-30
Also published as: US20220180499A1

Abstract

Die vorliegende Erfindung stellt ein System und ein Verfahren zum Ermitteln des Orts und der Charakteristiken bestimmter Oberflächenmerkmale bereit, die erhöhte oder vertiefte Regionen mit Bezug auf eine glatte umgebende Fläche auf einem Objekt umfasst. Ein Filter wirkt auf ein Entfernungsbild der Szene. Ein Filter definierte einen Ring oder eine andere Umfangsform um jedes Pixel, in dem eine Best-Fit-Fläche erstellt wird. Eine Normale zu dem Pixel lässt es zu, eine lokale Abstandshöhe abzuleiten. Die Abstandshöhe wird zum Erstellen eines Höhenabweichungsbildes des Objekts benutzt, mit dem Höcker, Vertiefungen oder andere Höhenverschiebungsmerkmale ermittelt werden können. Das Höckerfilter kann zum Suchen von Regionen auf einer Oberfläche mit minimalen Unregelmäßigkeiten durch Mappen solcher Unregelmäßigkeiten auf ein Raster und dann Schwellenbewerten des Rasters benutzt werden, um eine Kostenfunktion zu erzeugen. Regionen mit minimalen Kosten sind akzeptable Kandidaten zum Aufbringen von Etiketten und anderen Gegenstanden, in denen eine glatte Oberfläche gewünscht wird.

Description

BEREICH DER ERFINDUNG
Die vorliegende Erfindung betrifft Bildverarbeitungssysteme, die beim Ermitteln der Verschiebung einer abgebildeten Objektoberfläche in drei Dimensionen (3D) benutzt werden.
HINTERGRUND DER ERFINDUNG
Bei Herstellungs- und Montagevorgängen wird häufig gewünscht, eine Objektoberfläche zu analysieren, um die Beschaffenheit von Merkmalen und/oder Unregelmäßigkeiten zu ermitteln. Die Verschiebung (oder das „Profil”) der Objektoberfläche kann mit einem Bildverarbeitungssystem (nachfolgend auch „Vision-System” genannt) in Form eines Laserabstandssensors (nachfolgend auch Laserstrahl-„Profiler” genannt) ermittelt werden. Ein Laserabstandssensor erfasst und ermittelt das (dreidimensionale) Profil einer gescannten Objektoberfläche mit einem Planaren Vorhang oder „Fächer” eines Laserstrahls in einer bestimmten Ebene quer zum Strahlenausbreitungsweg. In einer herkömmlichen Anordnung ist eine Kamerabaugruppe des Vision-Systems so orientiert, dass sie die Ebene des Strahls von außerhalb der Ebene betrachtet. Diese Anordnung erfasst das Profil der projizierten Linie (z. B. die entlang der physikalischen x-Achse verläuft) auf der Oberfläche, die aufgrund der Basislinie (d. h. des relativen Abstands entlang der y-Achse) zwischen der Strahlen-(Fächer-)Ebene und der Kamera bewirkt, dass die abgebildete Linie so erscheint, dass sie in der y-Achsenrichtung des Bildes in Abhängigkeit von der physikalischen z-Achsenhöhe des abgebildeten Punktes (entlang der x-Achse des Bildes) variiert. Diese Abweichung repräsentiert das Profil der Oberfläche. Laserabstandssensoren sind in einer breiten Palette von Prüf- und Herstellungsabläufen nützlich, wo der Benutzer Oberflächendetails eines gescannten Objekts per Triangulation messen und charakterisieren möchte. Eine Form von Laserabstandssensor benutzt eine Vision-System-Kamera mit einer Linsenbaugruppe und einem Bildsensor (oder „Imager”), der auf einem CCD- oder CMOS-Design aufgebaut sein kann. Der Imager definiert ein vorbestimmtes Feld von Graustufen- oder Farberfassungspixeln auf einer Bildebene, die fokussiertes Licht von einer abgebildeten Szene durch eine Linse empfängt.
In einer typischen Anordnung sind der Abstandssensor und/oder das Objekt in einer relativen Bewegung (gewöhnlich in der physikalischen y-Koordinatenrichtung), so dass die Objektoberfläche von der Kamera gescannt wird, und eine Folge von Bildern wird von der Laserlinie in gewünschten Raumintervallen erfasst – typischerweise in Assoziation mit einem Encoder oder einer anderen Bewegungsmessvorrichtung (oder alternativ auf zeitbasierten Intervallen). Jede dieser einzelnen Profillinien wird typischerweise von einem einzelnen erfassten Bild abgeleitet. Diese Linien beschreiben kollektiv die Oberfläche des abgebildeten Objekts und die umgebende abgebildete Szene und definieren ein „Entfernungsbild” oder „Tiefenbild”.
Es können auch andere Kamerabaugruppen eingesetzt werden, um ein 3D-Bild (Entfernungsbild) eines Objekts in einer Szene zu erfassen. Es können zum Beispiel strukturierte Lichtsysteme, Stereosichtsysteme, DLP-Metrologie und andere Anordnungen zum Einsatz kommen. Diese Systeme erzeugen alle ein Bild, das Pixeln einen Höhenwert (z. B. z-Koordinate) zuordnet.
Ein von verschiedenen Typen von Kamerabaugruppen (oder Kombinationen davon) erzeugtes 3D-(Entfernungs-)Bild kann zum Orten und Bestimmen der Anwesenheit und/oder Charakteristiken bestimmter Merkmale auf der Objektoberfläche benutzt werden. Eine Herausforderung besteht darin, dass ein Vision-System solche Merkmale identifiziert und lokalisiert, besonders dann, wenn die Oberfläche selbst ein variierendes Oberflächenprofil definiert. Eine weitere Herausforderung besteht darin, Regionen eines Objekts zu orten, die zum Platzieren bestimmter Gegenstände und die Anwendung bestimmter Prozesse – wie z. B. Etikettieren und/oder Bedrucken – geeignet sind, wobei 3D-Oberflächenunregelmäßigkeiten eine zufriedenstellende Platzierung kompromittieren können.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung überwindet Nachteile des Standes der Technik durch Bereitstellen eines Systems und eines Verfahrens zum Ermitteln des Orts und der relativen Charakteristiken bestimmter 3D-Oberflächenmerkmale, die im Allgemeinen erhöhte oder vertiefte Regionen mit Bezug auf eine glatte umgebende lokale Fläche auf einem Gesamtobjekt umfassen. Das System und das Verfahren wenden ein Filter an, das auf ein Entfernungs-(Tiefen-)Bild der Szene (einschließlich des Objekts) wirkt. Ein Filter kann einen Ring oder eine andere geeignete Umfangsform um jedes Pixel definieren, in dem eine Best-Fit-Fläche (z. B. eine Best-Fit-Ebene) erhalten werden kann. Die Best-Fit-Fläche wird zum Erzeugen einer Normalen an dem Pixel benutzt. Die Normale dient zum Ableiten einer örtlichen Abstandshöhe mit Bezug auf eine durchschnittliche Höhe der Best-Fit-Ebene. Die Abstandshöhe wird zum Erzeugen eines „Höcker”- oder „Höhenabweichungs”-Gesamtbildes des Objekts benutzt, mit dem Höcker, Vertiefungen oder andere Höhenabstands-/Abweichungsmerkmale mit geeigneten Vision-System-Tools (z. B. Blob-Tools, Edge-Tools, Caliper-Tools usw.) lokalisiert und analysiert werden können.
In einer illustrativen Ausgestaltung wird ein System zum Ermitteln von flächennormalen Höhenvariationen (Merkmalen) auf eine Objekt auf der Basis eines Entfernungsbildes bereitgestellt. Eine Kamerabaugruppe erzeugt ein Entfernungsbild der das Objekt enthaltenden Szene. Ein mit der Kamerabaugruppe wirkverbundenes und/oder assoziiertes Vision-System analysiert das Entfernungsbild. Ein Filter, das einen Filterprozess ausführt, der mit einem Kamerasensorprozess assoziiert ist oder der Bilder von einer Quelle nach deren Erfassung erhält, und der (a) eine Best-Fit-Fläche (z. B. eine Best-Fit-Ebene) von durchschnittlicher Höhe um jedes von gewählten Pixeln im Entfernungsbild erzeugt, (b) erstellt eine Normale zu der Best-Fit-Fläche jeweils für jedes der Pixel, und (c) ermittelt einen relativen Höhenabstand einer Region um jedes der Pixel relativ zu der Best-Fit-Fläche. Ein mit dem Sensorprozess assoziiertes Vision-System-Tool analysiert von dem Filter lokalisierte höhenverschobene Merkmale. Illustrativ beinhaltet das Filter eine Hintergrundregion um jedes der gewählten Pixel, von der die Best-Fit-Fläche erstellt wird. Das Filter beinhaltet illustrativ eine Vordergrundregion, die sich in der Nähe der Hintergrundregion befindet. Innerhalb der Vordergrundregion ermittelt der Prozess einen relativen Höhenabstand für wenigstens eines der gewählten Pixel. In einer illustrativen Ausgestaltung wird die Größe und/oder die Form der Hintergrundregion und/oder der Vordergrundregion auf der Basis der Größe und/oder der Form des Objekts anwenderdefiniert. Ebenfalls illustrativ umfasst die Kamerabaugruppe einen Abstandssensor, der eine Lichtlinie auf das Objekt projiziert und an einem Imager Licht von der projizierten Linie auf eine Weise empfängt, die mehrere Abstandswerte in einer Höhenrichtung definiert werden (z. B. ein Laserabstandssensor).
In einer anderen illustrativen Ausgestaltung werden ein System und ein Verfahren zum Ermitteln von Regionen von Oberflächenunregelmäßigkeit bereitgestellt. Dieses System und Verfahren können zum Orten von Regionen auf einer Objektoberfläche benutzt werden, die ausreichend frei von Unregelmäßigkeiten ist, so dass ein zufriedenstellendes Platzieren/Aufbringen von Etiketten, Aufdrucken oder anderen Gegenständen und Zusätzen ermöglicht wird. Das System und Verfahren wenden das oben beschriebene Höckerfilter zum Orten von Regionen auf einer Fläche mit minimalen Unregelmäßigkeiten durch Abbilden solcher Unregelmäßigkeiten auf ein Raster und dann Schwellenbestimmung an dem Raster zum Erzeugen einer Kostenfunktion an. Regionen mit minimalen Kosten sind akzeptable Kandidaten zum Aufbringen von Etiketten und anderen Gegenständen, wo eine glatte Oberfläche wünschenswert ist. In einer illustrativen Ausgestaltung werden ein System und ein Verfahren zum Ermitteln einer Region auf einer Oberfläche mit geringer Oberflächenunregelmäßigkeit bereitgestellt. Das System und Verfahren wenden ein Vision-System-Tool an, das die Oberfläche ortet und ein 3D-Bild von wenigstens einem Teil der Oberfläche erfasst. Ein (Höcker-)Filter ermittelt einen relativen Höhenabstand für einen Bereich um jede ausgewählte Gruppe von Pixeln auf dem 3D-Bild. In illustrativen Ausgestaltungen kann ein Mapping-Element den Höhenabstand für jede von mehreren Regionen auf einem Bild in ein Rasterelement mit einem Höhenwert auflösen. Für diesen Höhenwert können Schwellen (z. B. binäre 1 und 0 Werte) bestimmt werden. Ein Ortselement bewertet dann Kosten für den Höhenabstand für jede Region und ermittelt eine minimale Kostenregion, die einen vorbestimmten Bereich aufnimmt, direkt auf der Basis von Ergebnissen, die von dem Höckerfilter bereitgestellt werden, oder auf der Basis eines Schwellenergebnisses. Das Schwellenergebnis kann Teil eines abgebildeten Rasters sein. Dieser vorbestimmte Bereich kann, wenn er existiert, zum Aufnehmen eines Etiketts, eines Aufdrucks oder einer anderen Verzierung bemessen werden. Ein Schwellenelement löst jeden jeweiligen Höhenwert in einen binären Wert auf der Basis davon auf, ob ein Höhenwert über oder unter wenigstens einem vorbestimmten Parameter liegt. Der vorbestimmte Parameter ist wenigstens einer aus (a) Höhenabstand über oder unter einer umgebenden Fläche in der Region, und (b) Bereich eines unterschiedlichen Höhenabstands relativ zur umgebenden Fläche in der Region. Zur Veranschaulichung, das Ortungselement bestimmt, ob eine geeignete minimale Kostenregion existiert. Zusätzlich kann jedes Rasterelement Teil eines regelmäßigen Rasters von vorbestimmter Dichte auf dem Bild umfassen und/oder auf dem Bild kann sich wenigstens eine Ausschlusszone befinden, die aus der Minimalkostenregion weggelassen wird. Diese Ausschlusszone kann wenigstens eines aus Etikett, Ausdruck und Verzierung auf der Fläche beinhalten. Die Fläche kann wenigstens Teil einer Verpackung umfassen, und die Minimalkostenregion ist so ausgelegt, dass sie ein(en) aufgebrachtes/n Etikett und/oder Aufdruck aufnimmt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Beschreibung nimmt auf die Begleitzeichnungen Bezug. Dabei zeigt:
1 eine schematische Perspektivansicht eines Laserabstandssensorsystems, das ein Bild eines Objekts mit zu analysierenden flächennormalen Höcker/Noppen-Merkmalen erfasst, während eine relative Bewegung dazwischen in einer Scanningrichtung erfolgt, gemäß einer illustrativen Ausgestaltung;
2 ein Diagramm eines Entfernungsbildes eines beispielhaften Objekts (z. B. einer Kartoffel) mit einer nichtplanaren Oberfläche und mehreren Höcker/Höhenabweichungsmerkmalen, das die Schwierigkeit des Auflösens solcher Merkmale von einem ungefilterten Bild illustriert;
3 ein Fließschema eines Filterprozesses zum Auflösen von höhenverschobenen Flächenhöhenvariationen wie Höckern und Vertiefungen gemäß einer illustrativen Ausgestaltung;
4 ein Diagramm eines Entfernungsbildes eines beispielhaften Objekts (z. B. einer Kartoffel), das eine variierende Oberfläche mit Höckern und Vertiefungen (d. h. Höhenabweichungsmerkmalen) enthält, das seine Beziehung zu einer Basisebene (ein Raster) zeigt, zur Verwendung beim Beschreiben des illustrativen Filterprozesses von 3;
5 ein weiteres Diagramm des beispielhaften Entfernungsbildes von 4, das das Erstellen von Vorder- und Hintergrundregionen beschreibt, gemäß dem illustrativen Filterprozess von 3;
6 ein weiteres Diagramm des beispielhaften Entfernungsbildes von 4, das die Erzeugung einer Best-Fit-Fläche (z. B. einer Best-Fit-Ebene) um ein gewähltes Pixel beschreibt, gemäß dem illustrativen Filterprozess von 3;
7 ein weiteres Diagramm des beispielhaften Entfernungsbildes von 4, das das Erzeugen einer Distanz in der Normalrichtung mit Bezug auf ein gewähltes Pixel beschreibt, gemäß dem illustrativen Filterprozess von 3;
8 ein weiteres Diagramm des beispielhaften Entfernungsbildes von 4, das das Anwenden des Filteroperators auf alle Pixel in dem Entfernungsbild beschreibt, gemäß dem illustrativen Filterprozess von 3, zum Erzeugen eines Gesamthöhenabweichungsbildes;
9 ein Höhenvariationsbild auf der Basis des beispielhaften Entfernungsbildes von 2, auf der Basis des illustrativen Filterprozesses von 3, wobei Höckermerkmale deutlich zum Anwenden von geeigneten Analysewerkzeugen durch das Vision-System aufgelöst werden;
10 ein Diagramm eines erfassten 3D-Entfernungsbildes einer beispielhaften Objektoberfläche, die Unregelmäßigkeiten enthält, für die ein Ort, der zum Aufbringen eines Etiketts oder anderen Gegenstands auf die Oberfläche geeignet ist, ermittelt werden soll, gemäß einem illustrativen System und Verfahren;
11 ein Diagramm des erfassten Bildes von 10, in dem Oberflächenregionen darauf in ein Raster mit binären Werten abgeleitet werden, die jeweils flache bzw. unregelmäßige Oberflächenmerkmale repräsentieren;
12 ein Fließschema eines illustrativen Prozesses zum Ermitteln der Anwesenheit von einem/einer oder mehreren geeigneten Orten/Regionen mit ausreichender Flachheit oder Oberflächenregelmäßigkeit, um einen Gegenstand wie z. B. ein Etikett darauf aufzubringen;
12A ein Fließschema eines alternativen Prozesses zum Ermitteln der Anwesenheit von einem/einer oder mehreren geeigneten Orten/Regionen mit ausreichender Flachheit oder Oberflächenregelmäßigkeit, um einen Gegenstand aufzubringen, unter Verwendung von Höckerfilterergebnissen zum Konstruieren einer Kostenfunktion; und
13 ein Diagramm eines beispielhaften Balls mit einer sphärischen Oberfläche mit Unregelmäßigkeiten und Ausschlusszonen, das eine Anwendung für das System und Verfahren zum Ermitteln von geeigneten Orten zum Aufbringen von Etiketten und/oder anderen Gegenstanden auf die Oberfläche zeigt.
AUSFÜHRLICHE BESCHREIBUNG
I. Systemüberblick
1 zeigt eine Vision-System-Anordung 100 mit einer Laserabstandssensorbaugruppe 110, die zum Abbilden eines Objekts 120 orientiert ist (zuweilen auch als „Teil” bezeichnet). Die Abstandssensorbaugruppe (oder der ,Abstandssensor') kann in einem einzelnen Gehäuse 112 untergebracht sein, das an einer geeigneten Stelle mit Bezug auf die abgebildete Szene montiert ist. In alternativen Ausgestaltungen kann der Abstandssensor diskrete, getrennte Subkomponenten umfassen. Das Objekt 120 und der Abstandssensor 110 sind in relativer Bewegung (Doppelpfeil MY) zum Abstandssensor 110, zum Objekt 120 oder zu beiden, und bewegen sich (die Scanbewegungsrichtung) entlang wenigstens einer Achse des relativen Koordinatensystems 124 (in diesem Beispiel die physikalische y-Achsenrichtung). In einer typischen Anordnung befindet sich das Objekt 120 auf einer Präzisionsbewegungsplattform 130 (gestrichelt dargestellt), die Bewegungsdaten von einem Encoder oder einer ähnlichen Vorrichtung bereitstellt, die mit dem Bewegungsplattformantriebssystem 132 auf eine der Fachperson klare Weise wirkverbunden ist.
Man beachte, dass der oben beschriebene Abstandssensor 110 einer aus einer Reihe verschiedener Bilderzeugungsvorrichtungen und/oder Kamerabaugruppen ist, die zum Erzeugen eines Entfernungsbildes zur Verwendung gemäß dem System und Verfahren hierin benutzt werden kann. Als nichtbegrenzendes Beispiel, eine Kamerabaugruppe wie hierin definiert kann, unter anderen Anordnungstypen, ein strukturiertes Lichtsystem, ein Stereo-Vision-System, DLP-Metrologie und/oder Kombinationen davon beinhalten. Ebenfalls wie nachfolgend beschrieben, können das System und Verfahren an Bildern eingesetzt werden, die erfasst und dann zur Weiterverarbeitung gespeichert werden. Solche Bilder können zur Verarbeitung durch das System und Verfahren (d. h. ein Filterprozess und assoziierte Vision-System-Tools) auf eine Weise übertragen werden, in der der Prozessor frei von Verbindungen mit der Kamerabaugruppe oder anderen Bilderfassungsanordnungen ist.
Das Objekt 120 ist beispielsweise eine Struktur mit einer Oberfläche 140, die eine allgemein nichtplanare Form hat, und als nichtbegrenzendes Beispiel definiert sie spezieller eine etwas verdrehte Fläche, in der die Höhe (d. h. die Abstandsdimension entlang der physikalischen z-Achse) relativ zur x-Achse und zur y-Achse variiert. Insbesondere beinhaltet die Objektoberfläche 140 mehrere Höcker oder „Noppen” 142, die jeweils in ihrem Abstand entlang der physikalischen z-Achsenrichtung variieren, die typischerweise in einer „positiven” Richtung von der Objektfläche weg gerichtet ist. Der positive Abstand kann so gekennzeichnet sein, dass er in einer Richtung und mit einer Größe normal zur Objektfläche verläuft (d. h. flächennormal zu einer Ebene, die zu der Oberfläche an einem Punkt auf der Noppe tangential ist). Diese Noppen 142 definieren somit einen Höhenabstand mit Bezug auf die umgebende Fläche. Dies ist nur ein Beispiel für eine große Vielfalt von möglichen Oberflächenformen und wird als nützliches Beispiel für die Grundsätze der illustrativen Ausgestaltung des Systems und Verfahrens beschrieben. In weiteren Beispielen kann die äußere umgebende Fläche einen komplexeren Umfang mit zusätzlichen Merkmalen definieren.
Die Abstandssensorbaugruppe 110 beinhaltet eine Laserbaugruppe 150, die eine Linse oder eine andere optische Anordnung 152 (z. B. eine Powell-Linse oder eine zylindrische Linse) aufweist, die einen Vorhang oder Fächer 154 von Laserlicht in Richtung auf das Objekt 120 auf eine solche Weise projiziert, dass eine Linie 156 entlang der physikalischen x-Achse (transversal zur Scanbewegungsrichtung MY) entsteht. Der Fächer 154 befindet sich allgemein in einer Ebene, die in dieser Ausgestaltung etwa (oder im Wesentlichen) lotrecht zu einer Referenzebene verläuft, wie z. B. die physikalische x-y-Ebene der Bewegungsplattform 130 und/oder eine Ebene der umgebenden Objektoberfläche 140. Der Abstandssensor 110 beinhaltet auch eine Kamerabaugruppe (gestrichelter Kasten 160), die allgemein aus einer Linsen/Optik-Baugruppe 162, die potentiell in einer wohl bekannten Scheimpflug-Konfiguration angeordnet ist, und einer Imager-Baugruppe („Imager”) 164 besteht. Der Imager 164 enthält ein Array von fotoempfindlichen Pixeln mit einer vorbestimmten Auflösung und die Kamerabaugruppe definiert allgemein eine optische Achse OA, die das Objekt 120 in der Region der Linie 156 schneidet. Die optische Achse OA definiert einen nichtparallelen (z. B. spitzen) Winkel θ mit Bezug zur Ebene (und der assoziierten Linie 170) des Laserfächers 154. So wird jede(r) physikalische z-Achsen-Höhenvariation/-abstand in der Linie entlang der physikalischen x-Achse durch die Kamerabaugruppe 160 als eine Positionsvariation (entlang der Bildachse VI) in der resultierenden Linie 171 eines zweidimensionalen (2D) Bildes 172 abgebildet, wie allgemein auf dem beispielhaften (und optionalen) Display 174 zu sehen ist.
Man beachte, dass die Anordnung von Achsen (x, y, z) eine Konvention ist und dass ausdrücklich auch andere Darstellungen von relativer Orientierung (z. B. Polarkoordinaten) vorgesehen sind. Wie gezeigt, wird auch eine Rotation um eine gegebene Achse dargestellt, zum Beispiel durch den doppelt gekrümmten Pfeil Rx, der eine Rotation um die physikalische x-Achse darstellt.
Der Imager 164 ist mit einem Vision-System-Prozessor 180 wirkverbunden, der sich in dieser Ausgestaltung im Gehäuse 112 des Abstandssensors 110 befindet. In alternativen Ausgestaltungen können sich einige oder alle Komponenten und/oder Prozesse des Vision-System-Prozessors fern von dem Gehäuse (z. B. auf einem angeschlossenen PC) befinden. Der Vision-System-Prozessor 180 führt einen Abstandssensorprozess 182 gemäß der nachfolgend ausführlich beschriebenen illustrativen Ausgestaltung aus. Der Prozessor 180 empfängt auch relative Bewegungssignale von der Bewegungsplattform 130 oder einer anderen sich bewegenden Vorrichtung (z. B. ein Gantry oder ein Manipulator, der den Abstandssensor und/oder das Objekt hält). Bilder werden in Assoziation mit solchen Bewegungssignalen so erfasst, dass die Linie 156 mit der physikalischen Position in der Szene übereinstimmt.
Ebenfalls wie nachfolgend beschrieben, werden die Bilddaten (d. h. ein 2D-Entfernungsbild) für das Objekt zu stromabwärtigen Datenhandhabungsvorrichtungen und -prozessen zur Verwendung in verschiedenen Produktionsaktivitäten wie Prüfung, Qualitätskontrolle, Objektmanipulation, Montage usw. übertragen.
Benutzer wünschen typischerweise Messwerte, die durch physikalische Einheiten charakterisiert sind (z. B. Millimeter oder Mikron in x und y und z), anstatt Bildeinheiten (d. h. Pixel/Pel in x, Trigger auf Encoder-Bewegungsbasis in y und Reihenabstände in z). Aus diesem Grund werden Abstandssensoren typischerweise so kalibriert, dass sie zwischen Bildpixelausgängen und physikalischen Einheiten konvertieren, so dass der kalibrierte Abstandssensorausgang in physikalischen Einheiten vorliegt. Die Abstandssensorkalibration kann durch den Hersteller so erfolgen, dass er Abstandssensorausgänge in physikalischen Einheiten bereitstellt (wie beispielsweise das Modell DS1100, das von Cognex Corporation aus Natick, MA erhältlich ist). Alternativ können Sensoren Ausgaben in unkalibrierten Bildeinheiten bereitstellen. Wenn der Sensorausgang in unkalibrierten Bildeinheiten vorliegt, dann wird der Benutzer oder die Anwendung mit der Handhabung von Eingangsdaten in Bildpixeleinheiten beauftragt.
Man beachte auch, dass die hierin verwendeten Begriffe „Prozess” und/oder „Prozessor” allgemein so zu verstehen sind, dass sie eine Reihe verschiedener elektronischer Hardware- und/oder Software-basierter Funktionen und Komponenten beinhalten. Darüber hinaus kann ein beschriebener Prozess oder Prozessor mit anderen Prozessen und/oder Prozessoren kombiniert oder in verschiedene Subprozesse oder Prozessoren unterteilt werden. Solche Subprozesse und/oder Subprozessoren können auf verschiedene Weisen gemäß den Ausgestaltungen hierin kombiniert werden. Ebenso ist ausdrücklich vorgesehen, dass jede(r) Funktion, Prozess und/oder Prozessor hierin mit elektronischer Hardware, Software bestehend aus einem nicht transitorischen computerlesbaren Medium von Programmbefehlen oder aus einer Kombination von Hardware und Software implementiert werden kann/können.
II. Filter- und Sensorprozess
Es wird nun kurz auf 2 Bezug genommen, die ein Entfernungsbild 200 eines Objekts zeigt, das in diesem Beispiel eine Kartoffel mit einer variierenden Oberflächengeometrie und einer Reihe verschiedener höhenabweichenden/-verschobenen Merkmalen 210 ist. Diese höhenverschobenen Merkmale 210 („Höcker” oder „Noppen”) sind abgebildet und erscheinen in einer anderen Schattierung und/oder Farbe. Es sollte jedoch klar sein, dass sich solche „Höcker” aufgrund der Oberflächenhöhe/Geometrie-Gesamtvariation für das Objekt nur schwer auflösen lassen. Die Geometrie der Objekt-Oberfläche (z. B. eine verdrehte Form) macht die Identifikation von individuellen Noppen (oder anderen flächennormalen höhenvariierenden Merkmalen wie Vertiefungen) schwierig. Dies kann den gesamten Prüfprozess mit einem Vision-System langsam oder uneffektiv machen. Daher wird, um die Effektivität und Genauigkeit des Prüfprozesses des Sichtsystems zu verbessern, ein Filterprozess 190 (1) gemäß einer illustrativen Ausgestaltung als Teil des Gesamtsensorprozesses 182 angewandt. Das gefilterte Bild wird nachfolgend mit Bezug auf 9 beschrieben.
Wie in 1 gezeigt, können Bilder alternativ (oder zusätzlich) von einer Quelle 188 kommen, die Bilddaten zur Weiterverarbeitung speichert. Der Bildprozessor, der den Filterprozess 190 und/oder Vision-System-Tools 183 beinhaltet, kann separat von den Funktionen der Kamerabaugruppe sein und kann sich in einer separaten Vorrichtung oder in der Kamerabaugruppe (110) wie gezeigt befinden. Somit ist ausdrücklich vorgesehen, dass das System und Verfahren an Bildern frei von Verbindungen mit der Kamerabaugruppe bei der Durchführung der Filterprozesse angewandt werden können.
Der Filterprozess 190 wird weiter mit Bezug auf das Fließschema von 3 beschrieben. Der Prozess beginnt, wenn ein Objekt in der Szene abgebildet wird, um ein Entfernungsbild zu erzeugen (Schritt 310). Auch mit Bezug auf 4, diese zeigt ein Entfernungsbild 400 eines beispielhaften Objekts 410 mit einer veränderlichen Oberflächengeometrie (z. B. eine Kartoffel). Die gezeigte beispielhafte Objektoberfläche definiert mehrere positive Höhenmerkmale (z. B. Höcker oder Noppen) und mehrere negative Höhenmerkmale (z. B. Vertiefungen). Das von dem illustrativen Filter verarbeitete Entfernungsbild definiert ein Entfernungs-(z-Achsen-Tiefe)-Bild des Objekts (Kartoffel), wobei jedes Bildpixel die Höhe (z. B. in mm) des Objekts über einer Basisebene (beispielhaftes Raster 420 und Oberfläche 130 (1)) repräsentiert, auf der das Objekt ruht. Die Koordinaten von zwei beispielhaften z-Pixeln 430, 432 können mit Z₀(X₀, Y₀) bzw. Z₁(X₁, Y₁) angegeben werden. Das volle Entfernungsbild definiert die Höhe z an jedem Pixelort (xi, yj) des Bildes.
In Schritt 320 erzeugt der Filterprozess 190 zunächst eine Oberflächenhöhe und eine flächennormale Richtung (mit einem Plane-Fit-Tool). Der Prozess 190 berechnet dann ein Höhenabweichungsmaß in der Normalrichtung (mit einem Höhen-Tool). Die Ebenenpassung (Plane Fit) erzeugt die beiden ersten Messwerte und das Höhen-Tool erzeugt den dritten Messwert. Nun auch mit Bezug auf das Bild 400 von 5, der Prozess 190 berechnet eine geeignete Vordergrundregion und Hintergrundregion (oder mehrere solcher Regionen) für jedes Pixel (Kreuz 510). Das beispielhafte Pixel (Kreuz 510) ist mit einer Hintergrundregion (Ring 520) dargestellt, die in einer radialen Distanz von einer Vordergrundfläche (Kreis 530) darum zentriert sind, die die normale Höhenregion repräsentiert. Die Höckerhöhe kann von jedem Pixel in dem Bild oder von einer Teilmenge von Pixeln berechnet werden, die mit verschiedenen Prozessen ermittelt werden können. Man beachte, dass mehrere Hintergrund- und/oder Vordergrundregionen für ein gegebenes Pixel erstellt werden können. Die beiden Regionen werden zum Berechnen der lokalen „Höcker”-Höhe des Pixels (Kreuz 510) benutzt, wie nachfolgend näher beschrieben wird. Größe, Form und Anzahl solcher Regionen können vom Benutzer über eine geeignete Benutzeroberfläche bestimmt werden (z. B. eine mit dem Display 174 in 1 assoziierte Oberfläche). Diese Regionen können auf der Basis des allgemeinen Wissens über Größe, Form und/oder Ort der Höcker (oder anderer flächennormaler Höhenmerkmale) auf dem Objekt erstellt werden. Auf diese Weise setzt der Benutzer die Parameter des Filters so, dass eine Ermittlung solcher Merkmale an dem Objekt optimiert wird.
Der Prozess 190 erzeugt als Nächstes (für jede von einer oder mehreren (eine Mehrzahl) Regionen (z. B. Pixel 510)) in dem Bild 400 eine Best-Fit-Fläche und Flächennormale für z Pixel in dieser Region (Schritt 330). Man beachte, dass die Best-Fit-Fläche typischerweise eine Ebene ist, aber es ist ausdrücklich vorgesehen, dass die Best-Fit-Fläche ganz oder teilweise eine Sphäre oder andere vordefinierte 2D- oder 3D-Form umfassen kann. Eine solche Form wird potentiell durch eine Benutzereingabe ausgewählt und definiert, um die besten Ergebnisse für ein bestimmtes Höhenabweichungsmerkmal zu erhalten. Die illustrative Best-Fit-Fläche/Ebene 610 wird von der Hintergrundregion (Ring 520) erzeugt und repräsentiert eine lokale Hintergrundschätzung der „glatten” Objektfläche im Bereich des Pixels 510 auf der Basis eines Höhenprofils für Pixel in der Hintergrundregion. Die Flächennormale 620 geht vom Pixel 510 aus und ist lotrecht zu der illustrativen Ebene 610 und zeigt in eine positive Höhenrichtung. Man beachte, dass die zum Erzeugen der Best-Fit-Fläche und/oder der Höckerhöhe (Vordergrund und Hintergrund) benutzten Regionen nicht kontinuierlich zu sein brauchen, wenn mehrere solche Regionen benutzt werden. So kann zugelassen werden, dass das System bestimmte Merkmale weglässt, die außerhalb der „glatten” oder „Höcker”-Geometrie liegen, die den Rest der Oberfläche auf dem Objekt charakterisiert.
In Schritt 340, und mit Bezug auf 7, berechnet der Prozess 190 dann die relative Distanz der Vordergrundregion 530 für das Pixel 510 von der Best-Fit-Ebene 610 (6). Die Vordergrundregion 530 definiert den Satz von z Pixeln, deren mit Vorzeichen versehene durchschnittliche Distanz anhand der geschätzten lokalen Hintergrundebene 610 berechnet wird. Man beachte, dass die zu Grunde liegende Basisebene (420, 4) auf eine Reihe verschiedener Weisen berechnet werden kann. Die Position der Scan-Linie im Sichtfeld in Teilen der abgebildeten Szene, die eine minimale Höhe repräsentieren, kann mit einer Basisebenen-(z-Achsen-)Höhe assoziiert werden. Diese durchschnittliche Distanz kann optional durch Berechnen des Massenzentrums (CM) der Vordergrundpunkte und dann Berechnen der Distanz (mit Vorzeichen) dieses CM-Punkts zur geschätzten lokalen Hintergrundfläche/-ebene erhalten werden. Man beachte, dass die Distanz ein positives Vorzeichen hat, wenn die Vordergrundregion über der Fläche/Ebene 610 liegt (auf derselben Seite der Ebene wie die im vorherigen Bild gezeigte auswärtige Flächennormale), und ein negatives Vorzeichen, wenn sie unter der Ebene 610 liegt.
In Schritt 350, und mit Bezug auf 8, wird das Bild 400 an jedem Pixel mit dem oben beschriebenen Filteroperator analysiert (mit einer oder mehreren Hintergrundregionen und einer oder mehreren Vordergrundregionen pro Pixel), um ein gesamtes „Höckerbild”- oder allgemeiner ein „Höhenabweichungsbild”-Ergebnis zu erzeugen. Das heißt, der Prozess wiederholt die Schritte 330 und 340 oben für alle (oder eine gewählte Teilmenge aller) Pixel in dem Entfernungsbild. Der Filteroperator 810, 820, 830 und 840 ist an verschiedenen Stellen um das Bild 400 gezeigt. Man beachte, dass „Vertiefungen” mit negativer Höhe wie auch „Höcker” 870 mit positiver Höhe analysiert werden können. Bereiche auf der Basisebene (420 in 4) sind als Flecken 850 dargestellt. Das resultierende Höhenabweichungsbild ist ein Bild mit Vorzeichen, das die lokalen Höhenabweichungen von einer geglätteten Flächendarstellung des Objekts repräsentiert (z. B. eine Kartoffel). Lokale Vertiefungen (z. B. Vertiefung 860) in der Oberfläche definieren negative Höhen und lokale Höcker (z. B. Höcker 870) auf der Oberfläche definieren positive Höhen relativ zur lokalen umgebenden Fläche.
Auf der Basis des in Schritt 350 abgeleiteten Höhenabweichungs-„Höcker”-Bildes kann der Sensorprozess verschiedene Vision-System-Tools (183 in 1) anwenden, einschließlich, aber ohne Begrenzung, Edge-Detection-Tools, Blob-Analysis-Tools und/oder Caliper-Tools, um solche Höcker-, Vertiefungs- oder andere Merkmale auf Erfüllung der gewünschten Spezifikationen zu analysieren (Schritt 360). Wünschenswerterweise werden solche Höcker und Vertiefungen durch das Filter lokalisiert, so dass das Vision-System diese Merkmale effizienter und mit kürzerer Verarbeitungszeit direkt analysieren kann.
IV. Ermitteln von unregelmäßigkeitsfreien Regionen auf einer Objektoberfläche
Ein besonderes Problem, für das 3D-Vision-Systeme wie oben beschrieben (d. h. Laserprofilieriungssysteme) eingesetzt werden können, bezieht sich auf den Ort und die Platzierung von Etiketten, Aufdrucken und/oder anderen Verzierungen auf einer Objektoberfläche, die Unregelmäßigkeiten enthält. In einem Beispiel umfasst die Oberfläche eine Seite einer Kiste, eines Kartons oder Containers, der Band oder andere aufgebrachte Gegenstände aufweisen kann, die eine raue Oberfläche erzeugen und/oder Ausschlussregionen definieren, auf denen keine weiteren Aufdrucke oder Etiketten aufzubringen sind. Es wird auf 10 Bezug genommen, die eine typische Objektoberfläche 1010 zeigt, die Regionen mit Oberflächenunregelmäßigkeiten und Ausschlusszonen enthält. Zum Beispiel, die Oberfläche 1010 definiert eine typische Kistenfläche, auf die ein Etikett 1040 mit vorbestimmten Abmessungen (z. B. Länge LL und Breite WL) aufgebracht werden soll. Es ist wünschenswert, dass das Etikett 1040 nicht auf einem Versandbarcode (oder anderen Information) 1020 platziert wird, der in verschiedenen Phasen des Versand- und/oder Logistikprozesses sichtbar sein soll. Es ist auch wünschenswert, das Etikett so zu platzieren, dass Überlappungen auf einem Dichtungsbandstreifen 1030 vermieden werden, der eine unregelmäßige Oberfläche mit Falten und Mulden 1032 aufweisen kann. Das heißt, das Etikett haftet möglicherweise nicht richtig an dieser Region und/oder scheint nachlässig platziert zu sein. Alternativ ausgedrückt, es wird gewünscht, dass das Etikett in einer Region platziert wird, die relativ glatt und allgemein frei von 3D-Oberflächenunregelmäßigkeiten ist.
Um eine rasche und zuverlässige automatische Platzierung des beispielhaften Etiketts 1040 auf der Kistenoberfläche 1010 zu ermöglichen, wo die Kistenoberfläche im Hinblick auf Größe, Form und Auslegung variieren kann, was eine vorhersagbare Platzierung eines Etiketts zu einer schwierigen Aufgabe für das System macht. Ebenso kann die Kiste dem System in einer Reihe von Orientierungen und/oder Neigungswinkeln präsentiert werden, was die Positionierung des Etiketts ebenfalls schwierig macht. Wie in 10 gezeigt, hat die Kistenoberfläche 1010 einen Winkel A mit Bezug auf die Bewegungslinienrichtung zum Beispiel entlang einem Förderer.
Es wird nun auf 11 Bezug genommen, die ein erfasstes 3D-Bild 1100 der Kistenoberfläche 1010 zeigt. Das Bild 1100 beinhaltet das Barcodemerkmal 1120 und das Bandstreifenmerkmal 1130, die jeweils Ausschlusszonen zum Platzieren des Etiketts 1040 darstellen. Kurz, das System und Verfahren ermitteln nach dem Lokalisieren der Fläche eine Serie von Rasterorten 1150 in dem Gesamtbild. Diese Rasterorte können regelmäßig wie gezeigt oder unregelmäßig beabstandet sein – zum Beispiel relativ zu bekannten Regionen von Interesse auf der Oberfläche orientiert. Es wird die Beschaffenheit der 3D-Merkmale an jedem Rasterort bestimmt. Rasterorte mit Oberflächenunregelmäßigkeiten (z. B. Höcker oder Dellen, die eine vorbestimmte Höhen-/Tiefenschwelle übersteigen) werden mit den aufgebrachten X-Markierungen (z. B. Rasterorten 1152) markiert. Wie nachfolgend beschrieben, bildet das Raster die Basis für den Entscheidungsprozess darüber, ob eine gegebene Region zum Aufnehmen eines Etiketts oder einer anderen Verzierung geeignet ist – oder ob keine Region auf der Oberfläche zum Aufnehmen des Gegenstands zur Verfügung steht.
Weiter mit Bezug auf 12, diese zeigt einen Lokalisierungsprozess 1200, der ausführlicher beschrieben wird. In Schritt 1210 erfasst der Prozess 1200 (der typischerweise vom Vision-System-Prozessor 180 (1) mit dem Ortsermittlungsprozess 191 durchgeführt wird) ein 3D-Entfernungsbild (d. h. ein Profil) einer Oberfläche auf einem Objekt von Interesse mittels eines geeigneten 3D-Abbildungsgeräts, einschließlich, ohne darauf begrenzt zu sein, der Vision-System-Anordnung 100 in 1. Das Objekt kann durch die Vision-System-Anordnung geleitet und beispielsweise mit einem Encoder verfolgt werden, der den Weg eines Förderers misst, der das Objekt durch die abgebildete Szene transportiert. Die von der Vision-System-Kamera erfassten 3D-Pixeldaten werden zum Bereitstellen eines Bilddatensatzes zur Verwendung in verschiedenen Vision-System-Folgeprozessen benutzt. Zur Veranschaulichung, in Schritt 1220 wird das erfasste Bild zum Suchen von Kanten und Ecken (ggf.) der Oberfläche und/oder von beliebigen Merkmalen von Interesse (z. B. Nähte, Etiketten, Barcodes, Passermarken usw.) auf der Oberfläche benutzt (z. B. in 2D). Es kann eine Reihe verschiedener herkömmlicher und/oder spezieller Vision-System-Tools in diesem Schritt zum Einsatz kommen – z. B. Randsucher, Blob-Tools, Kontrast-Tools und andere für die Fachperson offensichtliche Tools und Applikationen (z. B. Tools/Applikationen, die von Cognex Corporation aus Natick, MA, erhältlich sind).
In Prozessschritt 1230 wirkt der oben beschriebene Höckerfilter am Bilddatensatz, um Orte/Regionen mit Oberflächenunregelmäßigkeiten (d. h. 3D-Höcker und Dellen) auf dem Oberflächenbild zu ermitteln. Dann erzeugt der Prozess 1200 in Schritt 1240 eine Rasterkarte mit einer vorbestimmten Granularität (die je Erfordernissen des Benutzers feiner oder grober definiert werden kann) über das gesamte Oberflächenbild oder einen Teil davon. Ein beispielhaftes Raster wird durch die Elemente 1150 in 11 dargestellt. Das Raster wird auf der Basis von systembasierten Parametern oder von benutzerbasierten Parametern schwellenbewertet (beispielsweise mittels einer geeigneten grafischen Benutzeroberfläche (nicht gezeigt)). Durch die Schwellenbewertung kann ein binäres (1-Bit) Muster von Einsen und Nullen entsteht, die Werte sind, die darauf basieren, ob ein bestimmtes Rasterelement eine ausreichend große Oberflächenunregelmäßigkeit enthält (z. B. z-Achsen-Höhe und/oder x-y-Achsen-Größe), um den Minimumschwellenwert für eine Oberflächenunregelmäßigkeit einzuhalten, die vom System beim Aufbringen eines Etiketts als problematisch angesehen wird. Wie oben beschrieben, können Abstand und Auslegung des Rasters in der x- und y-Achsen-Richtung regelmäßig sein oder können gemäß einem anderen Muster mit regelmäßigem oder unregelmäßigem Abstand angeordnet werden. Zum Beispiel, der Abstand entlang der x-Achsen-Richtung kann kleiner sein als der entlang der y-Achsen-Richtung. Auch können bestimmte Regionen des Bildes einen dichteren Rasterabstand in einer (oder beiden) Richtung(en) vorgeben als andere Regionen – zum Beispiel dort, wo die Region mit kleinen Merkmalen überfüllt ist, die vermieden werden sollen.
In Schritt 1250, der optional sein kann, kann das System Masken in dem Raster erzeugen, die Ausschlusszonen (d. h. verbotene Zonen) um Regionen des Bildes repräsentieren, die bestimmte Merkmale enthalten, die nicht mit Etiketten oder anderen Gegenständen bedeckt werden sollen. Zum Beispiel, die Region 1120 in dem Bild von 11 beinhaltet einen Barcode, der unbedeckt bleiben und auf der beispielhaften Packung deutlich exponiert sein soll. Diese Ausschlusszonen können vordefiniert werden, wo sich das Merkmal an einem bekannten und vorhersagbaren Ort auf der Verpackung befindet. Alternativ kann die Ausschlusszone mit einem Vision-System-Tool definiert werden, z. B. einem ID-Code-Suchwerkzeug. Die Größe der Ausschlusszone reicht aus, um zu gewährleisten, dass das Merkmal durch das Aufbringen eines Etiketts oder anderen Gegenstands unbeeinflusst bleibt. Man beachte, dass Auschlusszonen auch auf der Basis von Orten auf dem Bild definiert werden können, wo ein weiterer Prozess stattfinden wird, wie z. B. das Aufbringen von zusätzlichen Etiketten, Briefmarken, Stempeln usw. Solche Stellen sind in dem Prozess vordefiniert (vortrainiert) und werden typischerweise nicht auf der Basis der Ermittlung eines Merkmals in dem Bild erzeugt.
In Schritt 1260 wendet der Prozess 1200 iterativ eine Kostenfunktion auf das schwellenbewertete Raster an. Diese Kostenfunktion berechnet Regionen mit einem hohen Wert aufgrund von Oberflächenunregelmäßigkeiten (und/oder optional Ausschlusszonen aufgrund von Aufdrucken usw.). Beim Erzeugen solcher Werte zählt der Prozess 1200 die Einsen (z. B. Rasterelemente, die in 11 mit einem X dargestellt sind (1152)) gegenüber Nullen (1150) für jede Rasterstelle in dem Bild über den Bereich der Etikettenabmessungen (z. B. Länge und Breite x und y). In Schritt 1270 sucht der Prozess dann die Region, in der der Gesamtwert minimiert werden soll (z. B. ein globales Minimum mit der geringsten Anzahl von X). Wie im Beispiel von 11 gezeigt, ist die Region 1170 des Bandstreifens dicht mit hochwertigen Rasterelementen (X). Ebenso enthält der untere Bereich 1180 des Bildes mehrere hochwertige Rasterelemente. Umgekehrt ist der rechte obere Bereich des Bildes 1100 relativ frei von Unregelmäßigkeiten (d. h. die flachste druckfreie Region) und stellt somit eine wünschenswerte Stellenform bereit, auf die das beispielhafte Etikett aufgebracht werden kann, wie durch den gestrichelten Kasten 1160 gezeigt wird.
Man beachte, dass die hierin gezeigte und beschriebene Kostenfunktion einen breiten Bereich von Techniken, Mechanismen und/oder Ansätzen zum Mappen des Bildes illustriert. Alternativ kann die Kostenfunktion direkt auf den Ergebnissen des Höckerfilters von Schritt 1230 aufgebaut werden. Somit gilt das in 12A gezeigte modifizierte Fließschema. Man beachte, dass ähnliche Schritte wie die in 12 gezeigten und beschriebenen gleiche Bezugsziffern erhielten und es trifft die obige Beschreibung auf sie zu. Insbesondere ist Schritt 1240 in 12A weggelassen und das Höckerfilter in Schritt 1230 erzeugt Regionen mit Oberflächenunregelmäßigkeiten, die direkt Stellen anzeigen, in denen sich ein Höcker oder eine Delle auf der Gesamtfläche befindet. Die Stellen werden in Schritt 1292 verarbeitet, um eine Kostenfunktion frei von einer Rasterkarte zu erzeugen. Das heißt, die Kostenfunktion benutzt Höhen-(und Deckungsbereich-)Informationen für Höcker und Dellen, um zu ermitteln, ob eine bestimmte Region zum Aufbringen des Gegenstands/Etiketts auf die Oberfläche geeignet ist. Die optionalen Ausschlusszonen können auch in Schritt 1292 verarbeitet werden, um Regionen mit einem Etikett oder einem anderen verbotenen Merkmal auszuschließen.
Wenn der optimale Ort zum Aufbringen eines Etiketts (oder anderen Gegenstands) in 12 oder 12A ermittelt ist, dann kann der Prozess andere Vorrichtungen oder Systeme auslösen, um das/den Etikett/Gegenstand in Schritt 1280 (gestrichelt) auf diesen Ort aufzubringen. Dies kann das Servosteuern eines Roboter-Manipulators und/oder einer Bewegungsplattform beinhalten, die das Objekt aufnimmt, so dass das/der Etikett/Gegenstand auf den gewünschten Ort auf der Oberfläche aufgebracht wird. Alternativ kann Schritt 1280 anzeigen, dass kein geeigneter Ort zum Aufbringen eines Etiketts oder anderen Gegenstands auf die Oberfläche aufgrund von zu starken Unregelmäßigkeits- oder Größenbeschränkungen der ersten verfügbaren flachen Fläche existiert. Wo kein geeigneter Ort zur Verfügung steht, da kann das Objekt mit einem Alarm markiert und/oder von der Fördererlinie (zum Beispiel) zu einem speziellen Handhabungsort umgeleitet werden.
Es ist ausdrücklich vorgesehen, dass die Benutzeroberfläche oder ein anderer Programmiermechanismus zum Justieren der Empfindlichkeit des Prozesses durch Verändern oder Abstimmen der Höckerfiltermasken benutzt werden kann, um Unregelmäßigkeiten (unflache Merkmale) einer bestimmten Höhe und/oder Größe zu identifizieren. Die Rasterdichte/Granularität kann auch so justiert werden, dass die Gesamtempfindlichkeit des Prozesses verändert wird.
Mit Bezug auf das Objekt 1300 von 13 (z. B. ein Fußball mit abwechselnden weißen und schwarzen fünfeckigen Formen 1310 bzw. 1320) hat der Prozess 1200 die Fähigkeit, eine niederfrequente Variation der Oberfläche wie z. B. eine kontinuierliche Krümmung des sphärischen Balls aufzunehmen. Der Prozess 1200 kann eine geeignete Stelle (gestrichelter Kasten 1330) zum Aufbringen eines Gegenstands identifizieren und dabei Rippen 1340 (durch Gitter X denotiert) finden, die vermieden werden sollen. Auch die schwarzen Fünfecke 1320 können als Stellen für den Gegenstand vermieden werden, indem Ausschlusszonen wie oben in Schritt 1250 beschrieben erstellt werden. Der illustrative Prozess 1200 sucht effektiv nach Flächen mit geringer Unregelmäßigkeit selbst auf einer geneigten oder gekrümmten Fläche wie dem gezeigten Ball. Umgekehrt würden andere Algorithmen, wie z. B. ein herkömmlicher Fit-Plane-Algorithmus, auf der Oberfläche des gezeigten Balls allgemein versagen.
Das System und Verfahren sind auch gegenüber alternativen Techniken vorteilhaft, in denen eine Ebene in einen spezifischen Bereich eingepasst wird und dieser Bereich dann wachsen gelassen wird, solange die Passqualität der Ebene akzeptabel bleibt (bis zu einer Größe, die das Etikett einnimmt). Bei einer solchen alternativen Technik ist das benötigte Verarbeitungsoverhead häufig erheblich größer, da das System wiederholt aufeinander folgende Bereichswachstumsoperationen durchläuft.
Wieder mit Bezug auf das beispielhafte Entfernungsbild 200 von 2, nach dem Anwenden des Filterprozesses von 3 kann das Höhenabweichungsbild durch das Diagramm von 9 dargestellt werden. Das Objekt 900 ist mit einer Reihe von aufgelösten Flecken 910 gezeigt, die die Höhenabweichungsmerkmale (Höcker) deutlich gegen die umgebende Fläche abgrenzen (aufgrund ihres gezeigten scharfen Kontrasts mit der Umgebung). So kann das Vision-System eine weitere Analyse speziell auf diese hervorgehobenen Regionen mit höherer Genauigkeit und Effizienz richten.
Somit sollte klar sein, dass das oben beschriebene illustrative flächennormale Höckerfilter besonders für die Verwendung beim Analysieren von Objekten von unflachen, aber glatten Oberflächen, mit örtlichen Vertiefungen und Höckern wünschenswert ist. Für eine einfache Fläche wie eine Ebene mit Vertiefungen würde das illustrative Höckerfilter Ergebnisse ergeben, die mit denen vergleichbar sind, die durch Einpassen einer einzelnen Ebene und dann Messen der Distanz jedes Punkts (Pixels) auf der Oberfläche von der Passebene erhalten werden. Da das Höckerfilter jedoch lokale Ebenen schätzt, kann es eine breite Palette von unflachen Flächen mit variabler und a priori unbekannter Flächengeometrie aufnehmen. Insbesondere erzeugt es, da das illustrative Höckerfilter die Distanz normal zur Oberfläche misst, nahezu identische Höhenschätzungen an entsprechenden Punkten selbst dann, wenn ein 3D-Objekt tiefenmäßig gedreht und mit einem Entfernungssensor neu abgebildet wird. Diese Invarianz vereinfacht die nachfolgende Verarbeitung/Analyse des Höckerhöhenbildes erheblich, um Oberflächendefekte mit verschiedenen Vision-System-Tools zu erkennen.
Es ist ausdrücklich vorgesehen, dass besondere Erweiterungen an dem/den oben beschriebenen Prozess(en) in anderen Anwendungen benutzt werden können. Illustrativ kann der Prozess den Restfehler der Ebenenpassung zum Qualifizieren der Höhenmessung verwenden. Wo ein Ring (zum Beispiel) für den Hintergrund und ein Patch im Vordergrund für die Höhe benutzt wird, da kann der Prozess sowohl auf das gesuchte (Höcker-)Merkmal und auch über das gesamte besondere lineare Merkmal (z. B. eine Rippe) reagieren. Die Planpassung kann einen hohen Restpassfehler an den Punkten aufweisen, wo der Ring auf der Rippe zentriert ist, und diese Reaktion kann zum Zurückweisen der Höhenmessungen an diesen Punkten benutzt werden.
Bei der Ermittlung von ausreichend flachen und/oder regelmäßigen Flächen zum Aufbringen von Etiketten oder anderen Gegenstanden bietet die obige Ausgestaltung ein effizientes und variables System und Verfahren. Dieses System und Verfahren wirken auf Oberflächen sowohl mit hochfrequenten als auch mit niederfrequenten Oberflächenvariationen und ermitteln effektiv geeignete Orte zum Aufbringen von Gegenständen. Diese Gegenstände können aufgebrachte Etiketten, Aufdrucke, Ätzungen, Aufkleber und/oder beliebige andere geeignete Verzierungen auf der Oberfläche beinhalten, die sich wünschenswerterweise in einer relativ regelmäßigen Region befinden. Ebenso kann die darunterliegende Oberfläche flach, gekrümmt oder teilweise flach und teilweise gekrümmt sein. Es ist auch eine Reihe verschiedener weicher und/oder harter Oberflächenmaterialien und/oder Finishes vorgesehen, einschließlich spiegelnd, opak, transluszent, transparent und Kombinationen davon. Außerdem können durch die Verwendung von Masken und/oder Ausschlusszonen Falten oder andere bekannte Unregelmäßigkeiten beim Ermitteln eines Ortes zum Aufbringen eines Gegenstands übersehen werden. So kann ein Gegenstand über eine Knitterfalte, Falte, Kronenkante oder ein anderes bekanntes Merkmal platziert werden.
Es wurden oben illustrative Ausgestaltungen der Erfindung ausführlich beschrieben. Verschiedene Modifikationen und Zusätze können vorgenommen werden, ohne von Wesen und Umfang der vorliegenden Erfindung abzuweichen. Merkmale jeder der verschiedenen oben beschriebenen Ausgestaltungen können mit Merkmalen von anderen beschriebenen Ausgestaltungen wie angemessen kombiniert werden, um eine Vielzahl von Merkmalskombinationen in assoziierten neuen Ausgestaltungen zu erzielen.
Ferner wurden zwar oben einige separate Ausgestaltungen der Vorrichtung und des Verfahrens der vorliegenden Erfindung beschrieben, aber diese Beschreibung hierin ist lediglich illustrativ für die Anwendung der Grundsätze der vorliegenden Erfindung. Zum Beispiel, die hierin verwendeten verschiedenen Richtungs- und Orientierungsbegriffe wie „vertikal”, „horizontal”, „oben”, „unten”, „untere”, „obere”, „Seite”, „vorne”, „hinten”, „links”, „rechts” und dergleichen werden lediglich als relative Konventionen und nicht als absolute Orientierungen mit Bezug auf ein festes Koordinatensystem wie Schwerkraft verwendet. Ebenso kann die Höhen-(z-Achsen)-Genauigkeit durch Einstellen der Belichtung der Kamerabaugruppe so verbessert werden, dass erkannte Merkmale in dem Bild ungesättigt bleiben. Spezieller, das hierin erzeugte Entfernungsbild kann mit einer Reihe verschiedener 3D-Abbildungssysteme bereitgestellt werden, einschließlich, aber nicht darauf begrenzt, einer mit LIDAR ausgestatteten Kamera, einer stereoskopischen Kamerabaugruppe oder Kombinationen solcher Anordnungen. Wie oben allgemein beschrieben, können die Vordergrund- und Hintergrundregionen im Hinblick auf eine beliebige Größe und Form vorgegeben werden, die die Anforderungen einer gegebenen Anwendung erfüllen. Ebenso kann, da der verarbeitungsintensivste Aspekt des flächennormalen Höckerfilters typischerweise der lokale Plane-Fit-Vorgang ist, diese Aufgabe durch rekursives Aktualisieren der Plane-Fit-Regressionsmatrix beschleunigt werden, während die Hintergrundregion über das Bild verschoben wird. Ebenso wie oben erwähnt, kann der lokale Plane-Fit-Vorgang die Nutzung aller Punkte in der Hintergrundregion vermeiden – und stattdessen eine robuste Plane-Fit-Prozedur (z. B. RANSAC) zum Ausschließen von Ausreißerpunkten aus der Passung benutzt. Illustrativ kann Invarianz von Messungen an der Objektoberflächenorientierung auch durch Variieren der Form von Hintergrund- und Vordergrundregionen gemäß der örtlichen flächennormalen Richtung weiter verbessert werden. Dies würde eine Präsentation von Vordergrund- und Hintergrundregionen zulassen, deren Form in den Oberflächenkoordinaten des 3D-Objekts konstant ist (anstatt im x-y-Raum des Entfernungsbildes konstant zu sein). Demgemäß soll diese Beschreibung lediglich als Beispiel und nicht zum anderweitigen Begrenzen des Umfangs der vorliegenden Erfindung benutzt werden.

Claims

System zum Ermitteln von Oberflächenhöhenvariationen auf einem Objekt auf der Basis eines Entfernungsbildes, das Folgendes umfasst: eine Kamerabaugruppe, die ein Entfernungsbild erzeugt; ein Vision-System, das das Entfernungsbild analysiert; ein Filter, das (a) eine Best-Fit-Fläche einer durchschnittlichen Höhe über jedes von gewählten Pixeln im Entfernungsbild erzeugt, (b) eine Normale zu der Best-Fit-Fläche jeweils für jedes der Pixel erstellt, und (c) einen relativen Höhenabstand einer Region um jedes der Pixel relativ zu der Best-Fit-Fläche ermittelt; und ein Vision-System-Tool, das vom Filter lokalisierte höhenverschobene Merkmale analysiert.
System nach Anspruch 1, wobei das Filter eine Hintergrundregion um jedes der gewählten Pixel beinhaltet, von der die Best-Fit-Fläche erstellt wird.
System nach Anspruch 2, wobei das Filter eine Vordergrundregion aufweist, die sich nahe der Hintergrundregion befindet und wenigstens eines der gewählten Pixel aufweist, in denen der relative Höhenabstand ermittelt wird.
System nach Anspruch 3, wobei eine Größe und/oder eine Form der Hintergrundregion und/oder der Vordergrundregion auf der Basis einer Größe und/oder einer Form des Objekts anwenderdefiniert wird.
System nach Anspruch 1, wobei die Kamerabaugruppe einen Abstandssensor umfasst, der eine Sichtlinie auf dem Objekt projiziert und Licht von der projizierten Linie auf einem Imager auf eine Weise empfängt, die mehrere Abstandsswerte in einer Höhenrichtung definiert.
System nach Anspruch 1, wobei die Best-Fit-Fläche eine Best-Fit-Ebene umfasst.
Verfahren zum Ermitteln von Oberflächenhöhenvariationen auf einem Objekt auf der Basis eines Entfernungsbildes, das die folgenden Schritte beinhaltet: (a) Erzeugen einer Best-Fit-Fläche einer durchschnittlichen Höhe um jedes von gewählten Pixeln im Entfernungsbild; (b) Erstellen einer Normalen zu der Best-Fit-Fläche jeweils für jedes der Pixel; (c) Ermitteln eines relativen Höhenabstands einer Region um jedes der Pixel relativ zu der Best-Fit-Fläche; und (d) Analysieren, mit einem Vision-System-Tool, von lokalisierten höhenverschobenen Merkmalen.
System zum Ermitteln einer Region auf einer Fläche mit geringer Oberflächenunregelmäßigeit, das Folgendes umfasst: ein Vision-System-Tool, das die Oberfläche sucht und ein 3D-Bild von wenigstens einem Teil der Oberfläche erfasst; ein Filter, das einen relativen Höhenabstand für einen Bereich um jedes aus einer gewählten Gruppe von Pixeln auf dem 3D-Bild ermittelt; und ein Ortungselement, das Kostenwerte für den Höhenabstand für jede Region auf der Basis von von dem Filter bereitgestellten Ergebnissen ermittelt und eine minimale Kostenregion ermittelt, die einen vorbestimmten Bereich aufnimmt.
System nach Anspruch 8, wobei der vorbestimmte Bereich so bemessen ist, dass er ein Etikett, einen Ausdruck oder eine andere Verzierung aufnimmt.
System nach Anspruch 8, das ferner ein Mapping-Element umfasst, das den Höhenabstand für jede von mehreren Regionen auf dem Bild in ein Rasterelement mit einem Höhenwert auflöst.
System nach Anspruch 8, das ferner ein Schwellenbewertungselement umfasst, das jeden Höhenwert jeweils in einen Binärwert auf der Basis davon auflöst, ob ein Höhenwert über oder unter wenigstens einem vorbestimmten Parameter liegt.
System nach Anspruch 11, wobei der vorbestimmte Parameter (a) Höhenabstand über oder unter einer umgebenden Fläche in der Region und/oder (b) Bereich eines unterschiedlichen Höhenabstands relativ zur umgebenden Fläche in der Region ist.
System nach Anspruch 8, wobei das Filter (a) eine Best-Fit-Fläche mit durchschnittlicher Höhe um jedes von gewählten Pixeln in dem Entfernungsbild erzeugt, (b) eine Normale zur Best-Fit-Fläche jeweils für jedes der Pixel erstellt, um (c) den Höhenabstand um jedes der Pixel relativ zur Best-Fit-Fläche zu ermitteln.
System nach Anspruch 13, wobei das Filter eine Hintergrundregion um jedes der gewählten Pixel beinhaltet, von denen die Best-Fit-Fläche erstellt wird.
System nach Anspruch 14, wobei das Filter eine Vordergrundregion aufweist, die sich nahe der Hintergrundregion befindet und wenigstens eines der gewählten Pixel aufweist, in denen der relative Höhenabstand ermittelt wird.
System nach Anspruch 15, wobei eine Größe und/oder eine Form der Hintergrundregion und/oder der Vordergrundregion auf der Basis einer Größe und/oder einer Form des Objekts anwenderdefiniert wird.
System nach Anspruch 8, wobei die Kamerabaugruppe einen Abstandssensor umfasst, der eine Sichtlinie auf dem Objekt projiziert und Licht von der projizierten Linie an einem Imager auf eine Weise empfängt, die mehrere Abstandswerte in einer Höhenrichtung definiert.
System nach Anspruch 8, wobei das Ortselement ermittelt, ob eine geeignete minimale Kostenregion existiert.
System nach Anspruch 8, wobei jedes Rasterelement einen Teil eines regelmäßigen Rasters von vorbestimmter Dichte auf dem Bild umfasst.
System nach Anspruch 8, wobei das Bild wenigstens eine Ausschlusszone darauf aufweist, die von der minimalen Kostenregion weggelassen wird.
System nach Anspruch 20, wobei die Ausschlusszone wenigstens eines aus Etiketten, Aufdruck und Verzierungen auf der Oberfläche beinhaltet.
System nach Anspruch 21, wobei die Oberfläche wenigstens einen Teil einer Verpackung umfasst und die minimale Kostenregion zum Aufnehmen eines aufgebrachten Etiketts und/oder eines Aufdrucks ausgelegt ist.
System nach Anspruch 8, wobei die Oberfläche wenigstens einen Teil einer Verpackung umfasst und die minimale Kostenregion zum Aufnehmen eines aufgedrucktem Etiketts und/oder eines Aufdrucks ausgelegt ist.