DE112006002674B4 - Verfahren und Vorrichtungen für praktisches 3D-Sichtigkeitssystem - Google Patents

Abstract

Die Erfindung stellt unter anderem Verfahren und Vorrichtungen zu Bestimmung der Pose, d. h. Position längs der x-, y- und z-Achsen, des Neigens, Rollens und Gierens (oder einer oder mehrerer Charakteristiken jener Pose), eines Objekts in drei Dimensionen durch Triangulieren von Daten, die von mehreren Bildern des Objekts gesammelt wurden, zur Verfügung. Somit stellt die Erfindung beispielsweise in einem Aspekt ein Verfahren für 3D-Maschinensichtigkeit bereit, bei dem während eines Kalibrierungsschritts mehrere Kameras, welche angeordnet sind, um Bilder des Objekts aus verschiedenen jeweiligen Blickpunkten zu erfassen, kalibriert werden, um eine Abbildungsfunktion wahrzunehmen, die Strahlen im dreidimensionalen Raum identifiziert, welche von der Linse jeder jeweiligen Kamera ausgehen, die Pixelorten im Sichtfeld jener Kamera entsprechen. In einem Trainingsschritt wird die den Kameras zugeordnete Funktionalität trainiert, um erwartete Muster in Bildern, die von dem Objekt zu erfassen sind, zu erkennen. Ein Laufzeitschritt trianguliert Orte im dreidimensionalen Raum von einem oder mehreren jener Muster von Pixel betreffenden Positionen jener Muster in Bildern des Objekts und von den während des Kalibrierungsschritts wahrgenommenen Abbildungen.

Description

• Hintergrund der Erfindung
• Die Erfindung betrifft Maschinensichtigkeit und insbesondere dreidimensionale (3D) Maschinensichtigkeit. Die Erfindung wird bei der Fertigung, Qualitätskontrolle und in der Robotik eingesetzt, um nur einige wenige Gebiete zu nennen.
• Maschinensichtigkeit betrifft die automatisierte Analyse von Bildern zur Bestimmung von Charakteristiken von in ihnen dargestellten Objekten. Es wird oft bei automatisierten Fertigungslinien bzw. -straßen eingesetzt, wo Bilder von Komponenten analysiert werden, um die Auswahl von Teilen zu vereinfachen und die Platzierung der Teile und die Ausrichtung für die Montage zu bestimmen. Wenn Roboter die Mittel für die automatische Montage sind und eine automatisierte Analyse von Bildern eingesetzt wird, um die Teileauswahl, -platzierung und -ausrichtung zu vereinfachen, wird das System als sichtgeführte Robotik bezeichnet. Maschinensichtigkeit wird auch zur Roboternavigation eingesetzt, zum Beispiel zur Sicherstellung der Erkennung von Orten, wenn Roboter sich durch Umgebungen bewegen.
• Obwohl die dreidimensionale (3D-) Analyse lange in der Literatur erörtert worden ist, verlassen sich die meisten heutigen Systeme für Maschinensichtigkeit auf eine zweidimensionale (2D-) Bildanalyse. Diese erfordert es typischerweise, dass geprüfte Objekte dem Sichtsystem in beschränkten Ausrichtungen und Orten „präsentiert“ werden. Üblicherweise wird zu diesem Zweck ein Förderband eingesetzt. Objekte, die montiert oder geprüft werden, werden typischerweise in einer bestimmten bekannten, stabilen 3D-Konfiguration, aber in einer unbekannten Position und Ausrichtung, auf dem Band platziert und in das Sichtfeld des Sichtsystems bewegt. Auf der Basis der 2D-Pose (d. h. Position und Ausrichtung) eines Objekts in dem Sichtfeld und unter der Berücksichtigung, dass es auf dem Förderband angeordnet ist (wodurch seine „Lage“ und sein Abstand zur der Sichtsystemkamera sichergestellt wird), wendet das System eine 2D-Geometrie an, um die genaue 3D-Pose und/oder Konformität des Objekts mit einem erwarteten Erscheinungsbild zu bestimmen.
• Beispiele, bei denen eine solche 2D-Sichtanalyse angewendet wird, sind in früheren Arbeiten des vorliegenden Zessionars bereitgestellt, einschließlich der US-Patente 6 748 104 mit dem Titel „Methods and apparatus for machine vision inspection using single and multiple templates or patterns“, 6 639 624 mit dem Titel „Machine vision methods for inspection of leaded components“, 6 301 396 mit dem Titel „Non-feedback-based machine vision methods for determining a calibration relationship between a camera and a moveable object“, 6 137 893 mit dem Titel „Machine vision calibration targets and methods of determining their location and orientation in an image“, 5 978 521 mit dem Titel „Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object“, 5 978 080 mit dem Titel „Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view“, 5 960 125 mit dem Titel „Non-feedback-based machine vision method for determining a calibration relationship between a camera and a moveable object“, 6 856 698 mit dem Titel „Fast high-accuracy multi-dimensional pattern localization“, 6 850 646 mit dem Titel „Fast high-accuracy multi-dimensional pattern inspection“ und 6 658 145 mit dem Titel „Fast high-accuracy multi-dimensional pattern inspection“, um nur einige wenige zu nennen.
• Mit zunehmendem Vertrauen in die Robotik ist überall von Fabrikhallen bis zur Privatwohnung der Bedarf an praktischen 3D-Sichtsystemen hervorgetreten. Dies liegt daran, dass in vielen dieser Umgebungen Objekte, die einer Prüfung unterzogen werden, zum Beispiel nicht unbedingt in einer Gesamtposition und -lage eingeschränkt sind, wie es ansonsten der Fall mit Objekten sein kann, die auf einem Förderband präsentiert werden. Das heißt, die präzise 3D-Konfiguration des Objekts kann unbekannt sein.
• Zur Aufnahme der zusätzlichen Freiheitsgrade von Pose und Position in einem 3D-Ort sind 3D-Sichtwerkzeuge hilfreich, wenn nicht sogar notwendig. Beispiele für diese schließen die US-Patente Nr. 6 771 808 mit dem Titel „System and method for registering patterns transformed in six degrees of freedom using machine vision“ und 6 728 582 mit dem Titel „System and method for determining the position of an object in three dimensions using a machine vision system with two cameras“ ein.
• Andere Techniken für Maschinensichtigkeit sind auf dem technischen Gebiet vorgeschlagen worden. Einige erfordern zuviel Prozessorleistung, um für eine Echtzeitanwendung praktisch zu sein. Andere erfordern es, dass Objekte, die einer Prüfung unterzogen werden, komplexe Registrierungsvorgänge durchlaufen und/oder dass während der Laufzeit viele Merkmale der Objekte gleichzeitig im Sichtfeld des Sichtsystems sichtbar sind.
• Außerhalb des Bereichs der Maschinensichtigkeit stellt die Technik auch auf Kontakt basierende Verfahren zur Bestimmung von 3D-Posen bereit - wie etwa die Verwendung einer x,y,z-Messmaschine mit einem Berührungssensor. Jedoch erfordert dies Kontakt, ist relativ langsam und kann manuelles Eingreifen erfordern. Verfahren auf der Basis von elektromagnetischen Wellen zum Bestimmen von 3D-Posen sind ebenfalls angeboten worden. Diese erfordern keinen physischen Kontakt, leiden aber unter eigenen Nachteilen, wie zum Beispiel, dass sie den oft unpraktischen Schritt des Anbringens von Sendern an Objekt, die einer Prüfung unterzogen werden, erfordern.
• Die EP 0328687 A1 beschreibt ein Kalibrierungssystem für ein Sichtigkeitssensorsystem. Es werden bestimmte Kalibrierschritte angegeben.
• Die US 2003/0202691 A1 beschreibt die Kalibrierung mehrerer Kameras. Auch hier werden bestimmte Kalibrierschritte angegeben.
• US 2003/0025788 A1 beschreibt ein tragbares 3D-Sichtigkeitssystem mit zwei Kameras in fester räumlicher Beziehung. Zweite Bilder der zweiten Kamera werden analysiert, um bei der Aufnahme eines ersten Bilds der ersten Kamera entsprechende Positionen der zweiten Kamera zu bestimmen. die ersten Bilder werden dann unter Verwendung der entsprechenden Punkte und der festen räumlichen Beziehung zu einem 3D-Modell zusammengestellt.
• Die WO 2000/08856 beschreibt die Figurenverfolgung mit mehreren Kameras mit mehreren Gesichtsfeldern.
• US2003/0156189 A1 beschreibt ein Verfahren zum Kalibrieren von Kameras eines Überwachungssystems durch Verfolgen der Bewegungen von sich im Blickfeld der Kameras bewegenden Personen.
• Eine Aufgabe der Erfindung ist die Bereitstellung eines verbesserten Verfahrens und eines entsprechenden Systems für die Maschinensichtigkeit und insbesondere für dreidimensionale Maschinensichtigkeit.
• Diese Aufgabe wird mit den Merkmalen der Ansprüche 1 und 25 gelöst.
• Zusammenfassung der Erfindung
• Die vorstehenden gehören zu den Aufgaben, die von der Erfindung gelöst werden, welche unter anderem Verfahren und Vorrichtungen zur Bestimmung der Pose, d. h. Position längs der x-, y- und z-Achsen, des Neigens, Rollens und Gierens (oder einer oder mehrerer Charakteristiken der Pose), eines Objekts in drei Dimensionen durch Triangulieren von Daten, die von mehreren Bildern des Objekts gesammelt wurden, zur Verfügung stellt.
• Ein Verfahren für 3D-Maschinensichtigkeit wird angegeben, bei dem während eines Kalibrierungsschritts mehrere Kameras, welche angeordnet sind, um Bilder des Objekts aus verschiedenen jeweiligen Blickpunkten zu erfassen, kalibriert werden, um eine Abbildungsfunktion wahrzunehmen, die Strahlungswege (nachfolgend auch „Strahlen“ genannt) im dreidimensionalen Raum identifiziert, welche von der Linse jeder jeweiligen Kamera ausgehen, die Pixelorten im Sichtfeld jener Kamera entsprechen. In einem Trainingsschritt wird die den Kameras zugeordnete Funktionalität in Bezug auf einen gemeinsamen Referenzpunkt trainiert, um erwartete Muster in Bildern, die von dem Objekt zu erfassen sind, zu erkennen. Ein Laufzeitschritt trianguliert Orte im dreidimensionalen Raum von einem oder mehreren jener Muster von Pixeln betreffenden Positionen jener Muster in Bildern des Objekts und von den während des Kalibrierungsschritts wahrgenommenen Abbildungen auf der Grundlage des dreidimensionalen Schnittpunkts der Strahlungswege des Referenzpunkts.
• Weitere Aspekte stellen Verfahren, wie vorstehend beschrieben, zur Verfügung, in denen der Laufzeitschritt Orte aus Bildern des Objekts trianguliert, die im Wesentlichen gleichzeitig von den mehreren Kameras aufgenommen wurden.
• Noch weitere Aspekte stellen solche Verfahren bereit, die einen Rekalibrierungsschritt beinhalten, bei dem Laufzeitbilder des Objekts zur Wahrnehmung der vorstehend angegebenen Abbildungsfunktion, zum Beispiel für eine Kamera, die aus der Kalibrierung geraten ist, eingesetzt werden. Somit können, wenn zum Beispiel eine Kamera Bilder erzeugt, in denen die Muster an Orten zu liegen scheinen (zum Beispiel, wenn sie auf den 3D-Strahlen für jene Kamera abgebildet sind), die mit Bildern von den anderen Kameras inkonsistent und/ oder in wesentlicher Nichtübereinstimmung sind (zum Beispiel, wenn sie unter Verwendung ihrer jeweiligen 3D-Strahlen abgebildet sind), mit den Bildern von jenen anderen Kameras bestimmte Musterorte zur Rekalibrierung der einen Kamera herangezogen werden.
• Immer noch weitere Aspekte stellen Verfahren, wie oben beschrieben, zur Verfügung, bei denen der Kalibrierungsschritt das Positionieren von Registrierungszielen (wie etwa Vergrößerungsgläsern mit Ständer, Fadenkreuz oder dergleichen, zum Beispiel auf Kalibrierungsplatten oder anderweitig) an bekannten Positionen im dreidimensionalen Raum und das Aufzeichnen - oder anderweitige Charakterisieren, zum Beispiel algorithmisch - von Korrelationen zwischen jenen Positionen und den Pixel betreffenden Orten der jeweiligen Ziele in den Sichtfeldern der Kameras beinhaltet. Verwandte Aspekte der Erfindung stellen solche Verfahren zur Verfügung, bei denen eine(s) oder mehrere jener Registrierungsziele, Kalibrierungsplatten usw. verwendet werden, um mehrere Kameras zur gleichen Zeit, zum Beispiel mittels gleichzeitiges Abbilden, zu kalibrieren.
• Andere Aspekte stellen Verfahren, wie vorstehend beschrieben, zur Verfügung, bei denen der Kalibrierungsschritt das Wahrnehmen einer Abbildungsfunktion für jede Kamera, die ein Verzerren im Sichtfeld berücksichtigt, beinhaltet.
• Weitere Aspekte beinhalten Verfahren, wie vorstehend beschrieben, bei denen der Trainingsschritt das Trainieren der den Kameras zugeordneten Funktionalität zur Erkennung erwarteter Muster, wie etwa Buchstaben, Zahlen, anderer Symbole (wie zum Beispiel Registrierungszielen), Ecken oder anderer wahrnehmbarer Merkmale (wie zum Beispiel dunkler und heller Flecken) des Objekts beinhaltet und für welche beispielsweise Messtechniken und Such-/Erfassungsmodelle auf dem technischen Gebiet bekannt sind.
• Weitere verwandte Aspekte stellen solche Verfahren bereit, bei denen der Trainingsschritt das Trainieren der vorstehend genannten Funktionalität hinsichtlich der „Modellpunkte“ - d. h. erwarteter Orte im dreidimensionalen Raum der Muster (zum Beispiel in absoluten oder relativen Begriffen) auf Objekten beinhaltet, die in der Laufzeit geprüft werden. In Kombination mit den von jenen Bildern wahrgenommenen triangulierten 3D-Orten kann jene Information während des Laufzeitschritts verwendet werden, um die Pose jenes Objekts wahrzunehmen.
• Gemäß weiteren Aspekten beinhaltet das Trainieren hinsichtlich erwarteter Orte der Muster (d. h. Modellpunkte) das Finden zweidimensionaler Posen eines Referenzpunkts (oder „Ursprungs“) von jedem solchen Muster. Für Muster, von denen erwartet wird, dass sie in den Sichtfeldern von zwei oder mehreren Kameras erscheinen, erleichtern solche Referenzpunkte die Triangulation, wie nachstehend beschrieben, zu Zwecken des Bestimmens der Position jener Muster (und daher des Objekts) im dreidimensionalen Raum.
• Verwandte Aspekte stellen derartige Verfahren zur Verfügung, bei denen das Training hinsichtlich erwarteter Muster die Verwendung - innerhalb der jeder Kamera zugeordneten Funktionalität - gleicher Modelle zum Trainieren gleicher erwarteter Muster wie zwischen verschiedenen Kameras beinhaltet. Dies hat den Vorteil, dass sichergestellt wird, dass die Referenzpunkte (oder Ursprünge) für in der Laufzeit gefundene Muster wie zwischen Bildern, die von jenen verschiedenen Kameras erhalten wurden, zusammenfallen.
• Weitere verwandte Aspekte stellen solche Verfahren bereit, bei denen das Training hinsichtlich erwarteter Muster die Verwendung - innerhalb der jeder Kamera zugeordneten Funktionalität - verschiedener Modelle für gleiche Muster wie zwischen verschiedenen Kameras beinhaltet. Dies erleichtert das Finden von Mustern, zum Beispiel, wenn Pose, Sichtwinkel und/oder Hindernisse den Weg ändern, auf dem verschiedene Kameras jene Muster abbilden.
• Verwandte Aspekte stellen derartige Verfahren bereit, die das Trainieren der Auswahl von Referenzpunkten (oder Ursprüngen) von solcherart modellhaft dargestellten Mustern beinhalten. Ein solches Training kann beispielsweise von einer Bedienperson, die zum Beispiel einen Laserpointer bzw. -zeiger oder etwas anderes verwendet, ausgeführt werden, um sicherzustellen, dass jene Referenzpunkte (oder Ursprünge) wie zwischen Bildern, die von jenen verschiedenen Kameras erhalten werden, zusammenfallen.
• Verwandte Aspekte stellen derartige Verfahren bereit, bei denen der Trainingsschritt das Wahrnehmen des Orts der Muster, beispielsweise durch Verwendung einer Triangulationsmethodologie ähnlich derjenigen, die während der Laufzeitphase angewendet wird, beinhaltet. Alternativ können die erwarteten (relativen) Orte der Muster von den Bedienpersonen eingegeben und/oder von anderen Messmethodologien wahrgenommen werden.
• Weitere verwandte Aspekte stellen solche Verfahren zur Verfügung, bei denen der Trainingsschritt das Finden eines erwarteten Musters in einem Bild von einer (oder mehreren) Kamera(s) auf der Basis vorheriger Identifizierung jenes Musters in einem Bild von einer anderen Kamera beinhaltet. Somit kann, wenn die Bedienperson ein erwartetes Muster in einem von einer Kamera aufgenommenen Bild einmal identifiziert hat, der Trainingsschritt automatisch das Finden jenes gleichen Musters in Bildern von den anderen Kameras einschließen.
• Noch weitere Aspekte stellen Verfahren, wie vorstehend beschrieben, bereit, bei denen der Trainingsschritt mehrere Ansichten des Objekts für jede Kamera erfasst, bevorzugt so, dass die auf jenen Objekten gefundenen Ursprünge der Muster konsistent definiert sind. Zur Berücksichtigung einer möglichen Inkonsistenz unter den Bildern können diejenigen, die das höchste Abgleichergebnis für die Muster erzeugen, verwendet werden. Dies hat den Vorteil, dass die Methodologie zum Finden von Teilen in willkürlichen Posen robuster gemacht werden kann.
• In noch anderen Aspekten beinhaltet der Laufzeitschritt das Triangulieren der Position von einer oder mehreren der Muster in Laufzeitbildern, zum Beispiel unter Verwendung von Musterabgleich oder anderen zweidimensionalen Sichtwerkzeugen, und das Verwenden der Abbildungen, die während der Kalibrierungsphase wahrgenommen wurden, um die Pixel betreffenden Orte jener Muster in den Sichtfeldern der jeweiligen Kamera mit den oben angegebenen 3D-Strahlen zu korrelieren, auf denen jene Muster liegen.
• Gemäß verwandten Aspekten kann die Triangulation des Musterorts durch „direkte“ Triangulation erfolgen, wie zum Beispiel dort, wo der Ort eines gegebenen Musters aus dem Schnittpunkt (oder dem Punkt der Anpassung mithilfe der Fehlerquadratmethode) mehrerer 3D-Strahlen (von mehreren Kameras), auf denen jenes Muster liegt, bestimmt wird. Alternativ oder zusätzlich dazu kann die Triangulation „indirekt“ sein, wie dort, wo der Ort eines gegebenen Musters nicht nur aus dem Strahl (oder den Strahlen), auf dem (denen) jenes Muster liegt, bestimmt wird, sondern auch aus (i) den Strahlen, auf denen die anderen Mustern liegen, und (ii) den relativen Orten jener Muster zueinander (zum Beispiel wie während der Trainingsphase bestimmt).
• Andere Aspekte stellen Verfahren, wie oben beschrieben, zur Verfügung, bei denen die den Kameras zugeordnete Funktionalität „ausläuft“, wenn sie ein erwartetes Muster in einem Bild eines Objekts - während des Trainings oder der Laufzeit - nicht finden kann, wodurch eine übermäßige Verzögerung bei der Positionsbestimmung vermieden wird, zum Beispiel, wenn ein solches Muster fehlt, verdeckt ist oder anderweitig nicht erfasst wird.
• Noch andere Aspekte entsprechen den oben beschriebenen Verfahren, bei denen ID-Matrixcodes (oder andere Muster, deren Erscheinungsbild und/oder Positionen vordefiniert oder anderweitig bekannt sind) anstelle der vorstehend erörterten Muster verwendet werden. In diesen Aspekten der Erfindung ist der Trainingsschritt ausgeschlossen oder reduziert. Stattdessen können die zweidimensionalen Positionen jener Codes (oder anderen Muster) aus den Trainingsphasen- oder Laufzeitbildern wahrgenommen werden, zum Beispiel durch Sichtwerkzeuge, die für generische Typen von Merkmalen entworfen sind, um auf 3D-Orte abzubilden.
• Noch andere Aspekte entsprechen den oben beschriebenen Verfahren, bei denen ID-Matrixcodes (oder andere Muster, deren Erscheinungsbild und/oder Positionen vordefiniert oder anderweitig bekannt sind) anstelle der vorstehend erörterten Muster verwendet werden. In diesen Aspekten der Erfindung ist der Trainingsschritt ausgeschlossen oder reduziert. Stattdessen können die zweidimensionalen Positionen jener Codes (oder anderen Muster) aus den Trainingsphasen- oder Laufzeitbildern wahrgenommen werden, zum Beispiel durch Sichtwerkzeuge, die für generische Typen von Merkmalen entworfen sind, um auf 3D-Orte abzubilden.
• Noch weitere Aspekte der Erfindung sehen Systeme für Maschinensichtigkeit vor, zum Beispiel einschließlich einer digitalen Verarbeitungsfunktionalität und Kameras, die in Übereinstimmung mit den obigen Verfahren arbeiten. Diese und weitere Aspekte der Erfindung sind in den Zeichnungen und in der folgenden Beschreibung ersichtlich.
• Ein noch weiterer verwandter Aspekt sieht solche Verfahren und Vorrichtungen vor, die die Prüfung eines Objekts erlauben, beispielsweise, um relative Positionen von Bereichen davon zu bestimmen und zu validieren. Solche Verfahren und Vorrichtungen können nach einem nicht-beschränkenden Beispiel eingesetzt werden, um die Prüfung und Verifikation, beispielsweise während einer Montage, Qualitätssicherung, Wartung oder eines anderen Vorgangs, zu unterstützen.
• Weitere verwandte Aspekte stellen derartige Verfahren und Vorrichtungen bereit, welche die Abwesenheit oder Verlegung eines Teils (oder anderen Bereichs) eines Objekts in Fällen folgern, wo eines oder mehrere erwartete Muster (zum Beispiel jenem Teil/Bereich zugeordnet) in Laufzeitbildern fehlen oder in jenen Bildern vorhanden sind, aber an Pixelorten, die auf 3D-Orte abbilden, die nicht erwartet oder erwünscht sind.
• Noch weitere verwandte Aspekte stellen derartige Verfahren und Vorrichtungen bereit, wobei während des Laufzeitschritts die Positionen von Teilen oder anderen Bereichen des Objekts auf der Basis von Teilmengen von 3D-Orten entsprechend Mustern, die in Laufzeitbildern gefunden wurden, bestimmt werden und wobei jene 3D-Orte eingesetzt werden, um erwartete Orte noch weiterer Muster zu bestimmen. Die erwarteten Orte jener weiteren Muster können mit ihren tatsächlichen 3D-Orten, wie sie zum Beispiel aus den Laufzeitbildern bestimmt werden, verglichen werden. Wo bei dem Vergleich identifizierte Positionsunterschiede eine angegebene Toleranz überschreiten, kann das System geeignete Mitteilungen (zum Beispiel an die Bedienperson) erzeugen.
• Vorteile von Systemen und Verfahren wie angegeben bestehen darin, dass sie leichter zu verwenden und praktischer als Vorgehensweisen bei Systemen des Standes der Technik sind - dennoch auf Sicht basieren und daher keinen Kontakt mit oder eine vorherige Vorbereitung von Objekten, die einer Prüfung unterzogen werden, erfordern. Solche Systeme und Verfahren (gemäß der Erfindung) können leicht eingerichtet werden und dann unter Anwendung von „Zeigen-und-Nachmachen“ trainiert werden.
• Außerdem stellen sie schnelle Leistung und Robustheit zur Verfügung, zum Beispiel bezüglich fehlender und inkorrekter Ergebnisse. Somit können beispielsweise Verfahren und Vorrichtungen gemäß Aspekten der Erfindung die Pose von Objekten bestimmen, selbst wenn einige Muster nicht in einigen (und unter manchen Umständen in keinen) der Laufzeitbildern gefunden werden, zum Beispiel, weil die Muster durch eine oder mehrere Kameras für den Blick versperrt sind oder weil Bilder jener Muster nicht rechtzeitig erfasst werden konnten. Nach einem weiteren Beispiel sehen Verfahren und Vorrichtungen gemäß Aspekten der Erfindung Robustheit bezüglich inkorrekter Ergebnisse (die zum Beispiel durch falsch ausgerichtete Kameras verursacht wurden) durch Triangulieren unter Verwendung von Teilmengen der 3D-Orte vor, die in Laufzeitbildern gefundenen Mustern entsprechen: wenn eine der Teilmengen zu einem niedrigeren Summenquadratfehler (sum squared error) führt, kann jene Teilmenge eher als alle Muster für die Positionstriangulation verwendet werden.
• Figurenliste
• Ein umfassenderes Verständnis der Erfindung kann durch Bezugnahme auf die Zeichnungen erreicht werden, in denen:
• 1 einen Digitaldatenprozessor zeigt, der für die Praxis der Erfindung konfiguriert ist;
• 2 ein Flussdiagramm ist, das den Betrieb eines Systems gemäß der Erfindung zeigt;
• 3 die Kalibrierung eines Systems gemäß der Erfindung zeigt; und
• 4A-4B das Training und/oder den Laufzeitbetrieb eines Systems gemäß der Erfindung zeigen.
• Detaillierte Beschreibung der veranschaulichten Ausführungsform
• 1 zeigt ein System 10 für Maschinensichtigkeit gemäß der Erfindung, das imstande ist, die Pose eines Objekts 12 in drei Dimensionen durch Triangulieren von Daten, die von mehreren Bildern des Objekts gesammelt wurden, zu bestimmen. In der veranschaulichten Ausführungsform ist die Pose die definierte Position und Ausrichtung des Objekts im dreidimensionalen Raum - oder genauer gesagt, die Position des Objekts längs der x-, y- und z-Achsen 14, 16, 18 sowie das Nicken, Rollen und Gieren des Objekts relativ zu diesen. In anderen Ausführungsformen kann die Pose auf Teilmengen dieser räumlichen Charakteristiken beschränkt sein (zum Beispiel die Position längs der Achse 16 und das Gieren; die Position längs der Achsen 14 - 18; Rollen; usw.). Die veranschaulichten Achsen 14 - 18 sind mit einem Rahmen 20 des Sichtsystems 10 ausgerichtet; obwohl in anderen Ausführungsformen andere Bezugsrahmen verwendet werden können. Der Rahmen 20 der veranschaulichten Ausführungsform ist figurativ durch Kameraträger 20a und die Plattform 20b dargestellt, die mit dicker Schattierung gezeichnet sind; obwohl in anderen Ausführungsformen andere oder keine solchen Elemente verwendet zu werden brauchen.
• Das System 10 beinhaltet weiterhin einen Digitaldatenprozessor 22 und Bilderfassungsvorrichtungen 24. Der Digitaldatenprozessor 22, der hier der Einfachheit halber als iMac® G5 Personalcomputer gezeigt ist, kann ein Großrechner, ein Arbeitsplatzrechner, ein Personalcomputer (der zum Beispiel auf einer Windows®/Intel Pentium 4-Plattform oder anderem läuft), dezidierter Sichtcomputer, eingebetteter Prozessor oder eine andere Digitaldatenvorrichtung sein, der mit einem rechtlich geschützten, quelloffenen oder anderes Betriebsprogramm läuft, das in Übereinstimmung mit den vorliegenden Lehren programmiert oder anderweitig konfiguriert ist, um die Pose des Objekts 12 aus von Erfassungsvorrichtungen 24 zugeführten Bildern zu bestimmen. Der Digitaldatenprozessor kann eine Anzeige 22a, wie gezeigt, sowie eine Tastatur 22b, eine Maus 22c und andere Eingabe/Ausgabevorrichtungen einschließen, und zwar alle von dem Typ, der im Stand der Technik bekannt ist.
• Die Bilderfassungsvorrichtungen 24 können Kameras für Maschinensichtigkeit, Videokameras, Standbildkameras oder andere Vorrichtungen sein, die imstande sind, Bilder des Objekts 12 im sichtbaren oder einem anderen relevanten Spektrum zu erfassen. Ohne Verlust der Allgemeinheit werden in dem folgenden Text die Vorrichtungen 24 typischerweise als „Kameras“ bezeichnet - obwohl sie in der Praxis irgendeine Art von Bilderfassungsfunktionalität umfassen können. In der veranschaulichten Ausführungsform sind drei solcher Vorrichtungen 24 gezeigt, obwohl in der Praxis irgendeine Mehrzahl von Vorrichtungen (zum Beispiel zwei oder mehr) eingesetzt werden können. Jene Vorrichtungen sind angeordnet, um Bilder des Objekts 24 aus verschiedenen jeweiligen Blickpunkten zu erfassen. Der Fachmann auf dem Gebiet wird es auch zu würdigen wissen, dass in einigen Ausführungsformen die dreidimensionale Pose eines Objekts, das geprüft wird, auch unter Verwendung von Bildern von einer einzigen solchen Vorrichtung 24 bestimmt werden kann und dass daher nicht alle Ausführungsformen Bilder von mehreren Kameras erfordern.
• Der Digitaldatenprozessor 22 beinhaltet weiterhin einen Zentralprozessor (CPU), einen Speicher (RAM) und eine Eingabe/Ausgabe-Funktionalität (E/A) der Art, der auf dem technischen Gebiet bekannt ist, obwohl sie für den Betrieb in Übereinstimmung mit den vorliegenden Lehren programmiert ist.
• Insbesondere sind diese in der veranschaulichten Ausführungsform konfiguriert, um dreidimensionale Maschinensichtigkeit in Übereinstimmung mit dem in 2 gezeigten Verfahren bereitzustellen. Dort wird im Kalibrierungsschritt 30 jede der mehreren Kameras 24 kalibriert, um eine jeweilige Abbildungsfunktion wahrzunehmen, die Strahlen im dreidimensionalen Raum, welche von der Linse jener Kamera ausgehen und die Pixelorten im Sichtfeld jener Kamera entsprechen, identifiziert.
• Es wird auf 3 Bezug genommen, worin in dieser Hinsicht der Kalibrierungsschritt das Positionieren von Registrierungszielen (wie etwa Vergrößerungsgläsern mit Ständer, Fadenkreuze oder dergleichen, zum Beispiel auf Kalibrierungsplatten 40 oder anderweitig) an bekannten Positionen im dreidimensionalen Raum und das Aufzeichnen - oder anderweitige Charakterisieren, zum Beispiel algorithmisch - von Korrelationen zwischen jenen Positionen und den Pixel betreffenden Orten der jeweiligen Ziele in den Sichtfeldern der Kameras beinhaltet. Vorzugsweise berücksichtigt dieses Abbilden ein Verzerren im Sichtfeld jeder jeweiligen Kamera 24.
• In der veranschaulichten Ausführungsform werden die Registrierungsziele, Kalibrierungsplatten 40 usw. eingesetzt, um mehrere Kameras 24 zur gleichen Zeit zu kalibrieren, zum Beispiel mittels simultanen Abbildens. Somit kann die Bedienperson nach einem Beispiel ein Ziel im Sichtfeld von zwei oder mehreren der Bilderfassungsvorrichtungen 24 platzieren, welche das Ziel zu Kalibrierungszwecken gleichzeitig abbilden. Wo Kalibrierungsplatten 40 oder dergleichen zur Kalibrierung herangezogen werden, zeigen sie vorzugsweise ein Fiducial bzw. eine Referenzmarke 41 (zum Beispiel ein einzigartiges Muster, das sich von dem gleichförmigen Schachbrettmuster unterscheidet) an einem Ursprung, so dass alle Erfassungsvorrichtungen 24 bezüglich des gleichen einzigartigen Referenzpunktes mit spezifizierter Ausrichtung kalibriert werden können. Indem die Vorrichtungen 24 in konsistenter Weise so kalibriert werden, können sie alle zum Abbilden von ihren Bildkoordinaten (zum Beispiel den Pixel betreffenden Orten von Musterursprüngen) auf einen gemeinsamen Referenzpunkt oder -rahmen verwendet werden. Bevorzugte derartige Fiducials sind asymmetrisch, wie im Fall des L-förmigen Fiducial in der Zeichnung.
• Zugrunde liegende Methodologien und Vorrichtungen für eine solche Kalibrierung werden nach einem nicht-beschränkenden Beispiel in den US-Patenten 6 748 104 mit dem Titel „Methods and apparatus for machine vision inspection using single and multiple templates or patterns“, 6 639 624 mit dem Titel „Machine vision methods for inspection of leaded components“, 6 301 396 mit dem Titel „Nonfeedback-based machine vision methods for determining a calibration relationship between a camera and a moveable object“, 6 137 893 mit dem Titel „Machine vision calibration targets and methods of determining their location and orientation in an image“, 5 978 521 mit dem Titel „Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object“, 5 978 080 mit dem Titel „Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view“, 5 960 125 mit dem Titel „Non-feedback-based machine vision method for determining a calibration relationship between a camera and a moveable object“, 6 856 698 mit dem Titel „Fast high-accuracy multi-dimensional pattern localization“, 6 850 646 mit dem Titel „Fast high-accuracy multi-dimensional pattern inspection“ und 6 658 145 mit dem Titel „Fast high-accuracy multi-dimensional pattern inspection“ gelehrt, deren Lehren alle vorliegend durch Bezugnahme aufgenommen sind. Die in den letzten drei Patenten beschriebenen Methodologien und Vorrichtungen werden vorliegend andernorts mit dem Namen „PatMax“ bezeichnet.
• In einem optionalen Trainingsschritt 32 wird ein jeder jeweiligen Kamera 24 zugeordnetes Modul (zum Beispiel eine Codesequenz, Subroutine, Funktion, ein Objekt, andere Datenstruktur und/oder zugehörige Software oder eine andere Funktionalität) trainiert, um erwartete Muster in zu erfassenden Bildern des Objekts 12 während der Laufzeit zu erkennen. Diese können Buchstaben, Zahlen, andere Symbole (wie etwa Registrierungsziele), Ecken oder andere Merkmale (wie etwa dunkle und helle Flecken) sein, von denen erwartet wird, dass sie in den Laufzeitbildern des Objekts 12 wahrnehmbar sind und für die beispielsweise Messtechniken und Such-/Erfassungsmodelle auf dem technischen Gebiet bekannt sind. Jene Muster können permanent Teil des Objekts oder an ihm befestigt sein. Jedoch können sie auch temporär sein, wie zum Beispiel in dem Fall von entfernbaren Kalibrierungszielen. In der Tat brauchen sie nicht einmal physisch dem Objekt zugeordnet sein. Beispielsweise können sie optisch oder anderweitig auf Objekte projiziert sein, die während Trainings- und/oder Laufzeitphasen abgebildet werden, zum Beispiel durch einen Laser oder ein anderes Gerät.
• Zusätzlich zum Trainieren der Module oder einer anderen jeder Kamera 24 zugeordneten Funktionalität zum Erkennen eines Musters beinhaltet der Trainingsschritt 32 der veranschaulichten Ausführungsform deren Trainieren hinsichtlich der Modellpunktorte, d. h. der erwarteten Orte der Muster, zum Beispiel relativ zueinander (d. h. im dreidimensionalen Raum) auf Objekten, die während der Laufzeit geprüft werden. Dies kann beispielsweise durch Verwenden einer Triangulationsmethodologie ähnlich derjenigen sein, die während der Laufzeitphase ausgeübt wurde. Alternativ können die erwarteten (relativen) Orte der Muster durch die Bedienperson eingegeben und/ oder durch andere Messmethodologien (zum Beispiel Maßstäbe, Messschieber, Lineale für optischen Abstand und so weiter) wahrgenommen werden.
• Ungeachtet dessen, ob die Triangulation oder andere Methodologien eingesetzt werden, beinhaltet der Trainingsschritt 32 bevorzugt die Module oder andere Funktionalität oder andere jeder Kamera 24 zugeordnete Funktionalität hinsichtlich eines Referenzpunkts (oder „Ursprungs“) von jedem solchen trainierten Muster. Für Muster, von denen erwartet wird, dass sie in den Sichtfeldern von zwei oder mehr Kameras erscheinen, erleichtert das Training hinsichtlich solcher Referenzpunkte das direkte und indirekte Triangulieren der Position jener Muster und/oder des Objekts im dreidimensionalen Raum.
• In der veranschaulichten Ausführungsform kann ein solches Training unter Verwendung gleicher Modelle (zum Beispiel „PatMax“ oder so weiter) zum Trainieren gleicher erwarteter Muster wie zwischen verschiedenen Kameras 24 bewirkt werden. Dies hat den Vorteil, dass sichergestellt wird, dass die Referenzpunkte (oder Ursprünge) für zur Laufzeit gefundene Muster wie zwischen von jenen verschiedenen Kameras erhaltenen Bildern zusammenfallen.
• Wo die Pose, der Sichtwinkel und/oder Hindernisse den Weg ändern, auf dem verschiedene Kameras 24 gleiche Muster sehen, kann ein solches Training die Verwendung verschiedener Modelle (für gleiche Muster) wie zwischen verschiedenen Kameras beinhalten. Da verschiedene Modelle dazu neigen können, verschiedene Referenzpunkte für gleiche Muster zu identifizieren, erlaubt die veranschaulichte Ausführungsform einer Bedienperson, die Auswahl gleicher Referenzpunkte für gleiche Muster zu trainieren.
• Dies kann nach einem Beispiel während des Trainingsschritts 32 durch gleichzeitiges Erfassen von Bildern der Muster von mehreren Kameras 24 (um als Schablone für die Suche in Schritt 34 verwendet zu werden) und anschließendes Richten eines Laserpointers auf das Objekt erreicht werden. Aus Bildern, die mit dem Laserbestrahlen erfasst werden, kann der 3D-Ort des Laserpunkts berechnet werden, wodurch zusammenfallende Ursprünge auf allen Bildern der Muster definiert werden (obwohl diese Technik vorliegend bezüglich der Verwendung ganz verschiedener Modelle für das Mustertraining beschrieben ist, kann sie ebenso in Fällen angewendet werden, in denen gleiche Modelle verwendet werden). Zu diesem Zweck kann unter Verwendung der Bilder mit und ohne den überflüssigen Laserpointerfleck eine Autoschwellwertverarbeitung und eine Klecks- bzw. Clusteranalyse laufen gelassen werden, um die Mitte des Flecks in allen Bildern zu finden und dadurch konsistente zusammenfallende Ursprünge zu bestimmen. Wie vorliegend andernorts erörtert, kann die Triangulation eingesetzt werden, um die 3D-Position des Flecks zu erhalten, wodurch der Einsatz dieser Technik für mehrere Muster auf dem (Trainings-) Objekt gestattet wird, vorausgesetzt, dass es sich beispielsweise nicht bewegt.
• Gemäß einer bevorzugten Praxis der Erfindung beinhaltet der Trainingsschritt 32 das Finden eines erwarteten Musters aus einer (oder mehreren) Kamera(s) 24 auf der Basis einer vorherigen Identifizierung jenes Musters in einem Bild von einer anderen Kamera. Somit kann beispielsweise, sobald die Bedienperson ein erwartetes Muster in einem von einer Kamera aufgenommenen Bild identifiziert hat, der Trainingsschritt automatisch das Finden jenes gleichen Musters in Bildern von den anderen Kameras beinhalten.
• In bevorzugten Ausführungsformen beinhaltet der Schritt 32 das Erfassen mehrerer Ansichten des Objekts für jede Kamera 24, vorzugsweise so, dass die Ursprünge der auf jenen Objekten gefundenen Muster konsistent definiert sind. Zur Berücksichtigung einer möglichen Inkonsistenz unter den Bildern können diejenigen verwendet werden, die das höchste Abgleichergebnis für die Muster erzeugen.
• Dies hat den Vorteil, dass die Methodologie für das Finden von Teilen in willkürlichen Posen robuster gemacht wird.
• Wie vorstehend angegeben, ist der Trainingsschritt 32 optional: in einigen Ausführungsformen der Erfindung wird er in verringerter Kapazität oder überhaupt nicht eingesetzt. Wenn beispielsweise die zur Laufzeit erwarteten Muster für eine Suche über ein Klecksmodell empfänglich sind (zum Beispiel eine, die nach hellen Merkmalen sucht), ist kein Mustertraining erforderlich - obwohl ein Positionstraining der Art, wie es oben beschrieben ist, immer noch verwendet wird. Dies trifft auch nach einem weiteren Beispiel zu, wenn die Muster ID-Matrixcodes sind (oder andere Muster, deren Erscheinungsbild und/oder Positionen vordefiniert oder anderweitig bekannt sind) und anstelle der oben erörterten trainierbaren Muster eingesetzt werden. Vorliegend werden die zweidimensionalen Positionen jener Codes (oder anderer Muster) aus den Trainingsphasen- oder Laufzeitbildern wahrgenommen, zum Beispiel durch Sichtwerkzeuge, die für generische Typen von Merkmalen entworfen sind, um auf 3D-Orten abzubilden. Solche Umsetzungen der Erfindung sind nützlich, da industrielle Teile immer ID-Matrixcodes haben können und mehrere trainingslose Sensoren dadurch 3D-Positionen des ID-Matrixcodes ausgeben könnten. Da weiterhin ein ID-Matrixcode ein rechteckiges Gebiet überspannt - könnten alle Sensoren die 2D-Positionen der 4 Ecken ausgeben; wenn weiterhin die ID-Matrix mit einem bestimmten Verfahren gedruckt wird, kann man die 3D-Positionen kennen (aufgrund der gefundenen Größe/gefundenen Typs des Codes) und die 3D-Pose berechnen.
• Im Laufzeitschritt 34 trianguliert der Digitaldatenprozessor 22 Orte im dreidimensionalen Raum von einem oder mehreren der Muster 42a - 42c auf dem Objekt 12 auf der Basis von Pixel betreffenden Positionen von Darstellungen jener Muster in Laufzeitbildern des Objekts 12 und aus den Abbildungen, die während des Kalibrierungsschritts 32 wahrgenommen wurden. In der veranschaulichten Ausführungsform werden jene Laufzeitbilder des Objekts 12 von den Vorrichtungen 24 bevorzugt gleichzeitig oder im Wesentlichen gleichzeitig erfasst. In dieser Hinsicht bezieht sich „im Wesentlichen gleichzeitig“ auf eine Bilderfassung, die zeitlich fast so nahe auftritt, dass die Bewegung des Objekts 12, der Vorrichtungen 24, des Rahmens 20 oder anderweitig den Pixel betreffenden Ort von Mustern in den Laufzeitbildern und/ oder aus ihnen bestimmte Abbildungen nicht wesentlich beeinträchtigt. Eine solche gleichzeitige Erfassung kann durch Auslösen der Kameras 24 zur gleichen (oder fast gleichen) Zeit oder durch andere Mittel erreicht werden - einschließlich beispielsweise des stroboskopischen Beleuchtens des abgebildeten Objekts, während die Blenden der Kamera 24 offen sind.
• In der veranschaulichten Ausführungsform wird die Positionstriangulation erreicht unter Verwendung von Musterabgleich oder anderen zweidimensionalen Sichtwerkzeugen, um den Pixel betreffenden Ort von Mustern in den Laufzeitbildern wahrzunehmen, und unter Verwendung der Abbildungen, die während der Kalibrierungsphase wahrgenommen werden, um die Pixel betreffenden Orte jener Muster in den Sichtfeldern der jeweiligen Kamera 24 mit den vorstehend angegebenen 3D-Strahlen, auf denen jene Muster liegen, zu korrelieren. Beispiele, die solche 2D-Sichtwerkzeuge verwenden, beinhalten die vorstehend genannten, durch Bezugnahme aufgenommenen US-Patente 6 748 104, 6 639 624, 6 301 396, 6 137 893, 5 978 521, 5 978 080, 5 960 125, 6 856 698, 6 850 646 und 6 658 145 .
• Die Triangulation von einem Musterort kann durch „direkte“ Triangulation erfolgen, wie zum Beispiel dort, wo der Ort eines gegebenen Musters von dem Schnittpunkt mehrerer 3D-Strahlen (von mehreren Kameras) auf denen jenes Muster liegt, bestimmt wird. Alternativ oder zusätzlich dazu kann die Triangulation „indirekt“ sein, wie dort, wo der Ort eines gegebenen Musters nicht nur aus dem Strahl (oder Strahlen), auf dem/denen jenes Muster liegt, bestimmt wird, sondern auch aus (i) den Strahlen, auf denen die anderen Muster liegen, und (ii) den relativen Orten jener Muster zueinander (zum Beispiel so, wie während der Trainingsphase bestimmt) auf dem abgebildeten Objekt.
• In der veranschaulichten Ausführungsform kann die direkte und/ oder indirekte Triangulation eine „Anpassung mithilfe der Fehlerquadratmethode“ oder andere derartige Methodologien zum Finden von Schnittpunkten (oder nächsten Schnittstellen) wie zwischen oder unter mehreren 3D-Strahlen verwenden (von mehreren Kameras 24), auf welchen (ein) Muster zu liegen scheint/ scheinen. Beispielsweise liegt, wo von zwei oder mehreren Kameras 24 erfasste Bilder angeben, dass ein gegebenes Muster (und genauer gesagt, der anscheinende Ursprung jenes Musters) auf zwei oder mehreren Strahlen liegt, eine Methodologie der Anpassung mithilfe der Fehlerquadratmethode verwendet werden, um einen Schnittstellenort jener Strahlen im dreidimensionalen Raum oder einen nächstliegenden Punkt dazu (d. h. einen Punkt im Raum, der jenen Strahlen am nächsten liegt) zu bestimmen. Gleichermaßen kann, wo Bilder von den Kameras 24 Ursprünge für mehrere Muster auf mehreren Strahlen angeben, eine Anpassung mithilfe der Fehlerquadratmethode unter Verwendung der Modellpunkte jener Muster auf dem Objekt eingesetzt werden, um die wahrscheinlichsten Orte der Muster und/oder des Objekts selbst zu bestimmen.
• Die veranschaulichte Ausführungsform verwendet einen Optimierer (oder „Löser“), um die Anpassung mithilfe der Fehlerquadratmethode (oder des quadratischen Mittelwerts) von Strahlen und Mustern zu finden. Dieser kann ein Allzweckwerkzeug des Typs sein, der auf dem technischen Gebiet zur Verfügung steht und/oder er kann in der nachstehend detailliert beschriebenen Weise betrieben werden. Auf jeden Fall wird während des Laufzeitschritts 34 der Löser mit Definitionen der 3D-Strahlen versorgt, auf denen die Muster (und genauer gesagt, die Musterursprünge) liegen, die aus den Laufzeitbildern identifiziert wurden, sowie (wo relevant) der Orte oder relativen Orte der Muster auf dem Objekt.
• Typischerweise definiert diese Information ein überbeschränktes System (d. h. mehr Information wird mittels Strahlendefinitionen und relativen Musterorten auf dem Objekt zugeführt, als notwendig ist, um die tatsächlichen Orte zu folgern), eine Tatsache, die das veranschaulichte System zu Zwecken der Robustheit nutzt. Somit kann beispielsweise der Laufzeitschritt 34 die Objektpose bestimmen, zum Beispiel selbst dort, wo Muster aus dem Objekt oder dessen Laufzeitbild fehlen (wie zum Beispiel dort, wo ein Muster für den Blick von einer oder mehreren Kameras versperrt ist oder wo Beleuchtung oder andere Bedingungen eine rechtzeitige Erfassung eines Musterbilds nicht gestatten). Nach einem weiteren Beispiel kann der Laufzeitschritt 34 das Probieren von Teilmengen der Musterursprünge (und genauer gesagt, Teilmengen der Orte, die den Musterursprüngen entsprechen), die von den Erfassungsvorrichtungen 24 gefunden wurden, um den quadratischen Mittelwert (root mean square - RMS) -Fehler der Anpassung zwischen den Strahlen und den Modellpunkten oder die Triangulation der Strahlen zu minimieren. Wenn eine der Teilmengen einen niedrigeren Summenquadratfehler aufweist, kann jene Teilmenge, eher als alle Musterursprünge, für die Positionstriangulation verwendet werden.
• Typischerweise definiert diese Information ein überbeschränktes System (d. h. mehr Information wird mittels Strahlendefinitionen und relativen Musterorten auf dem Objekt zugeführt, als notwendig ist, um die tatsächlichen Orte zu folgern), eine Tatsache, die das veranschaulichte System zu Zwecken der Robustheit nutzt. Somit kann beispielsweise der Laufzeitschritt 34 die Objektpose bestimmen, zum Beispiel selbst dann, wenn bestimmte Muster absichtlich aus der Überlegung weggelassen werden (zum Beispiel, um die Position eines Musters zu inspizieren/validieren, indem sie mit der von den anderen gefundenen Mustern vorhergesagten Position verglichen wird).
• Nach einem weiteren Beispiel kann der Laufzeitschritt 34 das Probieren von Teilmengen der Musterursprünge (und genauer gesagt, Teilmengen der Orte, die Musterursprüngen entsprechend) beinhalten, die von den Erfassungsvorrichtungen 24 gefunden wurden, um den quadratischen Mittelwert (RMS) -Fehler der Anpassung zwischen den Strahlen und den Modellpunkten oder die Triangulation der Strahlen zu minimieren. Dann kann der Schritt die 3D-Position der Muster extrapolieren, die nicht in der Teilmenge eingeschlossen waren (d. h. die absichtlich ausgelassen wurden, wie vorstehend angegeben) und die 2D-Bildpositionen in ihren jeweiligen Kameras vorhersagen. Die vorhergesagte Bildposition kann mit der tatsächlichen gemessenen Bildposition vergleichen werden: wenn der Abstand zwischen der vorhergesagten Bildposition und der tatsächlich gemessenen Bildposition eine bestimmte benutzerspezifizierte Abstandstoleranz überschreitet, dann kann das System eine geeignete Warnung oder andere Benachrichtigung erzeugen. Alternativ oder zusätzlich dazu können die extrapolierten 3D-Positionen der weggelassenen Muster mit 3D-Positionen verglichen werden, die durch Triangulieren bestimmt wurden; wiederum kann, wenn der Abstand zwischen extrapolierten (vorhergesagten) und tatsächlichen Positionen unterschiedlich ist, der Laufzeitschritt 34 das Erzeugen einer geeigneten Warnung oder anderen Benachrichtigung beinhalten.
• Zur Verbesserung der Geschwindigkeit der Mustererkennung während sowohl der Trainings- als auch der Laufzeitphase kann die veranschaulichte Ausführungsform die gefundene Position eines Musters zur Begrenzung der Such-Freiheitsgrade für das andere Muster ausnutzen. Wenn zum Beispiel eine erste Kamera 24 das Muster bei 15 Grad findet und eine andere Kamera sich in annähernd derselben Ausrichtung wie die erste Kamera befindet, braucht sie nur nach dem Muster bei den Ausrichtungen 15+/-10 Grad zu suchen. Zusätzlich wissen wir, wenn die Position des Ursprungs von einer Kamera gegeben ist, dass der Ursprung längs eines 3D-Strahls liegt; dadurch können wir jenen Strahl auf das Sichtfeld der zweiten Kamera projizieren und nur nach dem Muster längs jener Linie suchen.
• Wenn zwei Muster miteinander verwechselbar sind (d. h. es gibt zwei Fälle, die ähnlich dem Muster im Sichtfeld der Kamera sind), kann die veranschaulichte Ausführungsform alle verschiedenen möglichen Entsprechungen ausprobieren. Wenn zum Beispiel die Technologie verwendet wird, die in den zuvor angegebenen, durch Bezugnahme aufgenommenen US-Patenten Nr. 6 856 698 mit dem Titel „Fast high-accuracy multi-dimensional pattern localization“, 6 850 646 mit dem Titel „Fast high-accuracy multi-dimenisonal pattern inspection“ und 6 658 145 mit dem Titel „Fast high-accuracy multi-dimensional pattern inspection“ beschrieben ist, sind beispielsweise Muster wie die Buchstabenfolgen „P“, „ST“, „It“ und „Notes“ (von einer POST-IT®-Notes-Aufschrift) alle unterschiedlich, also wissen wir, wenn eine Übereinstimmung gefunden wird, dass es eine korrekte Übereinstimmung ist.
• Alternativ kann das als „Blob“- bzw. „Cluster“-Analyse bekannte Werkzeug für Maschinensichtigkeit verwende werden, um Muster zu finden (zum Beispiel wenn sie dunkle Löcher sind). In diesem Fall könnte die Hypothese aufgestellt werden, dass Klecks # 1 dem 3D-Modellpunkt 1 und Klecks #2 dem 3D-Modellpunkt 2 usw. entspricht. Wenn dies nicht funktioniert, kann die Analyse dann zur nächsten Hypothese weitergehen: dass Klecks #2 dem 3D-Modellpunkt #2 und Klecks #1 dem 3D-Modellpunkt #1 entspricht.
• Ein umfassenderes Verständnis des Triangulationsvorgangs der veranschaulichten Ausführungsform kann aus der folgenden Diskussion gewürdigt werden.
• Um n 3D-Strahlen zu schneiden (d. h. um den Punkt zu finden, der den Summenquadratabstand zu n 3D-Strahlen minimiert), wird zuerst jeder Strahl als zwei separate orthogonale Ebenen charakterisiert (da der Quadratabstand von einem Punkt zu einem Strahl die Summe der Quadratabstände des Punkts zu zwei jenen Strahl schneidenden orthogonalen Ebenen ist). Dies ist in dem folgenden C++-Code beispielhaft dargestellt:

 static void solveMiaimizeSquareErrorEquations(
                             const cmStd vector<cc3Vect> &eqs,
                             const cmStd vactor<double> &val,
                             cc3Vect &ans,
                             double &rmsError)
 (
   int size = eqs.size();
   assert(size==val.sizef)));
   ccNMMatrix func(size,3);
   ccNMMatrix vals(size,1) ;
   int i ,
   for (i = 0; i < size; ++i)
   {
     func.element (i, 0, eqs [i] .x ());
     func. element (i,1,eqs [1] .y());
     func.element (i,2,eqs [i] .z ());
     vals.element: (i, 0, val [i]) ;
 }
   ccNMMatrix func2 = func.Tmultiply(func);
   ccNMMatrix vals2 = func.Tmultiply(vals);

    double cnum;
   ccNMMatrix result =
     ccNMMatrix: :solve (func2,vals2, true/*symmetric*/,cnum,HUGE_VAL);

    // throw in degenerate cases
   if (func2.conditionNumber(false) > 1e12)
     throw ccMathError :: Singular ();

   ans = cc3Vect (result.element (0,0),
                result.element (1,0),
                result.element(2,0));
   double sumSqError = 0;
   for (i = 0; i < size; ++i)
   {
     double error = eqs[i] .dot.(ans)-val[i];
     sumSqError += error*error;
   }
   rmsError = cfSqrt(sumSqError/size);
 }
 void cfComputePerpendiculars(const cc3Vect &start1,
                            const cc3Vect &endl,
                            cc3Vect &perp1,
                            cc3Vect &perp2) 

 {
   cc3Vect diff = end1 - start1;
   cc3Vect axes[3] = {cc3Vect(1,0,0),
                            cc3Vect(0,1,0),
                            cc3Vect (0,0,1)};
   cc3Vect crosses[3];
   double lens[3];
   int i;
   for (i = 0; i < 3; ++i)
      crosses(i] = diff.cross(axes [i]);
   for (i = 0; i < 3; ++i)
     lens[i] = crosses [i].dot (crosses [i]) ;
   int j,
   for (i = 0; i < 2; ++i)
     for (j = i+1; j < 3; ++j)
      if (lens [i] < lens[j])
      {
       double tmp = lens [i];
       lens[i] - lens[j];
       lens[j] = tmp;
       cc3Vect cross = crosses[i];
       crosses[i] = crosses[j];
       crosses[j] = cross;
      }
   perp1 = crosses [0] * 1./lens [0];
   perp2 = crosses[l] * 1./lens[1];
 }
 static void intersectLinesInThreeSpace
 (const cmStd vector<cc3DLineSeg> &segs,
  cc3Vect· &intersection,
  double &rmsError)
 {
   // Find point which minimizes total squared error between
   // segs.size()*2 planes
   int size - segs.size();
   cmStd vector<cc3Vect> eqs (size*2);
   cmStd vector<double> vals(size*2);
   int i;
   for (i = 0; i < size; ++i)
   {
    cfComputePerpendiculars(segs[i].p1(),segs[i].p2(),eqs[i*2), eqs[i*2+1]);
    vals [i*2] = segs[i].p1().dot (eqs[i*2]);
    vals[i*2+1] = segs[i].p1().dot (eqs [i*2+1]);
   }
  solveMinimizeSquareErrorEquations(eqs,vals,intersection,rmsError);
  }

Um nach der Pose aufzulösen, die am besten die 3D-Punkte auf den entsprechenden 3D-Strahlen abbildet, kann man sagen, dass die folgenden Gleichungen verwendet werden (die im Maple-Mathepaket ausgedrückt sind, das von Maplesoft, einem Unternehmensbereich von Waterloo Maple, käuflich erhältlich ist), die zur Erzeugung eines optimierten C-Codes verwendet werden.

Die Annäherung löst nach der Pose auf (die in Begriffen der Variablen a,b,c,d,tx,ty,tz ausgedrückt ist), die den Summenquadratfehler zwischen Punkten p (die als x,y,z ausgedrückt sind) und Ebenen, die als (px, py, pz, pt) ausgedrückt sind, minimiert. Es ist zu beachten, dass jeder 3D-Strahl zwei solchen Ebenenbeschränkungen entspricht. Die Annäherung berechnet den Summenquadratfehler durch Aufaddieren der Koeffizienten der algebraischen Fehlerfunktion. Dann löst die Annäherung nach der optimalen a,b,c,d,tx,ty,tz unter Verwendung der Gradientenabnahme auf. Es ist zu beachten, dass, da es 7 Variablen (a,b,c,d,tx,ty,tz) und nur 6 Freiheitsgrade gibt, wir 4 verschiedene Fälle ausprobieren - wo a auf 1 gesetzt ist und die Variablen b,c,d sind; wo b auf 1 gesetzt ist und die Variablen a,c,d sind; wo c auf 1 gesetzt ist und die Variablen a,b,d sind; und wo d auf 1 gesetzt ist und die Variablen a,b,c sind.

quatRot :=
   matrix (4,4,
     [[a*a+b*b-c*c-d*d,2*b*c-2*a*d,2*a*c+2*b*d,tx],
      [2*a*d+2*b*o,a*a-b*b+c*c-d*d,2*c*d-2*a*b,ty],
      [2*b*d-2*a*c,2*a*b+2*c*d,a*a-b*b-c*c+d*d,tz],
      [0,0,0,a*a+b*b+c*c+d*d]]);
 val := matrix (1, 4, [x, y, z, 1]);
 dot : = matrix (1,4,[px,py,pz,pt]);
 pos := multiply (quatRot, transpose(val));
 unit := (a*a+b*b+c*c+d*d);
 weightMat := multiply(dot,pos);
 weight := weightMat [1,1]/unit;
 weightSq := expand (weight*weight);
 weightSqDA := simplify (expand (diff(weightSq,a)*unit*unit;
 weightSqDB := simplify (expand (diff (weightSq,b)*unit*unit));
 weightsqDC := simplify (expand (diff(weightSq,c)*unit*unit));
 weightSqDD := simplify (expand (diff(weightSq,d)*unit*unit));
 weightSqDTX := simplify (expand (diff(weightSq,tx)*unit*unit));
 weightSqDTY := simplify (expand (diff(weightSq,ty)*unit*unit));
 weightSqDTZ := simplify (expand (diff(weightSq, tz)*unit*unit));

Das Vorstehende wird weiterhin angesichts des Folgenden gewürdigt, in dem GenericPoly() eine Funktion ist, die die Koeffizienten einer Funktion extrahiert. Somit ist, wenn die Funktion x*x+2*x*y+y*y ist, die generische Funktion f0x2y0*x*x + f0x1y1*x*y + f0x0y2*y*y, wo f0x2y0 = 1, f0x1y1 = 2, f0x0y2 = 1. GenericPoly() ist in MARS beinhaltet, einem öffentlich und frei erhältlichen Maple Matlab Resultat-Löser-System, zum Beispiel nach nicht-beschränkendem Beispiel von www.cs.unc.edu/ ~geom/MARS.

 read (‚genericpoly.map‘);
 genPoly:=
 GenericPoly(expand(eval(weightMat[1,1]*weightMat [1,1])),
 array(1..7, [a,b,c,d,tx,ty,tz]), ‚f‘);
 genPolyDA := simplify(expand (unit*diff (eval (genPoly [1]) ,a) -
 eval (genPoly[1])*4*a));
 genPolyDB := simplify(expand(unit*diff(eval(genPoly[1]),b) -
 eval (genPoly[1])*4*b));
 genPolyDC := simplify(expand(unit*diff(eval(genPoly[1],c) -
 eval (genPoly [1]*4*c));
 genPolyDD := simplify(expand(unit*diff(eval(genPoly[1]),d) -
 eval(gen.Poly[1])*4*d));
 genPolyDTX := simplify(expand(diff(eval(genPoly [1]),tx)));
 genPolyDTY := simplify(expand(diff(eval (genPoly [1]),ty)));
 genPolyDTZ := simplify (expand (diff (eval (genPoly [1]),tz)));
 c(genPolyDA);
 c(genPolyDB);
 c(genPolyDC);
 c(genPolyDD);
 c(genPolyDTX);
 c(genPolyDTY);
 c(genPolyDTZ);

(Es ist zu beachten, dass daher die Fehlerfunktion nicht nur derivative(weightMat*weightMat) ist, sondern tatsächlich (a*a+b*b+c*c+d*d)* derivative(weightMat*weightMat) minus 4*a*weightMat*weightMat (zum Berechnen der Teilableitung bezüglich a) (die geschrieben ist als: $$\text{unit*diff}\left(\text{eval}\left(\text{genPoly}\left[1\right]\right),\text{ a}\right)-\text{eval}\left(\text{genPoly}\left[1\right]\right)*4*\text{a}));)$$

wegen der Kettenregel für Quotienten: $$\text{deriv}\left(\text{F}\left(\text{x}\right)/\text{G}\left(\text{x}\right)\right)==\left(\text{G}\left(\text{x}\right)*\text{F'}\left(\text{x}\right)-\text{F}\left(\text{x}\right)*\text{G'}\left(\text{x}\right)\right)/\left(\text{G}\left(\text{x}\right)*\text{G}\left(\text{x}\right)\right)$$

ist zu beachten, dass wir das Quadrat des Nenners (im Nenner der Kettenregel für Teilableitungen) für diese Analyse ignorieren können, da der Nenner (a*a+b*b+c*c+d*d) gleichmäßig auf alle Teilableitungen zutrifft: $$\text{d}\left({\left(\text{a}*\text{a}+\text{b}*\text{b}+\text{c}*\text{c}+\text{d}*\text{d}\right)}^{\wedge }2\right)/\text{da}=4*\text{a}*\left(\text{a}*\text{a}+\text{b}*\text{b}+\text{c}*\text{c}+\text{d}*\text{d}\right))$$

Nach weiterer Erläuterung des Vorstehenden verwenden Verfahren mit numerischer Gradientenabnahme eine Fehlerfunktion, ebenso wie Ableitungen jener Fehlerfunktion. Die Derivate einer Fehlerfunktion können numerisch oder symbolisch berechnet werden. Für numerisch berechnete Derivate kann man einfach eine der Variablen um einen kleinen Betrag ändern und dann die Fehlerfunktion neu berechnen und somit die Ableitung numerisch berechnen. Für symbolisch berechnete Ableitungen benötigt man eine der Ableitung entsprechende symbolische Funktion - die wir in diesem Fall haben, da wir die die Fehlerfunktion beschreibenden algebraischen Funktionen haben, und wir können jene algebraische Fehlerfunktion symbolisch differenzieren.

In der veranschaulichten Ausführungsform hält eine C-Datenstruktur alle Koeffizienten für den algebraischen Ausdruck wie folgt:

 typedef struct ptRayGenericPoly
   {
   double fa0b0c0d0tx0ty0tz2;
   double fa0b0cOd0tx0ty1tz1;
   double fa0b0c0d0tx0ty2tz0;
   double fa0b0c0d0tx1ty0tz1;
   double fa0b0c0d0tx1ty1tz0;
   double fa0b0c0d0tx2ty0tz0;
   double fa0b0c0d2tx0ty0tz1;
   double fa0b0c0d2tx0ty1tz0;
   double fa0b0c0d2tx1ty0tz0;
   double fa0b0c0d4tx0ty0tz0;
   double fa0b0c1d1tx0ty0tz1;
   double fa0b0c1d1tx0ty1tz0;
   double fa0b0c1d1tx1ty0tz0;
   double fa0b0c1d3tx0ty0tz0;
   double fa0b0c2d0tx0ty0tz1;
   double fa0b0c2d0tx0ty1tz0;
   double fa0b0c2d0tx1ty0tz0;
   double fa0b0c2d2tx0ty0tz0;
   double fa0b0c3d1tx0ty0tz0;
   double fa0b0c4d0tx0ty0tz0;
   double fa0b1c0d1tx0ty0tz1;
   double fa0b1c0d1tx0ty1tz0;
   double fa0b1c0d1tx1ty0tz0;
   double fa0b1c0d3tx0ty0tz0;
   double fa0b1c1d0tx0ty0tz1;
   double fa0b1c1d0tx0ty1tz0;
   double ta0b1c1d0tx1ty0tz0;
   double fa0b1c1d2tx0ty0tz0;
   double fa0b1c2d1tx0ty0tz0;
   double fa0b1c3d0tx0ty0tz0;
   double fa0b2c0d0tx0ty0tz1;
   double fa0b2c0d0tx0ty1tz0;
   double fa0b2c0d0tx1ty0tz0;
   double fa0b2c0d2tx0ty0tz0;
   double fa0b2c1d1tx0ty0tz0;
   double fa0b2c2d0tx0ty0tz0;
   double fa0b3c0d1tx0ty0tz0;
   double fa0b3c1d0tx0ty0tz0;
   double fa0b4c0d0tx0ty0tz0;
   double fa1b0c0d1tx0ty0tz1;
   double fa1b0c0d1tx0ty1tz0;
   double fa1b0c0d1tx1ty0tz0;
   double fa1b0c0d3tx0ty0tz0;
   double fa1b0c1d0tx0ty0tz1;
   double fa1b0c1d0tx0ty1tz0;
   double fa1boc1d0tx1ty0tz0;
   double fa1b0c1d2tx0ty0tz0;
   double fa1b0c2d1tx0ty0tz0;
   double fa1b0c3d0tx0ty0tz0;
   double fa1b1c0d0tx0ty0tz1;
   double fa1b1c0d0tx0ty1tz0;
   double fa1b1c0d0tx1ty0tz0;
   double fa1b1c0d2tx0ty0tz0;
   double fa1b1c1d1tx0ty0tz0;
   double fa1b1c2d0tx0ty0tz0;
   double fa1b2c0d1tx0ty0tz0;
   double fa1b2c1d0tx0ty0tz0;
   double fa1b3c0d0tx0ty0tz0;
   double fa2b0c0d0tx0ty0tz1;
   double fa2b0c0d0tx0ty1tz0;
   double fa2b0c0d0tx1ty0tz0;
   double fa2b0c0d2tx0ty0tz0;
   double fa2b0c1d1tx0ty0tz0;
   double fa2b0c2d0tx0ty0tz0;
   double fa2b1c0d1tx0ty0tz0;
   double fa2b1c1d0tx0ty0tz0;
   double fa2b2c0d0tx0ty0tz0;
   double fa3b0c0d1tx0ty0tz0;
   double fa3b0c1d0tx0ty0tz0;
   double fa3b1c0d0tx0ty0tz0;
   double fa4b0c0d0tx0ty0tz0;
 } ptRayGenericPoly;

Die veranschaulichte Ausführungsform verwendet auch eine Funktion, die zu den Koeffizienten des algebraischen Ausdrucks (jene Funktionen nehmen als Eingabe einen 3D-Punkt (x,y,z) und eine entsprechende Ebene - charakterisiert durch px,py,pz,pt) Folgendes addiert:

void ptRayGenericPoly_addToVals(ptRayGenericPoly *vals,
                                         double x,
                                         double y,
                                         double z,
                                         double px,
                                         double py,
                                         double pz,
                                         double pt);

Die veranschaulichte Ausführungsform verwendet auch eine Funktion, die den Fehler an einer gegebenen Pose (a,b,c,d,tx,ty,tz) berechnet, wo (a,b,c,d) eine Quaternion-Darstellung der 3D-Rotation (rollen, nicken, gieren) ist und (tx,ty,ty) die Übersetzung sind:

 double ptRayGenericPoly_eval (const ptRayGenericPoly *vals,
                                double a,
                                double b,
                                double c,
                                double d,
                                double tx,
                                double ty,
                              double tz);

Die veranschaulichte Ausführungsform stellt auch Funktionen bereit, die die Ableitungen berechnen:

 double ptRayGenericPoly_DA(const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DB (const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DC(const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DD (const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DTX (const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double a,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DTY(const ptRayGenericPoly *vals,
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);
 double ptRayGenericPoly_DTZ(const ptRayGenericPoly *vals, 
                              double a,
                              double b,
                              double c,
                              double d,
                              double tx,
                              double ty,
                              double tz);

Zum Beispiel kann die Funktion, die zu den Koeffizienten addiert, auf eine Weise ausgedrückt werden, die mit den beispielhaften Auszügen, welche folgen, konsistent ist; die vollständige Funktion ist angesichts der vorliegenden Lehren und dem bereitgestellten Maple-Code evident:

  void ptRayGenericPoly_addToVals (ptRayGenericPoly *vals,
                                double x,
                                double y,
                                double z,
                                double px,
                                double py,
                                double pz,
                                double pt)
  {
    double x_2 = x*x;
    double y_2 = y*y;
    double z_2 = z*z;
    double px_2 = px*px;
    double py_2 = py*py;
    double pz_2 = pz*pz;
    double pt_2 = pt*pt;
    vals->fa0b0c0d0tx0ty0tz2 += pz_2;
    vals->fa0b0c0d0tx0ty1tz1 += 2*py*pz;
    vals->fa0b0c0d0tx0ty2tz0 += py_2;
    vals->fa0b0c0d0tx1ty0tz1 += 2*pz*px;
    vals->fa0b0c0d0tx1ty1tz0 += 2*py*px;
    vals->fa0b0c0d0tx2ty0tz0 += px_2;
    vals->fa0b0c0d2tx0ty0tz1 += 2*pt*,pz+2*pz_2*z-2*py*y*pz-2*px*x*pz;
    vals->fa0b0c0d2tx0ty1tz0 += 2*pt*py-2*py_2*y-2*px*x*py+2*pz*z*py;
    vals->fa0b0c0d2tx1ty0tz0 += 2*pt*px-2*px_2*x-2*py*y*-px+2*pz*z*px;
    vals->fa0b0c0d4tx0ty0tz0 += pz_2*z_2+px_2*x_2+py_2*y_2+pt_2+2*pz*z*pt-
                              2*px*x*pt-2*py*y*-pt+2*px*x*py*y-2*px*x*pz*z-
                              2*py*y*pz*z;
    vals->fa0b0c1d1tx0ty0tz1 += 4*pz*z*py+4*pz_2*y;
    ...

Es ist zu beachten, dass die Art, wie dies funktioniert, darin besteht, dass die fa...'s die Koeffizienten sind und dass die Namen der Variablen den Grad jedes Monoms kodieren

 F(a,b,c,d,tx,ty,tz) = fa0b0c0d0tx0ty0tz0+ fa0b0c0d0tx0ty0tz1 * tz +
 fa0b0a0d0tx0ty0tz2 * tz^2 + fa0b0c0d0tx0ty1tz1 * ty * tz + ...
 und dass man mit einer generischen Nullfehlerfunktion beginnt
 fa0b0c0d0tx0ty0tz0 = 0
 fa0b0c0d0tx0ty0tz1 = 0
 ...

Darauf folgend wird ein Aufruf an eine Funktion ptRayGenericPoly_addToVals() für jeden Satz von Punkten, eine Ebene (charakterisiert durch (x,y,z,px,py,pz,tp)) vorgenommen und er akkumuliert die Monom-Koeffizienten zu der Summenfehlerfunktion.

Bezug nehmend auf den optionalen Schritt 36 der 2 kann das veranschaulichte System 10 Bilderfassungsvorrichtungen 24 rekalibrieren, die aus der Ausrichtung geraten sind, zum Beispiel, wenn eine der Kameras auf die Kalibrierung folgend angestoßen wird. (Diesbezüglich wird man anerkennen, dass es in der veranschaulichten Ausführungsform vorzugsweise beabsichtigt ist, dass die Kameras 24 nach der Kalibrierung befestigt und/ oder ortsfest bleiben, um während der Kalibrierungsphase bestimmte Abbildungen zu erhalten). Dies kann während der in Schritt 34 ausgeführten Ortstriangulation und, wenn möglich, während derjenigen, die in Schritt 32 ausgeführt wurde, erfasst werden. Zu diesem Zweck können, wenn eine Kamera 24 Bilder erzeugt, in denen die in Laufzeitbildern gefundenen Muster eines Objekts, das geprüft wird, an Orten zu liegen scheinen (zum Beispiel, wenn sie auf den 3D-Strahlen für jene Kamera abgebildet sind), die mit Bildern von den anderen Kameras inkonsistent und/oder in wesentlicher Nichtübereinstimmung sind (zum Beispiel, wenn sie unter Verwendung ihrer jeweiligen 3D-Strahlen abgebildet werden) Musterorte, die mit den Bildern von jenen anderen Kameras bestimmt wurden, verwendet werden, um die eine Kamera unter Anwendung derselben Kalibrierungsmethodologie zu rekalibrieren, die oben in Verbindung mit Schritt 30 beschrieben wurde.

Diesbezüglich wird man anerkennen, dass die in Schritt 30 (ebenso wie in Schritt 36) bestimmten Abbildungen in zwei separate Wirkungen zerlegbar sind: Linsenverzerrung, wie etwa kissenförmige Verzerrung und andere Bildaberrationen, die konstant bleiben, wenn die Kamera 24 angestoßen wird (da sie nur eine Funktion der Linse ist und weil die Linse zum Beispiel bezüglich des CCD, CMOS oder anderen Bildsensors festgeklebt werden kann) und die Pose der Kamera 24 bezüglich des Arbeitsbereichs. Es ist letztere - die Pose -, die sich ändert, wenn die Kamera angestoßen wird. In Schritt 36 kann jener Aspekt der Abbildung, der der Pose der Kamera am Arbeitsbereich zuzuschreiben ist, neu berechnet werden, zum Beispiel, ohne eine Kalibrierungsplatte zu erfordern, da angenommen wird, dass die Linsenverzerrung konstant bleibt.

Das veranschaulichte System 10 beinhaltet vorzugsweise ein „Auszeit“-Merkmal, das übermäßige Verzögerung in Fällen verhindert, in denen ein erwartetes Muster nicht in einem Bild entdeckt wird, das während der Laufzeitphase 34 erfasst wurde. Diesbezüglich behandelt das System einfach ein Muster, das nicht innerhalb eines angegebenen Verzögerungsintervalls entdeckt wird (das zum Beispiel durch die Bedienperson oder anderweitig gesetzt ist), als nicht gefunden und fährt mit der Positionsbestimmung auf der Basis der anderen, gefundenen Muster fort. Dies hat den Vorteil, dass das System 10 bezüglich fehlender Merkmale robuster und in seinem Betrieb zeitgerechter gemacht wird.

Vorstehend sind Verfahren und Vorrichtungen beschrieben, die unter anderem die oben dargelegten Aufgaben erfüllen. Es wird gewürdigt werden, dass die in den Zeichnungen gezeigten und oben beschriebenen Verfahren und Vorrichtungen nur Beispiele von Ausführungsformen der Erfindung sind und dass andere Ausführungsformen, welche Änderungen enthalten, unter den Rahmen der Erfindung fallen. Angesichts des Vorstehenden wird Folgendes beansprucht:

Claims (25)

1. Verfahren für die dreidimensionale (3D-) Sichtigkeit zur Bestimmung zumindest einer Position oder Ausrichtung eines Objekts in drei Dimensionen, wobei das Verfahren Folgendes umfasst: A. Kalibrieren mehrerer Kameras, welche angeordnet sind, um Bilder des Objekts aus verschiedenen jeweiligen Blickpunkten zu erfassen, um für jede der Kameras eine Abbildungsfunktion zu erhalten, die Strahlen im dreidimensionalen Raum identifiziert, die von der Linse jeder jeweiligen Kamera ausgehen und Pixelorten im Sichtfeld jener Kamera entsprechen, wobei Schritt (A) das Positionieren von Registrierungszielen an bekannten Positionen im dreidimensionalen Raum und für jede Kamera das Charakterisieren von Korrelationen zwischen jenen Positionen und den Pixelorten der jeweiligen Ziele im Sichtfeld der betreffenden Kamera beinhaltet, B. Trainieren einer den Kameras zugehörigen Funktionalität, die trainiert wird, um ein erwartetes Muster in Bildern des Objekts zu erkennen, die von unterschiedlichen der mehreren Kameras zu erfassen sind, und Trainieren dieser Funktionalität in Bezug auf einen gemeinsamen Referenzpunkt des erwarteten Musters, und C. Triangulieren eines Orts des erwarteten Musters im dreidimensionalen Raum auf der Grundlage des Schnittpunkts von in Schritt (A) identifizierten Strahlen im dreidimensionalen Raum, die Pixelorten des gemeinsamen Referenzpunkts in Bildern des Objekts, die von den mehreren Kameras aufgenommen wurden, entsprechen.
2. Verfahren nach Anspruch 1, bei dem Schritt (C) das Triangulieren der Orte im dreidimensionalen Raum aus Bildern des Objekts beinhaltet, die im Wesentlichen gleichzeitig von den mehreren Kameras gemacht wurden.
3. Verfahren nach Anspruch 1 mit einem Schritt D. Rekalibrieren einer ausgewählten Kamera, die Bilder erzeugt, in denen die Muster an Orten zu liegen scheinen, die mit Bildern von den anderen Kameras inkonsistent und/oder in wesentlicher Nichtübereinstimmung zu sein scheinen.
4. Verfahren nach Anspruch 3, wobei Schritt (D) die Verwendung von Orten im dreidimensionalen Raum beinhaltet, welche in Schritt (C) aus den Bildern von den anderen Kameras bestimmt wurden, um eine Abbildungsfunktion wahrzunehmen, die Strahlen im dreidimensionalen Raum identifiziert.
5. Verfahren nach Anspruch 1, wobei Schritt (A) das algorithmische Charakterisieren der Korrelationen beinhaltet.
6. Verfahren nach Anspruch 1, wobei der Schritt (A) das Positionieren von einem oder mehreren Registrierungszielen beinhaltet, die gleichzeitig von mehreren Kameras zu Zwecken des Erhaltens der Abbildungsfunktion abgebildet werden.
7. Verfahren nach Anspruch 6, wobei Schritt (A) das Abbilden von Registrierungszielen beinhaltet, die auf einer oder mehreren Kalibrierungsplatten zum Wahrnehmen der Abbildungsfunktion angeordnet sind.
8. Verfahren nach Anspruch 1, wobei Schritt (A) das Wahrnehmen einer Abbildungsfunktion für eine oder mehrere Kameras beinhaltet, die ein Verzerren im Sichtfeld jener Kamera berücksichtigt.
9. Verfahren nach Anspruch 1, wobei Schritt (B) das Trainieren der den Kameras zugeordneten Funktionalität beinhaltet, um erwartete Muster zu erkennen, die irgendwelche Buchstaben, Zahlen, andere Symbole, Ecken oder andere wahrnehmbare Merkmale des Objekts beinhalten, dessen Abbildung erwartet wird.
10. Verfahren nach Anspruch 1, bei dem Schritt (B) das Trainieren der den Kameras zugeordneten Funktionalität hinsichtlich der erwarteten Orte im dreidimensionalen Raum der Muster auf dem Objekt beinhaltet, dessen Abbildung erwartet wird.
11. Verfahren nach Anspruch 10, bei dem Schritt (B) das Trainieren der den Kameras zugeordneten Funktionalität hinsichtlich der erwarteten Orte im dreidimensionalen Raum der Muster relativ zueinander auf dem Objekt beinhaltet, dessen Abbildung erwartet wird.
12. Verfahren nach Anspruch 10, bei dem Schritt (B) das Trainieren der den Kameras zugeordneten Funktionalität hinsichtlich der erwarteten Orte im dreidimensionalen Raum der Muster auf der Basis einer Benutzereingabe beinhaltet.
13. Verfahren nach Anspruch 10, bei dem Schritt (B) das Trainieren der den Kameras zugeordneten Funktionalität hinsichtlich der erwarteten Orte im dreidimensionalen Raum von einem oder mehreren der Muster durch Triangulieren tatsächlicher Orte jener Muster aus (i) Pixel betreffenden Positionen jener Muster in Bildern eines Trainingsobjekts, (ii) Abbildungen, die während Schritt (A) wahrgenommen wurden, beinhaltet.
14. Verfahren nach Anspruch 10, bei dem Schritt (B) das Triangulieren erwarteter Orte im dreidimensionalen Raum von einem oder mehreren der Muster aus (i) Pixel betreffenden Positionen jener Muster in Bildern eines Trainingsobjekts, (ii) Abbildungen, die während Schritt (A) wahrgenommen wurden, und (iii) erwarteten Orten im dreidimensionalen Raum der Muster auf dem Objekt, dessen Abbildung erwartet wird, beinhaltet.
15. Verfahren nach Anspruch 10, bei dem Schritt (B) das Trainieren der Funktionalität beinhaltet, um gleiche Modelle zur Identifizierung gleicher Modelle wie zwischen verschiedenen Kameras zu verwenden.
16. Verfahren nach Anspruch 10, bei dem Schritt (B) das Trainieren der Funktionalität beinhaltet, um (i) verschiedene Modelle zur Identifizierung gleicher Muster wie zwischen verschiedenen Kameras zu verwenden, und (ii) gleiche Referenzpunkte für mit jenen Mustern bestimmte Muster zu identifizieren.
17. Verfahren nach Anspruch 1, bei dem Schritt (B) das Finden eines erwarteten Musters in einem Bild von einer Kamera auf der Basis einer vorherigen Identifizierung jenes Musters in einem Bild von einer anderen Kamera beinhaltet.
18. Verfahren nach Anspruch 1, bei dem Schritt (C) das Triangulieren der Position von einem oder mehreren der Muster unter Verwendung eines Musterabgleichs oder anderer zweidimensionaler Sichtwerkzeuge beinhaltet.
19. Verfahren nach Anspruch 1, bei dem Schritt (C) das Triangulieren der Position eines Musters im dreidimensionalen Raum von einem nächstgelegenen Schnittpunkt von 3D-Strahlen beinhaltet, auf denen jenes Muster zu liegen scheint.
20. Verfahren nach Anspruch 1, bei dem Schritt (C) das Triangulieren der Position eines Musters im dreidimensionalen Raum von einem oder mehreren von (i) einem Punkt nächstgelegen zum Schnittpunkt von 3D-Strahlen, auf denen jenes Muster zu liegen scheint, (ii) einem oder mehreren 3D-Strahlen, auf denen andere der Muster liegen, und (iii) erwarteten Orten der Muster beinhaltet.
21. Verfahren nach Anspruch 1, bei dem Schritt (C) die Verwendung gleicher Modelle zur Identifizierung gleicher Muster in von verschiedenen Kameras erfassten Bildern des Objekts beinhaltet.
22. Verfahren nach Anspruch 21, bei dem Schritt (C) (i) das Verwenden verschiedener Modelle zur Identifizierung gleicher Muster in von verschiedenen Kameras erfassten Bildern des Objekts und (ii) die Identifizierung gleicher Referenzpunkte für jene Muster, ungeachtet dessen, dass sie unter Verwendung verschiedener Modelle identifiziert wurden, beinhaltet.
23. Verfahren nach Anspruch 1, bei dem Schritt (C) das Triangulieren des Orts im dreidimensionalen Raum des Objekts beinhaltet, selbst wenn eines oder mehrere der Muster in Bildern des Objekts nicht erfasst werden.
24. Verfahren nach Anspruch 1, bei dem Schritt (C) den Abbruch der Erfassung von einem oder mehreren Mustern in einem Bild des Objekts beinhaltet, wenn eine solche Erfassung ein Verzögerungsintervall überschreitet.
25. System für die Maschinensichtigkeit, das in Übereinstimmung mit einem der Ansprüche 1, 2, 10 oder 17 arbeitet.

Images