DE102017213362A1

DE102017213362A1 - Bewerten einer Kalibrierung eines Sensorsystems

Info

Publication number: DE102017213362A1
Application number: DE102017213362.7A
Authority: DE
Inventors: Patrick Wissmann
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2017-08-02
Filing date: 2017-08-02
Publication date: 2019-02-07

Abstract

Die Erfindung betrifft ein Verfahren zum Bewerten einer Kalibrierung eines Sensorsystems (5) mit einer Vielzahl von optischen Einrichtungen (5-i), wobei die Vielzahl von optischen Einrichtungen (5-i) mindestens eine Bilderfassungseinheit umfasst, mit den folgenden Schritten: Kalibrieren des Sensorsystems (5) durch Ermitteln von jeweiligen Kalibrierparametern der optischen Einrichtungen (5-i); wiederholtes Vermessen mindestens eines Objekts durch das Sensorsystem (5), wobei für jede Vermessung die relative Lage zwischen dem mindestens einen Objekt und dem Sensorsystem verändert wird und eine jeweilige Datenmenge generiert wird; Berechnen einer jeweiligen Menge von Koordinaten des mindestens einen Objekts (6) für jede der Datenmengen durch Triangulation und unter Verwendung der Kalibrierparameter; Registrieren der berechneten Mengen von Koordinaten relativ zueinander durch Minimieren einer Abweichungsfunktion, welche Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt; und Bestimmen der Qualität der Kalibrierung des Sensorsystems (5) anhand des minimalen Wertes der Abweichungsfunktion.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bewerten einer Kalibrierung eines Sensorsystems. Die Erfindung betrifft weiterhin ein optisches System.
Stand der Technik
Aus der Druckschrift DE 10 2007 046287 A1 ist ein beispielhaftes Kalibrierverfahren bekannt, wobei Sensoren zuerst fest zueinander montiert und kalibriert werden. Aufgrund der festen räumlichen Beziehung zueinander ist am Einsatzort nur noch eine Kalibrierung eines einzigen Sensors notwendig.
In Abhängigkeit von den Anforderungen an die fusionierten Daten muss die Kalibrierung in regelmäßigen Intervallen wiederholt werden, um eine ausreichend geringe Messunsicherheit zu erreichen. Die Qualität der Kalibrierung und dadurch auch das Erfordernis einer erneuten Kalibrierung hängen von zahlreichen Faktoren ab. So haben äußere Umgebungsbedingungen, wie etwa die Umgebungstemperatur oder der Umgebungsdruck einen Einfluss auf die Werte der Kalibrierparameter der optischen Einrichtungen. Auch durch mechanische Stöße oder ein ungewolltes Verstellen von Einstellungen der optischen Einrichtungen, etwa eines Kamerafokus oder Projektorfokus, kann die Kalibrierung starke Qualitätseinbußen erleiden.
Die Qualität der Kalibrierung ist jedoch typischerweise nicht bekannt, sodass eine erneute Kalibrierung meist entweder zu häufig oder zu spät erfolgt. Dies geht entsprechend mit zusätzlichen Kosten für die Kalibrierung bzw. mit Qualitätseinbußen der Sensorergebnisse einher.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Qualitätsbestimmung der Kalibrierung zu ermöglichen.
Zusammenfassung der Erfindung
Die Erfindung stellt zur Lösung des genannten Problems ein Verfahren zum Bewerten einer Kalibrierung eines Sensorsystems mit den Merkmalen des Patentanspruchs 1, eine Vorrichtung zum Bewerten einer Kalibrierung eines Sensorsystems mit den Merkmalen des Patentanspruchs 10 und ein optisches System mit den Merkmalen des Patentanspruchs 15 bereit.
Gemäß einem ersten Aspekt betrifft die Erfindung demnach ein Verfahren zum Bewerten einer Kalibrierung eines Sensorsystems mit einer Vielzahl von optischen Einrichtungen, wobei die Vielzahl von optischen Einrichtungen mindestens eine Bilderfassungseinheit umfasst. Hierzu wird das Sensorsystem durch Ermitteln von jeweiligen Kalibrierparametern der optischen Einrichtungen kalibriert. Mindestens ein Objekt wird wiederholt durch das Sensorsystem vermessen, wobei für jede Vermessung die relative Lage zwischen der mindestens einen Objekt und dem Sensorsystem verändert wird und eine jeweilige Datenmenge generiert wird. Eine jeweilige Punktwolke bzw. Menge von Koordinaten des mindestens einen Objekts wird für jede der Datenmengen durch Triangulation und unter Verwendung der Kalibrierparameter berechnet. Die berechneten Mengen von Koordinaten werden relativ zueinander durch Minimieren einer Abweichungsfunktion registriert, wobei die Abweichungsfunktion Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt. Die Qualität der Kalibrierung des Sensorsystems wird anhand des durch Optimierung minimal erreichbaren Wertes der Abweichungsfunktion bestimmt.
Gemäß einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zum Bewerten einer Kalibrierung eines Sensorsystems mit einer Vielzahl von optischen Einrichtungen, wobei die Vielzahl von optischen Einrichtungen mindestens eine Bilderfassungseinheit umfasst. Das Sensorsystem ist mittels jeweiliger ermittelter Kalibrierparameter der optischen Einrichtungen kalibriert. Die Vorrichtung weist eine Berechnungseinheit auf, welche dazu ausgebildet ist, Datenmengen von dem Sensorsystem zu empfangen, welche bei einer Vermessung von mindestens einem Objekts durch das Sensorsystem unter verschiedenen relativen Lagen zwischen dem mindestens einen Objekt und dem Sensorsystem erzeugt wurden. Die Berechnungseinheit berechnet unter Verwendung der Kalibrierparameter durch Triangulation für jede der Datenmengen eine jeweilige Menge von Koordinaten des mindestens einen Objekts. Die Vorrichtung umfasst weiter eine Registrierungseinheit, welche die Mengen von Koordinaten relativ zueinander registriert, wobei sie eine Abweichungsfunktion minimiert, welche die Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt. Die Vorrichtung umfasst schließlich eine Qualitätsbestimmungseinheit, welche dazu ausgebildet ist, die Qualität der Kalibrierung des Sensorsystems anhand des minimalen Wertes der Abweichungsfunktion zu bestimmen.
Gemäß einem dritten Aspekt betrifft die Erfindung ein optisches System mit einem Sensorsystem mit einer Vielzahl von optischen Einrichtungen, welche mindestens eine Bilderfassungseinheit umfasst. Das Sensorsystem ist durch Ermitteln von jeweiligen intrinsischen Kalibrierparametern und extrinsischen Kalibrierparametern der Vielzahl von optischen Einrichtungen kalibrierbar. Das optische System umfasst weiter eine Vorrichtung zum Bewerten einer Kalibrierung des Sensorsystems.
Die von dem Sensorsystem unter verschiedenen Blickrichtungen in einem gemeinsamen Koordinatensystem ermittelten Koordinaten eines identischen physikalischen Punktes sind lediglich bei einer idealen Kalibrierung auch tatsächlich identisch. In der Realität werden sich jedoch aufgrund von Ungenauigkeiten der Kalibrierung sowie aufgrund von statistischem Rauschen die verschiedenen ermittelten Koordinaten voneinander unterscheiden. Die Größe der Abweichung wird über die Berechnung der Abweichungsfunktion ermittelt und zur Bestimmung der Qualität der Kalibrierung herangezogen. Die vorliegende Erfindung erlaubt somit die genaue Quantifizierung der Qualität eines Kalibrierzustands eines Sensorsystems. Dadurch kann verhindert werden, dass eine Kalibrierung zu früh durchgeführt wird, sodass unnötige Kosten eingespart werden können und ein unnötiger Zeitaufwand vermieden werden kann. Umgekehrt kann verhindert werden, dass die Kalibrierung zu spät durchgeführt wird und daher die erhaltenen Sensorergebnisse schlimmstenfalls unbrauchbar sind.
Die Kalibrierparameter der optischen Einrichtungen umfassen intrinsische Kalibrierparameter und extrinsische Kalibrierparameter.
Unter intrinsischen Kalibrierparametern werden im Rahmen dieser Erfindung bestimmte optische Parameter der optischen Einrichtungen verstanden. Dazu können die optische Brennweite der optischen Einrichtung, der Bildmittelpunkt eines von der optischen Einrichtung erzeugten Bildes, mögliche tangentiale und/oder radiale Verzeichnungsparameter, Bildneigungsparameter und/oder Dünne-Prismen-Parameter zählen.
Die extrinsischen Kalibrierparameter bestimmen die absolute Lage einer optischen Einrichtung oder die Lage einer optischen Einrichtung relativ zu den anderen Koordinatensystemen, beispielsweise derer von anderen optischen Einrichtungen, des Messobjekts, oder des Weltkoordinatensystems. Eine eindeutige Angabe der Lage erfolgt beispielsweise durch die Angabe dreier Koordinaten für die Position der optischen Einrichtungen sowie dreier Koordinaten für die Rotation der optischen Einrichtung. Diese insgesamt 6 Freiheitsgrade können auch in Form einer Transformationsmatrix angegeben werden.
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird weiter eine Optimierung der Kalibrierparameter durchgeführt. So können beispielsweise die intrinsischen und/oder extrinsischen Kalibrierparameter iterativ angepasst werden, falls der minimale Wert der Abweichungsfunktion größer als ein vorgegebener Schwellenwert ist. Eine stets ausreichende Qualität der Kalibrierung wird dadurch gewährleistet.
Gemäß einer bevorzugten Weiterbildung wird bei jedem Iterationsschritt eine erneute Berechnung der Mengen von Koordinaten durchgeführt. Dies bedeutet, dass unter Verwendung der iterativ angepassten Kalibrierparameter eine erneute Triangulation anhand der Datenmengen durchgeführt wird, um entsprechende Mengen von Koordinaten zu ermitteln. Die Datenmengen müssen hierzu nicht erneut generiert werden sondern werden lediglich erneut ausgewertet. Die Mengen von Koordinaten werden erneut relativ zueinander registriert und der minimale Wert der Abweichungsfunktion wird berechnet. Die iterative Anpassung wird vorzugsweise so lange durchgeführt, bis der minimale Wert der Abweichungsfunktion den vorgegebenen Schwellenwert unterschreitet. Alternativ erfolgt die iterative Anpassung solange, bis sich der minimale Wert der Abweichungsfunktion nicht mehr durch Anpassung der Kalibrierparameter verringern lässt.
Gemäß einer bevorzugten Weiterbildung des Verfahrens erfolgt das iterative Anpassen der Kalibrierparameter unter Berücksichtigung von Randbedingungen, welche durch Kalibrierobjekte vorgegeben sind. Unter Kalibrierobjekten werden Objekte mit bestimmten bekannten Eigenschaften verstanden, etwa Objekte mit fest vorgegebenen Abmessungen oder fest vorgegebenen Positionen. Ein Kalibrierobjekt kann also beispielsweise ein absoluter Maßstab oder eine optische und/oder geometrische Hilfsmarke sein. Die Positionen der Hilfsmarken können optional zuvor mittels Fotogrammmetrie, Lasertracker oder anderen Verfahren der räumlichen Ortsbestimmung ermittelt werden.
Die durch die Kalibrierobjekte vorgegebenen Randbedingungen können beispielsweise bestimmte Eigenschaften von Kalibrierobjekten sein. So muss ein Abstand zwischen zwei Punkten eines vorgegebenen Maßstabs stets die durch den Maßstab vorgegebene Länge aufweisen. Die Anpassung der Kalibrierparameter darf nur derart durchgeführt werden, dass dieser Abstand bzw. die Länge des Maßstabs im Koordinatensystem dem bekannten Zielwert entspricht. Weitere Randbedingungen können die Koinzidenz von optischen und/oder geometrischen Hilfsmarken von Referenzpunkten sein. Bestimmte bekannte Objekte müssen sich somit stets überlappen, was den zulässigen Parameterraum zur Veränderung der Kalibrierparameter einschränkt. Auch vorgegebene Kenntnisse über die Transformation zwischen Messungen, etwa bekannte Winkelschritte eines Drehtellers oder Sensorpositionen in einem Tracker- oder Roboterkoordinatensystem können als Randbedingungen vorgegeben werden.
Die Berücksichtigung der Randbedingungen verhindert, dass die Punktwolken der Objekte durch Anpassen der Kalibrierparameter in unkontrollierter Weise skaliert oder verzerrt werden, um einen hohen Überlapp bzw. einen niedrigen Wert der Abweichungsfunktion zu erzeugen, wobei das Endergebnis jedoch nicht mehr der Realität entspricht.
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird das Registrieren der berechneten Mengen von Koordinaten relativ zueinander mittels eines Iterativen-Nächste-Punkte-Algorithmus (Iterative Closest Point Algorithm) durchgeführt. Die Mengen von Koordinaten bzw. Punktwolken des Sensorsystems aus verschiedenen Perspektiven werden hierfür durch Optimierung von Transformationen relativ zueinander, insbesondere Rotation und Translation, möglichst gut einander angenähert. Beim Iterativen-Nächste-Punkte-Algorithmus wird für jeden Punkt einer bestimmten vorgegebenen Punktwolke der jeweils nächste Punkt einer anderen Punktwolke bestimmt. Die Abstände der sich somit entsprechenden Objektkoordinaten der Punkte werden berechnet, quadriert und aufsummiert. Diese quadratische Abstandssumme wird durch Anpassung der Transformationen der einzelnen Punktwolken relativ zueinander iterativ minimiert. Somit werden die Auswerteschritte solange wiederholt, bis Konvergenz erreicht ist.
Gemäß einer bevorzugten Weiterbildung des Verfahrens umfasst das Registrieren der berechneten Mengen von Koordinaten eine Translation und/oder eine Rotation der Mengen von Koordinaten relativ zueinander.
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird zur Bestimmung der Qualität der Kalibrierung eine statistische Verteilung von Abweichungen zwischen den Mengen von Koordinaten berücksichtigt. Insbesondere kann überprüft werden, ob ein Fehler normalverteilt ist und insbesondere einen Mittelwert von im Wesentlichen 0 aufweist. Da ein derartiger Fehler in der Regel nicht von einer fehlerhaften Kalibrierung sondern rein von statistischen Schwankungen herrührt, kann er bei der Berechnung der Qualität der Kalibrierung unberücksichtigt bleiben. Die Bewertung der Kalibrierqualität kann beispielsweise durch Erstellen eines Histogramms der Punktabstände zu einer jeweils überlappenden Punktmenge erfolgen.
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird die Abweichungsfunktion durch Summieren von Funktionen der minimalen Abstandsquadrate entsprechender Objektkoordinaten berechnet. Insbesondere können die minimalen Abstandsquadrate selbst aufsummiert werden. Gemäß weiteren Ausführungsformen können auch die Wurzeln der minimalen Abstandsquadrate, das heißt die Beträge der Abstandsquadrate berechnet und aufsummiert werden.
Gemäß einer bevorzugten Weiterbildung umfasst die Vorrichtung eine Optimierungseinheit, welche dazu ausgebildet ist, die Kalibrierparameter iterativ anzupassen, falls der minimale Wert der Abweichungsfunktion größer als ein vorgegebener Schwellenwert ist.
Gemäß einer bevorzugten Weiterbildung berechnet die Berechnungseinheit bei jedem Iterationsschritt die Mengen von Koordinaten erneut und die Registrierungseinheit registriert die Mengen von Koordinaten erneut relativ zueinander und berechnet den entsprechenden minimalen Wert der Abweichungsfunktion. Die Optimierungseinheit ist dazu ausgebildet, die iterative Anpassung der Kalibrierparameter solange durchzuführen, bis der minimale Wert der Abweichungsfunktion den vorgegebenen Schwellenwert unterschreitet.
Gemäß einer bevorzugten Weiterbildung der Vorrichtung ist die Registrierungseinheit dazu ausgebildet, die Registrierung mittels eines Iterativen-Nächste-Punkte-Algorithmus durchzuführen.
Gemäß einer bevorzugten Weiterbildung der Vorrichtung führt die Registrierungseinheit die Registrierung unter Verwendung einer Translation und/oder einer Rotation der Mengen von Koordinaten relativ zueinander durch.
Gemäß einer bevorzugten Weiterbildung der Vorrichtung ist die Optimierungseinheit dazu ausgebildet, die Abweichungsfunktion durch Summieren von Funktionen der minimalen Abstandsquadrate von benachbarten Koordinaten verschiedener Punktwolken zu berechnen.
Gemäß einer bevorzugten Weiterbildung der Vorrichtung ist die Optimierungseinheit dazu ausgebildet, zur Berechnung der Qualität der Kalibrierung die statistische Verteilung der Abweichungen zwischen Punktmengen zu berücksichtigen.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
Es zeigen:

1 ein Blockschaltbild einer Vorrichtung zum Bewerten einer Kalibrierung von optischen Einrichtungen gemäß einer Ausführungsform der Erfindung;
2 ein beispielhaftes Szenario zu Erläuterung einer Triangulation; und
3 ein Flussdiagramm zur Erläuterung eines Verfahrens zum Bewerten einer Kalibrierung einer Vielzahl von optischen Einrichtungen.

1 zeigt ein Blockdiagramm einer Vorrichtung zum Bewerten einer Kalibrierung eines Sensorsystems 5 mit mehreren optischen Einrichtungen 5-1 bis 5-n. Die optischen Einrichtungen 5-1 bis 5-n umfassen mindestens eine Bilderfassungseinheit, d. h. etwa eine Kamera im sichtbaren Wellenlängenbereich oder im Infrarotbereich. Die optischen Einrichtungen 5-1 bis 5-n können darüber hinaus Projektoren sein, welche dazu ausgebildet sind, ein oder mehrere Muster auf Objekte zu projizieren. Insbesondere sind die optischen Einrichtungen 5-1 bis 5-n entweder Kameras oder Projektoren. Das Sensorsystem 5 weist somit mindestens zwei Kameras oder mindestens eine Kamera und einen Projektor auf. Die Positionen und Orientierungen der optischen Einrichtungen 5-1 bis 5-n des Sensorsystems 5 sind zueinander fixiert.
Zur Auswertung von Sensordaten der optischen Einrichtungen 5-1 bis 5-n sind den optischen Einrichtungen 5-1 bis 5-n Kalibrierparameter zugewiesen. Die Kalibrierparameter umfassen extrinsische Kalibrierparameter, d. h. drei Freiheitsgrade für die Position (Tx, Ty, Tz) sowie drei Freiheitsgrade für die Rotation (Rx, Ry, Rz). Diese insgesamt sechs Freiheitsgrade können auch in Form einer Transformationsmatrix angegeben werden. Die Kalibrierparameter umfassen weiter intrinsische Kalibrierparameter, d. h. optische Parameter der optischen Einrichtung 5-1 bis 5-n, etwa optische Brennweiten, Bildmittelpunkte, tangentiale und radiale Verzeichnungsparameter, Bildneigungsparameter und/oder Dünne-Prismen-Parameter.
Die Kalibrierparameter werden mittels eines bekannten Kalibrierverfahrens eingestellt. Die Kalibrierung kann manuell oder automatisiert durchgeführt werden. So können Kalibrierobjekte vor den zu kalibrierenden optischen Einrichtungen 5-1 bis 5-n positioniert werden. Kalibrierobjekte können beispielsweise ebene Platten mit aufgedruckten Mustern sein, etwa Schachbrettmuster oder regel- oder unregelmäßig angeordnete Markierungen bzw. Hilfsmarken. Die optischen Einrichtungen 5-1 bis 5-n erfassen die Kalibrierobjekte und den physikalischen Punkten der Kalibrierobjekte werden entsprechende Bildkoordinaten zugewiesen. Anhand der bekannten Eigenschaften der Kalibrierobjekte werden die Kalibrierparameter der optischen Einrichtungen 5-1 bis 5-n bestimmt. So hängen die perspektivische Ansicht eines Kalibrierobjekts und die ermittelten Positionen und Abstände einzelner Markierungen von Elementen der Muster von der genauen Orientierung und Position der optischen Einrichtungen 5-1 bis 5-n im Raum sowie von den intrinsischen Kalibrierparametern der optischen Einrichtungen 5-1 bis 5-n ab.
Das Sensorsystem 5 vermisst nun ein Objekt 6 in einer Vielzahl von verschiedenen relativen Orientierungen, d. h. unter verschiedenen Ansichten. Hierzu wird entweder das Objekt 6 in seiner Position oder Orientierung verändert, oder das Sensorsystem 5 um das Objekt 6 herum bewegt. Bei jeder Vermessung erfasst die mindestens eine Bilderfassungseinheit 5-1 bis 5-n ein Bild oder eine Sequenz von Bildern. Falls das Sensorsystem 5 darüber hinaus einen Projektor umfasst, kann dieser bei der Vermessung ein bestimmtes Muster auf das mindestens eine Objekt 6 aussenden. Die derart von dem Sensorsystem ermittelten Datenmengen werden über eine Schnittstelle an eine Berechnungseinheit 2 der Vorrichtung 1 übertragen. Für jede der Datenmengen führt die Berechnungseinheit 2 unter Berücksichtigung der Kalibrierparameter eine Triangulation durch und generiert somit eine jeweilige Menge von Koordinaten.
In 2 wird anhand eines beispielhaften Szenarios die Triangulation mittels zweier kalibrierter optischen Einrichtungen 5a und 5b illustriert. Ein Projektor 5a sendet einen Lichtstrahl auf ein Objekt 6 aus. Der Lichtstrahl wird in einem physikalischen Punkt p1 des Objekts 6 reflektiert und von einer Kamera 5b detektiert. Dem physikalischen Punkt p1 wird ein entsprechender Punkt p1' in einem Bildkoordinatensystems X-Y-Z der Kamera 5b zugeordnet. Dem Lichtstrahl wird anhand des ermittelten Punktes p1' und unter Verwendung der intrinsischen und extrinsischen Kalibrierparameter eine erste Gerade s1 in einem Sensorkoordinatensystem zugeordnet. In analoger Weise wird dem ausgesendeten Lichtstrahl in Abhängigkeit von den intrinsischen und extrinsischen Kalibrierparametern des Projektors 5a eine zweite Gerade s2 in dem Sensorkoordinatensystem zugeordnet. Der physikalische Punkt p1 im Sensorkoordinatensystem wird als der Schnittpunkt der Geraden s1, s2 berechnet.
Während in 2 nur ein Projektor 5a und eine Kamera 5b illustriert sind, kann die Triangulation auch unter Verwendung einer Vielzahl von Projektoren und/oder Kameras durchgeführt werden.
Die Genauigkeit der erläuterten Triangulation hängt von der Qualität der ermittelten Kalibrierparameter ab. So kann eine fehlerhafte Kalibrierung dazu führen, dass die Oberfläche eines flachen Objekts gekrümmt oder anderweitig verzerrt dargestellt wird. Ein Objekt kann auch größer oder kleiner als tatsächlich erscheinen.
Die Menge von Koordinaten lässt sich als Punktwolke oder als Netz darstellen und mit den unter anderen Blickwinkeln erfassten Punktwolken vergleichen. Hierzu umfasst die Vorrichtung 1 eine Registrierungseinheit 3, welche dazu ausgebildet ist, die Mengen von Koordinaten relativ zueinander zu registrieren. Die Registrierungseinheit 3 transformiert hierzu die Mengen von Koordinaten bzw. Punktwolken relativ zueinander mittels starrer Rotationen und Translationen. Die jeweiligen Koordinaten einer einzelnen Punktwolke bzw. einer einzelnen Menge von Koordinaten werden somit relativ zueinander fixiert und relativ zu den entsprechenden Koordinaten einer weiteren Punktwolke transformiert. Die derartigen Transformationen entsprechen einer Anpassung an die jeweiligen Blickwinkel bzw. Orientierungen, unter welchen das Objekt 6 von dem Sensorsystem 5 erfasst wurde.
Die Transformationen werden derart durchgeführt, dass eine Abweichungsfunktion zwischen den verschiedenen Mengen von Koordinaten minimiert wird. Die Abweichungsfunktion kann beispielsweise dadurch berechnet werden, dass zwei verschiedene Mengen von Koordinaten miteinander verglichen werden, indem für jede Koordinate oder ausgewählte, besonders charakteristische Koordinaten der ersten Menge von Koordinaten der Abstand zu der nächstliegenden bzw. in ihrer Charakteristik entsprechenden Koordinate der zweiten Menge von Koordinaten berechnet wird. Die Abweichungsfunktion wird durch Aufsummieren der Abstände über sämtliche Koordinaten berechnet. Durch Minimieren dieser Abweichungsfunktion wird somit ein optimaler Überlapp zwischen verschiedenen Mengen von Koordinaten realisiert.
Die Größe der Abweichungsfunktion stellt ein Fit-Residuum dar, welches durch Transformationen der Punktwolken minimiert wird, etwa mittels eines Iterativen-Nächste-Punkte-Algorithmus. Das Anpassen der extrinsischen Kalibrierparameter entspricht einer Rotation und Translation der dreidimensionalen Punktwolken relativ zueinander. Das Fit-Residuum entspricht dem Grad der Übereinstimmung der Überlappung der Punktwolken.
Die bei einem optimalen Überlapp der Punktwolken ermittelte Größe des Fit-Residuums wird von einer Qualitätsbestimmungseinheit 4 der Vorrichtung 1 zur Beurteilung der Qualität der Kalibrierparameter herangezogen. Insbesondere kann die Qualitätsbestimmungseinheit 4 das Fit-Residuum mit einem vorgegebenen Schwellenwert vergleichen. Ist das Fit-Residuum kleiner als der vorgegebene Schwellenwert, so erkennt die Qualitätsbestimmungseinheit 4, dass die Qualität der Kalibrierparameter ausreichend ist. Die Vorrichtung 1 kann optional ein entsprechendes Signal ausgeben. Der vorgegebene Schwellenwert entspricht einem definierten Gütekriterium der Kalibrierung und kann je nach Anwendung angepasst werden.
Bevorzugt umfasst die Vorrichtung 1 weiter eine Optimierungseinheit 7, welche die Kalibrierparameter iterativ anpassen kann, falls die Qualitätsbestimmungseinheit 4 erkennt, dass die Qualität der Kalibrierung des Sensorsystems 5 nicht ausreicht. Erkennt die Qualitätsbestimmungseinheit 4, dass das Fit-Residuum größer als der vorgegebene Schwellenwert ist, so kann die Qualitätsbestimmungseinheit 7 bestimmen, dass die Qualität der Kalibrierung unzureichend ist. In diesem Fall kann die Vorrichtung 1 ein Warnsignal ausgegeben. Dadurch kann ein Benutzer zur manuellen Neukalibrierung der optischen Einrichtungen 5-1 bis 5-n aufgefordert werden.
Vorzugsweise führt die Optimierungseinheit 7 jedoch ein Optimierungsverfahren durch, wobei neue Werte für die Kalibrierparametern der optischen Einrichtungen automatisch vorgegeben werden. Für diese neuen Werte wird eine erneute Berechnung der jeweiligen Mengen von Koordinaten durch die Berechnungseinheit 2 durchgeführt. Die Registrierungseinheit 3 registriert anschließend die Mengen von Koordinaten erneut relativ zueinander. Die Qualitätsbestimmungseinheit 4 ermittelt die Qualität der Kalibrierung des Sensorsystems bei den veränderten Kalibrierungsparametern. Das Optimierungsverfahren wird durch die Optimierungseinheit 7 so lange durchgeführt, bis ein Abbruchkriterium erfüllt ist. Etwa kann die Anpassung beendet werden, falls der minimale Wert der Abweichungsfunktion kleiner als der vorgegebene Schwellenwert ist. Alternativ kann die Anpassung beendet werden, wenn das Fit-Residuum ein globales Minimum erreicht hat und sich daher nicht durch weitere Optimierung der Kalibrierparameter verbessern lässt.
Die Vorrichtung 1 und das Sensorsystem 5 mit der Vielzahl von optischen Einrichtungen 5-1 bis 5-n bilden ein erfindungsgemäßes optisches System S. Das optische System S kann sich vorzugsweise selbst kalibrieren, indem die Vorrichtung 1 die Kalibrierparameter anpasst, falls die Qualitätsbestimmungseinheit 4 erkennt, dass die Qualität der Kalibrierung nicht ausreichend ist.
In 3 ist ein Flussdiagramm eines Verfahrens zum Bewerten einer Kalibrierung eines Sensorsystems 5 mit einer Vielzahl von optischen Einrichtungen 5-1 bis 5-n illustriert. Das Sensorsystem 5 ist bereits vorkalibriert, d. h. jeder optischen Einrichtung 5-1 bis 5-n sind entsprechende intrinsische und extrinsische Kalibrierparameter zugeordnet. Alternativ kann in einem ersten Verfahrensschritt eine Vorkalibrierung der optischen Einrichtungen 5-1 bis 5-n durchgeführt werden. Die Qualität der Kalibrierung muss jedoch nicht optimal sein, um die folgenden Verfahrensschritte auszuführen, d.h. ein gewisser Fehler der Vorkalibrierung ist tolerabel.
In einem Verfahrensschritt S1 vermisst das Sensorsystem mindestens ein Objekt 6. Hierbei generieren die optischen Einrichtungen 5-1 bis 5-n eine Datenmenge, welche in einem Verfahrensschritt S2 zu einem Pool von Datenmengen hinzugefügt wird. Die Datenmengen können die von den Bilderfassungseinheiten erzeugten Kamerabilder umfassen, jedoch auch bereits weiterverarbeitete Daten und Zwischenergebnisse. In einem Verfahrensschritt S3 wird überprüft, ob die Anzahl von Datenmengen in dem Pool einen vorgegebenen Schwellenwert überschreitet. Dadurch wird sichergestellt, dass eine ausreichende Anzahl von Daten zur Verfügung steht, um eine genaue Bewertung der Kalibrierung zu ermöglichen. Ist die Anzahl von Sensordaten zu gering, so wird in einem Verfahrensschritt S4 die relative Orientierung von Sensorsystem 5 und Objekten 6 verändert. Beispielsweise kann das Sensorsystem 5 um das mindestens eine Objekt 6 herum gedreht werden, sodass das mindestens eine Objekt 6 aus einer anderen Perspektive erfasst wird. Das Sensorsystem 5 erzeugt erneute Datenmengen, welche wiederum zu dem Pool von Datenmengen hinzugefügt werden. Besonders vorteilhaft ist ein hoher Überlapp von Messungen, d. h. eine bestimmte Region eines Objekts 6 sollte von mehreren Messungen gleichzeitig erfasst werden. Die Objekte 6 haben vorzugsweise geometrische Formen, welche eine Bestimmung sämtlicher 6 Freiheitsgrade der Kalibrierparameter ermöglichen. Vorteilhaft sind beispielsweise Objekte 6 mit drei annähernd zueinander orthogonal stehenden Kanten. Weiter ist eine vollumfängliche bzw. 360-Grad-Messung von Objekten 6 vorteilhaft, um durch die dadurch erzielte Loop Closure die Freiheitsgrade bei der Optimierung weiter einzuschränken.
Ist die Anzahl von Sensordaten ausreichend, wird in einem Verfahrensschritt S5 für jede Datenmenge eine Triangulation durchgeführt, um entsprechende Koordinaten des mindestens einen Objekts 6 in einem Sensorkoordinatensystem zu ermitteln. Die Koordinaten bilden eine jeweilige Punktwolke oder ein Netz.
In einem Verfahrensschritt S6 werden die berechneten Mengen von Koordinaten relativ zueinander registriert. Hierzu wird eine Abweichungsfunktion minimiert, welche die Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt. Die Abweichungsfunktion kann beispielsweise durch Aufaddieren der Abstände von benachbarten Punkten verschiedener Mengen von Koordinaten berechnet werden. Die Registrierung kann eine Merkmalserkennung oder eine Kantendetektion umfassen, um entsprechende Bereiche in den verschiedenen Punktwolken zu identifizieren.
In einem Verfahrensschritt S7 wird die Qualität des Sensorsystems 5 bewertet, indem überprüft wird, ob das Fit-Residuum, d. h. der verbleibende Wert der Abweichungsfunktion kleiner als ein vorgegebener Schwellenwert ist. Falls dies nicht der Fall ist, wird in einem Verfahrensschritt S8 eine iterative Anpassung der Kalibrierparameter durchgeführt, sodass die Kalibrierparameter optimiert werden. Die Optimierung kann unter Berücksichtigung von Randbedingungen durchgeführt werden, etwa von Abmessungen eines absoluten Maßstabs, einer Koinzidenz von Hilfsmarken oder unter Berücksichtigung von Kenntnissen hinsichtlich der bekannten Positionen bestimmter Objekte 6.
Anschließend werden die Schritte S5 bis S7 für die angepassten Kalibrierparameter erneut durchgeführt. Es findet somit eine erneute Triangulation und Registrierung sowie eine Berechnung des Fit-Residuums statt. Zur Berechnung des Fit-Residuums kann ein Fehler herausberechnet werden, welcher nicht auf die Kalibrierung selbst zurückzuführen ist. Insbesondere kann ein über die Menge an Punkten in den jeweiligen 3-dimensionalen Punktwolken normalverteilter bzw. statistischer Registrierungsfehler, welcher einen mittleren Fehler nahe 0 aufweist, bei der Berechnung des Fit-Residuums unberücksichtigt bleiben.
Optional kann eine Warnung ausgegeben werden, falls das Fit-Residuum zu groß ist, S9.
Im Verfahrensschritt S10 entscheidet der Bediener des Messsystems, ob weitere Messungen aufgenommen werden sollen. Ist dies nicht der Fall, werden die bisher erzeugten Objektkoordinaten als Endresultat ausgegeben, S11. Ansonsten wird mit Verfahrensschritt S4 fortgefahren.
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007046287 A1 [0002]

Claims

Verfahren zum Bewerten einer Kalibrierung eines Sensorsystems (5) mit einer Vielzahl von optischen Einrichtungen (5-i), wobei die Vielzahl von optischen Einrichtungen (5-i) mindestens eine Bilderfassungseinheit umfasst, mit den folgenden Schritten: Kalibrieren des Sensorsystems (5) durch Ermitteln von jeweiligen Kalibrierparametern der optischen Einrichtungen (5-i); wiederholtes Vermessen mindestens eines Objekts durch das Sensorsystem (5), wobei für jede Vermessung die relative Lage zwischen dem mindestens einen Objekt und dem Sensorsystem verändert wird und eine jeweilige Datenmenge generiert wird; Berechnen einer jeweiligen Menge von Koordinaten des mindestens einen Objekts (6) für jede der Datenmengen durch Triangulation und unter Verwendung der Kalibrierparameter; Registrieren der berechneten Mengen von Koordinaten relativ zueinander durch Minimieren einer Abweichungsfunktion, welche Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt; und Bestimmen der Qualität der Kalibrierung des Sensorsystems (5) anhand des minimalen Wertes der Abweichungsfunktion.
Verfahren nach Anspruch 1, wobei die Kalibrierparameter iterativ angepasst werden (S5), falls der minimale Wert der Abweichungsfunktion größer als ein vorgegebener Schwellenwert ist.
Verfahren nach Anspruch 2, wobei bei jedem Iterationsschritt die Mengen von Koordinaten erneut berechnet und zueinander registriert werden und wobei der entsprechende minimale Wert der Abweichungsfunktion berechnet wird, und wobei die iterative Anpassung der Kalibrierparameter solange durchgeführt wird, bis der minimale Wert der Abweichungsfunktion den vorgegebenen Schwellenwert unterschreitet oder bis sich der minimale Wert der Abweichungsfunktion nicht mehr durch Anpassung der Kalibrierparameter verringern lässt.
Verfahren nach einem der Ansprüche 2 oder 3, wobei das iterative Anpassen der Kalibrierparameter unter Berücksichtigung von durch Kalibrierobjekte vorgegebenen Randbedingungen erfolgt.
Verfahren nach Anspruch 4, wobei die Kalibrierobjekte optische Hilfsmarken und/oder geometrische Hilfsmarken umfassen.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Registrieren der berechneten Mengen von Koordinaten relativ zueinander mittels eines Iterativen-Nächste-Punkte-Algorithmus durchgeführt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei das Registrieren der berechneten Mengen von Koordinaten eine Translation und/oder Rotation der Mengen von Koordinaten relativ zueinander umfasst.
Verfahren nach einem der vorangehenden Ansprüche, wobei zur Bestimmung der Qualität der Kalibrierung die statistische Verteilung von Abweichungen zwischen den Mengen von Koordinaten berücksichtigt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Abweichungsfunktion durch Summieren von Funktionen der minimalen Abstandsquadrate entsprechend korrespondierender Koordinaten berechnet wird.
Vorrichtung (1) zum Bewerten einer Kalibrierung eines Sensorsystems (5) mit einer Vielzahl von optischen Einrichtungen (5-i), wobei die Vielzahl von optischen Einrichtungen (5-i) mindestens eine Bilderfassungseinheit umfasst, und wobei das Sensorsystem (5) mittels jeweiliger ermittelter Kalibrierparameter der optischen Einrichtungen (5-i) kalibriert ist, mit: einer Berechnungseinheit (2), welche dazu ausgebildet ist, Datenmengen von dem Sensorsystem (5) zu empfangen, welche bei einer Vermessung mindestens eines Objekts durch das Sensorsystem (5) unter verschiedenen relativen Lagen zwischen dem mindestens einen Objekt und dem Sensorsystem erzeugt wurden, und wobei die Berechnungseinheit (2) weiter dazu ausgebildet ist, unter Verwendung der Kalibrierparameter durch Triangulation für jede der Datenmengen eine jeweilige Mengen von Koordinaten des mindestens einen Objekts (6) zu berechnen; einer Registrierungseinheit (3), welche dazu ausgebildet ist, die Mengen von Koordinaten relativ zueinander zu registrieren, durch Minimieren einer Abweichungsfunktion, welche Abweichungen zwischen verschiedenen Mengen von Koordinaten angibt; und einer Qualitätsbestimmungseinheit (4), welche dazu ausgebildet ist, die Qualität der Kalibrierung des Sensorsystems (5) anhand des minimalen Wertes der Abweichungsfunktion zu bestimmen.
Vorrichtung (1) nach Anspruch 10, mit einer Optimierungseinheit (7), welche dazu ausgebildet ist, die Kalibrierparameter iterativ anzupassen, falls der minimale Wert der Abweichungsfunktion größer als ein vorgegebener Schwellenwert ist.
Vorrichtung (1) nach Anspruch 11, wobei bei jedem Iterationsschritt die Berechnungseinheit (2) dazu ausgebildet ist, die Mengen von Koordinaten erneut zu berechnen, und die Registrierungseinheit (3) dazu ausgebildet ist, die Mengen von Koordinaten zueinander erneut zu registrieren und den entsprechenden minimalen Wert der Abweichungsfunktion zu berechnen, und wobei die Optimierungseinheit (7) dazu ausgebildet ist, die iterative Anpassung der Kalibrierparameter solange durchzuführen, bis der minimale Wert der Abweichungsfunktion den vorgegebenen Schwellenwert unterschreitet oder bis sich der minimale Wert der Abweichungsfunktion nicht mehr durch Anpassung der Kalibrierparameter verringern lässt.
Vorrichtung (1) nach einem der Ansprüche 10 bis 12, wobei die Registrierungseinheit (7) dazu ausgebildet ist, die Registrierung mittels eines Iterativen-Nächste-Punkte-Algorithmus durchzuführen.
Vorrichtung (1) nach einem der Ansprüche 10 bis 13, wobei die Registrierungseinheit (7) dazu ausgebildet ist, die Registrierung unter Verwendung einer Translation und/oder einer Rotation der Mengen von Koordinaten relativ zueinander durchzuführen.
Optisches System (S), mit einem Sensorsystem (5) mit einer Vielzahl von optischen Einrichtungen (5-i), welche mindestens eine Bilderfassungseinheit umfasst, wobei das Sensorsystem (5) durch Ermitteln von jeweiligen Kalibrierparametern der optischen Einrichtungen (5-i) kalibrierbar ist; und einer Vorrichtung (1) zum Bewerten einer Kalibrierung des Sensorsystems (5) nach einem der vorangehenden Ansprüche 10 bis 14.