DE102005045854B3

DE102005045854B3 - Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen

Info

Publication number: DE102005045854B3
Application number: DE102005045854A
Authority: DE
Inventors: Dirk Jahn
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-09-26
Filing date: 2005-09-26
Publication date: 2007-04-12
Anticipated expiration: 2025-09-27
Also published as: WO2007036457A3; WO2007036457A2; CN101273384A; US20080218592A1; JP2009509778A

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Kalibrierung einer Kamera (12) im Arbeitsraum (10) einer Produktionsmaschine. Dabei wird ein Kalibrierungsobjekt (24) innerhalb des Arbeitsraums (10) der Maschine in verschiedene Positionen gebracht und von der Kamera (12) aufgenommen, wobei die Positionsparameter des Kalibrierungsobjektes (24) den entsprechenden Aufnahmen der Kamera (12) zugeordnet werden. Über die ermittelten Daten lassen sich Parameter der Kamera (12) bestimmen. Um besonders genaue Parameter der Kamera (12) zu erhalten, werden erfindungsgemäß die verschiedenen Positionen des Kalibrierungsobjektes (24) innerhalb des Arbeitsraums (10) unter Zuhilfenahme eines Messsystems der Maschine bestimmt, wobei die Ermittlung der Parameter der Kamera (12) unter Berücksichtigung der Daten des Messsystems der Maschine durchgeführt wird.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine der im Oberbegriff der Patentansprüche 1 bzw. 7 angegebenen Art.
Innerhalb von Produktionsmaschinen werden derartige Kameras in einem breiten Anwendungsgebiet eingesetzt, um den Produktionsprozess zu überwachen oder Parameter für den Produktionsprozess zu ermitteln. Beispielhaft seien hier die Kollisionsüberwachung, die Bauteilerkennung, die Bauteilvermessung oder die Bauteilpositionserkennung genannt, wobei hierzu eine oder mehrere Kameras innerhalb der Produktionsmaschine angeordnet sind. Um derartige Überwachungs- und/oder Erkennungsfunktionen mit der im Arbeitsraum der Maschine angeordneten Kamera hinreichend zuverlässig und genau durchführen zu können, müssen die Position der Kamera relativ zu der Produktionsmaschine sowie die internen Parameter der Kamera möglichst exakt bestimmt werden können. Mit anderen Worten können die durch die Kamera aufgenommenen Bilder bzw. Filmaufnahmen umso genauer und zuverlässiger ausgewertet werden, je exakter die intrinsischen und extrinsischen Parameter der Kamera bekannt sind. Unter den intrinsischen Parametern versteht man dabei kameraspezifische Daten wie die Brennweite ihrer Linse oder die Parameter des Sensors. Unter den extrinsischen Parametern versteht man hingegen die Position bzw. die Koordinaten und die Orientierung der Kamera innerhalb des Arbeitsraums der Produktionsmaschine.
Zur Ermittlung der extrinsischen Parameter der Kamera wird bei heute gängigen Kalibrierungsverfahren ein in seiner Gestalt und in seinen Abmessungen bekanntes Kalibrierungsobjekt manuell in verschiedene Positionen innerhalb des Arbeitsraums der Maschine gebracht und dabei durch die Kamera aufgenommen.
Die Parameter der jeweiligen Position des Kalibrierungsobjektes werden den entsprechenden Aufnahmen der Kamera zugeordnet, bis genügend Informationen bzw. Daten vorhanden sind, um die Parameter der Kamera zu bestimmen. Die Informationen bzw. Parameter des Kalibrierungsobjektes und die jeweils zugehörigen Aufnahmen der Kamera werden heute üblicherweise in Algorithmen berechnet, welche beispielsweise auf Verfahren wie der Direct Linear Transformation (DLT) oder dergleichen beruhen.

Aus der US 6 236 896 B1 ist ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine als bekannt zu entnehmen, bei dem ein Kalibrierungsobjekt in Form einer Lehre ortsfest innerhalb der Maschine positioniert wird. Die Kamera wird mittels eines Roboterarms unter Zuhilfenahme eines Messsystems der Maschine in zwei verschiedene Positionen relativ zu der Lehre gebracht, wobei das Kalibrierungsobjekt in den jeweiligen relativen Positionen von der Kamera aufgenommen wird und dessen Parameter den entsprechenden Aufnahmen der Kamera zugeordnet werden. Über die erhaltenen Daten werden Parameter der Kamera unter Berücksichtigung der Daten des Messsystems der Maschine ermittelt, so dass insgesamt ein Koordinatensystem des Kalibrierungsobjekts gegenüber dem Koordinaten- bzw. Messsystem der Maschine bestimmt werden kann.

Aus der US 6 114 824 A ist ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine als bekannt zu entnehmen, wobei ein Kalibrierungsobjekt an einem Roboterarm befestigt wird und die Kamera an einem weiteren Roboterarm gehalten ist. Unter Zuhilfenahme eines Messsystems der Roboterarme bzw. der Maschine werden das Kalibrierungsobjekt und die Kamera in eine Position relativ zueinander gebracht, wobei das Kalibrierungsobjekt in der relativen Positionen von der Kamera aufgenommen wird und die Parameter des Kalibrierungsobjekts der entsprechenden Aufnahme der Kamera zugeordnet werden. Die durch die Aufnahme erhaltenen Daten werden dann unter Berücksichtigung der Daten des Messsystems genutzt, um die Parameter der Kamera zu ermitteln.

Aus der WO03/064116 A2 ist ein Verfahren und eine Vorrichtung für einen optisch gesteuerten Roboter mit einer Einzelkamera als bekannt zu entnehmen, wobei die Kalibrierung der Kamera mit einem fest angeordneten Kalibrierungsobjekt durchgeführt wird.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System der eingangs genannten Art so zu verbessern, dass sich eine exaktere Bestimmung der intrinsischen und extrinsischen Parameter der Kamera realisieren lässt.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine mit den Merkmalen der Patentansprüche 1 bzw. 7 erreicht. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen beschrieben.

Bei dem Verfahren nach der Erfindung werden die verschiedenen Positionen des Kalibrierungsobjektes innerhalb des Arbeitsraums der Maschine unter Zuhilfenahme eines ohnehin vorhandenen Messsystems der Maschine bestimmt. Die Ermittlung der Position und insbesondere der extrinsischen Parameter der Kamera erfolgt dabei unter Berücksichtigung der Daten des Messsystems der Maschine. Eine Produktions- beziehungsweise Werkzeugmaschine weist an seinen Bewegungsachsen normalerweise ein derartiges Messsystem auf, mit dem Verstellungen entlang einer oder mehrerer Maschinenachsen ermittelt werden können. Die Transformation auf die unterschiedlichen Koordinatensysteme – beispielsweise auf ein Maschinenkoordinatensystem oder ein Werkzeugkoordinatensystem – erfolgt dann auf der Basis bekannter Abhängigkeiten innerhalb der Maschine.

Gemäß der vorliegenden Erfindung soll demnach die Positionierung des Kalibrierungsobjektes mit Hilfe des ohnehin vorhandenen Messsystems der Maschine erfolgen. Hierzu wird das Kalibrierungsobjekt vorzugsweise an einer bewegten Maschinenachse der Produktionsmaschine oder an einem Werkzeug oder an einer Werkzeugaufnahme angeordnet, um verschiedene Positionen innerhalb des Arbeitsraums der Maschine über das die Verstellbewegung der Maschinenachse bzw. des Werkzeugs erfassende Messsystem ermitteln zu können. Es ist klar, dass die Produktionsmaschine hierzu wenigstens eine regel- und messbare Achse besitzen muss, anhand welcher verschiedene Positionen des Kalibrierungsobjektes innerhalb des Arbeitsraums der Maschine genau bestimmt werden können. Bei den heute üblichen Bearbeitungszentren liegt diese Genauigkeit jedoch erfahrungsgemäß im μm-Bereich, so dass das Messsystem der Produktionsmaschine eine hinreichende Genauigkeit zur Kalibrierung der Kamera liefern kann. Aufgrund der sehr genauen Positionsbestimmung des Kalibrierungsobjektes über die Maschinenachsen können somit die für die Kalibrierung der Kamera notwendigen Aufnahmen auf sehr genaue Weise in Bezug zu den über das Messsystem erfassten Parametern gebracht werden. Die über das Messsystem erfassten Parameter fließen dann bei der Ermittlung der Position der Kamera mit ein, so dass sich eine äußerst genaue Kalibrierung der Kamera innerhalb der Produktionsmaschine realisieren lässt.

Dabei wird das Kalibrierungsobjekt an einem Werkzeug bzw. einer Werkzeugaufnahme der Produktionsmaschine befestigt, so dass vor Beginn der Messverfahren der Nullpunkt des Kalibrierungsobjektes relativ zu einem Nullpunkt des Werkzeuges bzw. der Werkzeugaufnahme (Tool-Center-Point (TCP)) bestimmt wird. Auf diese Weise kann der Nullpunkt des Kalibrierungsobjektes, welcher für seine Positionsbestimmung anhand der zugehörigen Aufnahme der Kamera notwendig ist, auf einfache Weise über den Nullpunkt des Werkzeuges bzw. der Werkzeugaufnahme bestimmt werden. Mit anderen Worten muss der Nullpunkt des Kalibrierungsobjektes gegenüber dem Nullpunkt des Werkzeugs bzw. der Werkzeugaufnahme lediglich einmal bestimmt werden.

Eine besonders exakte Kalibrierung der Kamera lässt sich erzielen, wenn das Kalibrierungsobjekt in verschiedene Endpositionen eines Erfassungsfeldes der Kamera innerhalb des Arbeitsraums der Maschine gebracht wird. Hierdurch werden Positionsparameter in maximaler Entfernung – bezogen auf das Erfassungsfeld der Kamera – innerhalb des Arbeitsraums der Maschine ermittelt, wodurch sich ein messsystembedingter Fehler minimieren lässt.

Als weiter vorteilhaft hat es sich gezeigt, die Zuordnung der Parameter des Kalibrierungsobjektes zu den entsprechenden Aufnahmen der Kamera mit einem Auswertungsmittel durchzuführen, welches vorzugsweise direkt mit der Steuerung der Produktionsmaschine bzw. mit deren Messsystem verbunden ist. Die Ermittlung der Position der Kamera wird dabei vorzugsweise über ein Berechnungsmittel durchgeführt, welches auf Daten des Auswertungsmittels zurückgreift und beispielsweise über die Direct Linear Transformation (DLT) oder ein ähnliches Berechnungsverfahren die Position der Kamera ermittelt.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung; diese zeigt:
Eine schematische Darstellung des Ablaufs des Verfahrens und des hierzu verwendeten Systems zur Kalibrierung einer Kamera in einem Arbeitsraum einer Produktionsmaschine.
Innerhalb eines Arbeitsraums 10 einer beispielsweise als 4-Achsen-Bearbeitungszentrum ausgebildeten Produktions- bzw. Werkzeugmaschine ist eine Kamera 12 angeordnet, deren Aufnahmen bei der Überwachung, Bauteilerkennung, Bauteilpositionserkennung, Bauteilvermessung, Kollisionsüberwachung oder dergleichen dienen. Damit unter Zuhilfenahme der Aufnahmen der Kamera 12 – welche Bild- oder Filmaufnahmen sein können – hinreichend genaue bzw. exakte Informationen und Parameter über das durch die Produktionsmaschine bearbeitete Produkt ermittelt werden können, müssen die Position der Kamera 12 relativ zu der Produktionsmaschine sowie die internen Parameter der Kamera 12 exakt bekannt sein. Neben den intrinsischen Parametern der Kamera 12, welche kameraspezifische Eigenschaften wie die Brennweite der Linse oder Parameter des Sensors der Kamera 12 angeben, sind insbesondere die extrinsischen Parameter der Kamera 12 für eine hohe Genauigkeit der durch diese ermittelten Aufnahmen von großer Bedeutung. Bei der Ermittlung dieser extrinsischen Parameter ist insbesondere die Position der Kamera 12 relativ zu der Produktionsmaschine bzw. zu deren Arbeitsraum 10 von großer Bedeutung.
Um die Kamera 12 exakt kalibrieren bzw. deren Parameter ermitteln zu können, wird diese an einer Stelle innerhalb des Arbeitsraums 10 der Maschine angeordnet, wo sie im späteren Produktionsprozess ihre Überwachungs- und/oder Erkennungsfunktion erfüllen soll. Innerhalb des Arbeitsraums 10 der Produktionsmaschine ist ein Arbeitstisch 14 schematisch angedeutet, auf welchem ein später zu bearbeitendes Produkt durch geeignete Spannmittel 16 befestigt werden kann. Der Arbeitstisch 14 ist im vorliegenden Ausführungsbeispiel in üblicher Weise – wie durch das kartesische Koordinatensystem 18 angedeutet – entlang von drei Maschinenachsen verfahrbar.
Weiter ist innerhalb des Arbeitsraums 10 eine ein Werkzeug 20 haltende und antreibende Werkzeugaufnahme 22 erkennbar, welche im vorliegenden Ausführungsbeispiel ebenfalls entlang von im Koordinatensystem 18 liegenden Werkzeugachsen zu verfahren sind. An dem in der Zeichnung nochmals separat dargestellten Werkzeug 20 ist im vorliegenden Ausführungsbeispiel ein als so genannter Marker ausgebildetes Kalibrierungsobjekt 24 befestigt, dessen Gestalt und Abmaße exakt bekannt sind. Mit anderen Worten wird das Kalibrierungsobjekt 24 an einer bewegbaren Maschinen- bzw. Werkzeugachse der Produktionsmaschine befestigt.
Ein Steuerungssystem 26 der Produktionsmaschine umfasst ein Maschinenkoordinatensystem und ein Werkzeugkoordinatensystem, mit welchen die Bewegungen beispielsweise des Arbeitstisches 12 bzw. des Werkzeuges 20 exakt festgelegt bzw. ermittelt werden können. Nach dem Befestigen des Kalibrierungsobjektes 24 an dem Werkzeug 20 bzw. an der Werkzeugaufnahme 22 kann ein vordefinierter Nullpunkt des Kalibrierungsobjektes 24 relativ zu einem durch das Werkzeugkoordinatensystem des Steuerungssystems 24 bestimmten Nullpunkt des Werkzeuges (Tool-Center-Point (TCP)) ermittelt werden. Mit anderen Worten ist dann über die Lage des Nullpunktes des Werkzeugs 20 – ermittelt durch das Werkzeugkoordinatensystem des Steuersystems 26 – auch der Nullpunkt des Kalibrierungsobjektes 24 bekannt. Dies ergibt sich durch die Verschiebung des Kalibrierungsobjektes 24 relativ zu dem Nullpunkt des Werkzeuges 20 bzw. der Werkzeugaufnahme 22. Über eine Bedieneinheit 28 des Steuerungssystems 26 kann nun die Kalibrierung der Kamera 12 aktiviert werden. Hierzu wird über das Steuerungssystem 26 das Kalibrierungsobjekt 24 entlang mindestens einer Werkzeug- bzw. Maschinenachse in verschiedene Positionen innerhalb des Arbeitsraums 10 der Maschine gebracht, wobei diese Positionen bzw. die Parameter des Kalibrierungsobjektes 24 mittels des Werkzeugkoordinatensystems ermittelt werden. Um eine besonders genaue Kalibrierung zu erreichen, wird das Kalibrierungsobjekt 24 bis in Endpositionen des Erfassungsfeldes der Kamera 12 innerhalb der Produktionsmaschine verfahren. Die der jeweiligen Position des Kalibrierungsobjektes 24 entsprechenden Parameter werden den jeweils zugehörigen Aufnahmen der Kamera 12 durch ein Auswertungsmittel 28 des Steuerungssystems 26 zugeordnet und entsprechend gespeichert. Hierbei wird passend zu jeder Aufnahme der Kamera 12 der entsprechende Nullpunkt des Werkzeuges (Tool-Center-Point (TCP)) und somit auch die Position des Nullpunktes des Kalibrierungsobjektes 24 ausgelesen und zur Weiterbearbeitung gespeichert. Die ser Vorgang wird solange wiederholt, bis genügend Informationen gesammelt sind.
Über ein dem Auswertungsmittel 28 bzw. dem Steuersystem 26 zugeordnetes Berechnungsmittel 30 können die intrinsischen und insbesondere die extrinsischen Parameter der Kamera 12 bestimmt werden, nachdem genügend Informationen durch das Auswertungsmittel 28 gesammelt worden sind. Die Ermittlung der Parameter der Kamera 12 innerhalb des Berechnungsmittels 30 erfolgt unter Berücksichtigung der zu den verschiedenen Positionen des Kalibrierungsobjektes 24 vorgenommenen Aufnahmen, den hierzu über das Werkzeug- bzw. Maschinenkoordinatensystem ermittelten Nullpunkten des Werkzeuges 20 sowie der bekannten Verschiebung des Nullpunktes des Werkzeuges 20 gegenüber dem Nullpunkt des Kalibrierungsobjektes 24. Die Berechnung innerhalb des Berechnungsmittels 30 erfolgt dabei auf der Basis bekannter Algorithmen, beispielsweise unter Berücksichtigung von bekannten Verfahren wie die Direct Linear Transformation (DLT) oder dergleichen, wobei das Ergebnis der extrinsischen Parameter der Kamera 12 eine Position derselben im Maschinenkoordinatensystem beschreibt, wenn die Transformation des Werkzeugkoordinatensystems und des Maschinenkoordinatensystems aus dem Steuersystem 26 ausgelesen wird und in die Berechnung mit einfließt.
Die ermittelten extrinsischen und intrinsischen Parameter der Kamera 12 können sowohl an der Bedienungseinheit 32 angezeigt oder entsprechend im Steuerungssystem 26 gespeichert werden. Natürlich wäre es auch denkbar, die Berechnung der Parameter der Kamera 12 außerhalb des Steuerungssystems 26 bzw. der Berechnungsmittel 30 durchzuführen.
Durch die sehr hohe Genauigkeit der Maschinen- und Werkzeugachsen der Produktionsmaschine bzw. des zugeordneten Maschinen- und Werkzeugkoordinatensystems kann somit die Position des Kalibrierungsobjektes 24 und schlussendlich auch die Position der Kamera 12 innerhalb des Maschinenkoordinatensystems äußerst genau bestimmt werden, so dass sich eine sehr exakte Kalibrierung der Kamera 12 innerhalb des Arbeitsraums 10 der Produktionsmaschine realisieren lässt.

Claims

Verfahren zur Kalibrierung einer Kamera (12) in einer Produktionsmaschine, bei dem a) ein Kalibrierungsobjekt (24) und die Kamera (12) unter Zuhilfenahme eines Messsystems der Maschine in verschiedenen Positionen relativ zueinander gebracht werden, b) das Kalibrierungsobjekt (24) in den jeweiligen relativen Positionen von der Kamera (12) aufgenommen wird, c) Parameter des Kalibrierungsobjekts (24) den entsprechenden Aufnahmen der Kamera (12) zugeordnet werden, und d) Parameter der Kamera (12) mit in Schritt c) erhaltenen Daten und unter Berücksichtigung der Daten des Messsystems der Maschine ermittelt werden, dadurch gekennzeichnet, – dass das Kalibrierungsobjekt (24) vor der Durchführung des Schrittes a) an einem Werkzeug (20) oder einer Werkzeugaufnahme (22) der Maschine befestigt wird, – und dass das Kalibrierungsobjekt (24) gemäß Schritt a) in verschiedene Positionen gegenüber der an einer ihre spätere Überwachungs- und/oder Erkennungsfunktion erfüllenden Stelle innerhalb der Maschine angeordneten Kamera (12) gebracht wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Nullpunkt des Kalibrierungsobjektes (24) relativ zu einem Nullpunkt des Werkzeuges (20) bzw. der Werkzeugaufnahme (22) bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Parameter des Kalibrierungsobjekts (24) gemäß Schritt c) in Abhängigkeit des Nullpunkts des Werkzeuges (20) bzw. der Werkzeugaufnahme (22) bestimmt werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Kalibrierungsobjekt (24) im Schritt a) in verschiedene Endpositionen eines Erfassungsfeldes der Kamera (12) innerhalb der Maschine gebracht wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Zuordnung der Parameter des Kalibrierungsobjekts (24) zu den entsprechenden Aufnahmen der Kamera mit einem Auswertungsmittel (28) durchgeführt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Ermittlung der Parameter der Kamera (12) gemäß Schritt d) unter Berücksichtigung von Daten eines Maschinen- und/oder Werkzeugkoordinatensystems der Maschine durchgeführt wird.
System zur Kalibrierung einer Kamera (12) in einer Produktionsmaschine, mit a) der Kamera (12) und einem Kalibrierungsobjekt (24), welche in verschiedene Positionen relativ zueinander bringbar sind, wobei das Kalibrierungsobjekt (24) von der Kamera (12) in den jeweiligen Positionen innerhalb der Maschine aufnehmbar ist, b) einem Messsystem der Maschine, über welches die Positionen der Kamera (12) und des Kalibrierungsobjekts (24) relativ zueinander bestimmbar sind, und c) einem mit dem Messsystem der Maschine verbunden Auswertungsmittel (28), über welches die Parameter des Kalibrierungsobjekts (24) den entsprechenden Aufnahmen der Kamera (12) zuordnenbar sind, dadurch gekennzeichnet, – dass das Kalibrierungsobjekt (24) an einem Werkzeug (20) oder einer Werkzeugaufnahme (22) der Maschine befestigbar ist, – und dass das Kalibrierungsobjekt (24) in verschiedene Positionen gegenüber der an einer ihre spätere Überwachungs- und/oder Erkennungsfunktion erfüllenden Stelle innerhalb der Maschine angeordneten Kamera (12) bringbar ist.
System nach Anspruch 7, dadurch gekennzeichnet, dass ein Berechnungsmittel vorgesehen ist, über welches die Parameter der Kamera (12) mit Daten des Auswertungsmittels (28) zu ermitteln sind.
System nach Anspruch 8, dadurch gekennzeichnet, dass das Berechnungsmittel (30) mit dem Auswertungsmittel (28) verbunden ist.