-
Hintergrund der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines Bildverarbeitungssystems einer Blechbearbeitungsmaschine wobei wenigstens eine Kamera des Bildverarbeitungssystems einen Entnahmebereich für bearbeitete Werkstücke erfasst.
-
WO 2016/005159 A2 beschreibt im Rahmen eins Verfahrens zum Bearbeiten von flachen Werkstücken, insbesondere Blechen, oder von dreidimensionalen Werkstücken an einer Bearbeitungsmaschine ein Kalibrierverfahren für ein Bildverarbeitungssystem. Hierbei wird ein Livebild eines zu bearbeitenden Werkstücks mit einer Bilderfassungsvorrichtung zum Erfassen zweidimensionaler Bilder erfasst. Hierfür muss das zweidimensionale Livebild der Bilderfassungsvorrichtung zum dreidimensionalen Maschinenkoordinatensystem kalibriert sein. Durch Kalibrierung von mindestens drei Livebildkoordinaten (Referenzbildpunkten) zu bekannten Maschinenbezugspunkten kann eine Bearbeitungskontur (z. B. ein durchzuführender Laserschnitt) überlagernd im Livebild genau dort dargestellt werden, wo die Kontur abgearbeitet werden würde. Dadurch werden Bezugspunkte im Maschinenarbeitsraum eindeutig Referenzbildpunkten im Livebild zugeordnet und somit die Kamera kalibriert. Vorteilhaft kann einer der Maschinenbezugspunkte durch eine verfahrbare Maschinenkomponente (z. B. durch den Laserbearbeitungskopf einer Laserbearbeitungsmaschine) gebildet sein, die vor dem Erfassen des mindestens einen Referenz-Livebildes an eine im Maschinenkoordinatensystem bekannte Lage verfahren worden ist. Alternativ können durch Bearbeitungsvorgänge in einem Werkstück Maschinenbezugspunkte hinzugefügt werden, beispielsweise durch Markierungen oder Ausschneiden von Lochkreisen. Bei diesem Verfahren wird die Bilderfassungsvorrichtung insbesondere manuell kalibriert, indem eine CAD-Darstellung zur Deckung mit einem angezeigten Bild des Werkstücks gebracht wird.
-
Aus
WO 2018/073418 A1 oder
WO 2018/073419 A1 ist es bekannt, eine Kamera auf einen Sortiertisch einer Flachbettwerkzeugmaschine zur Blechbearbeitung zu richten. Nach Kalibrierung der Kamera auf die Blechoberfläche bzw. den Sortiertisch kann eine Bildverarbeitungsalgorithmik zur Teilerkennung eingesetzt werden. Beispielsweise kann einem Bediener über eine Projektionsfläche einer Datenquelle eine optimale Absortierstrategie vorgeschlagen werden.
-
Um Bedienpersonal beim Absortieren von bearbeiteten Werkstücken von einem Entnahmebereich zu unterstützen, ist es erforderlich, dass das Bildverarbeitungssystem die Werkstücke korrekt identifizieren kann. Wenn das Bildverarbeitungssystem nicht hinreichend genau kalibriert ist, kann dies nicht gewährleistet werden.
-
In der Praxis ist der Entnahmebereich meist durch Auflageelemente, wie beispielsweise Stege, gebildet. Der Entnahmebereich soll sich in einer Ebene erstrecken, die typischerweise horizontal ausgerichtet ist. Ferner soll sich der Entnahmebereich gemäß der konstruktiven Vorgabe an einer definierten Position relativ zur Blechbearbeitungsmaschine und Kamera befinden.
-
Das präzise Kalibrieren des Bildverarbeitungssystems wird in der Praxis jedoch oft dadurch erschwert, dass der Entnahmebereich nicht exakt eben ist und/oder ungenau zur Blechbearbeitungsmaschine bzw. Kamera ausgerichtet ist. Beispielsweise aufgrund von Verschleiß und/oder Fertigungstoleranzen kann der Entnahmebereich uneben, beispielsweise wellig, sein. Auch Schiefstellungen und Positionsänderungen des Entnahmebereichs treten in der Praxis auf.
-
Aufgabe der Erfindung
-
Es ist eine Aufgabe der Erfindung, ein präzises Kalibrieren eines voreingestellten Bildverarbeitungssystems zu ermöglichen.
-
Beschreibung der Erfindung
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren nach Anspruch 1. Die Unteransprüche und die Beschreibung geben vorteilhafte Verfahrensvarianten an.
-
Erfindungsgemäß ist somit ein Verfahren zum Kalibrieren eines Bildverarbeitungssystems einer Blechbearbeitungsmaschine vorgesehen. Die Blechbearbeitungsmaschine ist insbesondere eine Flachbettmaschine. Die Blechbearbeitungsmaschine kann eine Stanzmaschine sein. Bevorzugt ist die Blechbearbeitungsmaschine eine Laserschneidmaschine.
-
Wenigstens eine Kamera des Bildverarbeitungssystems erfasst einen Entnahmebereich für bearbeitete Werkstücke. Die Kamera ist typischerweise schräg oberhalb des Entnahmebereichs angeordnet. Ein von der Kamera aufgenommenes Bild weist daher perspektivische Verzerrungen auf. Die Kamera kann an einem Gehäuse der Blechbearbeitungsmaschine befestigt sein.
-
Der Entnahmebereich kann an einem Palettenwechsler der Blechbearbeitungsmaschine ausgebildet sein. Der Palettenwechsler vereinfacht insbesondere das Ausschleusen bearbeiteter Werkstücke und vorzugsweise auch das Einschleusen zu bearbeitender Rohteile.
-
Der Entnahmebereich kann mit Stegen gebildet sein. Die Stege können parallel und im Abstand zueinander verlaufen. Eine Ausbildung einer Auflagefläche des Entnahmebereichs mit Stegen kann dazu beitragen, zu vermeiden, dass Werkstücke, insbesondere Blech-Werkstücke, an der Auflagefläche haften. Dies vereinfacht die Entnahme der Werkstücke.
-
Der Entnahmebereich kann eine Ausdehnung von mehr als einem Meter, insbesondere mehr als zwei Metern, in der Ebene seiner Erstreckung aufweisen. Der Entnahmebereich soll grundsätzlich eben sein. Aufgrund von Fertigungstoleranzen, Verschleiß und/oder Beschädigungen ist der Entnahmebereich in der Praxis typischerweise nicht exakt eben, sondern kann Wellen, Vertiefungen und/oder Erhebungen aufweisen. Entsprechend kann eine Neigung des Entnahmebereichs von einer Soll-Ausrichtung abweichen, beispielsweise aufgrund von Ungenauigkeiten bei der Montage. Weiterhin kann eine Position des Entnahmebereichs relativ zur Blechbearbeitungsmaschine von einer Soll-Lage abweichen.
-
Das Kalibrierverfahren umfasst die Schritte:
- A) Vorgeben einer Transformationsvorschrift, welche ein von der Kamera aufgenommenes Bild des Entnahmebereichs in eine Draufsicht auf den Entnahmebereich überführt;
- B) Anordnen einer Kalibrierplatte bekannter Größe in unterschiedlichen Prüfabschnitten des Entnahmebereichs und Aufnehmen je eines Bildes mit der Kamera, während sich die Kalibrierplatte in dem jeweiligen Prüfabschnitt befindet;
- C) Transformieren der im Schritt B) aufgenommenen Bilder mit der Transformationsvorschrift und Vermessen der Kalibrierplatte in den transformierten Bildern;
- D) Berechnen eines Fehlermaßes für die Abweichung zwischen der bekannten Größe der Kalibrierpatte und den in Schritt C) ermittelten Messwerten für die Größe der Kalibrierplatte;
- E) Verändern der Transformationsvorschrift und Wiederholen der Schritte C) und D) mit der veränderten Transformationsvorschrift;
- F) Hinterlegen derjenigen Transformationsvorschrift, für welche das Fehlermaß minimal wird.
-
Die im Schritt A) vorgegebene Transformationsvorschrift kann in dem Bildverarbeitungssystem, insbesondere in einer Steuereinrichtung des Bildverarbeitungssystems, hinterlegt sein. Die Transformationsvorschrift gibt an, wie das aufgenommene perspektivische Bild in die Draufsicht umgerechnet werden kann. Die vorgegebene Transformationsvorschrift kann rechnerisch anhand einer Soll-Anordnung der Kamera relativ zum Entnahmebereich ermittelt worden sein. Alternativ kann die vorgegebene Transformationsvorschrift bei einer zuvor durchgeführten Kalibrierung ermittelt worden sein.
-
Die Kalibrierplatte dient als Normal zum Abgleich mit dem Bildverarbeitungssystem. Die Kalibrierplatte weist hierzu eine bekannte Größe auf. Die Kalibrierplatte kann in zwei unterschiedlichen, insbesondere zueinander senkrechten, Richtungen unterschiedliche Abmaße aufweisen. Typischerweise ist die Kalibrierplatte rechteckig. Zusätzlich kann die Kalibrierplatte eine vordefinierte Oberflächenbeschaffenheit, insbesondere im Hinblick auf Farbe und/oder Musterung, aufweisen.
-
Im Schritt B) wird die Kalibrierplatte in den unterschiedlichen Prüfabschnitten des Entnahmebereichs angeordnet. Mit anderen Worten wird die Kalibrierplatte an verschiedenen Stellen im Entnahmebereich platziert. Mit der Kamera wird jeweils ein Bild aufgenommen.
-
Die Transformation der aufgenommenen Bilder in die Draufsicht ermöglicht es, im Schritt C) die Größe der Kalibrierplatte durch Bildauswertung zu bestimmen. Die Kalibrierplatte wird mit anderen Worten durch Bildauswertung vermessen. Hierzu können Eigenschaften, insbesondere Kanten, der Kalibrierplatte aus den transformierten Bildern extrahiert werden. Insbesondere können Abstände der Kanten in den transformierten Bildern bestimmt werden. Da die Transformationsvorschrift - wie zuvor erläutert - die konkreten Gegebenheiten an der Blechbearbeitungsmaschine bzw. im Entnahmebereich in der Regel nicht exakt berücksichtigt, weichen die durch Bildanalyse gewonnenen Messwerte in der Regel von der bekannten, tatsächlichen Größe der Kalibrierplatte ab.
-
Im Schritt D) wird aus diesen Abweichungen ein Fehlermaß berechnet. Das Fehlermaß berücksichtigt grundsätzlich die Abweichungen in allen Prüfabschnitten. Das Fehlermaß kann betragsmäßig größere Abweichungen stärker gewichten als betragsmäßig kleinere Abweichungen. Das Fehlermaß kann die Summe der Quadrate der Abweichungen der Messwerte von der bekannten Größe der Kalibrierplatte sein. Die Durchführung des Schrittes D) quantifiziert die Güte der im Schritt A) vorgegebenen Transformationsvorschrift. Diese quantitative Bewertung der vorgegebenen Transformationsvorschrift dient als Ausgangspunkt für die Optimierung der Kalibrierung.
-
Um eine verbesserte Transformationsvorschrift zu bestimmen, wird die im Schritt A) vorgegebene Transformationsvorschrift verändert. Die Schritte C) und D) werden mit der veränderten Transformationsvorschrift wiederholt. Die aufgenommenen Bilder werden somit mit unterschiedlichen Transformationsvorschriften in die Draufsicht überführt und die Güte der jeweiligen Transformation wird über das Fehlermaß quantifiziert. Typischerweise wird hierbei eine Mehrzahl unterschiedlich veränderter Transformationsvorschriften verwendet.
-
Sodann wird im Schritt F) diejenige Transformationsvorschrift hinterlegt, durch welche das Fehlermaß minimiert wird. In den allermeisten Fällen wird sich die im Schritt F) ausgewählte Transformationsvorschrift von der im Schritt A) vorgegebenen Transformationsvorschrift unterscheiden. Durch das zuvor beschriebene Verfahren können die realen Gegebenheiten des Entnahmebereichs, insbesondere im Hinblick auf Abweichungen von einer Soll-Konfiguration, in der Transformationsvorschrift berücksichtigt werden, ohne dass diese Abweichungen im einzelnen bestimmt werden müssen. Zudem kann automatisch die Abbildungsgüte in unterschiedlichen Abschnitten des Entnahmebereichs ausgeglichen werden. Die ausgewählte Transformationsvorschrift kann im Bildverarbeitungssystem, insbesondere in dessen Steuereinrichtung, abgespeichert werden.
-
Im Schritt E) kann die Transformationsvorschrift entsprechend einer Rotation des Entnahmebereichs, insbesondere um wenigstens eine horizontal durch den Entnahmebereich verlaufende Achse, verändert werden. Derart kann insbesondere eine Verkippung des Entnahmebereichs ausgeglichen werden. Durch die Verwendung mehrerer Rotations-Achsen kann eine mehrdimensionale Verkippung berücksichtigt werden. Verkippungen um horizontal (d. h. typischerweise in der Nominal-Ebene des Entnahmebereichs) verlaufende Achsen sind für die Abbildungsgüte besonders problematisch und daher in der Transformationsvorschrift möglichst exakt zu kompensieren.
-
Im Schritt E) kann die Transformationsvorschrift entsprechend einer Translation der Kamera relativ zum Entnahmebereich verändert werden. Derart können ein veränderter Abstand wie auch eine veränderte Relativposition von Kamera und Entnahmebereich berücksichtigt werden. Derartige Lageabweichungen können etwa auftreten, wenn Flurförderfahrzeuge mit dem Entnahmebereich kollidieren.
-
Im Schritt E) kann ein Skalierungsfaktor der Transformationsvorschrift verändert werden. Derart kann eine Vergrößerung bzw. Verkleinerung im transformierten Bild erhalten werden.
-
Alternativ oder zusätzlich kann im Schritt E) die Transformationsvorschrift für eine Verschiebung des Entnahmebereichs im Erfassungsbereich der Kamera verändert werden. Dies kann in der veränderten Transformationsvorschrift durch eine angenommene Drehung um eine Achse durch die Kamera, insbesondere eine Hochachse (typischerweise senkrecht zum Entnahmebereich), erfolgen. Eine ungenaue Justage der Blickrichtung der Kamera kann dadurch kompensiert werden.
-
Besonders bevorzugt ist die Transformationsvorschrift mit einer Transformationsmatrix beschrieben. Derart kann die Transformationsvorschrift mit geringem Speicherbedarf abgespeichert werden. Zudem ist die Anwendung der Transformationsvorschrift auf die aufgenommenen Bilder mit geringem Rechenaufwand möglich. Die Transformationsmatrix kann auch als Homographie-Matrix bezeichnet werden.
-
Im Schritt E) können Elemente der Transformationsmatrix schrittweise verändert werden. Dies ermöglicht ein effizientes Erstellen veränderter Transformationsvorschriften. Einzelne Elemente der Transformationsmatrix können, vorzugsweise innerhalb vordefinierter Grenzen, nacheinander oder gemeinsam verändert werden. Typischerweise werden die Elemente der Transformationsmatrix vom Ausgangswert ausgehend jeweils schrittweise erhöht und schrittweise erniedrigt.
-
Bevorzugt wird im Schritt E) die Transformationsmatrix verändert, indem rechnerisch eine Drehung des Entnahmebereichs um eine erste Achse auf die Transformationsmatrix angewandt wird. Das Verändern der Transformationsmatrix kann in einfacher Weise durch Multiplikation mit einer Drehmatrix erfolgen. Ein hierbei angewandter Drehwinkel um die erste Achse kann jeweils für eine (mathematisch) positive wie für eine (mathematisch) negative Drehung betragsmäßig schrittweise vergrößert werden. Die erste Achse kann durch einen Mittelpunkt des Entnahmebereichs verlaufen. Die erste Achse erstreckt sich vorzugsweise in einer Nominal-Ebene des Entnahmebereichs. Derart kann insbesondere eine Verkippung des Entnahmebereichs ausgeglichen werden.
-
Besonders bevorzugt wird im Schritt E) die Transformationsmatrix verändert, indem rechnerisch eine Drehung des Entnahmebereichs um eine zweite Achse, auf die Transformationsmatrix angewandt wird, insbesondere wobei die zweite Achse orthogonal zur ersten Achse verläuft. Durch die Verwendung von zwei verschiedenen Achsen kann eine Verkippung kompensiert werden, deren effektive Achse nicht vorab bekannt ist. Die zweite Achse kann durch einen Mittelpunkt des Entnahmebereichs verlaufen. Die zweite Achse erstreckt sich vorzugsweise in einer Nominal-Ebene des Entnahmebereichs.
-
Ganz besonders bevorzugt wird zunächst für die Drehung um die erste Achse das Fehlermaß minimiert, sodass eine teiloptimierte Transformationsvorschrift erhalten wird. Sodann wird die Drehung um die zweite Achse auf die Transformationsmatrix der teiloptimierten Transformationsvorschrift angewandt, sodass durch erneute Minimierung des Fehlermaßes die im Schritt F) zu hinterlegende optimierte Transformationsvorschrift erhalten wird. Dieser zweistufige Optimierungsansatz verringert die Rechenzeit zum Bestimmen der optimierten Transformationsvorschrift erheblich.
-
Die im Schritt F) zu hinterlegende Transformationsvorschrift kann durch Ausgleichsrechnung, insbesondere mit der Methode der kleinsten Fehlerquadrate, bestimmt werden. Auf diese Weise kann die optimierte Transformationsvorschrift in effizienter Weise bezeichnet werden. Bei der Anwendung der Methode der kleinsten Fehlerquadrate gehen zudem betragsmäßig größere Abweichungen in einzelnen Prüfabschnitten stärker ein. Dies trägt dazu bei, dass überall im Entnahmebereich eine erfolgreiche Werkstückerkennung möglich ist.
-
Die Schritte A) bis F) können wiederholt werden, wobei die im Schritt F) des vorherigen Verfahrenszyklus hinterlegte Transformationsvorschrift als Vorgabe im wiederholten Schritt A) verwendet wird. Auf diese Weise kann nach einiger Zeit des weiteren Betriebs der Blechbearbeitungsmaschine mit dem Bildverarbeitungssystem eine (Nach-)Kalibrierung auf effiziente und wirksame Weise durchgeführt werden. Weiterer Verschleiß oder weitere Lageänderungen des Entnahmebereichs können kompensiert werden. Aber auch nach dem Austausch von Teilen des Entnahmebereichs (wodurch sich dieser wieder seinem Nominal-Zustand annähert) kann auf diese Weise die Funktionsfähigkeit des Bildverarbeitungssystems sichergestellt werden. Durch die Verwendung der zuvor durch Optimierung in dem vorangegangenen Verfahrensdurchlauf gewonnenen Transformationsvorschrift als Ausgangspunkt kann erreicht werden, dass nur vergleichsweise geringe Änderungen der Transformationsvorschrift erforderlich sind. Dies kann den zur Durchführung des Verfahrens benötigten Rechenaufwand weiter verringern.
-
Vorzugsweise zeigt das Bildverarbeitungssystem die Prüfabschnitte an. Dies erleichtert es, die Kalibrierplatte in den unterschiedlichen Prüfabschnitten anzuordnen.
-
Das Bildverarbeitungssystem kann die Prüfabschnitte in dem Entnahmebereich anzeigen. Hierzu können beispielsweise Linien, welche Grenzen der Prüfabschnitte markieren, in denen Entnahmebereich projiziert werden. Dies vereinfacht die korrekte Positionierung der Kalibrierplatte.
-
Das Bildverarbeitungssystem kann eine Anzeigevorrichtung zum Anzeigen des von der Kamera aufgenommenen Bildes aufweisen. Auf der Anzeigevorrichtung kann eine Transformation des Bildes in eine Draufsicht auf den Entnahmebereich angezeigt werden. Die angezeigte Transformation des Bildes wird typischerweise mit der Transformationsvorschrift aus Schritt A) bestimmt. Vorzugsweise zeigt das Bildverarbeitungssystem die Prüfabschnitte auf der Anzeigevorrichtung an. Die Prüfabschnitte bzw. ihre Grenzen können über das angezeigte Bild gelegt werden. Durch einen Blick auf die Anzeigevorrichtung kann somit erkannt werden, ob die Kalibrierplatte korrekt positioniert ist.
-
Das Bildverarbeitungssystem kann anzeigen, ob die in Schritt C) ermittelten Messwerte für die Größe der Kalibrierplatte für die unterschiedlichen Prüfabschnitte jeweils innerhalb einer vordefinierten Toleranz zu der bekannten Größe der Kalibrierplatte liegen, insbesondere bei Anwendung der im Schritt A) vorgegebenen Transformationsvorschrift und bei Anwendung der im Schritt F) hinterlegten Transformationsvorschrift. Wenn die Anzeige, ob die Toleranz eingehalten wird, zunächst mit der aus Transformationsvorschrift aus Schritt A) erfolgt, kann beurteilt werden, ob diese Transformationsvorschrift hinreichend gute Ergebnisse liefert. Falls dies nicht der Fall ist, kann die Transformationsvorschrift mit dem beschriebenen Verfahren optimiert werden. Hernach sollte die vordefinierte Toleranz an allen Positionen eingehalten werden (jedenfalls sofern der Entnahmebereich nicht übermäßig stark verschlissen oder beschädigt ist). Dass die optimierte Transformationsvorschrift eine Einhaltung der Toleranz bewirkt, kann durch die Anzeige bestätigt werden.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der Beschreibung, den Ansprüchen und der Zeichnung. Erfindungsgemäß können die vorstehend genannten und die noch weiter ausgeführten Merkmale jeweils einzeln für sich oder zu mehreren in beliebigen, zweckmäßigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließende Aufzählung zu verstehen, sondern haben vielmehr beispielhaften Charakter für die Schilderung der Erfindung.
-
Detaillierte Beschreibung der Erfindung und Zeichnung
-
Die Erfindung ist in der Zeichnung dargestellt und wird Anhand von Ausführungsbeispielen beschrieben. Es zeigen:
- 1 eine Blechbearbeitungsmaschine mit einem Bildverarbeitungssystem, welches einen Entnahmebereich für bearbeitete Werkstücke mit einer Kamera erfasst, in einer schematischen Perspektivansicht;
- 2 den Entnahmebereich mit drei in unterschiedlichen Prüfabschnitten aufgelegten Kalibrierplatten, in einer schematischen Seitenansicht;
- 3 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Kalibrierverfahrens für das Bildverarbeitungssystem;
- 4 eine schematische Draufsicht auf den Entnahmebereich, wobei in einem ersten Prüfabschnitt eine Kalibrierplatte angeordnet ist;
- 5 eine schematische Darstellung eines auf der Anzeigevorrichtung des Bildverarbeitungssystems in eine Draufsicht transformiert dargestellten Bildes des Entnahmebereichs, wobei angezeigt ist, dass die Größe der Kalibrierplatte anhand einer vorgegebenen Transformationsvorschrift in drei Prüfabschnitten hinreichend genau bestimmt wurde und in zwei Prüfabschnitten nur unzureichend genau bestimmt wurde;
- 6 eine schematische Darstellung eines auf der Anzeigevorrichtung des Bildverarbeitungssystems in eine Draufsicht transformiert dargestellten Bildes des Entnahmebereichs, wobei angezeigt ist, dass die Größe der Kalibrierplatte anhand einer optimierten Transformationsvorschrift in allen fünf Prüfabschnitten korrekt bestimmt wurde.
-
1 zeigt eine Blechbearbeitungsmaschine 10, hier eine Flachbett-Laserschneidmaschine. Die Blechbearbeitungsmaschine 10 weist einen Palettenwechsler 12 auf, an welchem ein Entnahmebereich 14 für bearbeitete Werkstücke 16 ausgebildet ist. Die Werkstücke 16 können insbesondere manuell von dem Entnahmebereich 14 entnommen (absortiert) und einer weiteren Bearbeitung bzw. Verwendung zugeführt werden.
-
Die Blechbearbeitungsmaschine 10 weist ferner ein Bildverarbeitungssystem 18 auf. Das Bildverarbeitungssystem 18 umfasst wenigstens eine Kamera 20 und eine Anzeigevorrichtung 22. Zudem kann das Bildverarbeitungssystem 18 bzw. die Blechbearbeitungsmaschine 10 eine Steuereinrichtung 23 umfassen. Die Steuereinrichtung 23 ist in nicht näher dargestellter Weise mit der Kamera 20 und der Anzeigevorrichtung 22 verbunden.
-
Die Kamera 20 ist auf den Entnahmebereich 14 gerichtet, vgl. die gestrichelten, von der Kamera 20 ausgehenden Linien. Die Kamera 20 erfasst den Entnahmebereich 14 von schräg oben. In einem von der Kamera 20 unmittelbar aufgenommenen Bild erscheinen daher gleich große Objekte an unterschiedlichen Stellen des Entnahmebereichs unterschiedlich groß und perspektivisch verzerrt.
-
Das von der Kamera 20 aufgenommene Bild des Entnahmebereichs 14 kann auf der Anzeigevorrichtung 22 angezeigt werden. Hierzu wird das Bild in eine Draufsicht (Vogelperspektive) mit Blick von senkrecht oben auf den Entnahmebereich 14 transformiert. Die Transformation erfolgt mit einer in der Steuereinrichtung 23 hinterlegten Transformationsvorschrift.
-
Das Bildverarbeitungssystem 18 dient der Unterstützung beim manuellen Absortieren der bearbeiteten Werkstücke 16. Hierzu werden die Werkstücke 16 im von der Kamera 20 aufgenommenen Bild nach dessen Transformation in die Draufsicht identifiziert und es können Hinweise zur Handhabung der einzelnen Werkstücke auf der Anzeigevorrichtung 22 angezeigt werden. Die Werkstückerkennung setzt voraus, dass das Bildverarbeitungssystem 18 korrekt kalibriert ist.
-
Zum Kalibrieren des Bildverarbeitungssystems 18 dient eine Kalibrierplatte 24. Die Kalibrierplatte 24 weist eine vordefinierte Gestalt und Größe auf. Hier ist die Kalibrierplatte 24 als ein Quader mit bekannten Abmaßen ausgebildet. Zudem kann die Kalibrierplatte 24 eine Farbe und ggf. Musterung an ihre Oberfläche aufweisen (in 1 nicht näher dargestellt).
-
Wie in 2 gezeigt ist, weist der Palettenwechsler 12 mehrere näherungsweise parallel zueinander verlaufende Stege 25 auf, die den Entnahmebereich 16 bilden. Werkstücke 16 oder Kalibrierplatten 24 können oberseitig auf die Stege 25 des Entnahmebereichs 14 aufgelegt werden.
-
Aufgrund von Verschleiß, Beschädigungen und Ungenauigkeiten bei Fertigung und Montage sind die Stege 25 in der Regel nicht so ausgerichtet, dass ihre Oberseiten exakt in einer Ebene verlaufen. Vielmehr werden typischerweise einige der Stege 25 nach oben und unten von der Soll-Lage abweichen. Ebenso können die Stege 25 teilweise gekippt angeordnet sein. Eine Auflagefläche des Entnahmebereichs 16 weist dadurch unregelmäßige Lageabweichungen von einer Nominal-Ebene, in welcher sie sich gemäß der konstruktiven Vorgabe erstrecken sollte, auf. Dies ist in 2 übertrieben dargestellt. Die Nominal-Ebene ist typischerweise horizontal ausgerichtet.
-
Für die Transformation des von der Kamera 20 aufgenommenen Bildes in die Draufsicht wird eine in der Steuereinrichtung 23 hinterlegte Transformationsvorschrift verwendet. Die Transformationsvorschrift kann durch eine Transformationsmatrix beschrieben sein. Da beim Bestimmen dieser Transformationsvorschrift die zuvor beschriebenen Abweichungen bzw. Veränderungen des Entnahmebereichs 14 in der Regel nicht im Detail bekannt waren, wird das Bildverarbeitungssystem 18 durch Optimieren der Transformationsvorschrift kalibriert. Die hinterlegte Transformationsvorschrift wird hierbei in einem Schritt 102, vergleiche 3, als Ausgangspunkt vorgegeben.
-
Zum Kalibrieren des Bildverarbeitungssystems 18 wird in einem Schritt 104 die Kalibrierplatte 24 zunächst in einem ersten Prüfabschnitt 28 angeordnet, vergleiche 4. Grenzen 26 des ersten Prüfabschnitts 28 und weiterer Prüfabschnitte 28 können in den Entnahmebereich 14 projiziert werden. Mit der Kamera 20 wird ein Bild des Entnahmebereichs 14 mit der im ersten Prüfabschnitt 28 befindlichen Kalibrierplatte 24 aufgenommen, vergleiche Schritt 106. Die Schritte 104 und 106 werden für die weiteren Prüfabschnitte 28 wiederholt. Prinzipiell könnte auch nur ein Bild aufgenommen werden, wenn zugleich mehrere gleich große Kalibrierplatte 24 in den unterschiedlichen Prüfabschnitten 28 angeordnet sind.
-
Jedes der aufgenommenen Bilder wird in einem Schritt 108 anhand der vorgegebenen Transformationsvorschrift in die Draufsicht transformiert. Die Kalibrierplatte 24 wird in den transformierten Bildern durch Bildanalyse vermessen, vergleiche Schritt 110. Hierzu können insbesondere Kanten der Kalibrierplatte 24 in den transformierten Bildern bestimmt werden.
-
In einem Schritt 112 wird ein Fehlermaß bestimmt, welches die Abweichungen der tatsächlichen Größe der Kalibrierplatte 24 von den Messergebnissen (Schritte 110) für alle Prüfabschnitte 28 in einer Kennzahl zusammenfasst. Dieses Fehlermaß beschreibt die Güte der Transformationsvorschrift im Hinblick auf den aktuellen Zustand des Entnahmebereichs 14.
-
Zusätzlich kann auf der Anzeigevorrichtung 22 für die einzelnen Prüfabschnitte 28 angezeigt werden, ob die Abweichungen zwischen der tatsächlichen Größe und der durch Vermessung in den transformierten Bildern bestimmten Größe der Kalibrierplatte 24 eine vorgegebene Toleranz einhalten oder nicht, vergleiche 5. Im dargestellten Beispiel möge die zulässige Toleranz in den beiden linken sowie im zentralen Prüfabschnitt 28 unterschritten werden, während die zulässige Toleranz in den beiden rechten Prüfabschnitten 28 überschritten wird.
-
Aufgrund der Überschreitung der Toleranz ist eine zuverlässige Werkstückerkennung nicht gewährleistet. Daher wird in einem Schritt 114 die Transformationsvorschrift optimiert, d. h. das Bildverarbeitungssystem 18 kalibriert. Bei der Optimierung können die Elemente der Transformationsmatrix schrittweise verändert werden. Vorzugsweise erfolgt die Optimierung in einem mehrstufigen Vorgehen, wobei für eine erste Art der Veränderung der Transformationsvorschrift ein Teiloptimum bestimmt wird, welches für eine weitere Art der Veränderung weiter optimiert wird. Dies kann in zwei oder mehr Optimierungsstufen erfolgen.
-
Beispielsweise wird in einem Schritt 116 eine Drehung um eine erste Achse 30 auf die vorgegebene Transformationsvorschrift angewandt, sodass eine veränderte Transformationsvorschrift erhalten wird. Dies kann durch Multiplikation der vorgegebenen Transformationsmatrix mit einer Drehmatrix erfolgen. Die erste Achse 30 verläuft hier horizontal durch den Entnahmebereich 14, insbesondere durch dessen Zentrum, vergleiche 1.
-
Mit der veränderten Transformationsvorschrift werden die Schritte 108 bis 112 wiederholt. Es werden mithin unter Verwendung der veränderten Transformationsvorschrift die aufgenommenen Bilder in die Draufsicht transformiert (Schritt 108), die Kalibrierplatte 24 wird jeweils vermessen (Schritt 110) und es wird für alle Prüfabschnitte ein übergreifendes Fehlermaß bestimmt (Schritt 112). Dieses Vorgehen wird für unterschiedlich große Drehwinkel (in mathematisch positiver und negativer Richtung) um die erste Achse 30 wiederholt.
-
Aus den durch unterschiedliche Drehwinkel um die erste Achse 30 veränderten Transformationsvorschriften wird in einem Schritt 118 eine teiloptimierte Transformationsvorschrift ausgewählt. Die teiloptimierte Transformationsvorschrift ist diejenige, für welche das Fehlermaß minimal wird. Hierbei kann durch Ausgleichsrechnung zwischen den angewandten Drehwinkelschritten interpoliert werden.
-
Auf die teiloptimierte Transformationsvorschrift wird in einem Schritt 120 eine Drehung um eine zweite Achse 32 angewandt, sodass eine weiter veränderte Transformationsvorschrift erhalten wird. Dies kann durch Multiplikation der teiloptimierten Transformationsmatrix mit einer zweiten Drehmatrix erfolgen. Die zweite Achse 32 verläuft hier orthogonal zur ersten Achse 30 und horizontal durch den Entnahmebereich 14, insbesondere durch dessen Zentrum, vergleiche 1.
-
Mit der weiter veränderten Transformationsvorschrift werden die Schritte 108 bis 112 erneut wiederholt. Es werden mithin unter Verwendung der weiter veränderten Transformationsvorschrift die aufgenommenen Bilder in die Draufsicht transformiert (Schritt 108), die Kalibrierplatte 24 wird jeweils vermessen (Schritt 110) und es wird für alle Prüfabschnitte ein übergreifendes Fehlermaß bestimmt (Schritt 112). Dieses Vorgehen wird für unterschiedlich große Drehwinkel (in mathematisch positiver und negativer Richtung) um die zweite Achse 32 wiederholt.
-
Optional kann in einer dritten oder noch weiteren Optimierungsstufe aus der durch unterschiedlich große Drehungen um die zweite Achse 32 weiter veränderten Transformationsvorschriften in einem weiteren Schritt 118 erneut eine weitere teiloptimierte Transformationsvorschrift ausgewählt werden. Die weitere teiloptimierte Transformationsvorschrift ist diejenige, für welche das Fehlermaß minimal wird. Hierbei kann durch Ausgleichsrechnung zwischen den angewandten Drehwinkelschritten interpoliert werden. Die weitere teiloptimierte Transformationsvorschrift kann in einem Schritt 122 erneut verändert werden, um durch Wiederholung der Schritte 108 bis 112 eine oder mehrere weitere Optimierungsstufen zu durchlaufen. Die Veränderung im Schritt 118 der weiteren bzw. einer der weiteren Optimierungsstufen kann einer Drehung um eine dritte Achse, einer Anwendung eines Skalierungsfaktors und/oder einer Translation der Kamera 20 relativ zum Entnahmebereich 14 entsprechen. Es versteht sich, dass diese weitere(n) Optimierungsstufe(n) auch vor oder zwischen der Optimierung für Drehungen um die erste und die zweite Achse 30, 32 durchgeführt werden könnte(n).
-
Typischerweise wird durch die sukzessive Optimierung für Drehungen um die erste und die zweite Achse 30, 32 eine hinreichend gute Transformationsvorschrift erhalten. Es wurde erkannt, dass dies insbesondere dann der Fall ist, wenn die Achsen 30, 32 in der (Nominal-)Ebene des Entnahmebereichs 14 verlaufen.
-
In einem Schritt 124 wird aus den durch Drehung um die zweite Achse 32 (oder ggf. in weiteren Optimierungsstufen) weiter veränderten Transformationsvorschriften eine optimierte Transformationsvorschrift ausgewählt. Die optimierte Transformationsvorschrift ist diejenige, für welche das Fehlermaß minimal wird. Hierbei kann durch Ausgleichsrechnung zwischen den angewandten Drehwinkelschritten interpoliert werden.
-
Die Abweichungen zwischen der tatsächlichen Größe der Kalibrierplatte 24 und der durch Vermessung in den mit der optimierten Transformationsvorschrift transformierten Bildern bestimmten Größe der Kalibrierplatte 24 liegen nun für alle Prüfabschnitte innerhalb der vorgegebenen Toleranz. Dies kann auf der Anzeigevorrichtung 22 angezeigt werden, vergleiche 6.
-
Die optimierte Transformationsvorschrift wird in einem Schritt 126 hinterlegt. Insbesondere kann die optimierte Transformationsmatrix der optimierten Transformationsvorschrift in der Steuereinrichtung 23 des Bildverarbeitungssystems 18 gespeichert werden.
-
Nach einiger Zeit des Betriebes der Blechbearbeitungsmaschine 10 mit dem Bildverarbeitungssystem 18 unter Verwendung der optimierten Transformationsvorschrift kann das zuvor beschriebene Kalibrierverfahren wiederholt werden. Dabei dient die optimierte Transformationsvorschrift der letzten Kalibrierung als Vorgabe für die erneute Kalibrierung durch Optimierung der Transformationsvorschrift. Derart können im Betrieb entstandene Veränderungen insbesondere des Entnahmebereichs 14 oder der Ausrichtung der Kamera 20 kompensiert werden.
-
Zusammenfassend betrifft die Erfindung ein Verfahren zum Kalibrieren eines voreingestellten Bildverarbeitungssystems. Eine Kamera dient zum Aufnehmen perspektivischer Bilder einer näherungsweise ebenen Fläche. Für eine Analyse der aufgenommenen Bilder werden diese in eine Draufsicht auf die Fläche transformiert. Die Transformation erfolgt gemäß einer vorgegebenen Transformationsvorschrift. Um Abweichungen in Bezug auf Form, Ausrichtung und Lage der Fläche zu kompensieren, wird die Transformationsvorschrift optimiert. Hierzu wird eine Kalibrierplatte bekannter Größe in unterschiedlichen Prüfabschnitten der Fläche angeordnet. Die aufgenommenen Bilder werden mit der vorgegebenen Transformationsvorschrift und veränderten Transformationsvorschriften in die Draufsicht transformiert. In den transformierten Bildern wird jeweils die Kalibrierplatte vermessen. Durch Vergleich mit den bekannten Abmaßen der Kalibrierplatte kann diejenige Transformationsvorschrift ermittelt werden, für welche die Abweichungen zwischen den Messwerten und den realen Abmaßen der Kalibrierplatte für die verschiedenen Prüfabschnitte insgesamt minimiert werden.
-
Bezugszeichenliste
-
- 10
- Blechbearbeitungsmaschine
- 12
- Palettenwechsler
- 14
- Entnahmebereich
- 16
- Werkstücke
- 18
- Bildverarbeitungssystem
- 20
- Kamera
- 22
- Anzeigevorrichtung
- 23
- Steuereinrichtung
- 24
- Kalibrierplatte
- 25
- Stege
- 26
- Grenzen
- 28
- Prüfabschnitte
- 30
- erste Achse
- 32
- zweite Achse
- 102
- Vorgeben einer Transformationsvorschrift
- 104
- Anordnen einer Kalibrierplatte
- 106
- Aufnehmen eines Bildes
- 108
- Transformieren des Bildes
- 110
- Vermessen der Kalibrierplatte im transformierten Bild
- 112
- Berechnen eines Fehlermaßes
- 114
- Optimieren der Transformationsvorschrift
- 116
- Drehen der Transformationsvorschrift um eine erste Achse
- 118
- Bestimmen einer teiloptimierten Transformationsvorschrift
- 120
- Drehen der teiloptimierten Transformationsvorschrift um eine zweite Achse
- 122
- Weiteres Verändern einer weiteren teiloptimierten Transformationsvorschrift
- 124
- Bestimmen einer optimierten Transformationsvorschrift
- 126
- Hinterlegen der optimierten Transformationsvorschrift
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2016005159 A2 [0002]
- WO 2018073418 A1 [0003]
- WO 2018073419 A1 [0003]
