-
Die Erfindung betrifft ein Verfahren zur extrinsischen Kalibrierung wenigstens eines bildgebenden Sensors.
-
Die Erfindung betrifft auch ein Messsystem, umfassend wenigstens einen bildgebenden Sensor, eine Recheneinrichtung und eine Handhabungseinrichtung.
-
Die Erfindung betrifft außerdem ein Computerprogrammprodukt mit Programmcodemitteln.
-
Zur Erhöhung der Sicherheit bei der Zusammenarbeit von Mensch, Tier und Maschine im Arbeitsbereich von Handhabungseinrichtungen bzw. Robotern, insbesondere zur Kollisionsvermeidung, ist es bekannt, Kameras einzusetzen, um beispielsweise einen Produktionsprozess zu überwachen. Um die Überwachungsfunktion mittels der Kamera ausreichend genau durchführen zu können, müssen hierfür allerdings zunächst Position und Ausrichtung der Kamera relativ zu dem Roboter möglichst exakt bestimmt werden.
-
Zur Ermittlung dieser sogenannten extrinsischen Parameter der Kamera, d. h. Position bzw. Koordinaten und Ausrichtung bzw. Orientierung, zusammengefasst auch als „Pose“ bezeichnet, werden in der Praxis definierte Kalibriermuster verwendet, die beispielsweise auf Kalibrierplatten aufgedruckt sind. Für eine extrinsische Kalibrierung der Kamera werden diese Kalibriermuster an einer oder mehreren definierten Positionen am Roboter angebracht. Durch das Anfahren verschiedener Roboterposen während einer Kalibrierfahrt kann schließlich die Kamerapose durch die bekannten Beziehungen zwischen der dreidimensionalen Pose der Kalibriermuster auf dem Roboter und dem detektierten Kalibriermuster im zweidimensionalen Bild der Kamera abgeleitet werden. Hierfür ist es erforderlich, dass das Kalibriermuster von der zu kalibrierenden Kamera ständig sichtbar ist.
-
Die Kalibriermuster können auch durch Leuchtdioden realisiert sein, die an definierten Positionen an dem Roboter angebracht werden und beispielsweise kodierte Lichtsignale zu deren eindeutiger Identifizierung abgeben.
-
Zum weiteren technischen Hintergrund wird beispielsweise auf die
DE 10 2005 045 854 B3 verwiesen, die ein Verfahren und ein System zur Kalibrierung einer Kamera in einer Produktionsmaschine betrifft.
-
Ein Nachteil der bekannten Verfahren ist, dass zur extrinsischen Kalibrierung der Kamera stets die genannten Kalibriermuster oder Leuchtdioden bereitgestellt, an dem Roboter angebracht und von der Kamera erfassbar sein müssen. Schließlich sind langwierige Kalibrierfahrten notwendig. Insgesamt schließen die Verfahren eine zügige Kalibrierung, insbesondere auch eine Kalibrierung während der Laufzeit des Systems, aus.
-
Als Alternative zur Verwendung von Kalibriermustern ist beispielsweise in der
US 2014/0018957 A1 eine Kalibrierung anhand einer bekannten Form eines Roboterelements beschrieben. In der
US 2014/0018957 A1 wird hierzu ein dreidimensionales Modell einer Roboter-Greifeinrichtung verwendet. Durch einen Abgleich von Orientierung und Größe eines zweidimensionalen Kamerabildes der Greifeinrichtung mit dem dreidimensionalen Modell der Greifeinrichtung kann schließlich die Pose der Kamera relativ zu dem Roboter berechnet werden. Die Genauigkeit einer derartigen Kalibrierung ist allerdings nicht für beliebige Anwendungen geeignet, weshalb auch in der
US 2014/0018957 A1 wiederum vorgeschlagen wird, die Erkennung der Greifeinrichtung mittels Kalibriermustern zu verbessern.
-
Eine Kalibrierung mittels Kalibrierobjekten ist außerdem auch aus der
US 2011/0071675 A1 bekannt.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur extrinsischen Kalibrierung bereitzustellen, das insbesondere geeignet ist, auf Kalibriermuster und Kalibrierfahrten zu verzichten.
-
Der vorliegenden Erfindung liegt auch die Aufgabe zugrunde, ein Messsystem bereitzustellen, dessen wenigstens einer bildgebender Sensor extrinsisch kalibrierbar ist, insbesondere ohne dass hierfür Kalibriermuster oder aufwendigen Kalibrierfahrten erforderlich wären.
-
Die Aufgabe wird für das Verfahren durch Anspruch 1 und für das Messsystem durch Anspruch 8 gelöst.
-
Die abhängigen Ansprüche betreffen vorteilhafte Ausführungsformen und Varianten der Erfindung.
-
Bei dem erfindungsgemäßen Verfahren zur extrinsischen Kalibrierung wenigstens eines bildgebenden Sensors ist vorgesehen, dass eine Pose des wenigstens einen bildgebenden Sensors relativ zu dem Ursprung eines dreidimensionalen Koordinatensystems einer Handhabungseinrichtung mittels einer Recheneinrichtung bestimmt wird. Dabei werden bekannte dreidimensionale Koordinaten betreffend die Positionen von wenigstens zwei Gelenken der Handhabungseinrichtung durch die Recheneinrichtung berücksichtigt. Ferner ist vorgesehen, dass zweidimensionale Koordinaten betreffend die Positionen der wenigstens zwei Gelenke anhand von Rohdaten des wenigstens einen bildgebenden Sensors ermittelt werden, wobei die Recheneinrichtung die Pose des wenigstens einen bildgebenden Sensors anhand der Korrespondenzen zwischen den zweidimensionalen Koordinaten und den dreidimensionalen Koordinaten bestimmt.
-
Das erfindungsgemäße Verfahren dient somit der Bestimmung der extrinsischen Parameter eines bildgebenden Sensors, d. h. der Bestimmung von Lage und Orientierung (nachfolgend und in der Literatur als „Pose“ bezeichnet) des wenigstens einen bildgebenden Sensors im Hinblick auf translatorische und rotatorische Transformationseigenschaften.
-
Als Bezugspunkt für die Pose des wenigstens einen bildgebenden Sensors ist das dreidimensionale Koordinatensystem der Handhabungseinrichtung vorgesehen.
-
Vorzugsweise ist die Handhabungseinrichtung als Roboter, beispielsweise als Industrieroboter, ausgebildet. Zur Vereinfachung wird die Handhabungseinrichtung nachfolgend auch als Roboter bezeichnet, dies ist jedoch nicht einschränkend zu verstehen.
-
Erfindungsgemäß wird auf die Verwendung eines Kalibriermusters verzichtet. Anstelle eines Kalibriermusters kann die reine Geometrie des Roboters, insbesondere der Roboterarme, herangezogen werden.
-
In einer bevorzugten Weiterbildung der Erfindung kann vorgesehen sein, dass eine Steuereinheit der Handhabungseinrichtung die bekannten dreidimensionalen Koordinaten betreffend die Position der wenigstens zwei Gelenke der Handhabungseinrichtung an die Recheneinrichtung übermittelt.
-
Schließlich können die zweidimensionale geometrische Repräsentation des Roboters auf einem aufgenommenen Bild bzw. in den Rohdaten des wenigstens einen bildgebenden Sensors sowie die dreidimensionalen Gelenkkoordinaten des Roboters, die durch die Robotersteuerung bzw. Steuereinheit des Roboters bekannt sind genutzt werden, um die benötigten Transformationsbedingungen abzuleiten.
-
Es kann auch vorgesehen sein, eine oder mehrere bekannte Positionierungen der Handhabungseinrichtung zu nutzen, um auf die dreidimensionalen Gelenkkoordinaten zu schließen. Dabei kann es sich beispielsweise um eine Grundposition bzw. Home-Position und/oder für die Kalibrierung oder sonstige Zwecke speziell definierte Positionen handeln, die die Handhabungseinrichtung zu einem bestimmten Zeitpunkt einhält. In diesem Fall kann ggf. auf eine Kommunikationsverbindung der Recheneinrichtung mit der Steuereinheit der Handhabungseinrichtung verzichtet werden, da die Korrespondenzposen bekannt sind.
-
Für die extrinsische Kalibrierung des wenigstens einen bildgebenden Sensors können somit die bekannten Beziehungen zwischen zweidimensionalen Punkten auf einem von dem wenigstens einen bildgebenden Sensor erzeugten Szenenbild und den bekannten dreidimensionalen Koordinaten ausgenutzt werden.
-
Das erfindungsgemäße Verfahren ermöglicht somit insbesondere eine unkomplizierte und schnelle Kalibrierung, solange sich Teile des Roboters im Sichtfeld des wenigstens einen bildgebenden Sensors befinden. Dies ermöglicht unter anderem einen schnellen Positionswechsel des wenigstens einen bildgebenden Sensors ohne explizite Neukalibrierung des gesamten Messsystems. Beispielsweise kann ein bildgebender Sensor kurzfristig auf einen Labortisch oder in ein Regal gestellt werden, um einen Arbeitsprozess zu überwachen. Der bildgebende Sensor kann sich hierzu entsprechend dem erfindungsgemäßen Verfahren selbst kalibrieren, sobald der zu überwachende Roboter in seinen Erfassungsbereich gelangt.
-
Das erfindungsgemäße Verfahren bietet aufgrund der Zeitersparnis bei der Kalibrierung auch wirtschaftliche Vorteile im Hinblick auf eine Kostenoptimierung.
-
Ferner kann weniger geschultes Personal ein entsprechend ausgerüstetes Messsystem bedienen.
-
In einer Weiterbildung der Erfindung kann vorgesehen sein, dass der wenigstens eine bildgebende Sensor an einem stationären Objekt, insbesondere einem Gebäude, einer Wand und/oder einem Stativ befestigt wird.
-
In einer Weiterbildung kann auch vorgesehen sein, dass der wenigstens eine bildgebende Sensor an einem instationären Objekt, insbesondere einer zweiten Handhabungseinrichtung bzw. einem zweiten Roboter, einem Exoskelett, einem Menschen, einem Tier und/oder einem Fahrzeug befestigt wird.
-
Der Begriff „Fahrzeug“ beschreibt dabei jegliches Fortbewegungsmittel, insbesondere Fahrzeuge zu Lande, zu Wasser oder in der Luft, eingeschlossen auch Raumfahrzeuge.
-
Bei einem instationären bzw. beweglichen Objekt kann es sich beispielsweise auch um selbstfahrende Einheiten, zum Beispiel zum Materialtransport in Industrieprozessen handeln, wie zum Beispiel Laufkatzen, Seilroboter, Förderbänder und/oder beliebige schienengeführte Systeme.
-
Als instationäre Objekte können auch Hubschrauber und/oder Quadrocopter vorgesehen sein.
-
Der wenigstens eine bildgebende Sensor kann gegebenenfalls auch auf einem Helm angebracht sein, der beispielsweise von einem Menschen getragen wird.
-
Es können auf Basis der extrinsischen Daten des wenigstens einen bildgebenden Sensors bekannte Warnsysteme für Tiere und/oder Menschen und/oder Roboter eingesetzt werden, insbesondere zur Kollisionsvermeidung, wie beispielsweise ein Nothalt oder ein Zurückweichen des Roboters. Es können auch akustische, optische, haptische und/oder elektrische Warnimpulse bzw. Warnsysteme vorgesehen sein.
-
Die extrinsischen Daten des wenigstens einen bildgebenden Sensors können auch zur Verwendung mit Datenuhren, Datenbrillen oder VR („Virtual-Reality“)-Brillen oder sonstigen Datengeräte, wie beispielsweise Smartphones oder Tabletcomputer, vorgesehen sein.
-
In einer Weiterbildung der Erfindung kann insbesondere vorgesehen sein, dass als bildgebender Sensor eine Kamera verwendet wird.
-
Alternativ zu einer Kamera kann aber auch ein beliebiger bildgebender Sensor vorgesehen sein. Beispielsweise kann auch vorgesehen sein, die zweidimensionalen Koordinaten aus einer Punktewolke etc. abzuleiten. Hierdurch können sogar dreidimensionale Koordinaten bereitgestellt werden, wodurch sich die mathematischen Zusammenhänge zur Betsimmung der Pose des wenigstens einen bildgebenden Sensors vereinfachen kann.
-
Grundsätzlich kann eine beliebige Anzahl bildgebender Sensoren, insbesondere Kameras, vorgesehen sein, beispielsweise auch zwei, drei, vier, fünf oder mehr Kameras bzw. bildgebende Sensoren. Es ist somit mindestens ein Bilderfassungssystem innerhalb des Messsystems bzw. zur Verwendung innerhalb des erfindungsmäßen Verfahrens vorgesehen.
-
Es kann auch eine 360°-Kamera und/oder eine Stereokamera vorgesehen sein. Auch die Verwendung einer RGBD-Kamera, also einer Kamera die zusätzlich (oder auch nur ausschließlich) Tiefeninformationen liefert, ist möglich.
-
In einer Weiterbildung kann außerdem vorgesehen sein, dass zur Bestimmung der Pose des wenigstens einen bildgebenden Sensors zwei, drei, vier, fünf, sechs oder mehr Gelenke der Handhabungseinrichtung berücksichtigt werden.
-
Grundsätzlich kann die Anzahl der Gelenke des Roboters von der Anzahl der zur Bestimmung der Pose herangezogenen Gelenke abweichen. Es kann also vorgesehen sein, nicht alle Gelenke des Roboters zu überwachen und in die extrinsische Kalibrierung miteinzubeziehen.
-
Die Anzahl Gelenke des Roboters bzw. die Geometrie bzw. der Aufbau des Roboters kann beliebig sein; hierauf kommt es im Sinne der Erfindung nicht an. Beispielsweise kann ein industrieller 6-Achs-Manipulator als Roboter vorgesehen sein.
-
Vorzugsweise werden wenigstens drei Gelenke des Roboters für die extrinsische Kalibrierung berücksichtigt, um eine ausreichende Genauigkeit der Kalibrierung zu erreichen.
-
Es kann auch vorgesehen sein, eines oder mehrere Gelenke des Roboters in zeitlicher Abfolge, beispielsweise über mehrere Frames eines Kamerabildes für die extrinsische Kalibrierung zu verwenden. Somit kann beispielsweise die Anzahl zu berücksichtigender Gelenke reduziert sein, bei gleichbleibender oder sogar verbesserter Genauigkeit der Kalibrierung. Dabei kann es insbesondere von Vorteil sein, wenn sich die Basis des Roboters nicht verschiebt.
-
In einer bevorzugten Weiterbildung der Erfindung kann vorgesehen sein, dass die zweidimensionalen Koordinaten unter Verwendung eines neuronalen Netzes, vorzugsweise eines Convolutional Neural Networks (CNN), einer modellbasierten Zuordnung (Model Fitting), einer graphenbasierten Zuordnung, einer auf Conditional Random Field (CRF) basierten Lösung und/oder einer räumlich/zeitlich basierten Zuordnung (Spatio-Temporal Matching) anhand der Rohdaten des wenigstens einen bildgebenden Sensors erfasst werden.
-
Unter den Rohdaten des wenigstens einen bildgebenden Sensors ist vorliegend insbesondere ein unbearbeitetes Kamerabild zu verstehen. Beispielsweise können aber auch reine Tiefendaten oder eine Kombination aus Tiefendaten und einem herkömmlichen Kamerabild vorgesehen sein.
-
Eine besonders bevorzugte Ausführung betrifft insbesondere die Verwendung eines Convolutional Neural Networks zur Bestimmung der zweidimensionalen Gelenkpositionen. Dabei handelt es sich um einen sog. Deep-Learning basierten Ansatz, wobei als Input bzw. Ausgangspunkt ein unbearbeitetes Kamerabild dienen kann. Das neuronale Netz kann anschließend Wahrscheinlichkeitsverteilungen, insbesondere in der Art sogenannter „Heatmaps“ bereitstellen. Hieraus können sich schließlich die Gelenkpositionen (auch „Joint-Positionen“ genannt), die für die extrinsische Kalibrierung benötigt werden, ableiten lassen. Das neuronale Netz kann beispielsweise inspiriert durch menschliche Posendetektoren für die Verwendung einer Roboterposenerkennung bzw. Joint-Erkennung angepasst und entsprechend trainiert werden.
-
Grundsätzlich können auf Basis der zweidimensionalen Koordinaten und den Rohdaten auch dreidimensionale Koordinaten bzw. dreidimensionale Posen der Handhabungseinrichtung geschätzt werden, beispielsweise unter Verwendung eines Convolutional Neural Networks. Schließlich kann die Pose des wenigstens einen bildgebenden Sensors in Folge auch anhand der Korrespondenz zwischen den bekannten dreidimensionalen Koordinaten und den geschätzten dreidimensionalen Koordinaten bzw. Posen bestimmt werden. Hierdurch kann die Kalibrierung weiter vereinfacht bzw. die Genauigkeit der Kalibrierung ggf. weiter verbessert sein. Das mathematische Verfahren zur Bestimmung der Pose des wenigstens einen bildgebenden Sensors kann dadurch vereinfacht sein, wodurch die Pose des wenigstens einen bildgebenden Sensors insbesondere durch einfache geometrische Zusammenhänge berechenbar sein kann.
-
Die Erfassung der zweidimensionalen Koordinaten betreffen die Position der wenigstens zwei Gelenke kann durch die Recheneinrichtung und/oder einen Prozessor, beispielsweise einen digitalen Signalprozessor (DSP) des wenigstens einen bildgebenden Sensors erfolgen. Beispielsweise kann eine intelligente Kamera und/oder ein Vision-Sensor zur unmittelbaren Erfassung der zweidimensionalen Koordinaten vorgesehen sein.
-
Die Recheneinrichtung kann in den wenigstens einen bildgebenden Sensor und/oder in den Roboter integriert sein. Auch die Verwendung einer von dem wenigstens einen bildgebenden Sensor und/oder dem Roboter unabhängigen Recheneinrichtung, beispielsweise eines Netzwerk-Rechners, kann anwendungsspezifisch von Vorteil sein.
-
Unter dem Begriff „Recheneinrichtung“ kann auch die Verwendung mehrerer Module (Software und/oder Hardware) zu verstehen sein. Auf die spezifische Verteilung der Rechenaufgaben innerhalb des Messsystems kommt es erfindungsgemäß nicht an.
-
In einer Weiterbildung der Erfindung kann außerdem vorgesehen sein, dass die Recheneinrichtung zur Bestimmung der Pose des wenigstens einen bildgebenden Sensors eine „Perspective-N-Point“-Berechnung ausführt.
-
Vorliegend betrifft das „Perspective-N-Point-Problem“ die Ableitung der Pose des wenigstens einen bildgebenden Sensors aus der Punktebeziehung der zweidimensionalen und dreidimensionalen Koordinaten betreffend die Position der wenigstens zwei Gelenke des Roboters. Somit können die zweidimensionalen Punkte auf dem aufgenommenen Szenenbild, insbesondere in Bildkoordinaten, sowie die zugehörigen dreidimensionalen Punkte in dem Zielkoordinatensystem, vorliegend dem Koordinatensystem des Roboters, herangezogen werden.
-
Die Kalibrierung kann also durch die Korrespondenz der ermittelten zweidimensionalen Repräsentation der Gelenkkoordinaten und den durch die Steuereinheit des Roboters gegebenen äquivalenten dreidimensionalen Achsstellungen erfolgen. Hierzu können grundsätzlich beliebige mathematische Lösungswege verwendet werden, auf die es vorliegend nicht ankommt. Es soll allerdings betont werden, dass im Gegensatz zum bekannten Stand der Technik, bei dem in der Regel eine Objektpose in einem Bild abgeleitet wird, wobei eine Kamera als Bezugspunkt bzw. das Koordinatensystem einer Kamera als Bezugspunkt dient, vorliegend das Koordinatensystem des Roboters als Bezugspunkt vorgesehen ist. Somit kann eine inverse Transformation zur Ermittlung der Pose des wenigstens einen bildgebenden Sensors in Bezug zu dem Roboterkoordinatensystem angezeigt sein.
-
Es kann somit eine Posenerkennung bzw. die Erkennung einer bestimmten Haltung eines Roboterarms im dreidimensionalen Raum auf Basis einer zweidimensionalen Repräsentation erfolgen. Grundsätzlich können hierdurch auch menschliche Posen ermittelt werden.
-
Zur Verbesserung der Ergebnisse kann auch eine intrinsische Kalibrierung des wenigstens einen bildgebenden Sensors, beispielsweise betreffend die Brennweite der Linse oder sonstige Sensorparameter vorgesehen sein.
-
Es kann vorgesehen sein, dass die Kalibrierung vor Inbetriebnahme der Handhabungseinrichtung und/oder während des Normalbetriebs der Handhabungseinrichtung kontinuierlich oder regelmäßig durchgeführt wird.
-
Es kann beispielsweise eine Online-Kontrolle der Kalibrierung eines oder mehrerer Roboter vorgesehen sein.
-
Das erfindungsgemäße Verfahren kann beispielsweise aus drei Einzelschritten bestehen:
- - Wenigstens ein bildgebender Sensor erzeugt zu einem Zeitpunkt T ein Abbild, aus dem die zweidimensionalen Koordinaten der Roboter-Joints bzw. die zweidimensionalen Gelenkpositionen des Roboters durch mindestens ein Rechenmodul ermittelt werden. Bei dem Rechenmodul kann es sich beispielsweise um die Recheneinrichtung oder um ein Rechenmodul einer intelligenten Kamera handeln; die Ergebnisse oder Teilergebnisse können gegebenenfalls auch an ein weiteres Rechenmodul weitergegeben werden.
- - Ein Roboter, dessen dreidimensionale Joint-Koordinaten bzw. dessen dreidimensionalen Gelenkpositionen der Roboterarme in seinem Controller bzw. seiner Steuereinheit zum Zeitpunkt T vorliegen, sendet diese Informationen an das vorstehende wenigstens eine Rechenmodul - also zum Beispiel an die Recheneinrichtung. Die Position der Roboterarme bzw. die Gelenkpositionen des Roboters können beispielsweise mittels vorhergehender Kalibrierung des Roboters bekannt sein. Alternativ können die dreidimensionalen Joint-Koordinaten des Roboters der Recheneinrichtung auch dadurch bekannt sein, dass der Roboter für die Kalibrierung zum Zeitpunkt T vordefinierte Posen einnimmt.
- - Berechnung der dreidimensionalen Koordinaten und Ausrichtung bzw. Kalibrierung der extrinsischen Parameter des wenigstens einen bildgebenden Sensors für den Zeitpunkt T durch ein Rechenmodul, beispielsweise die Recheneinrichtung, insbesondere anhand der Korrespondenzen der zweidimensionalen Pose auf dem Abbild bzw. Kamerabild und der dreidimensionalen Pose des Roboters und der Lösung des Perspective-N-Point-Problems.
-
Bei der Recheneinrichtung, der Steuereinheit oder einem sonstigen Rechenmodul kann es sich um einen Mikroprozessor handeln. Anstelle eines Mikroprozessors kann auch eine beliebige weitere Einrichtung zur Implementierung vorgesehen sein, beispielsweise eine oder mehrere Anordnungen diskreter elektrischer Bauteile auf einer Leiterplatte, eine speicherprogrammierbare Steuerung (SPS), eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine sonstige programmierbare Schaltung, beispielsweise auch ein Field Programmable Gate Array (FPGA), eine programmierbare logische Anordnung (PLA) und/oder ein handelsüblicher Computer.
-
Die Erfindung betrifft auch ein Messsystem, umfassend wenigstens einen bildgebenden Sensor, eine Recheneinrichtung und eine Handhabungseinrichtung. Dabei ist vorgesehen, dass die Recheneinrichtung eingerichtet ist, um zur extrinsischen Kalibrierung des wenigstens einen bildgebenden Sensors eine Pose des wenigstens einen bildgebenden Sensors relativ zu dem Ursprung eines dreidimensionalen Koordinatensystems der Handhabungseinrichtung zu bestimmen. Eine Steuereinheit der Handhabungseinrichtung ist eingerichtet, bekannte dreidimensionale Koordinaten betreffend Positionen von wenigstens zwei Gelenken der Handhabungseinrichtung an die Recheneinrichtung zu übermitteln, wobei die Recheneinrichtung weiter eingerichtet ist, die Pose des wenigstens einen bildgebenden Sensors anhand der Korrespondenzen zwischen den dreidimensionalen Koordinaten mit anhand von Rohdaten des wenigstens einen bildgebenden Sensors erfassten zweidimensionalen Koordinaten betreffend die Positionen der wenigstens zwei Gelenke zu bestimmen.
-
Ziel der Kalibrierung ist die Ermittlung bzw. Berechnung der Position der Kamera im dreidimensionalen Raum (3D-Kamerapose) mittels der Korrespondenz eines zweidimensionalen Bildes (2D-Roboterkoordinaten) mit einer oder mehreren dreidimensionalen Roboterpositionen (3D-Roboterpose), die in der Steuereinheit des Roboters vorliegt.
-
Durch Bestimmung der zweidimensionalen Achsposition des Roboters aus einem Kamerabild, insbesondere durch moderne Kl („Künstliche Intelligenz“)-Posenerkenner, kann somit in Verbindung mit den bekannten dreidimensionalen Achspositionen des Roboters in dessen Koordinatensystem die Pose der Kamera bzw. des wenigstens einen bildgebenden Sensors abgeleitet werden.
-
Die Erfindung vereint somit vorteilhaft Elemente aus der Robotik, Computer-Vision sowie maschinellen Lernverfahren.
-
Somit kann eine Sicherheitsüberwachung des Arbeitsraums bei einer Kooperation von Menschen oder Tieren und einem oder mehreren Robotern vorteilhaft und unkompliziert möglich sein. Insbesondere kann eine Kollisionsüberwachung vorgesehen sein.
-
In einer Weiterbildung kann vorgesehen sein, dass die Recheneinrichtung, die Steuereinheit der Handhabungseinrichtung und/oder ein sonstiges Rechenmodul eingerichtet ist bzw. sind, die zweidimensionalen Koordinaten unter Verwendung eines neuronalen Netzes, vorzugsweise eines Convolutional Neural Networks, einer modellbasierten Zuordnung, einer graphenbasierten Zuordnung, einer auf Conditional Random Field (CRF) basierten Lösung und/oder einer räumlich/zeitlich basierten Zuordnung anhand der Rohdaten des wenigstens einen bildgebenden Sensors, zu erfassen.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt mit Programmcodemitteln, um ein vorstehend beschriebenes Verfahren durchzuführen, wenn das Programm auf einer Recheneinrichtung eines Messsystems ausgeführt wird.
-
Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der Zeichnung näher beschrieben.
-
In den Figuren sind funktionsgleiche Elemente mit denselben Bezugszeichen versehen.
-
Es zeigen schematisch:
- 1 das erfindungsgemäße Messsystem, umfassend einen bildgebenden Sensor, eine Recheneinrichtung und einen Roboter; und
- 2 das erfindungsgemäße Verfahren, dargestellt in drei Einzelschritten.
-
1 zeigt ein Messsystem 1 mit einem als Kamera 2 ausgebildeten bildgebenden Sensor, einer Recheneinrichtung 3 und einem Roboter 4. Anstelle eines Roboters 4 kann grundsätzlich eine beliebige Handhabungseinrichtung vorgesehen sein.
-
Grundsätzlich kann eine beliebige Anzahl beliebiger bildgebender Sensoren bzw. Kameras 2 vorgesehen sein.
-
Die Recheneinrichtung 3, die vorliegend als von der Kamera 2 und dem Roboter 4 unabhängige Recheneinrichtung 3 ausgebildet ist, kann auch in der Kamera 2 oder in dem Roboter 4 oder in einer sonstigen Komponente des Messsystems 1 integriert sein. Hierauf kommt es im Sinne der Erfindung nicht an.
-
Die Kamera 2 ist vorliegend auf einem Stativ 5 stationär bzw. feststehend befestigt. Grundsätzlich kann der wenigstens eine bildgebende Sensor bzw. die Kamera 2 sowohl an einem beliebigen stationären Objekt, beispielsweise auch einem Gebäude oder einer Wand, als auch an einem instationären Objekt, beispielsweise einem zweiten Roboter, einem Exoskelett, einem Menschen, einem Tier und/oder einem Fahrzeug befestigt sein.
-
Der im Ausführungsbeispiel dargestellte Roboter 4 ist als 6-Achs-Roboter ausgebildet. Grundsätzlich kann allerdings ein beliebiger Roboter 4 mit einer beliebigen Anzahl Gelenke 6, Achsen, Roboterarme oder Geometrie vorgesehen sein.
-
Die Recheneinrichtung 3 ist eingerichtet, um zur extrinsischen Kalibrierung der Kamera 2 eine Pose, also eine Position und eine Orientierung der Kamera 2 relativ zu dem Ursprung U eines dreidimensionalen Koordinatensystems des Roboters 4 zu bestimmen. Im Ausführungsbeispiel ist der Ursprung U beispielhaft an einer Basis 7 des Roboters 4 festgelegt. Grundsätzlich kann der Ursprung U des Koordinatensystems des Roboters 4 auch anderweitig definiert sein.
-
Eine Steuereinheit 8 des Roboters 4 ist eingerichtet, bekannte dreidimensionale Koordinaten 9 betreffend eine Pose wenigstens eines Gelenks 6 des Roboters 4 an die Recheneinrichtung 3 zu übermitteln. Die Übermittlung der bekannten dreidimensionalen Koordinaten 9 kann ggf. auch entfallen, wenn der Roboter 4 bei der Kalibrierung bekannte statische Posen einnimmt (z. B. eine Home-Position). Die Recheneinrichtung 3 ist weiter eingerichtet, die Pose des wenigstens einen bildgebenden Sensors bzw. der Kamera 2 schließlich anhand der Korrespondenz zwischen den dreidimensionalen Koordinaten 9 und zweidimensionalen Koordinaten 10 betreffend die Position(en) des wenigstens einen Gelenks 6, die anhand von Rohdaten der Kamera 2 bzw. einem von der Kamera 2 erzeugten Szenenbild 11 (vgl. 2) erfasst werden, zu bestimmen.
-
Zur Bestimmung der Pose der Kamera 2 kann grundsätzlich eine beliebige Anzahl der Gelenke 6 des Roboters 4 berücksichtigt werden, beispielsweise zwei, drei, vier, fünf, sechs oder mehr Gelenke 6 (falls vorhanden).
-
Insbesondere kann die Recheneinrichtung 3 für die Bestimmung der Pose der Kamera 2 eingerichtet sein, eine „Perspective-N-Point“-Berechnung auszuführen.
-
Für die Erfassung der zweidimensionalen Koordinaten 10 betreffend die Position(en) des wenigstens einen Gelenks 6 des Roboters 4 kann die Verwendung eines neuronalen Netzes, vorzugsweise eines Convolutional Neural Networks (CNN), eine modellbasierte Zuordnung, eine graphenbasierte Zuordnung, eine auf Conditional Random Field (CRF) basierte Lösung und/oder eine räumlich/zeitlich basierte Zuordnung anhand von Rohdaten bzw. dem Szenenbild 11 der Kamera 2 vorgesehen sein. Beispielsweise kann die Kamera 2 als intelligente Kamera 2 ausgebildet sein und ein Rechenmodul 12 (in 1 gestrichelt angedeutet) umfassen, um die zweidimensionalen Koordinaten 10 insbesondere unter Verwendung eines neuronalen Netzes, zu bestimmen und an die Recheneinrichtung 3 zu übermitteln.
-
Ein entsprechendes Verfahren zur extrinsischen Kalibrierung wenigstens eines bildgebenden Sensors, vorliegend der einen Kamera 2, kann in mehreren Schritten, vorzugsweise in drei Schritten realisiert sein. Ein entsprechendes Verfahren in drei Schritten ist beispielhaft in 2 dargestellt.
-
In einem ersten Schritt A erzeugt die Kamera 2 Rohdaten bzw. ein Szenenbild 11 der zu beobachtenden Umgebung, unter anderem aber des Roboters 4.
-
Aus den Rohdaten bzw. dem Szenenbild 11 der Kamera 2 können in einem zweiten Schritt B die zweidimensionalen Koordinaten 10 betreffend die Position(en) der zu berücksichtigenden Gelenke 6 des Roboters 4 ermittelt werden, beispielsweise unter Verwendung eines neuronalen Netzes.
-
In einem dritten Schritt C können zunächst die bekannten dreidimensionale Koordinaten 9 betreffend die Posen der zu berücksichtigenden Gelenke 6 des Roboters 4 von der Steuereinheit 8 des Roboters 4 hinzugezogen werden, wobei letztendlich die Pose der Kamera 2 anhand der Korrespondenz zwischen den zweidimensionalen Koordinaten 10 und den dreidimensionalen Koordinaten 9 bestimmt wird.
-
Das Verfahren kann insbesondere als Computerprogrammprodukt mit Programmcodemitteln auf der Recheneinrichtung 3 des Messsystems 1 ausgeführt werden. Grundsätzlich können die Rechenaufgaben und Verfahrensschritte allerdings beliebig innerhalb des Messsystems 1 verteilt werden.
