DE102021123245A1 - Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System - Google Patents

Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System Download PDF

Info

Publication number
DE102021123245A1
DE102021123245A1 DE102021123245.7A DE102021123245A DE102021123245A1 DE 102021123245 A1 DE102021123245 A1 DE 102021123245A1 DE 102021123245 A DE102021123245 A DE 102021123245A DE 102021123245 A1 DE102021123245 A1 DE 102021123245A1
Authority
DE
Germany
Prior art keywords
target symbol
display element
camera
robot arm
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021123245.7A
Other languages
English (en)
Inventor
Thomas Irrenhauser
Mario Trautner
Till Pertzborn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021123245.7A priority Critical patent/DE102021123245A1/de
Publication of DE102021123245A1 publication Critical patent/DE102021123245A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm (12), mit den Schritten:
- Kalibrieren einer Kamera (14) des Roboterarms (12) mittels eines optischen Kalibrierelements (20);
- Bereitstellen eines berührungssensitiven Anzeigeelements (18);
- Anzeigen eines optischen Zielsymbols (22) auf dem Anzeigeelement (18);
- Auswerten des Zielsymbols (22) mittels der kalibrierten Kamera (14);
- Bewegen eines an dem Roboterarm (12) angeordneten Kontaktelements (24) in Abhängigkeit von der Auswertung des Zielsymbols (22);
- Erfassen einer Berührung des Kontaktelements (24) auf dem Anzeigeelement (18);
- Auswerten einer Kontaktposition (28) des Kontaktelements (26) auf dem Anzeigeelement (18) relativ zu einer Zielsymbolposition (30) des Zielsymbols (22) auf dem Anzeigeelement (18); und
- Validieren der Kamerakalibrierung in Abhängigkeit von der Auswertung der Kontaktposition (28) relativ zur Zielsymbolposition (30).
Ferner betrifft die Erfindung ein Computerprogrammprodukt sowie ein System (10).

Description

  • Die Erfindung betrifft ein Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems. Ferner betrifft die Erfindung ein Computerprogrammprodukt sowie ein System.
  • Aus dem Stand der Technik sind Roboterarme bekannt, welche beispielsweise beim Zusammenbau von Kraftfahrzeugen entsprechende Teile positionieren können. Ferner sind Roboterarme auch bereits in Transport-/Logistikschritten bekannt, welche beispielsweise Bauteile von einer ersten Position, beispielsweise einer Anlieferposition, in eine zweite Position, beispielsweise in Transportboxen oder dergleichen, verfrachten können. Diese Roboterarme besitzen dabei vorzugsweise eine Optik, insbesondere eine Kamera, welche dazu ausgebildet ist, den Roboterarm entsprechend ansteuern zu können beziehungsweise auf Basis einer Umgebungsauswertung mittels der Kamera den Roboterarm entsprechend zu steuern. Um die Position der Kamera relativ im Raum und insbesondere relativ zum Roboterarm zuverlässig bestimmen zu können, ist es notwendig, dass eine Kamerakalibrierung erfolgt. Diese Kamerakalibrierung kann dann beispielsweise in Abhängigkeit von sogenannten Schachbrettmustern erfolgen, wobei dann entsprechende Kalibrierungswerte bestimmt und erzeugt werden und in Abhängigkeit davon dann wiederum die Kamera kalibriert werden kann. Ferner ist bekannt, dass dann wiederum eine Verifizierung der Kalibrierung auf Basis von beispielsweise auf Papier gedruckten optischen Elementen erfolgt, sodass eine Person manuell die korrekte Kalibrierung der Kamera bestätigen kann.
  • Die EP 1 958 436 A1 betrifft ein Verfahren zum Bewegen einer auf einem Schwenk-/Neigekopf angeordneten Kamera entlang einer vorgegebenen Bewegungsbahn insbesondere an einem Set oder Studio und einen zugehörigen Kameraroboter. Um eine Kamera entlang einer vorgebbaren Bewegungsbahn wiederholungsgenau bewegen zu können, wird vorgeschlagen, aus der vorgegebenen Bewegungsbahn für die Kamera eine zugeordnete Bewegungsbahn für die räumlichen Positionen und Orientierungen eines Basisbezugs-Systems des Schwenk-/Neigekopfes zu bestimmen und aus der bestimmten Bewegungsbahn für das Basisbezugs-System des Schwenk-/Neigekopfes zugeordnete Stellgrößen für Achsen eines im kartesischen Koordinatenfahrbahnroboters zu erzeugen und an die Achsen zu übertragen.
  • Die EP 2 008 778 B1 betrifft ein Verfahren zum Programmieren eines Industrieroboters, im Rahmen dessen ein Programmierhandgerät im Raum entsprechend einer gewünschten Orientierung, die ein zu bestimmendes Koordinatensystem einnehmen soll, orientiert wird, wobei das Programmierhandgerät eingerichtet ist, seine Orientierung im Raum zu erkennen. Die momentane Orientierung des Programmierhandgeräts wird als gewünschte Orientierung des Koordinatensystems durch Betätigen eines ersten Eingabemittels insbesondere des Programmierhandgeräts verriegelt, sodass die Orientierung des Koordinatensystems bei einer weiteren Bewegung des Programmierhandgeräts unverändert bleibt. Anschließend wird ein ausgewählter Punkt in mindestens einer im gewünschten Koordinatensystem definierten Richtung oder Orientierung durch Betätigen von zweiten Eingabemitteln des Programmierhandgeräts bewegt.
  • Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt sowie ein System zu schaffen, mittels welchen vereinfacht eine Kalibrierung einer Kamera an einem Roboterarm validiert werden kann.
  • Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt sowie ein System gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems. Es erfolgt das Kalibrieren einer Kamera des Roboterarms mittels eines optischen Kalibrierelements. Es wird ein berührungssensitives Anzeigeelement des Systems bereitgestellt. Es wird ein optisches Zielsymbol auf dem Anzeigeelement dargestellt. Es erfolgt das Auswerten des Zielsymbols mittels der kalibrierten Kamera. Es wird der Roboterarm mit einem an dem Roboterarm angeordneten Kontaktelement in Abhängigkeit von der Auswertung des Zielsymbols in Richtung des Zielsymbols bewegt. Es erfolgt das Erfassen einer Berührung des Kontaktelements auf dem Anzeigeelement mittels des Anzeigeelements. Es wird eine Kontaktposition des Kontaktelements auf dem Anzeigeelement relativ zu einer Zielsymbolposition des Zielsymbols auf dem Anzeigeelement mittels einer elektronischen Recheneinrichtung des Systems, beispielsweise mittels einer elektronischen Recheneinrichtung des Anzeigeelements, ausgewertet. In Abhängigkeit von der Auswertung der Kontaktposition relativ zur Zielsymbolposition erfolgt das Validieren der Kamerakalibrierung.
  • Insbesondere ist es dadurch ermöglicht, dass aufwandsreduziert die Kalibrierung erfolgen kann. Insbesondere kann nun auch durch das Bereitstellen des Anzeigeelements eine automatisierte Validierung der Kamerakalibrierung durchgeführt werden. Insbesondere kann somit ein menschlicher Fehler bei der Validierung der Kamerakalibrierung verhindert werden.
  • Mit anderen Worten ist vorgesehen, dass das Zielsymbol auf dem Anzeigeelement nach der erfolgten Kalibrierung der Kamera angezeigt wird. Diese wiederum wird von der Kamera des Roboters erkannt. Der Roboter mit dem Kontaktelement verfährt nun derart, dass dieser versucht, mit dem Kontaktelement, welches beispielsweise ein Saugnapf zum späteren Verfahren von Gegenständen ist, die Kontaktposition des Zielsymbols zu kontaktieren beziehungsweise zu berühren. Insbesondere weist zumindest das Kontaktelement einen sogenannten touchfähigen Endeffektor auf, welcher durch das Anzeigeelement erfasst werden kann. Es wird dann wiederum die Kontaktposition in Abhängigkeit von der Zielsymbolposition bestimmt und ausgewertet. Sollte beispielsweise die Zielsymbolposition im Wesentlichen mit der Kontaktposition übereinstimmen, so kann davon ausgegangen werden, dass die Kamera korrekt kalibriert ist. Sollte die Zielsymbolposition eine entsprechende Abweichung relativ zur Kontaktposition aufweisen, so kann davon ausgegangen werden, dass beispielsweise die Kamera nicht korrekt kalibriert ist und eine entsprechende Neukalibrierung durchgeführt werden sollte.
  • Insbesondere kann vorgesehen sein, dass beispielsweise das Zielsymbol zumindest einen Marker aufweist, welcher durch die Kamera als Validierungsobjekt zum Validieren erkannt wird. Hierbei kann die Kontaktposition beziehungsweise die Zielsymbolposition sowohl innerhalb dieses Markers, außerhalb dieses Markers oder auch am Rand des Markers ausgebildet sein.
  • Gemäß einer vorteilhaften Ausgestaltungsform wird in Abhängigkeit von der Auswertung der Kontaktposition relativ zur Zielsymbolposition ein Korrekturwert ermittelt, welcher eine Abweichung von der Kontaktposition mit der Zielsymbolposition beschreibt. Dieser Korrekturwert kann beispielsweise innerhalb des Anzeigeelements ermittelt werden. In Abhängigkeit davon kann dann wiederum bestimmt werden, ob eine Korrektur beziehungsweise Neukalibrierung notwendig ist oder nicht. Dieser Korrekturwert kann dazu genutzt werden, um zu bestimmen, ob beispielsweise die Kamera funktionstüchtig ist oder ob eine Neukalibrierung notwendig ist.
  • Weiterhin vorteilhaft ist, wenn die Validierung und/oder der Korrekturwert von dem Anzeigeelement an den Roboterarm übertragen werden. Insbesondere kann somit dann wiederum der Roboterarm zuverlässig erfassen, ob die Kamera entsprechend kalibriert ist oder ob beispielsweise eine Korrektur der Kalibrierung notwendig ist. Die Übertragung kann dabei beispielsweise mittels Kurzreichweitenkommunikation oder über lokale oder über mobile Netzwerke erfolgen.
  • Es hat sich weiterhin als vorteilhaft erwiesen, wenn in Abhängigkeit von dem ermittelten Korrekturwert eine Neukalibrierung der Kamera des Roboterarms durchgeführt wird. Sollte beispielsweise die Abweichung derart groß sein, dass eine Neukalibrierung notwendig ist, so kann in Abhängigkeit des ermittelten Korrekturwerts diese Neukalibrierung erneut durchgeführt werden, ohne eine komplexere Neukalibrierung direkt durchführen zu müssen, und beispielsweise über entsprechende Schachbrettmuster erneut die Kalibrierung durchzuführen.
  • Ferner hat es sich als vorteilhaft erwiesen, wenn nach dem Auswerten der Zielsymbolposition ein weiteres Zielsymbol mit einer weiteren Zielsymbolposition, welche unterschiedlich ist zur Zielsymbolposition, auf dem Anzeigeelement angezeigt wird und eine weitere Auswertung einer weiteren Kontaktposition relativ zur weiteren Zielsymbolposition durchgeführt wird. Insbesondere kann somit eine unterschiedliche Validierung aus unterschiedlichen Winkeln durchgeführt werden, wodurch besonders zuverlässig die Validierung durchgeführt werden kann. Insbesondere können dabei die Zielsymbole unterschiedlich ausgebildet sein und auch an unterschiedlichen Orten auf dem Anzeigeelement angezeigt werden. Somit ist es ermöglicht, dass eine zuverlässige Kalibrierung durchgeführt werden kann und gleichzeitig mit nur dem einen einzigen Anzeigeelement die Kalibrierung vorteilhaft validiert werden kann.
  • Ferner hat es sich als vorteilhaft erwiesen, wenn das Zielsymbol mit zumindest zwei unterschiedlichen Markern auf dem Anzeigeelement angezeigt wird. Bevorzugt können beispielsweise auch drei unterschiedliche Marker auf dem Anzeigeelement angezeigt werden. Die Marker können dann beispielsweise in Form von Symbolen, beispielsweise einem QR-Code oder Strichcode, bereitgestellt werden, wodurch die Kamera durch Auswertung entsprechend angewiesen wird, die Zielsymbolposition zu ermitteln. Beispielsweise kann vorgesehen sein, sollten drei Marker ausgebildet sein, dass dann die Zielsymbolposition außerhalb der drei Marker, beispielsweise mittig zwischen den drei Markern, aufzufinden ist. Ferner kann auch eine Art Gittersymbol erzeugt werden, wobei in entsprechenden vier Gitterbereichen entsprechende Marker aufzufinden sein können und dann beispielsweise die Gitternetzmitte die Zielsymbolposition repräsentiert.
  • Weiterhin vorteilhaft ist, wenn das Anzeigeelement als mobiles Anzeigeelement bereitgestellt wird. Insbesondere handelt es sich bei dem mobilen Anzeigeelement somit um ein bewegbares Anzeigeelement, welches beispielsweise durch eine Person getragen werden kann, wodurch ein einziges Anzeigeelement ausreichend ist, um beispielsweise mehrere Roboterarme ebenfalls zu kalibrieren beziehungsweise die Kalibrierung der Kamera entsprechend zu validieren. Somit kann das System für eine Vielzahl von Roboterarmen bereitgestellt werden. Damit ist das System hochflexibel einsetzbar.
  • Weiterhin vorteilhaft ist, wenn das mobile Anzeigeelement als intelligentes Telefon und/oder als Tablet-PC und/oder als Laptop bereitgestellt wird. Insbesondere weisen die intelligenten Telefone und/oder Tablet-PC oder ein Laptop bereits berührungssensitive Bildschirme auf, welche dazu genutzt werden können, um das entsprechende Verfahren durchzuführen. Des Weiteren sind diese Endgeräte oftmals mit hochleistungsfähigen elektronischen Recheneinrichtungen ausgestattet, welche dazu genutzt werden können, um die entsprechende Auswertung durchzuführen. Weiterhin weisen diese Endgeräte oftmals Kommunikationselemente auf, sodass diese bereits ohne weiteren Umbau zum Kommunizieren mit dem System beziehungsweise dem Roboterarm ausgebildet sein können.
  • Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Ein nochmals weiterer Aspekt der Erfindung betrifft daher auch ein computerlesbares Speichermedium.
  • Ferner betrifft die Erfindung auch ein System zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mit einer Kamera, mit einer elektronischen Recheneinrichtung und mit einem Anzeigeelement, wobei das System zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Systems durchgeführt.
  • Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts sowie des Systems anzusehen. Das System weist dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
  • Beispielsweise kann die elektronische Recheneinrichtung elektronische Bauteile wie Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, und weitere Bauelemente aufweisen, um ein entsprechendes Verfahren durchführen zu können.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:
    • 1 eine schematische Perspektivansicht einer Ausführungsform eines beweglichen Roboterarms mit einer Ausführungsform eines Systems; und
    • 2 eine Ausführungsform eines Anzeigeelements gemäß einer Ausführungsform des Systems.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
  • 1 zeigt eine schematische Perspektivansicht einer Ausführungsform eines Systems 10 zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm 12 mit einer Kamera 14, mit einer elektronischen Recheneinrichtung 16 und mit einem Anzeigeelement 18. Das Anzeigeelement 18 ist vorliegend insbesondere als Tablet-PC dargestellt. Alternativ oder ergänzend kann das Anzeigeelement 18 auch als intelligentes Telefon und/oder als Laptop angesehen werden.
  • Bei einem Verfahren zum Validieren der Kamerakalibrierung für den beweglichen Roboterarm 12 mittels des Systems 10 erfolgt das Kalibrieren der Kamera 14 des Roboterarms 12 mittels eines optischen Kalibrierelements 20, welches vorliegend insbesondere als Schachbrettmuster dargestellt ist. Es erfolgt dann das Bereitstellen des berührungssensitiven Anzeigeelements 18 des Systems 10. Es erfolgt das Anzeigen eines optischen Zielsymbols 22 auf dem Anzeigeelement 18. Es wird das Zielsymbol 22 mittels der kalibrierten Kamera 14 ausgewertet. Es erfolgt das Bewegen eines an dem Roboterarm 12 angeordneten Kontaktelements 24, insbesondere mit einem kontaktsensitiven Effektor 26, in Abhängigkeit der Auswertung des Zielsymbols 22 in Richtung des Zielsymbols 22. Es erfolgt dann wiederum die Erfassung einer Berührung des Kontaktelements 26 auf dem Anzeigeelement 18 mittels des Anzeigeelements 18. Es wird eine Kontaktposition 28 (2) des Kontaktelements 26 auf dem Anzeigeelement 18 relativ zu einer Zielsymbolposition 30 des Zielsymbols 22 auf dem Anzeigeelement 18 mittels der elektronischen Recheneinrichtung 16 ausgewertet. Es wird dann in Abhängigkeit von der Auswertung der Kontaktposition 28 relativ zur Zielsymbolposition 30 die Kamerakalibrierung validiert.
  • 2 zeigt eine schematische Ansicht einer Ausführungsform des Anzeigeelements 18 mit dem Zielsymbol 22. Vorliegend sind insbesondere drei Marker 32 gezeigt, welche beispielsweise als QR-Code ausgebildet sein können. Das Zielsymbol 22 weist vorliegend somit die drei Marker 32 auf. Auf Basis einer Auswertung der drei Marker 32 kann nun die Zielposition 30, welche vorliegend mittig dargestellt ist, ermittelt werden. Vorliegend befindet sich die Kontaktposition 28 außerhalb der Zielsymbolposition 30. Insbesondere kann dann vorgesehen sein, dass ein Korrekturwert ermittelt wird, welcher eine Abweichung von der Kontaktposition 28 mit der Zielsymbolposition 30 beschreibt. Es kann dann wiederum die Validierung und/oder der Korrekturwert von dem Anzeigeelement 18 an den Roboterarm 12 übertragen werden, wobei dann auch wiederum vorgesehen sein kann, dass in Abhängigkeit von dem ermittelten Korrekturwert eine Neukalibrierung der Kamera 14 des Roboterarms 12 durchgeführt wird.
  • Nach dem Auswerten der Zielsymbolposition 30 kann insbesondere ein weiteres Zielsymbol mit einer weiteren Zielsymbolposition, welche unterschiedlich ist zur Zielsymbolposition 30, auf dem Anzeigeelement 18 angezeigt werden und eine Auswertung einer weiteren Kontaktposition relativ zur weiteren Zielsymbolposition durchgeführt werden. Ferner ist insbesondere gezeigt, dass das Zielsymbol 22 zumindest zwei unterschiedliche Marker 32, vorliegend drei unterschiedliche Marker 32, aufweist.
  • Bezugszeichenliste
  • 10
    System
    12
    Roboterarm
    14
    Kamera
    16
    elektronische Recheneinrichtung
    18
    Anzeigeelement
    20
    optisches Kalibrierelement
    22
    Zielsymbol
    24
    Kontaktelement
    26
    Effektor
    28
    Kontaktposition
    30
    Zielsymbolposition
    32
    Marker
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 1958436 A1 [0003]
    • EP 2008778 B1 [0004]

Claims (10)

  1. Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm (12) mittels eines Systems (10), mit den Schritten: - Kalibrieren einer Kamera (14) des Roboterarms (12) mittels eines optischen Kalibrierelements (20); - Bereitstellen eines berührungssensitiven Anzeigeelements (18) des Systems (10); - Anzeigen eines optischen Zielsymbols (22) auf dem Anzeigeelement (18); - Auswerten des Zielsymbols (22) mittels der kalibrierten Kamera (14); - Bewegen eines an dem Roboterarm (12) angeordneten Kontaktelements (24) in Abhängigkeit von der Auswertung des Zielsymbols (22) in Richtung des Zielsymbols (22); - Erfassen einer Berührung des Kontaktelements (24) auf dem Anzeigeelement (18) mittels des Anzeigeelements (18); - Auswerten einer Kontaktposition (28) des Kontaktelements (26) auf dem Anzeigeelement (18) relativ zu einer Zielsymbolposition (30) des Zielsymbols (22) auf dem Anzeigeelement (18) mittels einer elektronischen Recheneinrichtung (16) des Systems (10); und - Validieren der Kamerakalibrierung in Abhängigkeit von der Auswertung der Kontaktposition (28) relativ zur Zielsymbolposition (30).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit von der Auswertung der Kontaktposition (28) relativ zur Zielsymbolposition (30) ein Korrekturwert ermittelt wird, welcher eine Abweichung von der Kontaktposition (28) mit der Zielsymbolposition (30) beschreibt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Validierung und/oder der Korrekturwert von dem Anzeigeelement (18) an den Roboterarm (12) übertragen werden.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in Abhängigkeit von dem ermittelten Korrekturwert eine Neukalibrierung der Kamera (14) des Roboterarms (12) durchgeführt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Auswerten der Zielsymbolposition (30) ein weiteres Zielsymbol mit einer weiteren Zielsymbolposition, welche unterschiedlich ist zur Zielsymbolposition (30), auf dem Anzeigeelement (18) angezeigt wird und eine weitere Auswertung einer weiteren Kontaktposition relativ zur weiteren Zielsymbolposition durchgeführt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Zielsymbol (22) mit zumindest zwei unterschiedlichen Markern (32) auf dem Anzeigeelement (18) angezeigt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Anzeigeelement (18) als mobiles Anzeigeelement (18) bereitgestellt wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das mobile Anzeigeelement (18) als intelligentes Telefon und/oder als Tablet-PC und/oder als Laptop bereitgestellt wird.
  9. Computerprogrammprodukt mit Programmcodemitteln, welche zumindest eine elektronische Recheneinrichtung (16) dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (16) abgearbeitet werden, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.
  10. System (10) zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm (12) mit einer Kamera (14), mit einer elektronischen Recheneinrichtung (16) und mit einem Anzeigeelement (18), wobei das System (10) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 8 ausgebildet ist.
DE102021123245.7A 2021-09-08 2021-09-08 Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System Pending DE102021123245A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021123245.7A DE102021123245A1 (de) 2021-09-08 2021-09-08 Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021123245.7A DE102021123245A1 (de) 2021-09-08 2021-09-08 Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System

Publications (1)

Publication Number Publication Date
DE102021123245A1 true DE102021123245A1 (de) 2023-03-09

Family

ID=85226486

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021123245.7A Pending DE102021123245A1 (de) 2021-09-08 2021-09-08 Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System

Country Status (1)

Country Link
DE (1) DE102021123245A1 (de)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007065676A1 (de) 2005-12-09 2007-06-14 Kuka Roboter Gmbh Verfahren und vorrichtung zum bewegen einer auf einem schwenk-/neigekopf angeordneten kamera entlang einer vorgegebenen bewegungsbahn
EP2008778B1 (de) 2007-06-26 2009-08-19 KUKA Roboter GmbH Verfahren und Vorrichtung zum Programmieren eines Industrieroboters
DE112015005095T5 (de) 2014-11-10 2017-08-03 Faro Technologies, Inc. Menschenorientierter Roboter mit Vorrichtung zur kontaktlosen Messung
EP3104118B1 (de) 2015-06-12 2019-02-27 Hexagon Technology Center GmbH Verfahren zur steuerung eines antriebsmechanismus einer automatisierten maschine mit einer kamera
US10311596B2 (en) 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
EP3705239A1 (de) 2019-03-01 2020-09-09 Arrival Limited Kalibrierungssystem und -verfahren für roboterzellen
DE102019204657A1 (de) 2019-04-02 2020-10-08 Psa Automobiles Sa Vorrichtung und Verfahren zur Prüfung von Displays
US20200326712A1 (en) 2018-09-06 2020-10-15 Lingdong Technology (Beijing) Co. Ltd Self-driving vehicle system with retractable sensor head
US20210197390A1 (en) 2019-12-31 2021-07-01 Chiun Mai Communication Systems, Inc. Computer device and method for determining standard depth value of marker

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007065676A1 (de) 2005-12-09 2007-06-14 Kuka Roboter Gmbh Verfahren und vorrichtung zum bewegen einer auf einem schwenk-/neigekopf angeordneten kamera entlang einer vorgegebenen bewegungsbahn
EP1958436A1 (de) 2005-12-09 2008-08-20 KUKA Roboter GmbH Verfahren und vorrichtung zum bewegen einer auf einem schwenk-/neigekopf angeordneten kamera entlang einer vorgegebenen bewegungsbahn
EP2008778B1 (de) 2007-06-26 2009-08-19 KUKA Roboter GmbH Verfahren und Vorrichtung zum Programmieren eines Industrieroboters
DE112015005095T5 (de) 2014-11-10 2017-08-03 Faro Technologies, Inc. Menschenorientierter Roboter mit Vorrichtung zur kontaktlosen Messung
EP3104118B1 (de) 2015-06-12 2019-02-27 Hexagon Technology Center GmbH Verfahren zur steuerung eines antriebsmechanismus einer automatisierten maschine mit einer kamera
US10311596B2 (en) 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
US20200326712A1 (en) 2018-09-06 2020-10-15 Lingdong Technology (Beijing) Co. Ltd Self-driving vehicle system with retractable sensor head
EP3705239A1 (de) 2019-03-01 2020-09-09 Arrival Limited Kalibrierungssystem und -verfahren für roboterzellen
DE102019204657A1 (de) 2019-04-02 2020-10-08 Psa Automobiles Sa Vorrichtung und Verfahren zur Prüfung von Displays
US20210197390A1 (en) 2019-12-31 2021-07-01 Chiun Mai Communication Systems, Inc. Computer device and method for determining standard depth value of marker

Similar Documents

Publication Publication Date Title
DE102015001527B4 (de) Robotersystem, das visuelle Rückmeldung verwendet
DE102015219332A1 (de) Sensorvorrichtung sowie Roboteranordnung mit der Sensorvorrichtung
DE102012204634A1 (de) Magnetfeldsensor, Betätigungsvorrichtung und Verfahren zur Bestimmung einer Relativposition
DE102017128543A1 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102013206518A1 (de) Magnetfeldsensorvorrichtung, Betätigungsvorrichtung und Verfahren zur Bestimmung einer Relativposition
DE102015014485A1 (de) Kalibrieren eines Systems mit einem Fördermittel und wenigstens einem Roboter
DE102016120386A1 (de) Verfahren zum Erkennen von Objekten in einem Lager und Flurförderzeug mit einer Einrichtung zum Erkennen von Objekten in einem Lager
DE102011086195A1 (de) Inspektionsverfahren
WO2007012314A1 (de) Vorrichtung zur kalibrierung einer kamera
DE102015013498A1 (de) Positionserfassungssystem zum Erfassen einer Position eines Gegenstands
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
DE102017126495B4 (de) Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters
EP3278318A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
DE102021123245A1 (de) Verfahren zum Validieren einer Kamerakalibrierung für einen beweglichen Roboterarm mittels eines Systems, Computerprogrammprodukt sowie System
DE102020206593A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens eines Sensors
EP3037780A1 (de) Verfahren zum Detektieren eines Messbereiches in einem Untergrund
DE102019102798A1 (de) Kombinieren zweier einzelner Robotermanipulatoren zu einem Robotersystem durch Kalibrieren
DE102014012724A1 (de) Schaltstellungs-Erfassung eines Kraftfahrzeuggetriebe-Gangschalthebels
DE102021000372A1 (de) Kalibrierkörper zum Kalibrieren einer Umgebungserfassungssensorik eines Fahrzeugs
DE102009049639A1 (de) Schaltungsanordnungen zum Ermitteln der Richtung und des Betrags eines Feldvektors
DE102018215316A1 (de) Kalibrierungssystem und Kalibrierungsverfahren für eine Fahrzeug-Erfassungseinrichtung
DE102019113169B3 (de) Verfahren und System zum Einblenden von Informationen in ein auf einem Bildschirm eines tragbaren Geräts dargestelltes Live-Bild
DE102007001745A1 (de) Joystick mit Haptik
EP4061585A1 (de) Kalibrierung einer impendanzregelung eines robotermanipulators
DE102016224456A1 (de) Verfahren zum Ausrichten von Bauteilen

Legal Events

Date Code Title Description
R163 Identified publications notified