-
Die
Erfindung betrifft ein System bzw. ein Verfahren zur Vorgabe von
Zielpunkten für eine Robotersteuerung nach Gattung der
unabhängigen Ansprüche.
-
Aus
der
DE 102 15 167
C1 ist beispielhaft eine Anordnung bekannt, bei der mit
Hilfe eines Laserpointers ein semiautonomes Robotersystem in Verbindung
mit einem weiteren Eingabegerät gesteuert werden kann.
Die Anordnung umfasst eine Kamera, die ein Arbeitsfeld überwacht
und einen Laserpointer zur Markierung von Objektpunkten in einem Arbeitsfeld.
Der Laserpointer sendet zum einen eine IR-Strahlung und über
eine Frequenzverdopplung eine grünes Laserlicht aus. Die
gemeinsame Lichterzeugung erlaubt eine kollinerare Abstrahlung,
so dass der Auftreffort beider Strahlungen übereinstimmt.
Eine Kamera überwacht den Arbeitsbereich und empfängt über
einen IR-Filter die IR-Strahlung des Laserpointers, wobei der Laserpunkt über
eine Bildverarbeitung erkannt wird.
-
Problematisch
ist jedoch, dass bei starkem IR-Fremdlicht der Laserpunkt nur schwer
vom Umgebungslicht zu unterscheiden ist.
-
Aufgabe
der Erfindung ist es, Lichtmarken mit einer hohen Erkennbarkeit
zur Verfügung zu stellen.
-
Die
Aufgabe wird in vorteilhafter Weise mit den Merkmalen der unabhängigen
Ansprüche gelöst, indem über eine Lichtquelle
Lichtmarken erzeugt werden, die als Steuerungspunkte für
ein Robotersystem bzw. einer Robotersteuerung herangezogen werden
können. Die Lichtmarken werden vorzugsweise innerhalb eines
Arbeitsbereiches des Roboters projiziert und von einer Kamera bzw.
einem Kamerasystem erfasst. Die Lichtquelle ist derart ausgestaltet,
dass die Lichtmarke mit einer Frequenz, die kleiner oder gleich
der halben Bildwiederholfrequenz der Kamera bzw. des Kamerasystems,
hell aufscheint. Durch Auswerten der vom Kamerasystem erfassten Bilder
wird die Lichtmarke erkannt.
-
Über
eine Bildverarbeitung bzw. Auswertevorrichtung wird die Lichtmarke
beispielsweise durch Differenzbildung eines Bildes mit hellgetaster
und eines Bildes mit dunkelgetasteter Lichtmarke erkannt. Als Differenzbild
bleibt im Wesentlichen die Lichtmarkeninformation übrig;
Streulichteinflüsse oder andere Störungen, die
beide Bilder gleichermaßen beeinflussen tragen nicht zum
Differenzbild bei.
-
Besonders
vorteilhaft ist die Lichtquelle mit Mitteln ausgestattet, die eine
Erzeugung von Lichtmarken unterschiedlicher Geometrie erlaubt. Bei
entsprechender Mustererkennung können durch die unterschiedlichen
Formen der Lichtmarken verschiedene Steuerungsaktionen des Robotersystems
oder ggf. Kamerasystems vorgegeben werden.
-
Insbesondere
können diese unterschiedlichen Formen für kooperierende
Robotersysteme verwendet werden, indem jedem Roboter eine oder mehrere
spezifische Lichtmarkengeometrien/-formen zugeordnet werden.
-
Vorzugsweise
strahlt die Lichtquelle ein Licht im Bereich von 350 bis 1100 nm
ab. Der IR-Bereich von 750 bis 1100 nm ist besonders vorteilhaft,
da viele Objekte im IR-Bereich eine höhere Reflektivität
als im sichtbaren aufweisen, wodurch die Erkennbarkeit der Lichtmarke
ggf. erhöht werden kann.
-
Die
Lichtmarke muss zwar nicht zwingend monochromatisch sein, werden
dennoch derartige Lichtquellen wie beispielsweise Laser oder LEDs
eingesetzt, erlaubt dies jedoch die Verwendung schmalbandiger Filter
bei der Erfassung der Lichtmarke, wodurch Störer weiter
unterdrückt werden können.
-
In
einer weiteren Ausgestaltung ist als Kamerasystem eine 3D-Kamera,
insbesondere eine Time-of-flight-Kamera, vorgesehen, so dass ohne
zusätzliche Kamera in vorteilhafter Weise sowohl zwei- als
auch dreidimensionale Informationen über eine einzige Kamera
gewonnen werden können.
-
Insbesondere
ist ein Zeigegerät vorgesehen, mit einer Lichtquelle, die
eine Lichtmarke mit kleiner oder gleich der halben Wiederholfrequenz
des Kamerasystems hell aufscheinen lässt.
-
Ferner
ist eine Kamera vorgesehen, die in vorteilhafter Weise eine Auswertevorrichtung
umfasst, die vorzugsweise derart ausgestaltet ist, dass die Lichtmarke
durch Differenzbildung eines Bildes mit hellgetasteter und eines
Bildes mit dunkelgetaster Lichtmarke erkannt wird.
-
Weiterhin
vorteilhaft lässt sich ein Roboter mit einem Manipulationsarm,
insbesondere Greifarm, zur Manipulation von Stückgut mit
dem oben beschrieben Steuerungssystem ausrüsten.
-
Es
zeigen:
-
1 ein
erfindungsgemäßes System zur Steuerung eines Roboters,
-
2 ein
mögliches 3D-Modell entsprechend der Objekte gem. 1,
-
3 schematisch
Bild- und Pulstakte einer Kamera und einer Lichtmarke.
-
1 zeigt
beispielhaft einen Roboter 10 mit einem Greifarm zur Manipulation
von Objekten 21, 22, 23 innerhalb einer
Sicherheitszelle 15. Eine Steuerung 12 des Roboters 10 ist
mit einer Kamera 40 verbunden, mit der zumindest einen
Teil der Sicherheitszelle 15 überwacht wird und
die vorzugsweise auch zur Erfassung und Erkennung der Objekte 21, 22, 23 dient.
-
Als
Kamera 40 bzw. Kamerasysteme kommen sowohl Systeme mit
rein zweidimensionaler Information als auch 3D-Kameras in Betracht.
Typische 3D-Systeme verwenden beispielsweise Stereo- oder Time-of-flight-Kameras.
Im Weiteren wird das System anhand einer 3D-Kamera beschrieben,
ohne jedoch das System hierauf einschränken zu wollen.
-
Im
dargestellten Fall wird von der 3D-Kamera 40 beispielhaft
ein Arbeitsbereich 20 mit drei Objektbereichen erfasst.
Im ersten und dritten Objektbereich 21, 22 befinden
sich zwei Einzelobjekte im zweiten Objektbereich nur ein Objekt.
Die 3D-Kamera erfasst Abstandswerte dieser Objekte, woraus ein entsprechendes
3D-Modell der Szene ermittelt wird. In 2 ist beispielhaft
ein Schnitt eines solchen 3D-Modells 25 dargestellt.
-
Während
die im zweiten und dritten Objektbereich 22, 23 dargestellten
Objekte vom Robotersystem typischerweise gut erkannt werden, wird
das System für die Objekte im ersten Objektbereich 21 keine
Entscheidung treffen können. Erfindungsgemäß ist
es vorgesehen, mit Hilfe von Lichtmarken dem Robotersystem eine
Entscheidungshilfe bzw. Steuerungsbefehle zukommen zu lassen. Im
dargestellten Beispiel wird über eine Lichtquelle 30 ein Lichtstrahl 35 auf
eine zur Manipulation geeignete Fläche eines Objekts im
ersten Objektbereich 21 gelenkt. Der Lichtstrahl 35 scheint
auf Objektoberfläche als Lichtmarke 50 auf und
wird von der Kamera 40 erfasst. Mit bekannter Kameraposition
lässt sich ein Sichtvektor 45 der Lichtmarke 50 bestimmen,
woraus sich, wie in 2 gezeigt, aus dem Schnittpunkt
des Sichtvektors 45 mit dem 3D-Modell 25 die räumliche Position
der Lichtmarke bestimmen lässt.
-
Die
Lichtquelle (30) ist vorzugsweise Bestandteil einer Zeigevorrichtung
(31). Die Zeigevorrichtung (31) kann insbesondere
Elemente zum Bedienen der Lichtquelle und Einstellen und Verändern der
Lichtmarken aufweisen. Vorzugsweise ist die Lichtquelle (30)
und/oder auch die Zeigevorrichtung (31) derart ausgestaltet,
dass unterschiedliche geometrische Formen als Lichtmarke projiziert
werden können. Insbesondere können die Formen über
Filter, Optiken oder Prismen erzeugt werden. Auch ist es denkbar, über
bewegte Optiken und/oder Spiegel unterschiedliche Geometrien zu
projizieren.
-
Je
nach Programmierung des Robotersystems kann die Lichtmarke beispielsweise
einen Greifpunkt markieren, so dass der Roboter nach Erkennen der
Lichtmarke auf diese zufährt und das Objekt dort aufgreift.
-
Insbesondere
kann es auch vorgesehen sein, dass Objekt am erkannten Ort der Lichtmarke zu
drehen oder zu verschieben. Eine solche Manipulation erlaubt es
beispielsweise, eine günstigere Verteilung der Objekte
für die Objekterkennung zu realisieren.
-
Das
System eignet sich insbesondere für Roboteranwendungen,
die auf Benutzerunterstützung angewiesen sind. Die Anwendung
ist jedoch nicht auf solche Systeme beschränkt. Insbesondere
ist das erfindungsgemäße Vorgehen auch für
ein vollautomatisches System interessant, da bei Störungen
auch hier in der Regel ein menschlicher Eingriff unumgänglich
ist. Ist hierzu die Sicherheitszelle des Roboters zu betreten, muss
notwendigerweise das Robotersystem gefahrlos geschaltet werden.
Der Einsatz von Lichtmarken erlaubt es, dem Robotersystem Steuerungs-
und/oder Zielpunkte innerhalb der Sicherheitszelle vorzugeben, ohne
diesen Bereich betreten oder das Robotersystem abstellen zu müssen.
-
Ein
typischer Anwendungsfall ist beispielsweise die Sortierung von Gepäckstücken.
Hierbei wird vom System zum einen die Szene dreidimensional erfasst
und über eine Objekterkennung die einzelnen Gepäckstücke
klassifiziert. Anhand der erfassten Daten wird ein Robotergreifer
an eine geeignete Greifstelle geführt und das Gepäckstück
in vorgegebener Weise sortiert. Aufgrund der Vielzahl möglicher Gepäckstücke
werden einige Objekte jedoch nicht eindeutig erkannt und die Steuerung
wartet auf eine manuelle Eingabe. In solchen Fällen ist
es üblich, das Robotersystem abzustellen und durch Betreten
der Sicherheitszelle das fragliche Objekt beispielsweise neu zu
positionieren oder ggf. manuell zu sortieren.
-
Erfindungsgemäß ist
es nun vorgesehen, den Sicherheitsbereich nicht zu betreten, sondern über
eine Lichtmarke dem Roboter Steuerungspunkte beispielsweise einen
geeigneten Manipulationspunkt oder Greifpunkt vorzugeben. Geeignete
Maßnahmen bei einer Erkennung der Lichtmarke sind in der
Steuerung hinterlegt, insbesondere kann es vorgesehen sein, dass über
unterschiedliche Lichtmarkierung unterschiedliche Manipulationen
ausgelöst werden können. So kann es auch vorgesehen
sein, dass über die Lichtmarkierung kein Greifpunkt angezeigt
wird, sondern das System dazu veranlasst wird, bestimmte Gepäckstücke
zu drehen oder zu verschieben, um beispielsweise eine bessere Ausgangssituation
für die Objekterkennung oder Greifbarkeit zu schaffen.
-
In
einer bevorzugten Ausführungsform wird die Lichtmarke mit
einer Frequenz gepulst, die kleiner oder gleich der halben Bildwiederholfrequenz
des verwendeten Kamerasystems ist. Das Kamerasystem nimmt somit
Lichtmarkenbilder I1 vom Objekt mit aufscheinender bzw. hellgetasteter
Lichtmarke und Objektbilder I2 ohne aufscheinende bzw. dunkelgetasteter
Lichtmarke auf. Durch Auswerten der Differenz zwischen Lichtmarken-
und Objektbilder (I1–I2) ist eine vorhandene Lichtmarke
deutlich zu erkennen. Insbesondere kann durch eine geeignete digitale
Filterung, die durch die Differenzbildung erhaltenen zeitlichen
Kanten gegenüber anderen Bewegungen im Bild weitgehend
herausgefiltert und die Erkennbarkeit der Lichtmarke weiter erhöht
werden.
-
3 zeigt
beispielhaft Bild- und Pulstakte der Kamera und der Lichtmarke.
Im unteren Diagramm sind Bildtakte B1 ... B4 der Kamera 40 und
im oberen Diagramm Pulstakte L1, L2 der Lichtmarke dargestellt.
Der Pulstakt ist hierbei mit dem Kameratakt synchronisiert. Im dargestellten
Beispiel wird in jedem zweiten Bildtakt B1, B3 ein Pulstakt L1,
L2 als Lichtmarkenbild I1 erfasst wird. Aus der Differenz zweier
aufeinander folgenden Bilder kann die Lichtmarke eindeutig erfasst
werden.
-
Die
Länge des Pulses der Lichtmarke kann innerhalb einer Bildtaktzeit
frei gewählt werden.
-
Es
sei bemerkt, dass während der Dunkeltastung die Lichtmarke
bzw. die Lichtquelle nicht vollständig ausgeschaltet werden
muss, sondern die Lichtmarke auch mit einer verminderten Helligkeit aufscheinen
darf. Bereits geringe Helligkeitsdifferenzen zwischen hell- und
dunkelgetaster Lichtmarke können für eine Erkennung
ausreichen. Zur Verbesserung der Robustheit gegenüber Störungen
ist jedoch eine möglichst große Helligkeitsdifferenz
bevorzugt.
-
Die
Synchronisierung von Lichtmarkenpuls und Bildtakt macht die Auswertung
und Erkennung der Lichtmarke besonders einfach. Prinzipiell ist
es jedoch auch denkbar, die Lichtmarke asynchron auszusenden. Zwar
erfordert dies einen etwas höheren Aufwand bei der Signalauswertung
verringert jedoch den Aufwand für die Synchronisation von
Kamera und Lasermarker.
-
Des
Weiteren kann über die Formgebung der Lichtmarkierung eine
weitere Information der Steuerung übermittelt werden. Beispielsweise
können ein Punkt, Kreis, Kreuz, Dreieck, Rechteck, Linie,
oder andere komplexere Muster für die Formgebung verwendet
werden. Die Unterscheidbarkeit der Lichtmarken kann insbesondere
für Systeme mit mindestens zwei kooperierenden Robotern,
die auf einen gemeinsamen Arbeitsbereich zugreifen, vorteilhaft eingesetzt
werden. So kann jedem Roboter bzw. jeder Robotersteuerung eine oder
mehrere Lichtmarkengeometrien zugeordnet werden. Die Lichtmarke wird
nur dann als Steuerungspunkt vom jeweiligen Robotersystem erkannt,
wenn auch die Geometrie der Lichtmarke mit der zugeordneten Geometrie übereinstimmt.
-
Darüber
hinaus kann die Geometrie der Lichtmarke auch dem Nutzer als Informationsquelle dienen.
Beispielsweise können Richtungsangaben an das Robotersystem über
eine als Pfeil dargestellte Lichtmarke dargeboten werden. Die Pfeilrichtung würde
dann vorzugsweise die gewünschte Richtung der Robotermanipulation
anzeigen.
-
Um
zu vermeiden, dass das Robotersystem bereits beim Aufscheinen der
Lichtmarke reagiert, kann die Lichtmarke beispielsweise zunächst
kontinuierlich ausgestrahlt werden. Ist die gewünschte Richtung,
Position etc. gefunden, kann über eine weitere Eingabe
die Lichtmarke erfindungsgemäß getaktet ausgegeben
werden.
-
Weiterhin
ist es auch denkbar, die Lichtmarke, die das Robotersystem erkennt,
und die Lichtmarke für den Benutzer in verschiedenen Wellenlängen auszustrahlen.
Die Lichtmarke für den Benutzer wird bevorzugt kontinuierlich
ausgestrahlt.
-
Die
Lichtmarkengeometrien sind vorzugsweise so gewählt, dass
die geometrische Form auch auf unebenen oder geneigten Oberflächen
von einer Bilderkennung ohne weiteres erkannt werden kann. Die Formen
Punkt, Kreis, Kreuz, Dreieck, Linie sind hier in der Regel unproblematisch.
Komplexere Formen sind im Hinblick auf gute Erkennbarkeit auszuwählen.
-
Prinzipiell
ist es auch möglich, anhand der auf das Objekt oder auf
die Szene projizierten Lichtmarke auch Aussagen über beispielsweise
Lage und Neigung des Objektes zu ermitteln.
-
Des
Weiteren ist es auch denkbar, als Unterscheidungsmerkmal die Wellenlänge
des Lichts, die Pulsdauer und/oder die Taktfrequenz der Lichtmarke vorzugeben.
-
Als
Lichtquelle für die Lichtmarkierungen eignet sich jede
Lichtquelle, die in einem geeigneten Maße gepulst werden
kann, Einfarbigkeit ist nicht notwendig.
-
Bei
Verwendung eines monochromatischen Lichts, insbesondere eines Lasers
oder einer LED, ergibt sich jedoch aufgrund der spektralen Schmalbandigkeit
eine besondere Unempfindlichkeit gegenüber äußeren
Störungen, da beispielsweise ein entsprechender Spektralfilter
für eine Kamera des Systems oder einer separaten Lichtmarkenerfassungskamera
verwendet werden kann.
-
Als
spektrale Filter kommen sowohl Bandpass- als auch Langpassfilter
in Betracht. Ein Langpassfilter ist insbesondere für Lichtmarkierungen
im IR-Bereich interessant. Die untere Kante des Langpasses kann
beispielsweise bei ca. 750 nm gelegt werde. Da zudem Detektoren
auf Siliziumbasis nur bis ca. 1100 nm empfindlich sind, lässt
sich somit auf einfache Art und Weise ein Bandpass realisieren.
-
Wie
bereits erwähnt können als Kamera 40 bzw.
Kamerasystem sowohl 2D- als auch 3D-Kameras, wie beispielsweise
Stereo- oder Time-of-flight-Kameras eingesetzt werden. Insbesondere
eignen sich zur dreidimensionalen Erfassung Kameras mit so genannten
Photomischdetektoren (PMD), wie sie beispielsweise von der Firma
,ifm electronic gmbh' als Frame-Grabber O3D101 – M01594
zu beziehen sind.
-
Das
Prinzip der Photomischdetektion ist beispielsweise aus der
DE 197 04 496 bekannt.
Der optische Sensor umfasst eine Lichtquelle und einen Photosensor,
die beide synchron mit einer Modulationsfrequenz beaufschlagt werden.
Die moduliert emittierte Strahlung wird vom Objekt reflektiert und entsprechend
der Lichtlaufzeit phasenverschoben vom Photosensor empfangen. Der
Photosensor weist im Wesentlichen zwei Sammelelektroden auf, die
synchron zur Modulationsfrequenz getaktet, abwechselnd die erzeugten
Photoladungen aufnehmen können. Das Verhältnis
der Ladungen der Sammelelektroden ist hierbei ein Maß für
die Phasenverschiebung, aus der sich dann ein Objektabstand ermitteln lässt.
-
Insbesondere
kann auch ein Kamerasystem vorgesehen sein, das zum einen über
eine 2D-Kamera die Szenerie und über eine 3D-Kamera eine
dreidimensionale Information erfasst. Die Lichtmarkeninformation
kann dann ggf. vorteilhaft von beiden Kameras erfasst werden.
-
Eine
Kombination einer 3D- und 2D-Kamera erlaubt dem Robotersystem sein
3D-Modell regelmäßig zu aktualisieren und die
erkannten Objekte innerhalb des 3D-Modells einzuordnen. Da die genaue Position
der 3D- und 2D-Kamera dem Robotersystem bekannt ist, kann aus der
Bildinformation einer erkannten Lichtmarke für jede Kamera
ein Sichtvektor der Lichtmarke bestimmt werden. Aus dem Schnittpunkt
des Lichtmarkensichtvektors mit dem 3D-Modell kann der tatsächliche
Ort der Lichtmarke bestimmt werden.
-
Vorteilhaft
kann eine Lichtmarke auch über ein Stereokamerasystem erfasst
werden.
-
Die
Verwendung von Lichtmarken erlaubt es auch in vorteilhafter Weise
Dejustagen des Kamerasystems oder ggf. auch des Robotersystems zu
erkennen. Wird die Lichtmarke von zwei Kameras erfasst, sollten
bei einer korrekten Justage die Lichtmarkensichtvektoren beider
Kameras das 3D-Model am selben Ort schneiden. Weicht der Schnittpunkt stark
voneinander ab, so ist davon auszugehen, dass mindestens eine Kamera
dejustiert ist.
-
Bei
Verwendung von Lichtmarken in einem nicht sichtbaren Wellenlängenbereich
ist es vorteilhaft, die Lichtmarke mit sichtbarem Licht zu überlagern,
so dass die Position der Lichtmarken für den Benutzer erkennbar
ist. Dieses überlagerte Licht wird vorzugsweise nicht gepulst,
sondern kontinuierlich ausgestrahlt.
-
Unabhängig
vom Kamerasystem kann es prinzipiell von Vorteil sein, die Lichtmarke
im Infrarotem zu erzeugen und zu detektieren, da viele Materialien,
die im Sichtbaren dunkel erscheinen im IR-Bereich eine deutlich
höhere Reflektivität besitzen.
-
Sinnvolle
Wellenlängen für die Lichtmarken liegen zwischen
350 bis 1100 nm, wobei Wellenlängen von größer
750 nm besonders günstig sind.
-
Die
typischen Frequenzen für eine optische Kamera liegen zwischen
5 Hz und 1 kHz. Liegen die Lichtpulse im sichtbaren Wellenlängenbereich
sind Kamerafrequenzen größer 100 Hz bevorzugt,
so dass die Pulse der Lichtmarken mit einer Frequenz größer
50 Hz ausgesendet werden und für das Auge als kontinuierliches
Lichtsignal wahrgenommen werden. Besonders vorteilhaft sind Kamerabildfrequenzen
zwischen 50 bis 150 Hz. Selbstverständlich ist es auch
denkbar, die Lichtmarken- und Objektbilder als Halbbilder zu erfassen.
-
In
einer weiteren Ausgestaltung ist es vorgesehen, dass das Robotersystem
dem Benutzer problematische Objekte anzeigt. Dies kann beispielsweise über
ein Kontrollmonitor erfolgen. In einer bevorzugten Variante verwendet
das Robotersystem selbst eine Lichtmarke zur Signalisierung eines
problematischen Objekts. Über die Form oder Art der signalisierenden
Lichtmarke kann darüber hinaus auch der Fehlertyp dargestellt
werden, auf den der Benutzer dann adäquat reagieren kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 10215167
C1 [0002]
- - DE 19704496 [0045]