-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung eines Effektors bzw. Werkzeugs in Bezug auf eine vorbestimmte Manipulationsstelle bzw. in Bezug auf ein Element eines Werkstücks. Weitere Ausführungsbeispiele betreffen ein Assistenzsystem zur Unterstützung eines Benutzers, der einen Effektor an einem zu manipulierenden Objekt einsetzt. Im Allgemeinen betreffen Ausführungsbeispiele der Erfindung das Gebiet der industriellen Montage und Qualitätssicherung, z. B. die Qualitätssicherung in der Produktion und manuellen Montage, die menschliche Inspektion lackierter Oberflächen, die Überprüfung von Schweißnähten oder Bolzen oder die Überprüfung des Festziehens von Verschraubungen/Muttern.
-
Aufgrund immer komplexer werdender Arbeitsschritte steigen die Anforderungen an die Qualitätssicherung insbesondere für manuelle Montage und manuelle Fertigung zunehmend. Ein Beispiel für solche im industriellen Umfeld zum Einsatz kommenden Qualitätssicherungsmechanismen ist die Dokumentation von Lackierfehlern auf lackierten Oberflächen durch Zeigegesten.
-
Ein weiterer, seit Jahrzehnten im Einsatz befindlicher Ansatz, mittels welchem insbesondere sicherheitskritische Arbeiten, wie z. B. die Montage von Hydraulikschläuchen, unterstützt werden, besteht darin, dass Verschraubungen mit einem vorgegebenen Drehmoment unter Zuhilfenahme eines Drehmomentschlüssels verschlossen werden. Derartige Qualitätssicherungsmechanismen verzichten häufig auf die Positionsinformation und kontrollieren lediglich den Kraftaufwand beim Festziehen. Je nach Anwendungsfall bzw. komplexer Montageprozedur besteht, insbesondere bei der manuellen Montage häufig das Problem sicherzustellen, dass alle vorgesehenen Montageschritte durchgeführt wurden. Konkret heißt das, dass zwar mittels des Drehmomentschlüssels der Kraftaufwand gemessen und kontrolliert werden kann, nicht aber die Position des Werkzeugs selbst nachvollziehbar ist.
-
Hierfür bietet sich der Einsatz von beispielsweise funkbasierten Lokalisierungssystemen an: bei diesen wird ein sogenanntes „Tag” an dem zu messenden Objekt befestigt, wobei dann über Funkmesssysteme dessen 3D-Position im Erfassungsraum bzw. in dem von den Transmittern aufgespannten Raum verfolgt werden kann. In Umgebungen mit hohem metallischem Anteil, wie z. B. dem Maschinenbau oder dem Fahrzeugbau, ist diese Methode jedoch aufgrund von störenden Reflexionen relativ ungenau und unbefriedigend.
-
Es wurde schon versucht, mit Kameras, die in dem Arbeitsraum befestigt sind, das Werkzeug bzw. auch das Werkstück kamerabasiert zu lokalisieren. Solche Systeme bieten jedoch den Nachteil, dass je nach aktueller Situation, umfassend die Kameraperspektive, die Benutzung des Werkzeugs, die Umgebungsbedingungen und/oder die Körperhaltung des Mitarbeiters, der gerade die Montage durchführt, das Werkzeug oder Werkstück teilweise oder vollständig verdeckt wird, so dass der Ort der Manipulation nicht sichtbar ist. Somit ist es praktisch unumgänglich, dass für jeden Montageschritt, der einem typischerweise fest vorgegebenen Bewegungsmuster folgt, es nur eine oder zumindest nur ein paar wenige, mögliche (optimale) Kamerapositionen gibt. Infolgedessen ist das System nicht ohne weiteres auf neue Anwendungsfälle bzw. neue Montageprozeduren übertragbar, da dann die Position der Kameras neu bestimmt und angepasst werden muss. Deshalb besteht der Bedarf nach einem verbesserten Ansatz.
-
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zu schaffen, welches die zuverlässige Feststellung ermöglicht, ob ein Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt angesetzt wurde.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst.
-
Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren zum Erfassen, ob ein Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts angesetzt wird. Hierzu wird in einem ersten Schritt ein Bild erfasst und in einem zweiten Schritt basierend auf dem erfassten Bild bestimmt, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt. Das Erfassen des Bilds erfolgt durch eine an dem Benutzer des Effektors angeordnete Kamera und/oder durch eine an dem Effektor angeordnete Kamera, wobei das Bild zumindest einen Teil einer Arbeitsumgebung wiedergibt, in welcher der Effektor und das zu manipulierende Objekt angeordnet sind. Ferner umfasst das Bild zumindest einen Teil des Effektors und zumindest einen Teil des zu manipulierenden Objekts.
-
Ausführungsbeispielen der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ausgehend von einem Bild aus der Perspektive des Effektors (Werkzeugs) oder aus der Perspektive des Nutzers (Monteur) eine zuverlässige Ermittlung dahin gehend möglich ist, ob und wie der Effektor gegenüber der zu manipulierenden Stelle (also z. B. der Schraubenschlüssel gegenüber der festzuziehenden Schraube) angesetzt bzw. benutzt wurde. Diese zwei Perspektiven (Benutzer-geführte Kameraperspektive und Effektor-geführte Kameraperspektive) haben sich als besonders vorteilhaft erwiesen, da für diese Perspektiven davon auszugehen ist, dass der Effektor und/oder die Manipulationsstelle nicht durch andere Gegenstände verdeckt ist. Weiter ermöglicht ein System, das auf obigem Verfahren basiert, die Einsetzbarkeit unabhängig von Effektor und Objekt, so dass sich das System auf vielfältige Anwendungsfälle in Produktion oder ähnlichen Domänen übertragen lässt.
-
Entsprechend weiteren Ausführungsbeispielen der Erfindung erfolgt das Bestimmen, ob der Effektor die korrekte Position einnimmt basierend auf einer Position des Effektors und der Manipulationsstelle zueinander in dem erfassten Bild. Hierbei wird also entsprechend weiteren Ausführungsbeispielen sowohl die Position des Effektors als auch der Manipulationsstelle zueinander erfasst. An dieser Stelle sei ferner angemerkt, dass es nicht zwingend erforderlich ist, dass der gesamte Effektor bzw. die gesamte Manipulationsstelle erfasst werden muss, sondern dass das Detektieren auch nur zumindest einen Teil des Effektors bzw. zumindest einen Teil der vorbestimmten Manipulationsstelle umfassen kann. Entsprechend weiteren Ausführungsbeispielen kann das Erfassen darauf basieren, dass ein Merkmal (unter Zuhilfenahme einer Bildverarbeitung) in dem Bild erfasst wird. Entsprechend Ausführungsbeispielen kann das Merkmal ein Leuchtmittel sein oder eine andere Art von Marker, wie z. B. ein farbiger Marker. Alternativ zu dem einzelnen Erkennen des Effektors und der Manipulationsstelle kann das Ermitteln einer korrekte/inkorrekten Position zwischen Effektor und Manipulationsstelle, was Rückschluss auf eine korrekte Bedienung zulässt, darauf basieren, dass ein vorher abgespeichertes Bild mit dem aktuell erfassten Bild verglichen wird, um hierbei einen gewissen Übereinstimmungsgrad zu ermitteln.
-
Ausgehend von der nun vorhandenen Information bezüglich der korrekten Position des Effektors und der Manipulationsstelle zueinander kann diese Information dem Benutzer entweder direkt angezeigt werden (d. h. also beispielsweise in Echtzeit während der Manipulation) oder es kann ihm auch selektiv nur eine Warnung ausgegeben werden, für den Fall, dass eine inkorrekte Position vorliegt. Des Weiteren wäre es auch denkbar, dass dem Benutzer eine Information bezüglich der Reihenfolge der vorgegebenen Manipulationsstellen gegeben wird.
-
Entsprechend weiteren Ausführungsbeispielen kann es, auch wenn das System bereits mit einer Kamera funktionsfähig ist, sinnvoll sein, dass Effektor und Manipulationsstelle (also das oben definierte Bild) zusätzlich von der zweiten Kamera aus einer zweiten Perspektive erfasst werden, um so die Erkennungsgenauigkeit zu verbessern.
-
Weitere Ausführungsbeispiele schaffen eine Vorrichtung zur Erfassung, ob der Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt angesetzt wurde. Die Vorrichtung umfasst zumindest eine Kamera, die eben oben definiertes Bild aufnimmt und eine Datenverarbeitungseinheit. Die Datenverarbeitungseinheit ist ausgebildet, um das durch die Kamera erfasste Bild zu empfangen und um eine Bildverarbeitung derart zu bewirken, basierend auf dem erfassten Bild zu bestimmen, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt.
-
Entsprechend weiteren Ausführungsbeispielen kann die Vorrichtung auch die oben definierten Verfahren bzw. Unterverfahrensschritte ausführen.
-
Entsprechend weiteren Ausführungsbeispielen kann obige Vorrichtung auch zumindest zwei unterschiedlich angeordnete Kameras, d. h. beispielsweise zwei Kameras aus zwei unterschiedlichen Perspektiven oder eine an dem Effektor befestigte Kamera und eine benutzergeführte Kamera umfassen.
-
Weitere Ausführungsbeispiele schaffen ein Assistenzsystem mit obiger Vorrichtung und einer Ausgabeeinheit, die konfiguriert ist, um ansprechend auf die erfasste Position des Effektors bezüglich der vorbestimmten Manipulationsstelle eine Information an den Benutzer auszugeben. Die Informationsinhalte können den obigen Varianten entsprechen.
-
Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen definiert. Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand der beiliegenden Zeichnungen erläutert. Es zeigen:
-
1 eine schematische Konstellation, z. B. aus der Montage, zur Illustration des Verfahrens zum Erfassen der korrekten Position zwischen Effektor und zu manipulierendem Objekt gemäß einem Basisausführungsbeispiel;
-
2 eine weitere schematische Konstellation zur Illustration des Verfahrens gemäß einem erweiterten Ausführungsbeispiel;
-
3 eine schematische Darstellung eines Kamerabilds zur Illustration des Erkennens von Effektor und/oder zu manipulierenden Objekt;
-
4 ein schematisches Flussdiagramm des Verfahrens zur Erfassung gemäß einem Ausführungsbeispiel;
-
5 ein schematisches Blockdiagramm einer Vorrichtung zur Erfassung gemäß einem Ausführungsbeispiel sowie ein entsprechendes Assistenzsystem gemäß einem weiteren Ausführungsbeispiel.
-
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Figuren erläutert werden, sei darauf hingewiesen, dass gleiche Elemente oder Strukturen mit gleichen Bezugszeichen versehen sind, so dass die Beschreibung derer austauschbar bzw. aufeinander anwendbar ist.
-
1 zeigt eine Arbeitsumgebung 10, wie z. B. einen Arbeitsraum, in welchem mittels eines Effektors 12 (wie z. B. eine Lackier-Pistole oder ein Schraubenschlüssel bzw. allgemein ein Werkzeug) ein Objekt 14 (wie z. B. ein zu lackierendes Werkstück oder eine festzuziehende Schraube) manipuliert (bearbeitet) werden soll. Die Manipulation erfolgt hier in diesem Ausführungsbeispiel manuell, d. h., dass der Bediener 16 den Effektor 12 direkt führt. Des Weiteren ist in dem Arbeitsraum 10 zumindest eine Kamera 18 vorgesehen, welche z. B. durch den Nutzer derart getragen wird und dazu geeignet ist, ein Bild zu erfassen, das zumindest einen Teil der Arbeitsumgebung 10 wiedergibt, in der der Effektor 12 und das zu manipulierende Objekt 14 angeordnet sind. Um genau zu sein, ist die Kamera 18 derart angeordnet, dass in dem Bild 20 zumindest ein Teil des Effektors 12 und zumindest ein Teil des zu manipulierenden Objekts 14 abgebildet wird, wie anhand der gestrichelten Linien dargestellt ist. Ein Anbringungsort, der diesen Voraussetzungen sehr gut gerecht wird, ist einerseits der Effektor 12 selbst oder andererseits der Nutzer, z. B. mittels einer kopfgetragenen Kamera (Helmkamera oder Brillenkamera). An dieser Stelle sei auch angemerkt, dass im Falle der Kameraanordnung an dem Effektor bevorzugt, aber nicht zwingend, ein Teil des Effektors in dem Bild 20 vorhanden sein muss.
-
Der Monteur 16 vollzieht mittels des Effektors 12 eine Manipulation an dem zu manipulierenden Objekt 14. Hier ist es beispielsweise aufgrund des Montageablaufs erforderlich, dass die Manipulationsstelle 14a bearbeitet wird, wobei das Werkzeug nur entsprechend einer oder mehrere Konstellationen (die auch je nach Werker variieren können) korrekt angesetzt werden kann. Ein Beispiel hierfür ist das Montieren bzw. Aufziehen eines Zahnriemens, welcher nur bis zu einem maximalen Punkt gedehnt werden darf, oder die Verwendung einer Lackierpistole als Effektor beim Lackieren einer glatten Oberfläche, wobei ein vorgegebener Abstand eingehalten werden muss. Bei derartigen Tätigkeiten kann der Monteur 16 mittels der Kamera 18 beobachtet werden, wobei das Kamerabild 20 zur Auswertung und Protokollierung der Tätigkeit bzw. auch zur Unterstützung des Benutzers 16 herangenommen werden kann, wie nachfolgend erläutert wird.
-
Um diese Funktionalität zu ermöglichen, läuft im Hintergrund zu dem Montagevorgang ein Verfahren zur Erfassung, ob der Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt (d. h. z. B. im richtigen Winkel oder im richtigen Abstand) angesetzt wird. Diese Erfassung basiert auf dem oben erläuterten Bild 20, wobei dann im Bild eine Relativposition zwischen dem Effektor 12 und dem Objekt 14 beziehungsweise um genauer zu sein, der Manipulationsstelle 14a ermittelt wird. Diese Relativposition kann sich beispielsweise auf einen Winkel zwischen dem Effektor 12 und dem Objekt 14 beziehen oder auf eine Position zwischen dem Effektor 12 und der Manipulationsstelle 14a und wird typischerweise als Koordinate (Abstand oder Versatz) in einem sich zusammen mit dem Effektor 12 bewegenden Koordinatensystem dargestellt.
-
Entsprechend den Ausführungsbeispielen kann ausgehend von dem erfassten Bild entweder eine Relativposition zwischen der Manipulationsstelle 14a und dem Effektor 12 direkt ermittelt werden oder es kann eine (z. B. absolute) Position des Effektors 12 getrennt von der Manipulationsstelle 14a ermittelt werden und in Relation zueinander gesetzt werden. Alternativ wäre es auch denkbar, dass das mittels der Kamera 18 erfasste Bild mit einem vorher aufgenommenen Bild, das die korrekte Position zwischen Effektor 12 und Manipulationsstelle 14a zeigt, verglichen wird.
-
Bezug nehmend auf 2 werden nun nachfolgend mögliche Kamerapositionen für die Kamera 18 zusammen mit deren Vor- und Nachteilen erläutert.
-
2 zeigt Arbeitsumgebung 10 mit dem Benutzer 16, dem zu manipulierenden Objekt 14 (z. B. zu lackierende bzw. auszubessernde Karosserie, Schweißobjekt, Bauelement mit Hydraulikschläuchen oder Motorblock) sowie den Effektor 12 (z. B. Prüfwerkzeug, Handwerkzeug, Handschweißgerät, Lackierpistole oder Drehmomentschlüssel). Des Weiteren ist auf dem Objekt 14 zumindest eine Manipulationsstelle 14a markiert. Um diese Manipulationsstelle 14a zusammen mit dem Effektor 12 zu beobachten, gibt es mehrere unterschiedliche Kamerapositionen, nämlich die Kamerapositionen 18'' und 18'''. Die Vor- und Nachteile der einzelnen Kamerapositionen der Kameras 18'' und 18''' werden nachfolgend sowohl im Hinblick auf den Einsatz nur einer Kamera als auch im Hinblick auf den Einsatz von zumindest zwei Kameras erläutert.
-
Die Kamera 18'' ist an dem Effektor selbst angeordnet, so dass sie den Effektor 12 selbst oder zumindest seinen Blickwinkel anzeigt. Kameraposition 18''' repräsentiert eine benutzergeführte, z. B. kopfgetragene(Helm-/Brillen-)Kamera. Die Position 18''', aber bedingt auch die Position 18'' bieten den Vorteil, dass die Kameras 18'''/18'' immer die aktuelle Manipulationsstelle 14a zusammen mit dem Effektor 12 im Blick haben, wenn diese bearbeitet wird. Der Kopf des Nutzers 16 stellt eine zu bevorzugende Position am Benutzer 16 dar, da sich so der Blickwinkel der benutzergeführten Kamera 18''' gleichsam mit dem Blickwinkel des Benutzers 16 verhält. Da davon auszugehen ist, dass der Benutzer 16 immer die Manipulationsstelle 14a im Zusammenhang mit dem Effektor 12 im Blick hat, umfasst das Bild der Kamera 18''' exakt die angestrebten Bildinhalte. In anderen Worten ausgedrückt heißt das, dass die Kamera 18''' als kopfgetragenes System die Egoposition darstellt und so die Möglichkeit bietet, dem Werker direkt in seiner Bewegung zu folgen.
-
Beide Kameraperspektiven 18'' und 18''' bieten gerade bei Arbeiten, bei denen das Werkzeug, z. B. in einen Motorblock eingeführt werden muss, um eine Schraube festzuziehen, den Vorteil, dass immer eine gute und ständige Sicht auf die Aktionsposition gewährleistet ist, was bei herkömmlichen Anbringungen von Kameras in der Arbeitsumgebung 10 nicht möglich wäre.
-
In Bezug auf die nutzergetragene Kamera 18''', die immer mit der Bewegung des Werkers 16 gekoppelt ist, kann entsprechend optionalen Ausführungsbeispielen der Effektor 12 wie folgt lokalisiert werden. Zunächst wird in einem relativen Koordinatensystem der sich mitbewegenden Kamera der Effektor 12 im Kamerabild der Kamera 18''' erkannt. Um nun diese Position in die 3D-Koordinaten der Arbeitsumgebung 10 zu übertragen, wird die Kameraposition der Kamera 18''' in die Arbeitsumgebung 10 kalibriert. Das kann z. B. dadurch geschehen, dass die Kamera 18''' neben dem Werkzeug 12 auch gewisse Merkmale in der Umgebung wahrnimmt, anhand derer sie die (absolute) Position bzw. Blickrichtung ermittelt. Beispiele hierfür sind in der Arbeitsumgebung 10 angebrachte Marken oder bestimmte Areale der Umgebung 10, die vorbekannt sind und deshalb detektiert und wiedererkannt werden können.
-
In Bezug auf die Kamera 18'' sei angemerkt, dass diese sich selbst für Situationen, in denen der Werker selbst keine Sicht mehr auf das Werkzeug 12 hat, eignet. Hierfür gelte es nicht den Effektor 12 selbst zu lokalisieren, sondern seine Position aus Sicht auf die Umgebung 10 zu schlussfolgern. Dies kann analog zu der Positionserkennung der Kamera 18''' über Merkmale in der Umgebung 10 (wie z. B. vorhandene Marken oder wiedererkannte Kanten, Farbfehler, Areale oder andere Merkmale, die mittels Bildverarbeitung detektiert werden können) geschehen.
-
Entsprechend Ausführungsbeispielen ist auch der gleichzeitige Einsatz von beiden Kameras 18'' und 18''' denkbar.
-
Entsprechend weiteren Ausführungsbeispielen sind die eine oder mehreren Kameras 18'' und 18''' mit einem Daten-/Bildprozessor 32 oder einem Assistenzsystem 40 (per Kabel oder per Funk) gekoppelt. Daten-/Bildverarbeitungseinheit 32 und Assistenzsystem 40 werden in Bezug auf 5 erläutert.
-
Nachfolgend wird Bezug nehmend auf 3 der Vorgang des Erkennens des Effektors sowie des Erkennens der Manipulationsstelle in dem Bild 20 erläutert.
-
3 zeigt ein Bild 20''' von einer Arbeitsumgebung 10, in welcher sich das zu manipulierende Objekt 14 mit der Manipulationsstelle 14a befindet. Das Bild 20''' ist mittels einer benutzergeführten Kamera (vgl. 18''') aufgenommen, so dass im Wesentlichen drei Bildinhalte von dem Bild umfasst sind. Die Bildinhalte sind ein Ausschnitt der Arbeitsumgebung 10, hier insbesondere eine Ecke des Raums, der Effektor 12 sowie das zu bearbeitende Objekt 14 mit der Manipulationsstelle 14a. Aus diesem Blickwinkel ist bei Bewegung des Effektors 12, z. B. zu der Manipulationsstelle 14a, der Effektor 12 immer bzw. zumindest in der Regel mit umfasst, solange der Benutzer in Richtung Effektor 12 und Objekt 14 blickt. Hierdurch kann erkannt werden, ob der Effektor 12 gegenüber der Manipulationsstelle 14a korrekt angesetzt ist.
-
Nimmt der Effektor 12 die korrekte Position für die beabsichtigte Aktion ein, erkennt dies ein sogenannter „Klassifikator”. Der Klassifikator dient nicht dazu, die Position des Werkzeugs an sich zu bestimmen, sondern lediglich das Erreichen einer korrekten Position für diesen Arbeitsschritt. D. h. also, dass der Klassifikator erkennt, ob eine Manipulation einer Manipulationsstelle durchgeführt wird und um welche Manipulationsstelle es sich dabei handelt. Dies kann auch das Erkennen des Erreichens einer korrekten Position mit dem Manipulator für diesen Arbeitsschritt beinhalten. Die Klassifikation kann entweder dadurch erfolgen, dass eine Relativposition zwischen Effektor 12 und Manipulationsstelle 14a ermittelt wird oder dass die Positionen von Effektor 12 und Manipulationsstelle 14a einzeln ermittelt werden und zueinander in Beziehung gesetzt werden. An dieser Stelle sei ferner angemerkt, dass unter dem Begriff „in Beziehung setzen” bzw. „Relativposition ermitteln” auch ein eingeschlossener Winkel zwischen den Elementen oder ein Winkel des Effektors gegenüber dem Horizont um den Drehpunkt bzw. um den Wirkpunkt 14a verstanden werden kann. Alternativ wäre es auch denkbar, dass die Ermittlung von Effektor 12 zu Manipulationspunkt 14a auch durch einen einfachen Mustervergleich, nämlich durch Vergleich des aktuell aufgenommenen Bilds 20''' mit einem vorher aufgenommenen Bild, welches die richtige Positionierung von Effektor 12 zu Manipulationsstelle 14a darstellt, erfolgen kann. Das heißt also, dass die Detektion anhand von erfassten Merkmalen in der Umgebung geschehen kann oder, um genau zu sein, indem ein Klassifikator, wie z. B. ein neuronales Netz, mit Trainingsbildern von konkreten Ansichten der Umgebung 10 eingelernt wurde, und dieses Einlernergebnis nun auf das aktuelle Bild 20''' anwendet.
-
Sichten, die die falsche bzw. nicht korrekte Positionierung an der Manipulationsstelle 14a abbilden, werden vom Klassifikator als FALSCH beschrieben. Sichten, die eine korrekte Ansicht beschreiben, wie z. B. eine vorgegebene Perspektive auf eine festzuschraubende Mutter, an die das Werkzeug gefahren wird oder eines Ventils, das an der Mutter befestigt ist, werden als RICHTIG beschrieben. Im Gegensatz zu einer Positionsmessung wird nicht die Koordinate des Effektors gemessen, sondern die beobachtete Umgebung inklusive Manipulationsstelle 14a und Werkzeug auf RICHTIG oder FALSCH unterschieden oder alternativ mit Wahrscheinlichkeiten zwischen 0 und 1 oder ähnlichen Messwerten beschrieben. Die absolute Position von Manipulationsstelle 14a bzw. Effektor 12 interessiert in erster Linie nicht, sondern lediglich das Erkennen des Ansetzens des Effektors/Werkzeugs 12 und Arbeitens mit diesem an der Manipulationsstelle 14a.
-
An dieser Stelle sei auch angemerkt, dass entsprechend weiteren Ausführungsbeispielen das Erkennen des Effektors beispielsweise durch sogenannte „Marken”, wie z. B. Leuchtmittel oder farbige Markierungen unterstützt werden kann. Diese Marken sind, in 3 mittels Strichen angedeutet, an dem Effektor 12 angebracht.
-
Nachfolgend wird Bezug nehmend auf 4 ein Flussdiagramm des Verfahrens zur Erfassung, ob ein Effektor durch einen Benutzer korrekt angesetzt wurde, beschrieben.
-
4 zeigt das Verfahren 100 mit dem Basisschritt 102 sowie dem Basisschritt 104. Das Umfeld des angewendeten Verfahrens lässt sich wie folgt beschreiben: Ein Mitarbeiter führt einen Effektor (Hand, Handwerkzeug, Werkzeug ...) zu einer Manipulationsstelle an einem Objekt (lackierte Karosserie, Schweißobjekt, Bauelement mit Hydraulikschläuchen, Motorblock, ...), um dort eine Tätigkeit (Zeigegeste, Markierung mit einem Stift, Schleifen oder Polieren mit einem Handgerät, Schrauben mit einer Schraube, ...) durchzuführen. Damit ein automatisches, technisches Assistenzsystem dem Mitarbeiter bei der Erfüllung der Aufgabe behilflich sein kann, muss das System die Aktion des Mitarbeiters nachvollziehen können, was, wie oben bereits erläutert, unter Zuhilfenahme eines Kamerasystems oder unter Zuhilfenahme zumindest einer Kamera erfolgt.
-
Hierzu umfasst das Verfahren 100 den Basisschritt 102 des „Erfassens eines Bilds durch eine an den Benutzer des Effektors angeordnete Kamera und/oder durch eine an dem Effektor angeordnete Kamera”, wobei das Bild zumindest einen Teil einer Arbeitsumgebung wiedergibt, in der der Effektor und das zu manipulierende Objekt angeordnet sind (wobei das Bild zumindest einen Teil des Effektors und zumindest einen Teil des zu manipulierenden Objekts umfasst). Um nachzuvollziehen, an welcher Stelle der Mitarbeiter den Effektor ansetzt und wo er somit die Aktion durchführt (wo er an der Karosserie den Schleifer oder den Polierer anwendet, wo er den Schrauber im Motorblock ansetzt oder wo er mit dem Stift die Markierung vornimmt), umfasst das Verfahren 100 den zweiten Basisschritt 104 des „basierend auf dem erfassten Bild, Bestimmens, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt”.
-
Ausgehend hiervon kann in dem Verfahren, z. B. unter Zuhilfenahme eines Assistenzsystems dann der optionale Schritt 106 folgen. In diesem Schritt 106 erfolgt das „Protokollieren bzw. das Überprüfen, ob die richtige Stelle bearbeitet wurde”, um sicherzustellen, dass z. B. alle im Motorblock anzubringenden Schrauben richtig festgezogen und/oder alle Fehlstellen an der Karosserie korrekt ausgebessert sind. Nach diesem Schritt 106 kann ein weiterer optionaler Schritt 108 des „Ausgebens eines Hinweises an den Nutzer” in Abhängigkeit von dem festgestellten Ergebnis aus den Schritten 104 oder 106 angeschlossen sein.
-
5 zeigt eine Vorrichtung 30, die obiges Verfahren ausführt. Die Vorrichtung 30 umfasst zumindest eine Datenverarbeitungseinheit 32 und eine Kamera 18 bzw. ist mit dieser gekoppelt. Die Kamera 18 führt den Schritt 102 durch, während die Datenverarbeitungseinheit 32 den Schritt 104 durchführt. Hierzu umfasst die Datenverarbeitungseinheit 32 typischerweise einen Prozessor, wie z. B. eine CPU. Die Vorrichtung 30 kann durch Hinzufügung einer weiteren Einheit 34, wie z. B. einer Ausgabeeinheit zu einem Assistenzsystem erweitert sein, das dazu ausgebildet ist, dem Benutzer die entsprechenden Hinweise (wie z. B. einen Warnton, wenn das Werkzeug nicht in der richtigen Reihenfolge oder an der vorgegebenen Position angewandt wird) auszugeben, wie im Schritt 106 angezeigt ist. Hierzu wird dann der Schritt 104 des Protokollierens und Überprüfens, ob die entsprechend zu beobachtenden Schritte korrekt ausgeführt wurden, in der Datenverarbeitung 32 durchgeführt.
-
Entsprechend weiteren Ausführungsbeispielen kann auch eine Überwachungseinheit vorgesehen sein, die konfiguriert ist, um eine Anwendung des Effektors an vorbestimmten Manipulationsstellen des zu manipulierenden Objekts zu überwachen, z. B. entsprechend einer vorgegebenen Reihenfolge oder ob alle zur Manipulation vorgesehenen Stellen bearbeitet wurden.
-
Demzufolge beziehen sich weitere Ausführungsbeispiele der vorliegenden Erfindung auf ein flexibles Assistenzsystem 40, das die korrekte Position eines Werkzeugs in der Produktion kamerabasiert misst, hierzu auf Kamerasensorik am Werkzeug selbst oder am Körper des Werkers aufsetzt und mit dem Wissen über die korrekte oder falsche Position des Werkzeugs dem Werker beim Erfüllen seiner Aufgabe assistiert.
-
An dieser Stelle sei ferner angemerkt, dass das System zwar für den Einsatz in der Produktion, Montage und Fertigung vorgesehen ist, aber prinzipiell für viele weitere Domänen eingesetzt werden kann, in denen Werkzeuge oder allgemein Effektoren in ihrer Position überwacht werden oder hierzu sinnvollerweise eine Assistenz basierend auf Computerimplementierungen gegeben werden kann. Denkbare Beispiele wären z. B. die Chirurgie.
-
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
-
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
-
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
-
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
-
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
-
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
-
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
-
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
-
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
-
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
-
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
-
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
-
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
-
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
