DE102015215406A1

DE102015215406A1 - Device and method for camera-based monitoring of production and assembly

Info

Publication number: DE102015215406A1
Application number: DE102015215406.8A
Authority: DE
Inventors: Michael Voit; Jan Hendrik Hammer
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Karlsruher Institut fuer Technologie KIT
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Karlsruher Institut fuer Technologie KIT
Priority date: 2015-04-15
Filing date: 2015-08-12
Publication date: 2016-10-20

Abstract

Ausführungsbeispiele schaffen ein Verfahren zum Erfassen, ob ein Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt angesetzt wird. Das Verfahren umfasst die Schritte: „Erfassen eines Bilds” und „Bestimmen, basierend auf dem erfassten Bild, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt”.Embodiments provide a method for detecting whether an effector is correctly set by a user at a predetermined manipulation location of an object to be manipulated. The method comprises the steps of "capturing an image" and "determining, based on the captured image, whether the effector occupies a correct position with respect to the predetermined manipulation location of the object to be manipulated".

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung eines Effektors bzw. Werkzeugs in Bezug auf eine vorbestimmte Manipulationsstelle bzw. in Bezug auf ein Element eines Werkstücks. Weitere Ausführungsbeispiele betreffen ein Assistenzsystem zur Unterstützung eines Benutzers, der einen Effektor an einem zu manipulierenden Objekt einsetzt. Im Allgemeinen betreffen Ausführungsbeispiele der Erfindung das Gebiet der industriellen Montage und Qualitätssicherung, z. B. die Qualitätssicherung in der Produktion und manuellen Montage, die menschliche Inspektion lackierter Oberflächen, die Überprüfung von Schweißnähten oder Bolzen oder die Überprüfung des Festziehens von Verschraubungen/Muttern.The present invention relates to a method and a device for detecting an effector with respect to a predetermined manipulation point or with respect to an element of a workpiece. Further embodiments relate to an assistance system for assisting a user who uses an effector on an object to be manipulated. In general, embodiments of the invention relate to the field of industrial assembly and quality assurance, e.g. For example, quality assurance in production and manual assembly, human inspection of painted surfaces, inspection of welds or bolts or checking the tightening of fittings / nuts.

Aufgrund immer komplexer werdender Arbeitsschritte steigen die Anforderungen an die Qualitätssicherung insbesondere für manuelle Montage und manuelle Fertigung zunehmend. Ein Beispiel für solche im industriellen Umfeld zum Einsatz kommenden Qualitätssicherungsmechanismen ist die Dokumentation von Lackierfehlern auf lackierten Oberflächen durch Zeigegesten.Due to increasingly complex work steps, the demands on quality assurance, especially for manual assembly and manual production, are increasing. An example of such quality assurance mechanisms used in the industrial environment is the documentation of varnishing errors on painted surfaces by means of pointing gestures.

Ein weiterer, seit Jahrzehnten im Einsatz befindlicher Ansatz, mittels welchem insbesondere sicherheitskritische Arbeiten, wie z. B. die Montage von Hydraulikschläuchen, unterstützt werden, besteht darin, dass Verschraubungen mit einem vorgegebenen Drehmoment unter Zuhilfenahme eines Drehmomentschlüssels verschlossen werden. Derartige Qualitätssicherungsmechanismen verzichten häufig auf die Positionsinformation und kontrollieren lediglich den Kraftaufwand beim Festziehen. Je nach Anwendungsfall bzw. komplexer Montageprozedur besteht, insbesondere bei der manuellen Montage häufig das Problem sicherzustellen, dass alle vorgesehenen Montageschritte durchgeführt wurden. Konkret heißt das, dass zwar mittels des Drehmomentschlüssels der Kraftaufwand gemessen und kontrolliert werden kann, nicht aber die Position des Werkzeugs selbst nachvollziehbar ist.Another, for decades in use approach, by means of which in particular safety-critical work, such. As the assembly of hydraulic hoses are supported, is that screw with a predetermined torque are closed with the aid of a torque wrench. Such quality assurance mechanisms often forego positional information and merely control the effort of tightening. Depending on the application or complex assembly procedure, there is often the problem, in particular during manual assembly, of ensuring that all planned assembly steps have been carried out. Specifically, this means that although by means of the torque wrench of the force can be measured and controlled, but not the position of the tool itself is traceable.

Hierfür bietet sich der Einsatz von beispielsweise funkbasierten Lokalisierungssystemen an: bei diesen wird ein sogenanntes „Tag” an dem zu messenden Objekt befestigt, wobei dann über Funkmesssysteme dessen 3D-Position im Erfassungsraum bzw. in dem von den Transmittern aufgespannten Raum verfolgt werden kann. In Umgebungen mit hohem metallischem Anteil, wie z. B. dem Maschinenbau oder dem Fahrzeugbau, ist diese Methode jedoch aufgrund von störenden Reflexionen relativ ungenau und unbefriedigend.For this purpose, the use of, for example, radio-based localization systems offers: in these a so-called "tag" is attached to the object to be measured, in which case its 3D position in the detection space or in the space spanned by the transmitters can be tracked via radio measurement systems. In environments with a high metallic content, such. As the engineering or vehicle construction, this method is relatively inaccurate and unsatisfactory due to disturbing reflections.

Es wurde schon versucht, mit Kameras, die in dem Arbeitsraum befestigt sind, das Werkzeug bzw. auch das Werkstück kamerabasiert zu lokalisieren. Solche Systeme bieten jedoch den Nachteil, dass je nach aktueller Situation, umfassend die Kameraperspektive, die Benutzung des Werkzeugs, die Umgebungsbedingungen und/oder die Körperhaltung des Mitarbeiters, der gerade die Montage durchführt, das Werkzeug oder Werkstück teilweise oder vollständig verdeckt wird, so dass der Ort der Manipulation nicht sichtbar ist. Somit ist es praktisch unumgänglich, dass für jeden Montageschritt, der einem typischerweise fest vorgegebenen Bewegungsmuster folgt, es nur eine oder zumindest nur ein paar wenige, mögliche (optimale) Kamerapositionen gibt. Infolgedessen ist das System nicht ohne weiteres auf neue Anwendungsfälle bzw. neue Montageprozeduren übertragbar, da dann die Position der Kameras neu bestimmt und angepasst werden muss. Deshalb besteht der Bedarf nach einem verbesserten Ansatz.An attempt has already been made to locate the tool or the workpiece using cameras, which are fixed in the working space, on a camera-based basis. However, such systems have the disadvantage that depending on the current situation, including the camera perspective, the use of the tool, the environmental conditions and / or the posture of the employee who is currently performing the assembly, the tool or workpiece is partially or completely obscured, so that the place of manipulation is not visible. Thus, it is practically inevitable that there is only one or at least a few possible (optimal) camera positions for each assembly step following a typically fixed motion pattern. As a result, the system is not readily transferable to new use cases or new assembly procedures, since then the position of the cameras has to be redetermined and adjusted. Therefore, there is a need for an improved approach.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zu schaffen, welches die zuverlässige Feststellung ermöglicht, ob ein Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt angesetzt wurde.The object of the present invention is to provide a concept which enables the reliable determination as to whether an effector has been correctly set by a user at a predetermined manipulation point of an object to be manipulated.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst.The object is solved by the subject matters of the independent claims.

Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren zum Erfassen, ob ein Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts angesetzt wird. Hierzu wird in einem ersten Schritt ein Bild erfasst und in einem zweiten Schritt basierend auf dem erfassten Bild bestimmt, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt. Das Erfassen des Bilds erfolgt durch eine an dem Benutzer des Effektors angeordnete Kamera und/oder durch eine an dem Effektor angeordnete Kamera, wobei das Bild zumindest einen Teil einer Arbeitsumgebung wiedergibt, in welcher der Effektor und das zu manipulierende Objekt angeordnet sind. Ferner umfasst das Bild zumindest einen Teil des Effektors und zumindest einen Teil des zu manipulierenden Objekts.Embodiments of the present invention provide a method for detecting whether an effector is scheduled by a user at a predetermined manipulation location of an object to be manipulated. For this purpose, in a first step, an image is detected and, in a second step based on the acquired image, it is determined whether the effector assumes a correct position with respect to the predetermined manipulation point of the object to be manipulated. The image is acquired by a camera arranged on the user of the effector and / or by a camera arranged on the effector, the image reproducing at least a part of a working environment in which the effector and the object to be manipulated are arranged. Furthermore, the image comprises at least a part of the effector and at least a part of the object to be manipulated.

Ausführungsbeispielen der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ausgehend von einem Bild aus der Perspektive des Effektors (Werkzeugs) oder aus der Perspektive des Nutzers (Monteur) eine zuverlässige Ermittlung dahin gehend möglich ist, ob und wie der Effektor gegenüber der zu manipulierenden Stelle (also z. B. der Schraubenschlüssel gegenüber der festzuziehenden Schraube) angesetzt bzw. benutzt wurde. Diese zwei Perspektiven (Benutzer-geführte Kameraperspektive und Effektor-geführte Kameraperspektive) haben sich als besonders vorteilhaft erwiesen, da für diese Perspektiven davon auszugehen ist, dass der Effektor und/oder die Manipulationsstelle nicht durch andere Gegenstände verdeckt ist. Weiter ermöglicht ein System, das auf obigem Verfahren basiert, die Einsetzbarkeit unabhängig von Effektor und Objekt, so dass sich das System auf vielfältige Anwendungsfälle in Produktion oder ähnlichen Domänen übertragen lässt.Embodiments of the present invention is based on the finding that based on an image from the perspective of the effector (tool) or from the perspective of the user (fitter) a reliable determination is possible as to whether and how the effector is to be manipulated ( Thus, for example, the wrench opposite the screw to be tightened) was used or used. These two perspectives (user-guided camera perspective and effector-guided camera perspective) have proven to be particularly beneficial for this Perspectives assume that the effector and / or the manipulation point is not obscured by other objects. Furthermore, a system based on the above method allows usability independently of the effector and the object, so that the system can be applied to a variety of applications in production or similar domains.

Entsprechend weiteren Ausführungsbeispielen der Erfindung erfolgt das Bestimmen, ob der Effektor die korrekte Position einnimmt basierend auf einer Position des Effektors und der Manipulationsstelle zueinander in dem erfassten Bild. Hierbei wird also entsprechend weiteren Ausführungsbeispielen sowohl die Position des Effektors als auch der Manipulationsstelle zueinander erfasst. An dieser Stelle sei ferner angemerkt, dass es nicht zwingend erforderlich ist, dass der gesamte Effektor bzw. die gesamte Manipulationsstelle erfasst werden muss, sondern dass das Detektieren auch nur zumindest einen Teil des Effektors bzw. zumindest einen Teil der vorbestimmten Manipulationsstelle umfassen kann. Entsprechend weiteren Ausführungsbeispielen kann das Erfassen darauf basieren, dass ein Merkmal (unter Zuhilfenahme einer Bildverarbeitung) in dem Bild erfasst wird. Entsprechend Ausführungsbeispielen kann das Merkmal ein Leuchtmittel sein oder eine andere Art von Marker, wie z. B. ein farbiger Marker. Alternativ zu dem einzelnen Erkennen des Effektors und der Manipulationsstelle kann das Ermitteln einer korrekte/inkorrekten Position zwischen Effektor und Manipulationsstelle, was Rückschluss auf eine korrekte Bedienung zulässt, darauf basieren, dass ein vorher abgespeichertes Bild mit dem aktuell erfassten Bild verglichen wird, um hierbei einen gewissen Übereinstimmungsgrad zu ermitteln.According to further embodiments of the invention, determining whether the effector is in the correct position based on a position of the effector and the manipulation point to each other in the captured image. In this case, according to further embodiments, both the position of the effector and the manipulation point to each other is detected. It should also be noted at this point that it is not absolutely necessary that the entire effector or the entire manipulation point must be detected, but that the detection can also comprise only at least part of the effector or at least part of the predetermined manipulation point. According to further embodiments, the detection may be based on detecting a feature (with the aid of image processing) in the image. According to embodiments, the feature may be a light bulb or another type of marker, such. B. a colored marker. As an alternative to the individual recognition of the effector and the manipulation point, the determination of a correct / incorrect position between effector and manipulation point, which allows inference to a correct operation, can be based on comparing a previously stored image with the currently acquired image, in order to do so determine certain degree of agreement.

Ausgehend von der nun vorhandenen Information bezüglich der korrekten Position des Effektors und der Manipulationsstelle zueinander kann diese Information dem Benutzer entweder direkt angezeigt werden (d. h. also beispielsweise in Echtzeit während der Manipulation) oder es kann ihm auch selektiv nur eine Warnung ausgegeben werden, für den Fall, dass eine inkorrekte Position vorliegt. Des Weiteren wäre es auch denkbar, dass dem Benutzer eine Information bezüglich der Reihenfolge der vorgegebenen Manipulationsstellen gegeben wird.Based on the now existing information regarding the correct position of the effector and the manipulation point to each other, this information can be displayed to the user either directly (ie, for example, in real time during the manipulation) or it can also be selectively issued only a warning, in the case in that there is an incorrect position. Furthermore, it would also be conceivable that the user is given information regarding the order of the predetermined manipulation points.

Entsprechend weiteren Ausführungsbeispielen kann es, auch wenn das System bereits mit einer Kamera funktionsfähig ist, sinnvoll sein, dass Effektor und Manipulationsstelle (also das oben definierte Bild) zusätzlich von der zweiten Kamera aus einer zweiten Perspektive erfasst werden, um so die Erkennungsgenauigkeit zu verbessern.According to further embodiments, even if the system is already functional with a camera, it may be expedient that the effector and manipulation point (ie the above-defined image) are additionally detected by the second camera from a second perspective so as to improve the recognition accuracy.

Weitere Ausführungsbeispiele schaffen eine Vorrichtung zur Erfassung, ob der Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt angesetzt wurde. Die Vorrichtung umfasst zumindest eine Kamera, die eben oben definiertes Bild aufnimmt und eine Datenverarbeitungseinheit. Die Datenverarbeitungseinheit ist ausgebildet, um das durch die Kamera erfasste Bild zu empfangen und um eine Bildverarbeitung derart zu bewirken, basierend auf dem erfassten Bild zu bestimmen, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt.Further embodiments provide a device for detecting whether the effector has been correctly set by a user at a predetermined manipulation point of an object to be manipulated. The device comprises at least one camera, which receives just defined above image and a data processing unit. The data processing unit is configured to receive the image captured by the camera and to effect image processing based on the captured image to determine whether the effector is in a correct position with respect to the predetermined manipulation location of the object to be manipulated.

Entsprechend weiteren Ausführungsbeispielen kann die Vorrichtung auch die oben definierten Verfahren bzw. Unterverfahrensschritte ausführen.According to further exemplary embodiments, the device can also carry out the methods or sub-method steps defined above.

Entsprechend weiteren Ausführungsbeispielen kann obige Vorrichtung auch zumindest zwei unterschiedlich angeordnete Kameras, d. h. beispielsweise zwei Kameras aus zwei unterschiedlichen Perspektiven oder eine an dem Effektor befestigte Kamera und eine benutzergeführte Kamera umfassen.According to further embodiments, the above device can also at least two differently arranged cameras, d. H. For example, two cameras from two different perspectives or a camera attached to the effector and a user-guided camera.

Weitere Ausführungsbeispiele schaffen ein Assistenzsystem mit obiger Vorrichtung und einer Ausgabeeinheit, die konfiguriert ist, um ansprechend auf die erfasste Position des Effektors bezüglich der vorbestimmten Manipulationsstelle eine Information an den Benutzer auszugeben. Die Informationsinhalte können den obigen Varianten entsprechen.Further embodiments provide an assistance system with the above apparatus and an output unit configured to output information to the user in response to the detected position of the effector with respect to the predetermined manipulation location. The information content may correspond to the above variants.

Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen definiert. Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand der beiliegenden Zeichnungen erläutert. Es zeigen:Further developments of the invention are defined in the dependent claims. Embodiments of the present invention will be explained below with reference to the accompanying drawings. Show it:

1 eine schematische Konstellation, z. B. aus der Montage, zur Illustration des Verfahrens zum Erfassen der korrekten Position zwischen Effektor und zu manipulierendem Objekt gemäß einem Basisausführungsbeispiel; 1 a schematic constellation, z. From assembly, to illustrate the method of detecting the correct position between the effector and the object to be manipulated according to a basic embodiment;

2 eine weitere schematische Konstellation zur Illustration des Verfahrens gemäß einem erweiterten Ausführungsbeispiel; 2 a further schematic constellation illustrating the method according to an extended embodiment;

3 eine schematische Darstellung eines Kamerabilds zur Illustration des Erkennens von Effektor und/oder zu manipulierenden Objekt; 3 a schematic representation of a camera image for illustrating the recognition of effector and / or object to be manipulated;

4 ein schematisches Flussdiagramm des Verfahrens zur Erfassung gemäß einem Ausführungsbeispiel; 4 a schematic flowchart of the method for detection according to an embodiment;

5 ein schematisches Blockdiagramm einer Vorrichtung zur Erfassung gemäß einem Ausführungsbeispiel sowie ein entsprechendes Assistenzsystem gemäß einem weiteren Ausführungsbeispiel. 5 a schematic block diagram of a device for detection according to an embodiment and a corresponding assistance system according to another embodiment.

Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Figuren erläutert werden, sei darauf hingewiesen, dass gleiche Elemente oder Strukturen mit gleichen Bezugszeichen versehen sind, so dass die Beschreibung derer austauschbar bzw. aufeinander anwendbar ist. Before embodiments of the present invention will be explained in detail with reference to the figures, it should be noted that the same elements or structures are provided with the same reference numerals, so that the description of which is interchangeable or mutually applicable.

1 zeigt eine Arbeitsumgebung 10, wie z. B. einen Arbeitsraum, in welchem mittels eines Effektors 12 (wie z. B. eine Lackier-Pistole oder ein Schraubenschlüssel bzw. allgemein ein Werkzeug) ein Objekt 14 (wie z. B. ein zu lackierendes Werkstück oder eine festzuziehende Schraube) manipuliert (bearbeitet) werden soll. Die Manipulation erfolgt hier in diesem Ausführungsbeispiel manuell, d. h., dass der Bediener 16 den Effektor 12 direkt führt. Des Weiteren ist in dem Arbeitsraum 10 zumindest eine Kamera 18 vorgesehen, welche z. B. durch den Nutzer derart getragen wird und dazu geeignet ist, ein Bild zu erfassen, das zumindest einen Teil der Arbeitsumgebung 10 wiedergibt, in der der Effektor 12 und das zu manipulierende Objekt 14 angeordnet sind. Um genau zu sein, ist die Kamera 18 derart angeordnet, dass in dem Bild 20 zumindest ein Teil des Effektors 12 und zumindest ein Teil des zu manipulierenden Objekts 14 abgebildet wird, wie anhand der gestrichelten Linien dargestellt ist. Ein Anbringungsort, der diesen Voraussetzungen sehr gut gerecht wird, ist einerseits der Effektor 12 selbst oder andererseits der Nutzer, z. B. mittels einer kopfgetragenen Kamera (Helmkamera oder Brillenkamera). An dieser Stelle sei auch angemerkt, dass im Falle der Kameraanordnung an dem Effektor bevorzugt, aber nicht zwingend, ein Teil des Effektors in dem Bild 20 vorhanden sein muss. 1 shows a working environment 10 , such as B. a work space in which by means of an effector 12 (such as a paint gun or a wrench or a general tool) an object 14 (such as a workpiece to be painted or a screw to be tightened) should be manipulated (edited). The manipulation takes place here manually in this embodiment, ie, that the operator 16 the effector 12 leads directly. Furthermore, in the workroom 10 at least one camera 18 provided, which z. B. is worn by the user and is adapted to capture an image that at least a part of the working environment 10 reproduces in which the effector 12 and the object to be manipulated 14 are arranged. To be precise, the camera is 18 arranged so that in the picture 20 at least part of the effector 12 and at least part of the object to be manipulated 14 is mapped, as shown by the dashed lines. An attachment site that meets these requirements very well, on the one hand is the effector 12 itself or on the other hand the user, for. B. by means of a head-worn camera (helmet camera or camera). It should also be noted at this point that, in the case of the camera arrangement on the effector, it is preferable, but not mandatory, for a part of the effector in the image 20 must be present.

Der Monteur 16 vollzieht mittels des Effektors 12 eine Manipulation an dem zu manipulierenden Objekt 14. Hier ist es beispielsweise aufgrund des Montageablaufs erforderlich, dass die Manipulationsstelle 14a bearbeitet wird, wobei das Werkzeug nur entsprechend einer oder mehrere Konstellationen (die auch je nach Werker variieren können) korrekt angesetzt werden kann. Ein Beispiel hierfür ist das Montieren bzw. Aufziehen eines Zahnriemens, welcher nur bis zu einem maximalen Punkt gedehnt werden darf, oder die Verwendung einer Lackierpistole als Effektor beim Lackieren einer glatten Oberfläche, wobei ein vorgegebener Abstand eingehalten werden muss. Bei derartigen Tätigkeiten kann der Monteur 16 mittels der Kamera 18 beobachtet werden, wobei das Kamerabild 20 zur Auswertung und Protokollierung der Tätigkeit bzw. auch zur Unterstützung des Benutzers 16 herangenommen werden kann, wie nachfolgend erläutert wird.The mechanic 16 completes by means of the effector 12 a manipulation of the object to be manipulated 14 , Here it is necessary, for example due to the assembly process, that the manipulation point 14a the tool can only be correctly set according to one or more constellations (which can also vary depending on the operator). An example of this is the mounting or mounting of a toothed belt, which may only be stretched to a maximum point, or the use of a spray gun as an effector when painting a smooth surface, wherein a predetermined distance must be maintained. In such activities, the fitter can 16 by means of the camera 18 be observed, taking the camera image 20 for the evaluation and logging of the activity or also for the support of the user 16 can be taken as explained below.

Um diese Funktionalität zu ermöglichen, läuft im Hintergrund zu dem Montagevorgang ein Verfahren zur Erfassung, ob der Effektor durch einen Benutzer an einer vorbestimmten Manipulationsstelle eines zu manipulierenden Objekts korrekt (d. h. z. B. im richtigen Winkel oder im richtigen Abstand) angesetzt wird. Diese Erfassung basiert auf dem oben erläuterten Bild 20, wobei dann im Bild eine Relativposition zwischen dem Effektor 12 und dem Objekt 14 beziehungsweise um genauer zu sein, der Manipulationsstelle 14a ermittelt wird. Diese Relativposition kann sich beispielsweise auf einen Winkel zwischen dem Effektor 12 und dem Objekt 14 beziehen oder auf eine Position zwischen dem Effektor 12 und der Manipulationsstelle 14a und wird typischerweise als Koordinate (Abstand oder Versatz) in einem sich zusammen mit dem Effektor 12 bewegenden Koordinatensystem dargestellt.In the background to the assembly process, to provide this functionality, a method of detecting whether the effector is being correctly (ie, eg, at the correct angle or distance) by a user at a predetermined manipulation location of an object to be manipulated is in progress. This detection is based on the picture explained above 20 , where then in the picture a relative position between the effector 12 and the object 14 or more precisely, the manipulation site 14a is determined. For example, this relative position may be at an angle between the effector 12 and the object 14 or to a position between the effector 12 and the manipulation point 14a and is typically considered to be a coordinate (distance or offset) in a line with the effector 12 moving coordinate system shown.

Entsprechend den Ausführungsbeispielen kann ausgehend von dem erfassten Bild entweder eine Relativposition zwischen der Manipulationsstelle 14a und dem Effektor 12 direkt ermittelt werden oder es kann eine (z. B. absolute) Position des Effektors 12 getrennt von der Manipulationsstelle 14a ermittelt werden und in Relation zueinander gesetzt werden. Alternativ wäre es auch denkbar, dass das mittels der Kamera 18 erfasste Bild mit einem vorher aufgenommenen Bild, das die korrekte Position zwischen Effektor 12 und Manipulationsstelle 14a zeigt, verglichen wird.According to the embodiments, starting from the detected image, either a relative position between the manipulation point 14a and the effector 12 can be determined directly or it can be a (eg absolute) position of the effector 12 separated from the manipulation point 14a be determined and set in relation to each other. Alternatively, it would also be possible that the means of the camera 18 Captured image with a previously captured image showing the correct position between effector 12 and manipulation site 14a shows is compared.

Bezug nehmend auf 2 werden nun nachfolgend mögliche Kamerapositionen für die Kamera 18 zusammen mit deren Vor- und Nachteilen erläutert.Referring to 2 will now be possible camera positions for the camera 18 explained together with their advantages and disadvantages.

2 zeigt Arbeitsumgebung 10 mit dem Benutzer 16, dem zu manipulierenden Objekt 14 (z. B. zu lackierende bzw. auszubessernde Karosserie, Schweißobjekt, Bauelement mit Hydraulikschläuchen oder Motorblock) sowie den Effektor 12 (z. B. Prüfwerkzeug, Handwerkzeug, Handschweißgerät, Lackierpistole oder Drehmomentschlüssel). Des Weiteren ist auf dem Objekt 14 zumindest eine Manipulationsstelle 14a markiert. Um diese Manipulationsstelle 14a zusammen mit dem Effektor 12 zu beobachten, gibt es mehrere unterschiedliche Kamerapositionen, nämlich die Kamerapositionen 18'' und 18'''. Die Vor- und Nachteile der einzelnen Kamerapositionen der Kameras 18'' und 18''' werden nachfolgend sowohl im Hinblick auf den Einsatz nur einer Kamera als auch im Hinblick auf den Einsatz von zumindest zwei Kameras erläutert. 2 shows working environment 10 with the user 16 , the object to be manipulated 14 (eg body to be painted or repaired, welded object, component with hydraulic hoses or engine block) and the effector 12 (eg test tool, hand tool, manual welder, paint gun or torque wrench). Furthermore, on the object 14 at least one manipulation point 14a marked. To this manipulation point 14a together with the effector 12 There are several different camera positions, namely the camera positions 18 '' and 18 ' , The advantages and disadvantages of the individual camera positions of the cameras 18 '' and 18 ' are explained below both with regard to the use of only one camera and with regard to the use of at least two cameras.

Die Kamera 18'' ist an dem Effektor selbst angeordnet, so dass sie den Effektor 12 selbst oder zumindest seinen Blickwinkel anzeigt. Kameraposition 18''' repräsentiert eine benutzergeführte, z. B. kopfgetragene(Helm-/Brillen-)Kamera. Die Position 18''', aber bedingt auch die Position 18'' bieten den Vorteil, dass die Kameras 18'''/18'' immer die aktuelle Manipulationsstelle 14a zusammen mit dem Effektor 12 im Blick haben, wenn diese bearbeitet wird. Der Kopf des Nutzers 16 stellt eine zu bevorzugende Position am Benutzer 16 dar, da sich so der Blickwinkel der benutzergeführten Kamera 18''' gleichsam mit dem Blickwinkel des Benutzers 16 verhält. Da davon auszugehen ist, dass der Benutzer 16 immer die Manipulationsstelle 14a im Zusammenhang mit dem Effektor 12 im Blick hat, umfasst das Bild der Kamera 18''' exakt die angestrebten Bildinhalte. In anderen Worten ausgedrückt heißt das, dass die Kamera 18''' als kopfgetragenes System die Egoposition darstellt und so die Möglichkeit bietet, dem Werker direkt in seiner Bewegung zu folgen.The camera 18 '' is placed on the effector itself, so that it is the effector 12 himself or at least his point of view. camera position 18 ' represents a user-managed, z. B. head-worn (helmet / eyewear) camera. The position 18 ' but also the position 18 '' offer the advantage of having the cameras 18 ' / 18 '' always the current manipulation point 14a together with the effector 12 have in mind when this is being edited. The head of the user 16 represents a preferable position on the user 16 because this is the angle of the user-guided camera 18 ' as it were with the user's perspective 16 behaves. Since it can be assumed that the user 16 always the manipulation point 14a in connection with the effector 12 in view, the picture includes the camera 18 ' exactly the desired image content. In other words, that means the camera 18 ' As a head-supported system it represents the position of the ego and thus offers the possibility to follow the worker directly in his movement.

Beide Kameraperspektiven 18'' und 18''' bieten gerade bei Arbeiten, bei denen das Werkzeug, z. B. in einen Motorblock eingeführt werden muss, um eine Schraube festzuziehen, den Vorteil, dass immer eine gute und ständige Sicht auf die Aktionsposition gewährleistet ist, was bei herkömmlichen Anbringungen von Kameras in der Arbeitsumgebung 10 nicht möglich wäre.Both camera angles 18 '' and 18 ' offer just in work where the tool, z. B. must be inserted into an engine block to tighten a screw, the advantage that always a good and constant view of the action position is guaranteed, which is in conventional installations of cameras in the work environment 10 would not be possible.

In Bezug auf die nutzergetragene Kamera 18''', die immer mit der Bewegung des Werkers 16 gekoppelt ist, kann entsprechend optionalen Ausführungsbeispielen der Effektor 12 wie folgt lokalisiert werden. Zunächst wird in einem relativen Koordinatensystem der sich mitbewegenden Kamera der Effektor 12 im Kamerabild der Kamera 18''' erkannt. Um nun diese Position in die 3D-Koordinaten der Arbeitsumgebung 10 zu übertragen, wird die Kameraposition der Kamera 18''' in die Arbeitsumgebung 10 kalibriert. Das kann z. B. dadurch geschehen, dass die Kamera 18''' neben dem Werkzeug 12 auch gewisse Merkmale in der Umgebung wahrnimmt, anhand derer sie die (absolute) Position bzw. Blickrichtung ermittelt. Beispiele hierfür sind in der Arbeitsumgebung 10 angebrachte Marken oder bestimmte Areale der Umgebung 10, die vorbekannt sind und deshalb detektiert und wiedererkannt werden können.Regarding the user-worn camera 18 ' that always with the movement of the worker 16 coupled, according to optional embodiments, the effector 12 be localized as follows. First, in a relative coordinate system of the moving camera, the effector 12 in the camera image of the camera 18 ' recognized. Now this position in the 3D coordinates of the working environment 10 to transmit, the camera position of the camera 18 ' in the working environment 10 calibrated. This can z. B. done by the camera 18 ' next to the tool 12 It also perceives certain features in the environment by which it determines the (absolute) position or viewing direction. Examples of this are in the working environment 10 appropriate marks or specific areas of the environment 10 , which are already known and therefore can be detected and recognized.

In Bezug auf die Kamera 18'' sei angemerkt, dass diese sich selbst für Situationen, in denen der Werker selbst keine Sicht mehr auf das Werkzeug 12 hat, eignet. Hierfür gelte es nicht den Effektor 12 selbst zu lokalisieren, sondern seine Position aus Sicht auf die Umgebung 10 zu schlussfolgern. Dies kann analog zu der Positionserkennung der Kamera 18''' über Merkmale in der Umgebung 10 (wie z. B. vorhandene Marken oder wiedererkannte Kanten, Farbfehler, Areale oder andere Merkmale, die mittels Bildverarbeitung detektiert werden können) geschehen.In terms of the camera 18 '' It should be noted that these themselves for situations in which the worker himself no longer has a view on the tool 12 has, is suitable. This does not apply to the effector 12 himself to locate, but his position from the point of view of the environment 10 to conclude. This can be analogous to the position detection of the camera 18 ' about features in the environment 10 (such as existing marks or recognized edges, color aberrations, areas or other features that can be detected by image processing).

Entsprechend Ausführungsbeispielen ist auch der gleichzeitige Einsatz von beiden Kameras 18'' und 18''' denkbar.According to embodiments is also the simultaneous use of both cameras 18 '' and 18 ' conceivable.

Entsprechend weiteren Ausführungsbeispielen sind die eine oder mehreren Kameras 18'' und 18''' mit einem Daten-/Bildprozessor 32 oder einem Assistenzsystem 40 (per Kabel oder per Funk) gekoppelt. Daten-/Bildverarbeitungseinheit 32 und Assistenzsystem 40 werden in Bezug auf 5 erläutert.According to further embodiments, the one or more cameras 18 '' and 18 ' with a data / image processor 32 or an assistance system 40 (via cable or by radio) coupled. Data / image processing unit 32 and assistance system 40 be in relation to 5 explained.

Nachfolgend wird Bezug nehmend auf 3 der Vorgang des Erkennens des Effektors sowie des Erkennens der Manipulationsstelle in dem Bild 20 erläutert.Subsequently, reference will be made to 3 the process of recognizing the effector and detecting the location of manipulation in the image 20 explained.

3 zeigt ein Bild 20''' von einer Arbeitsumgebung 10, in welcher sich das zu manipulierende Objekt 14 mit der Manipulationsstelle 14a befindet. Das Bild 20''' ist mittels einer benutzergeführten Kamera (vgl. 18''') aufgenommen, so dass im Wesentlichen drei Bildinhalte von dem Bild umfasst sind. Die Bildinhalte sind ein Ausschnitt der Arbeitsumgebung 10, hier insbesondere eine Ecke des Raums, der Effektor 12 sowie das zu bearbeitende Objekt 14 mit der Manipulationsstelle 14a. Aus diesem Blickwinkel ist bei Bewegung des Effektors 12, z. B. zu der Manipulationsstelle 14a, der Effektor 12 immer bzw. zumindest in der Regel mit umfasst, solange der Benutzer in Richtung Effektor 12 und Objekt 14 blickt. Hierdurch kann erkannt werden, ob der Effektor 12 gegenüber der Manipulationsstelle 14a korrekt angesetzt ist. 3 shows a picture 20 ''' from a working environment 10 in which the object to be manipulated is located 14 with the manipulation point 14a located. The picture 20 ''' is by means of a user-guided camera (see. 18 ' ), so that substantially three image contents are included in the image. The image contents are a part of the working environment 10 , here in particular a corner of the room, the effector 12 as well as the object to be processed 14 with the manipulation point 14a , From this point of view is when moving the effector 12 , z. B. to the manipulation point 14a , the effector 12 always or at least usually includes, as long as the user towards effector 12 and object 14 looks. As a result, it can be recognized whether the effector 12 opposite the manipulation point 14a is correctly set.

Nimmt der Effektor 12 die korrekte Position für die beabsichtigte Aktion ein, erkennt dies ein sogenannter „Klassifikator”. Der Klassifikator dient nicht dazu, die Position des Werkzeugs an sich zu bestimmen, sondern lediglich das Erreichen einer korrekten Position für diesen Arbeitsschritt. D. h. also, dass der Klassifikator erkennt, ob eine Manipulation einer Manipulationsstelle durchgeführt wird und um welche Manipulationsstelle es sich dabei handelt. Dies kann auch das Erkennen des Erreichens einer korrekten Position mit dem Manipulator für diesen Arbeitsschritt beinhalten. Die Klassifikation kann entweder dadurch erfolgen, dass eine Relativposition zwischen Effektor 12 und Manipulationsstelle 14a ermittelt wird oder dass die Positionen von Effektor 12 und Manipulationsstelle 14a einzeln ermittelt werden und zueinander in Beziehung gesetzt werden. An dieser Stelle sei ferner angemerkt, dass unter dem Begriff „in Beziehung setzen” bzw. „Relativposition ermitteln” auch ein eingeschlossener Winkel zwischen den Elementen oder ein Winkel des Effektors gegenüber dem Horizont um den Drehpunkt bzw. um den Wirkpunkt 14a verstanden werden kann. Alternativ wäre es auch denkbar, dass die Ermittlung von Effektor 12 zu Manipulationspunkt 14a auch durch einen einfachen Mustervergleich, nämlich durch Vergleich des aktuell aufgenommenen Bilds 20''' mit einem vorher aufgenommenen Bild, welches die richtige Positionierung von Effektor 12 zu Manipulationsstelle 14a darstellt, erfolgen kann. Das heißt also, dass die Detektion anhand von erfassten Merkmalen in der Umgebung geschehen kann oder, um genau zu sein, indem ein Klassifikator, wie z. B. ein neuronales Netz, mit Trainingsbildern von konkreten Ansichten der Umgebung 10 eingelernt wurde, und dieses Einlernergebnis nun auf das aktuelle Bild 20''' anwendet.Takes the effector 12 the correct position for the intended action, this recognizes a so-called "classifier". The classifier is not intended to determine the position of the tool itself, but merely to achieve a correct position for that operation. Ie. So that the classifier detects whether a manipulation of a manipulation point is performed and which manipulation point is involved. This may also involve recognizing the achievement of a correct position with the manipulator for this step. The classification can be done either by a relative position between effector 12 and manipulation site 14a is determined or that the positions of effector 12 and manipulation site 14a individually determined and related to each other. It should also be noted at this point that the term "establish relative" or "determine relative position" also includes an included angle between the elements or an angle of the effector with respect to the horizon around the pivot point or about the point of action 14a can be understood. Alternatively, it would also be conceivable that the determination of effector 12 to manipulation point 14a also by a simple pattern comparison, namely by comparison of the currently recorded image 20 ''' with a previously captured image showing the correct positioning of effector 12 to manipulation point 14a represents, can take place. So that means that the detection based on detected features in the environment can happen or, to be specific, by using a classifier, such as A neural network, with training images of concrete views of the environment 10 has been taught, and this Einlerngebnis now on the current picture 20 ''' applies.

Sichten, die die falsche bzw. nicht korrekte Positionierung an der Manipulationsstelle 14a abbilden, werden vom Klassifikator als FALSCH beschrieben. Sichten, die eine korrekte Ansicht beschreiben, wie z. B. eine vorgegebene Perspektive auf eine festzuschraubende Mutter, an die das Werkzeug gefahren wird oder eines Ventils, das an der Mutter befestigt ist, werden als RICHTIG beschrieben. Im Gegensatz zu einer Positionsmessung wird nicht die Koordinate des Effektors gemessen, sondern die beobachtete Umgebung inklusive Manipulationsstelle 14a und Werkzeug auf RICHTIG oder FALSCH unterschieden oder alternativ mit Wahrscheinlichkeiten zwischen 0 und 1 oder ähnlichen Messwerten beschrieben. Die absolute Position von Manipulationsstelle 14a bzw. Effektor 12 interessiert in erster Linie nicht, sondern lediglich das Erkennen des Ansetzens des Effektors/Werkzeugs 12 und Arbeitens mit diesem an der Manipulationsstelle 14a.Views that indicate the wrong or incorrect positioning at the manipulation point 14a are described by the classifier as FALSE. Views that describe a correct view, such as B. a predetermined perspective on a nut to be screwed, to which the tool is driven or a valve which is attached to the nut are described as RIGHT. In contrast to a position measurement, the coordinate of the effector is not measured, but the observed environment including manipulation point 14a and tool to RIGHT or FALSE, or alternatively probabilities between 0 and 1, or similar readings. The absolute position of manipulation point 14a or effector 12 is not interested in the first place, but only the recognition of the attachment of the effector / tool 12 and working with this at the manipulation point 14a ,

An dieser Stelle sei auch angemerkt, dass entsprechend weiteren Ausführungsbeispielen das Erkennen des Effektors beispielsweise durch sogenannte „Marken”, wie z. B. Leuchtmittel oder farbige Markierungen unterstützt werden kann. Diese Marken sind, in 3 mittels Strichen angedeutet, an dem Effektor 12 angebracht.At this point it should also be noted that according to further embodiments, the recognition of the effector, for example, by so-called "brands" such. B. bulbs or colored markings can be supported. These brands are, in 3 indicated by dashes, on the effector 12 appropriate.

Nachfolgend wird Bezug nehmend auf 4 ein Flussdiagramm des Verfahrens zur Erfassung, ob ein Effektor durch einen Benutzer korrekt angesetzt wurde, beschrieben.Subsequently, reference will be made to 4 a flow chart of the method for detecting whether an effector has been set correctly by a user described.

4 zeigt das Verfahren 100 mit dem Basisschritt 102 sowie dem Basisschritt 104. Das Umfeld des angewendeten Verfahrens lässt sich wie folgt beschreiben: Ein Mitarbeiter führt einen Effektor (Hand, Handwerkzeug, Werkzeug ...) zu einer Manipulationsstelle an einem Objekt (lackierte Karosserie, Schweißobjekt, Bauelement mit Hydraulikschläuchen, Motorblock, ...), um dort eine Tätigkeit (Zeigegeste, Markierung mit einem Stift, Schleifen oder Polieren mit einem Handgerät, Schrauben mit einer Schraube, ...) durchzuführen. Damit ein automatisches, technisches Assistenzsystem dem Mitarbeiter bei der Erfüllung der Aufgabe behilflich sein kann, muss das System die Aktion des Mitarbeiters nachvollziehen können, was, wie oben bereits erläutert, unter Zuhilfenahme eines Kamerasystems oder unter Zuhilfenahme zumindest einer Kamera erfolgt. 4 shows the procedure 100 with the basic step 102 as well as the basic step 104 , The environment of the applied method can be described as follows: An employee leads an effector (hand, hand tool, tool ...) to a manipulation point on an object (painted body, welded object, component with hydraulic hoses, engine block, ...) to perform an activity there (pointing gesture, marking with a pen, grinding or polishing with a hand tool, screwing with a screw, ...). In order for an automated technical assistance system to assist the employee in fulfilling the task, the system must be able to follow the action of the employee, which, as explained above, takes place with the aid of a camera system or with the aid of at least one camera.

Hierzu umfasst das Verfahren 100 den Basisschritt 102 des „Erfassens eines Bilds durch eine an den Benutzer des Effektors angeordnete Kamera und/oder durch eine an dem Effektor angeordnete Kamera”, wobei das Bild zumindest einen Teil einer Arbeitsumgebung wiedergibt, in der der Effektor und das zu manipulierende Objekt angeordnet sind (wobei das Bild zumindest einen Teil des Effektors und zumindest einen Teil des zu manipulierenden Objekts umfasst). Um nachzuvollziehen, an welcher Stelle der Mitarbeiter den Effektor ansetzt und wo er somit die Aktion durchführt (wo er an der Karosserie den Schleifer oder den Polierer anwendet, wo er den Schrauber im Motorblock ansetzt oder wo er mit dem Stift die Markierung vornimmt), umfasst das Verfahren 100 den zweiten Basisschritt 104 des „basierend auf dem erfassten Bild, Bestimmens, ob der Effektor bezüglich der vorbestimmten Manipulationsstelle des zu manipulierenden Objekts eine korrekte Position einnimmt”.For this purpose, the method includes 100 the basic step 102 "capturing an image by a camera arranged on the user of the effector and / or by a camera arranged on the effector", wherein the image reproduces at least a part of a working environment in which the effector and the object to be manipulated are arranged Image comprises at least a portion of the effector and at least a portion of the object to be manipulated). To understand where the employee attaches the effector and where he performs the action (where he applies the grinder or the polisher to the body, where he attaches the screwdriver in the engine block or where he makes the marker with the pin) includes the procedure 100 the second basic step 104 of "based on the captured image, determining whether the effector is in a correct position with respect to the predetermined manipulation location of the object to be manipulated".

Ausgehend hiervon kann in dem Verfahren, z. B. unter Zuhilfenahme eines Assistenzsystems dann der optionale Schritt 106 folgen. In diesem Schritt 106 erfolgt das „Protokollieren bzw. das Überprüfen, ob die richtige Stelle bearbeitet wurde”, um sicherzustellen, dass z. B. alle im Motorblock anzubringenden Schrauben richtig festgezogen und/oder alle Fehlstellen an der Karosserie korrekt ausgebessert sind. Nach diesem Schritt 106 kann ein weiterer optionaler Schritt 108 des „Ausgebens eines Hinweises an den Nutzer” in Abhängigkeit von dem festgestellten Ergebnis aus den Schritten 104 oder 106 angeschlossen sein.Starting from this, in the process, for. B. with the assistance of an assistance system then the optional step 106 consequences. In this step 106 the "logging or checking if the right place has been processed" to ensure that z. B. all screws to be mounted in the engine block properly tightened and / or all defects on the body are correctly repaired. After this step 106 may be another optional step 108 "Issuing a notice to the user" in response to the determined result from the steps 104 or 106 be connected.

5 zeigt eine Vorrichtung 30, die obiges Verfahren ausführt. Die Vorrichtung 30 umfasst zumindest eine Datenverarbeitungseinheit 32 und eine Kamera 18 bzw. ist mit dieser gekoppelt. Die Kamera 18 führt den Schritt 102 durch, während die Datenverarbeitungseinheit 32 den Schritt 104 durchführt. Hierzu umfasst die Datenverarbeitungseinheit 32 typischerweise einen Prozessor, wie z. B. eine CPU. Die Vorrichtung 30 kann durch Hinzufügung einer weiteren Einheit 34, wie z. B. einer Ausgabeeinheit zu einem Assistenzsystem erweitert sein, das dazu ausgebildet ist, dem Benutzer die entsprechenden Hinweise (wie z. B. einen Warnton, wenn das Werkzeug nicht in der richtigen Reihenfolge oder an der vorgegebenen Position angewandt wird) auszugeben, wie im Schritt 106 angezeigt ist. Hierzu wird dann der Schritt 104 des Protokollierens und Überprüfens, ob die entsprechend zu beobachtenden Schritte korrekt ausgeführt wurden, in der Datenverarbeitung 32 durchgeführt. 5 shows a device 30 performing the above method. The device 30 comprises at least one data processing unit 32 and a camera 18 or is coupled with this. The camera 18 leads the step 102 through, while the data processing unit 32 the step 104 performs. For this purpose, the data processing unit comprises 32 typically a processor, such. B. a CPU. The device 30 can by adding another unit 34 , such as B. an output unit to an assistance system, which is adapted to the user the appropriate notes (such as a warning sound when the tool is not applied in the correct order or at the predetermined position) issue, as in the step 106 is displayed. This is then the step 104 logging and verifying that the appropriate steps have been performed correctly in data processing 32 carried out.

Entsprechend weiteren Ausführungsbeispielen kann auch eine Überwachungseinheit vorgesehen sein, die konfiguriert ist, um eine Anwendung des Effektors an vorbestimmten Manipulationsstellen des zu manipulierenden Objekts zu überwachen, z. B. entsprechend einer vorgegebenen Reihenfolge oder ob alle zur Manipulation vorgesehenen Stellen bearbeitet wurden.According to further embodiments, a monitoring unit may be provided which is configured to monitor an application of the effector at predetermined manipulation points of the object to be manipulated, e.g. B. according to a predetermined order or whether all places intended for manipulation have been processed.

Demzufolge beziehen sich weitere Ausführungsbeispiele der vorliegenden Erfindung auf ein flexibles Assistenzsystem 40, das die korrekte Position eines Werkzeugs in der Produktion kamerabasiert misst, hierzu auf Kamerasensorik am Werkzeug selbst oder am Körper des Werkers aufsetzt und mit dem Wissen über die korrekte oder falsche Position des Werkzeugs dem Werker beim Erfüllen seiner Aufgabe assistiert.Accordingly, further embodiments of the present invention relate to a flexible assistance system 40 which measures the correct position of a tool in the production based on camera, based on camera sensors on the tool itself or on the body of the worker and with the knowledge of the correct or wrong position of the tool to assist the worker in fulfilling his task.

An dieser Stelle sei ferner angemerkt, dass das System zwar für den Einsatz in der Produktion, Montage und Fertigung vorgesehen ist, aber prinzipiell für viele weitere Domänen eingesetzt werden kann, in denen Werkzeuge oder allgemein Effektoren in ihrer Position überwacht werden oder hierzu sinnvollerweise eine Assistenz basierend auf Computerimplementierungen gegeben werden kann. Denkbare Beispiele wären z. B. die Chirurgie.It should also be noted at this point that although the system is intended for use in production, assembly and production, it can, in principle, be used for many other domains in which tools or general effectors are monitored in their position or, more usefully, an assistant based on computer implementations. Conceivable examples would be z. B. the surgery.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.The program code can also be stored, for example, on a machine-readable carrier.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.

Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.

Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device or a similar device. For example, the device or system may include a file server for transmitting the computer program to the recipient.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.

Claims

Procedure ( 100 ) for detecting whether an effector is being used by a user ( 16 ) is correctly set at a predetermined manipulation point of an object to be manipulated, comprising: capturing an image ( 102 ) by one at a user ( 16 ) of the effector arranged camera ( 18 . 18 '' . 18 ' ) and / or by a camera arranged on the effector ( 18 . 18 '' . 18 ' ), where the image ( 20 . 20 ''' ) reproduces at least a part of a working environment in which the effector and the object to be manipulated are arranged, the image comprising at least a part of the effector ( 12 ) and at least part of the object to be manipulated, and based on the captured image ( 20 . 20 ''' ), Determining ( 104 ), whether the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) of the object to be manipulated occupies a correct position.

Procedure ( 100 ) according to claim 1, wherein said determining ( 104 ), whether the effector ( 12 ) assumes the correct position, on a position of the effector ( 12 ) and the manipulation point ( 14a ) to each other in the captured image ( 20 . 20 ''' ).

Procedure ( 100 ) according to claim 2, wherein said determining ( 104 ), whether the effector ( 12 ) assumes the correct position, the detection of a position of the effector ( 12 ) and the manipulation point ( 14a ) to each other in the captured image ( 20 . 20 ''' ).

Procedure ( 100 ) according to claim 2 or 3, wherein said determining ( 104 ), whether the effector ( 12 ) assumes the correct position, detecting at least part of the effector ( 12 ) and at least part of the predetermined manipulation point ( 14a ) in the captured image ( 20 . 20 ''' ) by image processing.

Procedure ( 100 ) according to claim 4, wherein the effector ( 12 ) has at least one feature that can be detected by the image processing in the captured image ( 20 . 20 ''' ) is detected, and in which the at least a part of the predetermined manipulation point ( 14a ) based on one or more predetermined features in the captured image ( 20 . 20 ''' ) is recognized.

Procedure ( 100 ) according to claim 5, wherein the feature of the effector ( 12 ) comprises one or more illuminants emitting a predetermined spectrum of light, wherein the light spectrums output by a plurality of illuminants are the same or different, or wherein the feature comprises one or more markers or markers, or wherein the feature comprises one or more predetermined portions of the effector ( 12 ).

Procedure ( 100 ) according to claim 1, wherein said determining ( 104 ), whether the effector ( 12 ) assumes the correct position on a comparison of the captured image ( 20 . 20 ''' ) with a stored image ( 20 . 20 ''' ), which indicates a correct position of the effector ( 12 ) and the manipulation point ( 14a ) indicates each other.

Procedure ( 100 ) according to one of claims 1 to 7, comprising: outputting information to the user ( 16 ) that the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) of the object to be manipulated ( 14 ) assumes the correct position.

Procedure ( 100 ) according to claim 8, wherein the information to the user ( 16 ) indicates that the current positioning of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) is correct or not, or where the information to the user ( 16 ) indicates how well the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) matches the correct position.

Procedure ( 100 ) according to claim 9, wherein the user ( 16 ) a warning is issued when the effector ( 12 ) determining the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) is incorrect or the match of the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) does not satisfy a predetermined condition.

Procedure ( 100 ) according to any one of claims 1 to 10, comprising: monitoring the application of the effector ( 12 ) at predetermined manipulation points ( 14a ) of the object to be manipulated ( 14 ).

Procedure ( 100 ) according to one of claims 1 to 11, wherein the determining ( 104 ), whether the effector ( 12 ) assumes the correct position based on images ( 20 . 20 ''' ) carried out by the two differently arranged cameras ( 18 . 18 '' . 18 ' ).

Computer program with instructions for carrying out the method ( 100 ) according to one of claims 1 to 12, when the instructions are executed by a computer.

Contraption ( 30 ) for detecting whether an effector ( 12 ) by a user ( 16 ) at a predetermined manipulation point ( 14a ) of an object to be manipulated ( 14 ) is correctly recognized, with: at least one camera ( 18 . 18 '' . 18 ' ) to a user ( 16 ) of the effector ( 12 ) or on the effector ( 12 ) is arranged to take a picture ( 20 . 20 ''' ) reflecting at least part of the working environment in which the effector ( 12 ) and the object to be manipulated ( 14 ), the image ( 20 . 20 ''' ) at least a part of the effector and at least a part of the object to be manipulated ( 14 ); and a data processing unit ( 32 ) with the at least one camera ( 18 . 18 '' . 18 ' ) and is configured to work through the camera ( 18 . 18 '' . 18 ' ) captured image ( 20 . 20 ''' ) and to effect image processing to determine, based on the captured image ( 20 . 20 ''' ), ( 104 ), whether the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) of the object to be manipulated ( 14 ) assumes a correct position.

Contraption ( 30 ) according to claim 14, wherein the image processing is configured to be based on a position of the effector ( 12 ) and the manipulation point ( 14a ) to each other in the captured image ( 20 . 20 ''' ) ( 104 ), whether the effector ( 12 ) assumes the correct position.

Contraption ( 30 ) according to claim 15, wherein the image processing is configured to detect a position of the effector ( 12 ) and the manipulation point ( 14a ) to each other in the captured image ( 20 . 20 ''' ) capture.

Contraption ( 30 ) according to claim 15 or 16, wherein the image processing is configured to at least a part of the effector ( 12 ) and at least part of the predetermined manipulation point ( 14a ) in the captured image ( 20 . 20 ''' ) by image processing.

Contraption ( 30 ) according to claim 14, wherein the image processing is configured to be based on a comparison of the captured image ( 20 . 20 ''' ) with a stored image ( 20 . 20 ''' ), the correct position of the effector ( 12 ) and the manipulation point ( 14a ) to each other, to determine ( 104 ), whether the effector ( 12 ) assumes the correct position.

Contraption ( 30 ) according to one of claims 14 to 18, with at least two differently arranged cameras ( 18 . 18 '' . 18 ' ).

Assistance system to support a user ( 16 ), which is an effector ( 12 ) on an object to be manipulated ( 14 ), comprising: a device ( 30 ) according to one of claims 14 to 19, and an output unit ( 34 ) configured to be responsive to a detected position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) information to the user ( 16 ).

Assistance system ( 40 ) according to claim 20, wherein the information to the user ( 16 ) indicates that the current positioning of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) is correct or not, or where the information to the user ( 16 ) indicates how well the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) matches the correct position.

Assistance system ( 40 ) according to claim 21, wherein the output unit ( 34 ) is configured to be sent to the user ( 16 ) to issue a warning if, when attaching the effector ( 12 ) determining the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) is incorrect or the match of the current position of the effector ( 12 ) with respect to the predetermined manipulation point ( 14a ) does not satisfy a predetermined condition.

Assistance system ( 40 ) according to one of claims 20 to 22, comprising: a monitoring unit which is configured to detect an application of the effector ( 12 ) at predetermined manipulation points ( 14a ) of the object to be manipulated ( 14 ).