DE10216023A1

DE10216023A1 - A method for controlling the interface between a robot movement and a person within the working area has the operator fitted with transmitting units to establish a pattern of movements.

Info

Publication number: DE10216023A1
Application number: DE2002116023
Authority: DE
Inventors: Evert Helms
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2002-04-11
Filing date: 2002-04-11
Publication date: 2003-11-06
Anticipated expiration: 2022-04-12
Also published as: DE10216023B4

Abstract

The operator (P) is fitted with radio or ultrasonic transponders (T) at relevant body positions which are conveyed to the robot (R) control system through a transmitter (S) and receiver to avoid any coincident occupation of space.

Description

Technical field

Die Erfindung bezieht sich auf ein Verfahren sowie eine Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person. The invention relates to a method and a device for controlled Interaction between an autonomous robot unit and a person.

State of the art

Der Einsatz von Industrierobotern, vorzugsweise zu Produktionszwecken, wird bereits Jahrzehnte lang überaus erfolgreich angewandt, um Produktionsgüter in hohen Stückzahlen unter gleichbleibend hohen Produktqualitäten herzustellen. Zwar sind derartige Industrieroboter in der industriellen Fertigung weit verbreitet, doch werden sie zu Montagezwecken lediglich in Teilgebieten eingesetzt, in denen der Mensch aus Sicherheitsgründen keinen Zugang hat. So fordert beispielsweise die Sicherheitsnorm ISO 10218 eine strikte Trennung der Arbeitsräume von Mensch und Roboter, um die durch den Roboter bedingte für den Menschen bestehende Verletzungsgefahr vollständig auszuschließen. Die vorstehend zitierte Sicherheitsnorm beschränkt sich ausschließlich auf stationäre Industrieroboter, deren Aktionsradius definiert vorgegeben ist. Vergleichbare Sicherheitsnormen bzw. -richtlinien für mobile Roboter, die beispielsweise auf einer eigenfortbewegungsfähigen Plattform angebracht sind, existieren derzeit jedoch nicht. Derartige, zur Eigenfortbewegung befähigte Roboter verfügen vielmehr über automatische Abschaltmechanismen, die im Falle aktiviert werden, wenn ein externer Gegenstand, beispielsweise eine Person, einen vorgegebenen Mindestabstand zum Roboter unterschreitet. Der Bewegungsvorgang des Roboters wird unterbrochen und mögliche durch den Roboter vorgenommene Manipulationsvorgänge gestoppt. The use of industrial robots, preferably for production purposes has been used very successfully for decades to produce goods in to manufacture large quantities with consistently high product quality. Though Such industrial robots are widely used in industrial production, however they are used for assembly purposes only in areas where the People have no access for security reasons. For example, the Safety standard ISO 10218 a strict separation of work spaces from people and Robots, to those that exist for humans due to the robot Eliminate the risk of injury completely. The one cited above Safety standard is limited to stationary industrial robots, whose Action radius is defined. Comparable safety standards or guidelines for mobile robots, for example on a self-propelled platform are currently available Not. Rather, such robots capable of self-propulsion have automatic shutdown mechanisms that are activated in the event of an external Object, for example a person, a predetermined minimum distance from Robot falls short. The robot's movement is interrupted and possible manipulation processes carried out by the robot stopped.

Die derzeit am häufigsten in der industriellen Produktion im Einsatz befindlichen Industrieroboter betreffen jedoch stationäre Robotersysteme mit jeweils an die unterschiedlichen Montagebedingungen angepaßte Manipulatorarmen, die über zumeist über ein Vielzahl von Bewegungsfreiheitsgraden verfügen. Die maximale Gesamtlänge einer Roboterarmanordnung sowie deren zugänglicher Bewegungsraum definiert den durch den Roboter erreichbaren maximalen Arbeits- bzw. Aktionsbereich, der aus sicherheitstechnischen Gründen vielerorts durch einen Käfig und/oder Lichtschranken umgeben und dadurch gesichert ist. The currently most frequently used in industrial production However, industrial robots relate to stationary robot systems, each with the Manipulator arms adapted to different mounting conditions mostly have a large number of degrees of freedom of movement. The maximal Overall length of a robot arm assembly and its more accessible Movement space defines the maximum working or action area, which for safety reasons in many places by one Surrounded cage and / or light barriers and is thereby secured.

Ist ein Industrieroboter durch einen entsprechend ausgestatteten Sicherheitskäfig umgeben, so ist es ohnehin für einen Menschen nicht möglich, in den Aktionsbereich des Roboters zu gelangen. Durch Vorsehen entsprechender Lichtschranken, die zumeist mit einem Sicherheitsabschalt-System verbunden sind, wird der Industrieroboter durch eine festgestellte Lichtschrankenunterbrechung abrupt abgeschaltet, so dass in Fällen, in denen beispielsweise ein Mensch unbeabsichtigt in den Aktionsbereich eines Roboters gelangt, von diesem nicht verletzt werden kann. Is an industrial robot thanks to an appropriately equipped safety cage surrounded, so it is anyway not possible for a human being in the action area of the robot. By providing appropriate light barriers that are usually connected to a safety shutdown system Industrial robot abruptly due to a detected light barrier interruption turned off, so in cases where, for example, a human being unintentionally get into the action area of a robot, are not injured by it can.

Auch sind derzeit noch im experimentellen Stadium befindliche Schutzsysteme für stationäre sowie auch mobile Industrieroboter bekannt, die über sensorische Detektionssysteme verfügen, mit denen die Erfassung der Annäherung eines Objektes möglich ist. Beispielsweise werden hierzu Manipulatorarme eines Industrieroboter-Systems mit Ultraschall- oder Infrarot-Sensoren bestückt, die die Relativannäherung zu einem Objekt oder zu einem Menschen zu detektieren vermögen. Wird mit Hilfe derartiger Sensoren eine entsprechende Objektannäherung festgestellt, so wird zur Vermeidung von Kollisionen bzw. etwaiger Verletzungen die Eigenbeweglichkeit des Roboters gestoppt oder zumindest seine Fortbewegungsgeschwindigkeit stark herabgesetzt. Protection systems for are currently still in the experimental stage stationary as well as mobile industrial robots are known, which use sensory Detection systems with which the detection of the approximation of a Object is possible. For example, manipulator arms become one Industrial robot system equipped with ultrasound or infrared sensors that the Detect relative approach to an object or a human capital. With the help of such sensors, a corresponding object approach is determined to avoid collisions or any injuries The robot's own mobility stopped, or at least its The speed of locomotion is greatly reduced.

Schließlich sind Robotersysteme bekannt, die an ausgewiesenen Manipulatorarmbereichen über taktile Sensoren verfügen, die im Falle einer Berührung mit einem Objekt Steuersignale für ein abruptes Ausschalten des Roboters generieren. Finally, robot systems are known that are based on designated Manipulator arm areas have tactile sensors, which in the case of a Touching an object Control signals for an abrupt switch off of the Generate robots.

Allen bekannten Schutzsystemen, die zur Vermeidung von Kollisionen zwischen den Robotern und bewegten Objekten, allen voran einem Menschen dienen, haftet der Nachteil an, dass eine Zusammenarbeit zwischen Mensch und Roboter im wirtschaftlichen Sinne nicht möglich ist. Entweder ist eine gewünschte Interaktion zwischen Mensch und Maschine aufgrund systembedingter Sicherheitsmaßnahmen überhaupt nicht möglich, wie im Falle der durch Schutzgitter sowie Lichtschranken geschützter Robotersysteme, oder die Arbeitsgeschwindigkeit der mit Schutzmechanismen ausgestatteten Industrieroboter wird zur Vermeidung von Verletzungen derart reduziert, dass eine angestrebte Interaktion rein aus wirtschaftlichen Überlegungen nicht weiter interessant erscheint. All known protection systems that prevent collisions between the Robots and moving objects, especially serving people, are liable Disadvantage that a collaboration between humans and robots in the economic sense is not possible. Either is a desired interaction between man and machine due to system-related security measures not possible at all, as in the case of protective grids and light barriers protected robot systems, or the working speed of using Protection mechanisms equipped industrial robots is used to avoid Injuries are reduced in such a way that a targeted interaction is pure economic considerations no longer seem interesting.

So existieren derzeit aufgrund der einzuhaltenden Sicherheitsbestimmungen keine Robotersysteme, die unter industriellen Produktionsbedingungen eine unmittelbare und direkte Zusammenarbeit mit einer Person erlauben. Eine derartige Zusammenarbeit ist jedoch an vielen Produktionsstellen wünschenswert, beispielsweise um den Produktionsfluss und die Auslastung derartiger Industrieroboter-Systeme zu optimieren. Dies betrifft insbesondere Übergabevorgänge von Halbfertigprodukten von einem Menschen an eine, das Halbfertigprodukt weiter verarbeitende Robotereinheit, bei denen gegenwärtig üblicherweise das Robotersystem kurzzeitig stillgelegt und nach erfolgter Übergabe erneut aktiviert werden muss. Dies führt zu größeren Stand- und Nebenzeiten, die es gilt, aus wirtschaftlichen Überlegungen zu reduzieren bzw. vollständig zu vermeiden. So there are currently none due to the safety regulations to be observed Robotic systems that are immediate under industrial production conditions and allow direct collaboration with one person. Such one However, collaboration is desirable at many manufacturing sites, for example about the production flow and the utilization of such Optimize industrial robot systems. This applies in particular Transfer processes of semi-finished products from one person to one that Semi-finished product processing robot unit, where currently Usually the robot system is shut down for a short time and after delivery must be reactivated. This leads to longer idle and idle times It is important to reduce or avoid completely for economic reasons.

Presentation of the invention

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie eine Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person anzugeben, wobei unter Bedacht auf die geltenden Sicherheitsnormen und -richtlinien eine für den Menschen gefährdungsfreie Zusammenarbeit mit der Robotereinheit möglich sein soll. Insbesondere gilt es eine direkte Zusammenarbeit zwischen einem Menschen und der Robotereinheit zu ermöglichen und gleichzeitig das Leistungspotential der Robotereinheit nicht oder nur unwesentlich zu beeinträchtigen. The invention has for its object a method and an apparatus for controlled interaction between an autonomous robot unit and a Person to be specified, taking into account the applicable safety standards and guidelines for people to work with the Robot unit should be possible. In particular, there is a direct collaboration enable between a human and the robot unit and at the same time the performance potential of the robot unit does not increase or only insignificantly affect.

Die Lösung der der Erfindung zugrundeliegenden Aufgabe ist im Anspruch 1 angegeben, in dem ein erfindungsgemäßes Verfahren beschrieben ist. Gegenstand des Anspruches 12 ist eine erfindungsgemäße Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person. Den Erfindungsgedanken vorteilhaft weiterbildende Merkmale sind Gegenstand der Unteransprüche sowie der gesamten Beschreibung unter Bezugnahme auf die Ausführungsbeispiele zu entnehmen. The object on which the invention is based is achieved in claim 1 specified in which a method according to the invention is described. object of claim 12 is an inventive device for controlled Interaction between an autonomous robot unit and a person. The Features of the invention that are advantageously further developed are the subject of Subclaims and the entire description with reference to the To see embodiments.

Das erfindungsgemäße Verfahren zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person sieht grundsätzlich folgende Verfahrensschritte vor:
Mit Hilfe eines Sensorsystems wird das unmittelbare Umfeld der Robotereinheit derart erfasst und überwacht, dass bewegte Objekte, die in einen von dem Sensorsystem erfassbaren Detektionsbereich eindringen, erfasst und lokalisiert werden. Der durch das Sensorsystem erfassbare Detektionsbereich ist vorzugsweise derart einzustellen, dass der Detektionsbereich in etwa mit dem Aktionsbereich der Robotereinheit übereinstimmt. Im weiteren wird angenommen, dass es sich bei den bewegten Objekten um eine Person handelt, die mit der Robotereinheit in Interaktion treten wird. Das Sensorsystem erfasst somit die sich räumlich und zeitlich verändernde Position der Person oder zumindest Teile der Person. Hierbei wird nicht nur die exakte räumliche Relativlage zwischen der Person und der Robotereinheit erfasst, sondern überdies auch die der Person innewohnende Bewegungsdynamik, d. h. das Sensorsystem erfasst zusätzlich die Fortbewegungsgeschwindigkeit der gesamten Person und/oder Teile der Person sowie auch Geschwindigkeitsgradienten bzw. Beschleunigungswerte der Person oder Teile der Person. The method according to the invention for the controlled interaction between a self-moving robot unit and a person basically provides the following method steps:
With the aid of a sensor system, the immediate surroundings of the robot unit are detected and monitored in such a way that moving objects that penetrate into a detection area that can be detected by the sensor system are detected and localized. The detection range that can be detected by the sensor system is preferably to be set such that the detection range roughly corresponds to the action range of the robot unit. It is further assumed that the moving objects are people who will interact with the robot unit. The sensor system thus detects the spatially and temporally changing position of the person or at least parts of the person. Not only the exact spatial relative position between the person and the robot unit is recorded, but also the movement dynamics inherent in the person, i.e. the sensor system also records the speed of movement of the entire person and / or parts of the person as well as speed gradients or acceleration values of the person or Parts of the person.

Diese mit dem Sensorsystem erfassten Informationen werden in einem zweiten Schritt unter Zugrundelegung eines die Person beschreibenden Verhaltensmodells bewertet. Der Begriff "Verhaltensmodell" umfasst eine Vielzahl das Verhalten einer jeweiligen Person innerhalb des Aktionsbereiches der Robotereinheit beschreibende Informationen, die in Form einer daten- und/oder wissensbasierten Datenbank abgespeichert sind. Die das Verhalten der jeweiligen Person beschreibende Informationen umfasst für die Person charakteristische Posen und Lagen sowie auch für die Person typische Bewegungsinformationen, damit sind insbesondere Fortbewegungsgeschwindigkeiten bzw. Beschleunigungswerte der Person oder Teile der Person, wie Arme, Beine, Kopf etc. gemeint. This information recorded with the sensor system is in a second Step based on a behavioral model describing the person rated. The term "behavior model" encompasses a variety of behavior Describing each person within the area of action of the robot unit Information in the form of a data and / or knowledge-based database are saved. The one that describes the behavior of each person Information includes poses and positions characteristic of the person as well movement information typical of the person, in particular Movement speeds or acceleration values of the person or parts the person, such as arms, legs, head, etc.

Betrachtet man an dieser Stelle das Beispiel einer Übergabe von Produkten von einer Person an eine Robotereinheit, die das jeweilige Produkt weiterverarbeitet, so hält sich die Person für diesen konkreten Übergabevorgang in einem bestimmten räumlichen Sektor in Bezug auf die Robotereinheit auf und führt für jeden einzelnen Übergabevorgang einen bestimmten Bewegungsablauf aus. Für diese Interaktion nimmt die Person eine Vielzahl erlaubter Bewegungszustände bzw. räumliche Posen ein, um erfolgreich und damit verletzungsfrei mit der Robotereinheit zusammen zu arbeiten. Liegen diese für eine erfolgreiche Interaktion mit der Robotereinheit erlaubten Bewegungszustände bzw. Posen beispielsweise in Form von Referenzdaten in einer Datenbank vor, in der wie eingangs erwähnt, zusätzliche, die Bewegungsdynamik der Person beschreibende Informationen enthalten sind, ist es möglich, die mittels des Sensorsystems aktuell erfasste Position der Person oder Teile der Person mit den vorstehend abgespeicherten Referenzdaten zu vergleichen. Mit Hilfe geeigneter Bewertungskriterien, die dem Verhaltensmodell zugrundegelegt sind, werden in einem dritten Schritt Steuersignale generiert, die die Eigenbeweglichkeit der Robotereinheit kontrolliert beeinflussen, um eine gewünschte Interaktion zwischen Mensch und Robotereinheit zu ermöglichen. At this point, consider the example of a handover of products from a person to a robot unit that processes the respective product, so the person considers himself to be a specific handover for this specific transfer process spatial sector related to the robot unit and performs for each one Transfer process a certain sequence of movements. For this interaction the person takes a variety of permitted movement states or spatial poses to successfully and therefore without injury with the robot unit work. Are these lying for a successful interaction with the robot unit allowed movement states or poses, for example in the form of Reference data in a database in which, as mentioned at the beginning, additional, the It includes dynamic information describing the person's movement possible, the position of the person currently detected by means of the sensor system or Compare parts of the person with the reference data stored above. With the help of suitable evaluation criteria on which the behavior model is based control signals are generated in a third step, which the Influencing the robot unit's inherent mobility in order to achieve a desired one To enable interaction between humans and robot units.

Die bei der Bewertung der dynamisch erfassten Position der Person oder Teile der Person unter Maßgabe eines die Person beschreibenden Verhaltensmodells zugrundeliegenden Bewertungskriterien richten sich nach Art und Umfang der jeweiligen Interaktion zwischen der Person und der Robotereinheit. Handelt es sich beispielsweise um einen Übergabevorgang eines Gegenstandes von der Person auf die Robotereinheit, so ist die genaue Erfassung der Armposition der Person sowie die Armbewegungsgeschwindigkeit besonders relevant. Gerät beispielsweise die Person beim Übergabevorgang ins Stolpern, wodurch beispielsweise die Armbewegung ungewöhnlich ruckartig und hastig erfolgt, so wird dies vom Sensorsystem erfasst. Die hastigen Armbewegungen werden mit den abgespeicherten Referenzdaten verglichen und letztlich bewertend festgestellt, dass die Armposition sowie deren Geschwindigkeit nicht mit den erlaubten Verhaltensmustern übereinstimmen. Als Folge werden Steuersignale für die Robotereinheit generiert, durch die der Roboter veranlasst wird entsprechend zurückzuweichen oder aber der Roboter wird kurzzeitig abgeschaltet. The when evaluating the dynamically captured position of the person or parts of the Person in accordance with a behavior model describing the person The underlying evaluation criteria depend on the type and scope of the respective interaction between the person and the robot unit. Is it for example, a transfer process of an object from the person the robot unit, so is the exact detection of the arm position of the person as well the arm movement speed is particularly relevant. For example, the device Person stumbling during the handover process, causing, for example, the Arm movement is abnormally jerky and hasty, this is from Sensor system detected. The hasty arm movements are with the stored reference data compared and finally determined that the arm position and its speed are not with the allowed Patterns of behavior match. As a result, control signals for the Robot unit generated by which the robot is triggered accordingly withdraw or the robot is temporarily switched off.

Von entscheidender Bedeutung für eine erfolgreiche Anwendung des Verfahrens zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person ist die exakte Erfassung der Person oder Teile der Person sowohl im Hinblick auf ihrer aktuelle räumlichen Lage und Position, als auch im Hinblick ihrer aktuellen Bewegungsdynamik. Zur vereinfachten weiteren Beschreibung wird angenommen, dass die Person in ihrer Gesamtheit erfasst werden soll. Hierbei soll jedoch nicht außer Acht gelassen werden, dass es auch Fälle gibt, in denen eine Person lediglich in Teilbereichen erfasst wird, bspw. in Fällen in denen eine Person ausschließlich mit ihren Händen an einem Arbeitsplatz mit einer Robotereinheit zusammenarbeitet, so dass für eine diesbezügliche Interaktion lediglich die Hände bzw. Arme der Person, also Teile der Person, relevant sind. Crucial for the successful application of the process controlled interaction between an autonomous robot unit and a Person is the exact registration of the person or parts of the person with regard to both on their current spatial location and position, as well as in terms of their current Motion dynamics. For a simplified further description it is assumed that the person should be recorded in its entirety. However, this is not supposed to disregard the fact that there are cases where one person only is recorded in partial areas, e.g. in cases in which a person is exclusively with their hands in a workplace with a robot unit, so that for this kind of interaction only the hands or arms of the person, parts of the person that are relevant.

Um die Person für die erwünschte Interaktion räumlich und in ihrer Bewegungsdynamik exakt mit Hilfe des Sensorsystems erfassen zu können, wird die Person an ausgewählten Stellen mit Markierungsmitteln versehen, die vorzugsweise in entsprechenden Bekleidungsstücken, die die Person trägt, integriert sind. Die mit den Markierungsmitteln versehenen ausgewählten Stellen sind vorzugsweise End- und/oder Gelenkbereiche von Extremitäten. So können beispielsweise geeignete Markierungsmittel in Handschuhen, Ellbogenschützer, Kopfbedeckungen, Schuhe etc. vorgesehen werden. To the person for the desired interaction spatially and in their Being able to record movement dynamics exactly with the help of the sensor system is the Provide the person with markers at selected locations, preferably are integrated into corresponding items of clothing that the person wears. With the selected locations provided with the marking means are preferably final and / or joint areas of extremities. For example, suitable ones Markers in gloves, elbow pads, headgear, shoes etc. are provided.

Je nach der technischen Art und Ausbildung des verwendeten Sensorsystems sind die Markierungsmittel geeignet zu wählen. Beispielsweise eignen sich besonders auf funk, optische oder akustische Ortung basierende Sensorsysteme, auf die im weiteren im einzelnen eingegangen wird. Auch ist es möglich, eine räumlich zeitaufgelöste Positionsbestimmung einer Person mit Hilfe geeigneter Kameraaufnahmen und nachfolgender Bildauswertung vorzunehmen. Depending on the technical type and design of the sensor system used to select the marking means appropriately. For example, are particularly suitable Sensor systems based on radio, optical or acoustic detection, on which the will be discussed in more detail. It is also possible to have a spatial time-resolved position determination of a person with the help of suitable Carry out camera recordings and subsequent image evaluation.

Für die Durchführung des vorstehend beschriebenen Verfahrens zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person ist wenigstens ein Sensorsystem erforderlich, mit dem die aktuelle räumliche Position einer Person oder Teile der Person erfassbar ist, eine Auswerteeinheit mit einer Referenzposen der Person oder Teile der Person enthaltenden Datenbank, in der die erfasste aktuelle räumliche Position mit Referenzposen verglichen und unter Zugrundelegung eines Bewertungskriteriums Steuersignale generiert wird und schließlich eine Steuereinheit zur Ansteuerung von die Eigenbeweglichkeit der Robotereinheit bestimmenden Antriebsmitteln. To carry out the method described above for controlled Interaction between an autonomous robot unit and a person at least one sensor system is required with which the current spatial position a person or parts of the person can be detected, an evaluation unit with a Reference poses of the person or parts of the person-containing database in which the recorded current spatial position compared with reference poses and under On the basis of an evaluation criterion, control signals are generated and finally a control unit to control the mobility of the Robot unit determining drive means.

Wie bereits vorstehend erwähnt, bildet das Kernstück der Vorrichtung das Sensorsystem zum Erfassen der jeweiligen aktuellen räumlichen Position der Person, das in seinen vielseitigen Ausgestaltungsmöglichkeiten unter Bezugnahme auf die nachstehenden Ausführungsbeispiele im einzelnen näher erläutert wird. As already mentioned above, the core of the device is that Sensor system for detecting the current spatial position of the Person who is referring in his versatile design possibilities is explained in more detail in the following exemplary embodiments.

Brief description of the invention

Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen exemplarisch beschrieben. Es zeigen: The invention will hereinafter be described without limitation in general The inventive concept based on exemplary embodiments with reference to the Exemplary drawings described. Show it:

Fig. 1 schematisierte Darstellung zur Ermittlung der Relativlage einer Person zu einer Robotereinheit mittels funkbasierter Ortung, Fig. 1 shows a schematic representation for determining the relative position of a person to a robot unit by means of radio-based positioning,

Fig. 2 Darstellung eines funkbasierten Sensorsystems, Fig. 2 view of a radio-based sensor system,

Fig. 3 schematisierte Darstellung zur Modellierung einer Person, Fig. 3 schematic illustration for modeling a person,

Fig. 4 schematisierte Darstellung zur räumlichen Ortung einer Person relativ zu einer Robotereinheit mittels Schall, Fig. 4 schematic representation of the spatial location of a person relative to a robot unit by means of sound

Fig. 5 schematisierte Darstellung der räumlichen Ermittlung der relativen Position einer Person relativ zu einer Robotereinheit mittels Beschleunigungssensoren, Fig. 5 schematic representation of the spatial determination of the relative position of a person relative to a robot unit by means of acceleration sensors

Fig. 6 Darstellung der Positionserfassung eines Teils einer Person mittels Differenzbildtechnik, sowie Fig. 6 representation of the position detection of part of a person using differential image technology, and

Fig. 7 Darstellung zur Positionsermittlung mittels optischer Kameras. Fig. 7 representation for position determination by means of optical cameras.

WAYS OF IMPLEMENTING THE INVENTION, INDUSTRIAL APPLICABILITY

Die unter Bezugnahme auf die Ausführungsbeispiele gemäß der Fig. 1 bis 7 dargestellten Sensorsysteme ermöglichen eine exakte Erfassung und Lokalisierung einer Person innerhalb des Aktionsbereiches einer Robotereinheit. Je nach technischer Ausbildung des Sensorsystems ist die räumliche Detektionsreichweite des Sensorsystems individuell einzustellen, vorzugsweise an den maximalen Arbeits- bzw. Aktionsbereich der Robotereinheit anzupassen. Auf diese Weise können Bewegungsvorgänge, die außerhalb des Aktionsbereiches des Roboters stattfinden, unbeachtet bleiben. Erst wenn eine Person den Aktionsbereich betritt, wird diese vom Sensorsystem entsprechend erfasst. Hierzu gibt es eine Reihe alternativ arbeitender Sensorsysteme. The sensor systems shown with reference to the exemplary embodiments according to FIGS. 1 to 7 enable exact detection and localization of a person within the range of action of a robot unit. Depending on the technical design of the sensor system, the spatial detection range of the sensor system must be set individually, preferably adapted to the maximum working or action area of the robot unit. In this way, movements that take place outside the robot's area of action can be disregarded. Only when a person enters the action area, is this sensed by the sensor system. There are a number of alternative sensor systems for this.

In Fig. 1 ist eine schematisiert dargestellte Situation zur Erfassung der räumlichen Relativlage einer Person P in Bezug auf eine Robotereinheit R dargestellt. Zur Ermittlung der räumlichen Position und Pose der Person P sind in extra angepassten Kleidungsstücken, beispielsweise Jacke, Handschuhe oder Kopfbedeckung, als Transponder T ausgebildete Markierungsmittel an Stellen der Person, wie beispielsweise Handgelenk, Ellbogen, Schulter etc. angebracht, die für die Kinematik der Person P relevant sind. In Fig. 1 a situation schematically illustrated for detecting the relative spatial position of a person P is shown with respect to a robot unit R. In order to determine the spatial position and pose of person P, specially designed clothing, for example a jacket, gloves or headgear, is used as a transponder T to provide markers at points on the person, such as wrists, elbows, shoulders, etc., which are responsible for the kinematics of the person P are relevant.

Ein im Bereich der Robotereinheit R installierter Sender S sendet Funksignale aus, die von den einzelnen Transpondern T empfangen und in einer anderen Frequenz als der Sendefrequenz des Senders S zurückgesendet werden. Vorzugsweise sind mehrere Empfänger (nicht in Fig. 1 dargestellt) vorgesehen, die die von den Transpondern T abgesandten Signale empfangen. Schließlich werden die dabei gewonnenen Messsignale auf der Grundlage des Triangulationsverfahrens ausgewertet und die dreidimensionale Position des jeweiligen Transponders T im Raum (local positioning system) berechnet. Aufgrund der auf diese Weise gewonnenen, genauen Kenntnisse über die räumliche Lage der einzelnen Transponderpositionen kann auf die Lage der einzelnen, die Transponder T enthaltenen Kleidungsstücke und somit die Lage bzw. Pose der Person geschlossen werden. A transmitter S installed in the area of the robot unit R sends out radio signals which are received by the individual transponders T and are sent back at a different frequency than the transmission frequency of the transmitter S. A plurality of receivers (not shown in FIG. 1) are preferably provided, which receive the signals sent by the transponders T. Finally, the measurement signals obtained are evaluated on the basis of the triangulation method and the three-dimensional position of the respective transponder T in space (local positioning system) is calculated. On the basis of the precise knowledge gained in this way of the spatial position of the individual transponder positions, the position of the individual items of clothing containing the transponders T and thus the position or pose of the person can be inferred.

Fig. 2 zeigt eine schematisierte Darstellung eines auf der Transpondertechnik beruhenden Sensorsystems. Ein an einem festen Punkt, vorzugsweise in räumlich fester Lagebeziehung zur Robotereinheit, angebrachter Sender S sendet ein Signal aus, das von einem Transponder T empfangen wird. Der Transponder T ist wie vorstehend beschrieben, an der zu detektierenden Person angebracht und empfängt das von dem Sender abgesandte Funksignal, das vom Transponder T mit einer anderen Frequenz zurückgesendet wird. Das zurückgesendete Signal wird von einem Empfänger E1 am Ort des Senders S sowie zusätzlich von einem weiteren Empfänger E2 empfangen. Durch entsprechende Laufzeitmessungen können die Signallaufzeiten t₁, sowie t₂ ermittelt werden, die das Funksignal vom Sender S zum Transponder T und zum Empfänger E1 bzw. E2 benötigt. Unter Zugrundelegung der Lichtgeschwindigkeit c können auf diese Weise die Positionskoordinaten des Transponders T in folgender Weise berechnet werden:

Fig. 2 shows a schematic representation of a system based on the transponder technology sensor system. A transmitter S attached at a fixed point, preferably in a spatially fixed positional relationship to the robot unit, emits a signal which is received by a transponder T. As described above, the transponder T is attached to the person to be detected and receives the radio signal sent by the transmitter, which is returned by the transponder T at a different frequency. The returned signal is received by a receiver E1 at the location of the transmitter S and also by a further receiver E2. The transit times t ₁ and t ₂ required by the radio signal from the transmitter S to the transponder T and to the receiver E1 or E2 can be determined by appropriate transit time measurements. Using the speed of light c as a basis, the position coordinates of the transponder T can be calculated in the following way:

Äquivalent zum vorstehend betrachteten Fall zur Bestimmung der Positionskoordinaten des Transponders in einer Ebene gemäß Fig. 2 kann die dreidimensionale Positionsbestimmung eines Transponders T im Raum mit Hilfe eines weiteren, dritten Empfängers durchgeführt werden. Eingedenk der Tatsache, dass eine Vielzahl von Transpondern T an verschiedenen Positionen der zu detektierenden Person angebracht sind, können Bewegungen und Posen der jeweiligen Person exakt ermittelt werden. Equivalent to the case considered above for determining the position coordinates of the transponder in a plane according to FIG. 2, the three-dimensional position determination of a transponder T in space can be carried out with the aid of a further, third receiver. In view of the fact that a large number of transponders T are attached to different positions of the person to be detected, movements and poses of the respective person can be determined exactly.

Zur eindeutigen Beschreibung eines Bewegungszustandes bzw. einer Pose der jeweiligen Person werden die einzelnen räumlich und zeitlich erfassten Transponderpositionen in einem vereinfachten Menschmodell gemäß der Bilddarstellung in Fig. 3 vereint. Es sei angenommen, dass die Person P u. a. am Handgelenk des linken Arms einen Transponder T (siehe rechte Bilddarstellung gemäß Fig. 3) trägt. Diese Transponderposition kann mit Hilfe des Sensorsystems exakt ermittelt werden und liegt in Weltkoordinaten vor. Durch die naturgegebene, bedingt durch die natürlichen Freiheitsgrade der einzelnen Gelenke des Menschen vorgegebene Kinematik des Menschen können bereits durch das bloße Erfassen der räumlichen Position des Transponders T sowie dessen Bewegungsgeschwindigkeit bzw. der am Transponder einwirkenden Beschleunigungen Rückschlüsse auf die übrigen Teilbereiche des Menschen im Wege der inversen Kinematik geschlossen werden. So kann das in Fig. 3 dargestellte Menschmodell in den Weltkoordinaten bzw. kartesischen Koordinaten (x, y, z) (siehe hierzu rechte Bilddarstellung in Fig. 3) in einen Konfigurationsraum transformiert werden, in dem das Menschmodell durch seine Eigenfortbewegungsgeschwindigkeit sowie durch die in den Gelenksbereichen auftretenden Winkelgeschwindigkeiten ω definiert wird. Durch die Betrachtungsweise der inversen Kinematik kann die Bestimmung der gesamten Pose eines Menschen mit einer nur geringen Anzahl von Markierungsmitteln durchgeführt werden, da sich die Lage unterschiedlicher, direkt über Gelenke zusammenhängender Körperteile nicht unabhänig voneinander ändern kann. For a clear description of a state of motion or a pose of the respective person, the individual spatially and temporally recorded transponder positions are combined in a simplified human model according to the illustration in FIG. 3. It is assumed that the person P wears a transponder T on the wrist of the left arm, among other things (see illustration on the right in FIG. 3). This transponder position can be determined exactly with the help of the sensor system and is available in world coordinates. Due to the natural kinematics of humans, given by the natural degrees of freedom of the individual joints of the human being, mere detection of the spatial position of the transponder T as well as its speed of movement or the accelerations acting on the transponder can draw conclusions about the other partial areas of the human being by way of inverse kinematics are closed. Thus, the human model shown in FIG. 3 in the world coordinates or Cartesian coordinates (x, y, z) (see the right image in FIG. 3) can be transformed into a configuration space in which the human model can be transformed by its own speed of movement and by the in the angular velocities ω occurring in the joint areas is defined. By considering inverse kinematics, the entire pose of a person can be determined with only a small number of marking agents, since the position of different parts of the body that are directly connected via joints cannot change independently of one another.

So sind einerseits die minimalen und maximalen Winkelwerte bzw. Beugezustände der einzelnen Gelenksbereiche sowie die maximalen Winkelgeschwindigkeiten, die die einzelnen Gelenkachsen annehmen können, im Rahmen der Menschmodell- Kinematik bekannt bzw. festgelegt. Unter Zugrundelegung dieser Informationen lässt sich somit durch Vergleichsbildung mit den aktuell erfassten Positionen und Posen einer Person abschätzen bzw. vorausberechnen, wo sich die Person auch einige Zeit nach der Messung durch das Sensorsystem aufhalten wird bzw. kann, so dass die Ortsbestimmung mit Hilfe des Sensorsystems nicht notwendigerweise kontinuierlich, sondern lediglich in kurzen Intervallen durchgeführt werden kann. On the one hand, there are the minimum and maximum angle values or bending states of the individual joint areas as well as the maximum angular speeds that can accept the individual joint axes within the framework of the human model Kinematics known or fixed. Using this information as a basis through comparison with the currently recorded positions and poses estimate or predict a person, where the person also spent some time is or can be stopped after the measurement by the sensor system, so that the Location determination with the aid of the sensor system is not necessarily continuous, but can only be carried out at short intervals.

Alternativ zu der vorstehend erläuterten Transpondertechnik ist es ebenso möglich, Schallsender AS an den zu ermittelnden Positionen der Kleidung der Person P anzubringen, die modulierten Schall, beispielsweise hörbaren Schall oder vorzugsweise Ultraschall aussenden. Durch die Aufnahme der Schallsignale mit einem Empfänger M, der in diesem Fall als Mikrofon ausgebildet ist, kann durch entsprechende Auswertung der Signale die Position der einzelnen Schallquellen AS und damit die Position der Person ermittelt werden. Zur Positionsbestimmung dient auch in diesem Fall das bereits vorstehende Prinzip der Triangulation. As an alternative to the transponder technology explained above, it is also possible to Sound transmitter AS at the positions of the clothing of the person P to be determined attach the modulated sound, such as audible sound or preferably emit ultrasound. By recording the sound signals with a receiver M, which is designed as a microphone in this case, by appropriate evaluation of the signals the position of the individual sound sources AS and thus the position of the person can be determined. Used to determine the position in this case too, the principle of triangulation described above.

Abweichend vom Triangulationsverfahren ermöglichen Beschleunigungssensoren und/oder Kreisel, die als Trägheits-abhängige Sensoren TR bekannt sind, eine Positionserfassung im Wege der räumlichen Kopplung ausgehend von einem räumlichen Referenzpunkt (siehe Fig. 5). Werden derartige, Trägheits-abhängige Sensoren TR an ausgewählten Stellen der Person angebracht, so kann nach anfänglicher Referenzierung der Sensoren die Position, Orientierung und Geschwindigkeit der Sensoren relativ zu einem räumlichen Referenzpunkt ermittelt werden. Die durch die Sensoren aufgenommenen Beschleunigungswerte werden über Funk an eine Basisstation übertragen, in der die Signale entsprechend ausgewertet werden. In a departure from the triangulation method, acceleration sensors and / or gyroscopes, which are known as inertia-dependent sensors TR, enable position detection by means of spatial coupling starting from a spatial reference point (see FIG. 5). If such inertia-dependent sensors TR are attached to selected locations of the person, the position, orientation and speed of the sensors can be determined relative to a spatial reference point after initially referencing the sensors. The acceleration values recorded by the sensors are transmitted via radio to a base station, in which the signals are evaluated accordingly.

Befindet sich die mit Trägheits-abhängigen Sensoren ausgerüstete Person zum Zeitpunkt t₀ in einer Ausgangslage, der sogenannten Referenzlage, so sind die Positionen der Beschleunigungssensoren und Kreisel bekannt. In jedem darauffolgenden Zeitintervall ΔT wird pro Beschleunigungssensor bzw. Kreisel ein Beschleunigungsvektor aufgenommen, der in Verbindung mit allen übrigen Beschleunigungsvektoren als Rechnungsgrundlage für eine Positionsberechnung der Person nach jedem einzelnen Zeitintervall dient. If the person equipped with inertia-dependent sensors is in a starting position, the so-called reference position, at time t ₀ , the positions of the acceleration sensors and gyroscopes are known. In each subsequent time interval .DELTA.T, an acceleration vector is recorded for each acceleration sensor or gyroscope, which, in conjunction with all other acceleration vectors, serves as a calculation basis for calculating the position of the person after each individual time interval.

Schließlich ist es möglich, eine Positionsbestimmung einer Person bzw. Teile einer Person im Wege optischer Beobachtung mit Hilfe einer Kamera unter Einsatz der Differenzbildtechnik vorzunehmen. Bezugnehmend auf die Darstellung gemäß Fig. 6 wird mit Hilfe wenigstens einer Kamera ein einmaliges Referenzbild eines Arbeitsbereiches ohne Gegenwart einer Person bzw. Teile einer Person aufgenommen (siehe linke Bilddarstellung). Im weiteren werden von einer Kameraeinheit laufend Bilder vom Arbeitsbereiches aufgezeichnet, in den gemäß der mittleren Bilddarstellung in Fig. 6 die Hand einer Person hineinreicht. Diese Bilder werden mit dem ursprünglich aufgenommenen Referenzbild verglichen. Eine Differenzbildung der Pixelwerte von dem Referenzbild und dem aktuell aufgenommenen Bild ergibt eine Darstellung (siehe hierzu rechte Darstellung in Fig. 6), die Bereiche angibt, in denen eine Veränderung stattgefunden hat und im vorliegenden Fall den Bereich der Hand mit einem Werkstück der Person zeigt. Finally, it is possible to determine the position of a person or parts of a person by optical observation using a camera using the differential image technique. Referring to the illustration of FIG. 6 at least one camera is a unique reference image of a person was added a working area without the presence of a person or parts with the aid (see left panel). Furthermore, a camera unit continuously records images of the work area into which the hand of a person extends according to the middle image in FIG. 6. These images are compared with the originally recorded reference image. A difference between the pixel values of the reference image and the currently recorded image results in a representation (see the right representation in FIG. 6) which indicates areas in which a change has taken place and in the present case shows the area of the hand with a workpiece of the person ,

Somit ist es auch mit dieser Technik möglich, Positionen und Posen einer Person, vorzugsweise Teile einer Person, zu erfassen. So with this technique it is also possible to position and pose a person, preferably parts of a person.

Bedient man sich anstelle einer Aufnahmekamera K gemäß linker Bilddarstellung in Fig. 7 mehrerer Aufnahmekameras K, beispielsweise zwei Kameras gemäß rechte Bilddarstellung in Fig. 7, so kann der zu überwachende Raumbereich durch entsprechende Überlagerung der Sichtbereiche der beiden Kameras lokal eingegrenzt werden. If, instead of a recording camera K according to the left image in FIG. 7, a plurality of recording cameras K, for example two cameras according to the right image in FIG. 7, are used, the area to be monitored can be localized locally by appropriately superimposing the viewing areas of the two cameras.

Soll mit Hilfe der vorstehend beschriebenen, rein optischen Überwachungstechnik die aktuelle Position und Pose einer ganzen Person bestimmt werden, so dienen als Farbmarkierungen ausgebildete Markiermittel, die an entsprechenden Stellen der Kleidung der Person angebracht werden können, als entsprechende, von den Kameras zu detektierende Positionsmarken. Should be using the purely optical monitoring technology described above The current position and pose of an entire person can be determined, so serve as Color markers trained markers in the appropriate places of the Clothing of the person can be attached, as appropriate, by the Position marks to be detected by cameras.

Mit Hilfe des erfindungsgemäßen Verfahrens sowie Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einer Person ist es möglich, einerseits ein Eintreten einer Person in den Aktionsbereich der Robotereinheit festzustellen und von Seiten der Robotereinheit auf dieses Ereignis in geeigneter Weise zu reagieren, beispielsweise durch Not-Ausschaltung oder andere Steuerungsstrategien. Insbesondere kann die Robotereinheit seine Bewegungsdynamik gezielt auf die Bewegungen der Person abstimmen und auf diese Weise ein gemeinsames Arbeiten ermöglichen. With the help of the method according to the invention and device for controlled It is the interaction between an autonomous robot unit and a person possible, on the one hand, a person entering the field of action of the Determine robot unit and on the part of the robot unit on this event in respond appropriately, for example by emergency stop or others Control strategies. In particular, the robot unit can be Adapt movement dynamics specifically to the movements of the person and on in this way enable working together.

Nachstehend seien reihenhaft die mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung verbundenen Vorteile zusammengefasst: Below are the series with the inventive method and the The advantages associated with the device according to the invention are summarized:

Schaffung einer neuartigen Möglichkeit der Zusammenarbeitung zwischen Mensch und Roboter. Creation of a new way of cooperation between people and robots.

Die Durchlaufzeit von Werkstücken längs einer Produktionsstrasse kann erhöht werden, da durch den gemeinsamen Arbeitsraum zwischen Roboter und Mensch die Transportwege kleiner werden. The lead time of workpieces along a production line can be increased because the common working space between robot and human Transport routes are getting smaller.

Der Einsatz von mobilen Robotermanipulatoren in Produktionsbereichen, in denen auf manuelle Zuarbeit nicht verzichtet werden kann, wird durch die erfindungsgemäße Maßnahme erst ermöglicht. The use of mobile robot manipulators in production areas in which on manual preparation can not be dispensed with, the Measure according to the invention only possible.

Der räumliche Platzbedarf für Robotereinheiten wird entscheidend reduziert, da keine aufwendigen Abgrenzungsmaßnahmen und Lichtschrankenanlagen erforderlich sind. Bezugszeichenliste AS Schallquelle
E Empfänger
K Kamera
M Mikrophon
P Person
R Robotereinheit
S Sender
T Transponder, Markierungsmittel
TR Trägheits-abhäniger Sensor
The space required for robot units is significantly reduced, since no complex demarcation measures and light barrier systems are required. LIST OF REFERENCE NUMBERS AS sound source
E receiver
K camera
M microphone
P person
R robot unit
S transmitter
T transponder, marker
TR inertia-dependent sensor

Claims

1. Method for controlled interaction between a self-moving robot unit (R) and a person (P) characterized by the following method steps:

- Detecting the spatially and temporally changing position of the person (P) or parts of the person using a sensor system,

Evaluating the dynamically recorded position of the person (P) or parts of the person in accordance with a behavior model describing the person by comparing the dynamically recorded position with reference data,

- Targeted activation of the robot unit (R) in order to influence the self-mobility of the robot unit (R) in a controlled manner as a function of the evaluated, dynamically detected position of the person (P).

2. The method according to claim 1, characterized in that for detecting the person (P) or parts of the person selected kinematics of the person or parts of the person Places on the person are recorded in a location and time-resolved manner.

3. The method according to claim 2, characterized in that for the sensory detection of the selected locations Marking agent (T) can be used at the points.

4. The method according to claim 3, characterized in that the marking means (T) in by the person (P) worn clothing can be integrated.

5. The method according to any one of claims 1 to 4, characterized in that the dynamic detection of the spatial position the person (P) or parts of the person by radio, optical or acoustic location based on the triangulation becomes.

6. The method according to any one of claims 1 to 4, characterized in that the dynamic detection of the spatial position of the person (P) or parts of the person using inertia-dependent Sensors (TR) whose sensor signals are subjected to spatial referencing be carried out.

7. The method according to any one of claims 1 to 4, characterized in that the dynamic detection of the spatial position of the person (P) or parts of the person by optical image acquisition of the person (P) or parts of the person is carried out with subsequent image evaluation.

8. The method according to any one of claims 1 to 7, characterized in that the reference data describes the person (P) Reference poses as well as the movement dynamics of the person characteristic Includes information such as speed of travel and accelerations.

9. The method according to any one of claims 1 to 8, characterized in that for the creation and deposit of the person (P) descriptive reference data the person or parts of the person at least in one Variety of the interaction between the robot unit (R) and the person (P) representing positions can be detected dynamically with the sensor system.

10. The method according to claim 8 or 9, characterized in that based on the acquired reference data behavioral characterizing the person or parts of the person the interaction between the robot unit (R) and the person (P) describes.

11. The method according to any one of claims 1 to 10, characterized in that by evaluating the dynamically captured Position of the person (P) or parts of the person control signals for self-movement drive units serving the robot unit (R) are generated.

12. Device for controlled interaction between a self-moving robot unit (R) and a person (P), which has the following components:

- sensor system for detecting a current spatial position of a person (P) or parts of a person,

- Evaluation unit with a database containing reference poses of the person or parts of the person, in which the detected current spatial position is compared with reference poses and control signals are generated on the basis of an evaluation criterion, and

- Control unit for controlling drive means determining the inherent mobility of the robot unit.

13. The apparatus according to claim 12, characterized in that the sensor system comprises marking means (T), which are provided at selected locations on the person who is responsible for the kinematics of the Characterize person or parts of the person.

14. The apparatus according to claim 13, characterized in that the marking means directly on the person are attached or incorporated into the person's clothing.

15. The apparatus of claim 13 or 14, characterized in that the selected digits end portions of Extremities or joint areas of the person are.

16. The device according to one of claims 12 to 15, characterized in that the marking means in each case as radio transponders, Sound source or are formed as a color or pattern marking, and that the sensor system provides a detection unit, the radio or acoustic Signals detected.

17. The apparatus of claim 16, characterized in that the evaluation unit the detected radio or evaluates acoustic signals using the triangulation method.

18. The apparatus according to claim 12, characterized in that the sensor system to the kinematics of the person or Selected parts of the person that characterize parts of the person dependent sensors are provided.

19. The apparatus according to claim 18, characterized in that the inertia-dependent sensors Acceleration sensors and / or gyro sensors are.

20. The apparatus of claim 18 or 19, characterized in that the evaluation unit which is controlled by the inertial dependent sensors originating sensor signals with a spatial Reference system referenced.

21. Device according to one of claims 12 to 15, characterized in that the sensor system has at least one camera unit includes the spatial position of the person.