DE102017007908A1 - Method for controlling the movement of a mobile robot - Google Patents

Method for controlling the movement of a mobile robot Download PDF

Info

Publication number
DE102017007908A1
DE102017007908A1 DE102017007908.0A DE102017007908A DE102017007908A1 DE 102017007908 A1 DE102017007908 A1 DE 102017007908A1 DE 102017007908 A DE102017007908 A DE 102017007908A DE 102017007908 A1 DE102017007908 A1 DE 102017007908A1
Authority
DE
Germany
Prior art keywords
gesture
point
robot
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017007908.0A
Other languages
German (de)
Inventor
Marco Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HOCHSCHULE BOCHUM
Original Assignee
HOCHSCHULE BOCHUM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HOCHSCHULE BOCHUM filed Critical HOCHSCHULE BOCHUM
Priority to DE102017007908.0A priority Critical patent/DE102017007908A1/en
Publication of DE102017007908A1 publication Critical patent/DE102017007908A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung der Bewegung eines mobilen Roboters (R) durch eine Geste eines Gestengebers (G), wobei der Gestengeber (G) mittels wenigstens einer Kamera (K) datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter (R) gebildet werden, die an den Roboter (R) übertragen und von diesem in eine Bewegung umgesetzt werden, wobei in einem dem Gestengeber (G) zugeordneten ersten Koordinatensystem, insbesondere das seinen Ursprung im Gestengeber (G) hat, aus den die Körperhaltung des Gestengebers (G) repräsentierenden Kameradaten die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes (GP) ermittelt werden und aus den Koordinaten des Gestenpunktes (GP) und den Koordinaten eines im ersten Koordinatensystem festgelegten Referenzpunktes (RP1) ein Verbindungsvektor (V) zwischen Gestenpunkt (GP) und Referenzpunkt (RP1) berechnet wird und in einem dem Roboter (R) zugeordneten und mit dem Roboter (R) mitbewegten zweiten Koordinatensystem, insbesondere das seinen Ursprung im Roboter (R) hat, der Roboter (R) relativ zu einem Referenzpunkt (RP2) des zweiten Koordinatensystems eine Bewegung ausführt, deren Richtung ausgehend von seinem Referenzpunkt (RP2) der Richtung des Verbindungsvektors (V) entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors (V) abhängt.
Figure DE102017007908A1_0000
The invention relates to a method for controlling the movement of a mobile robot (R) by a gesture of a gesture generator (G), wherein the gesture generator (G) is detected by means of at least one camera (K) and from the acquired camera data movement data for the robot ( R), which are transmitted to the robot (R) and converted by it into a movement, wherein in a the gesture (G) associated first coordinate system, in particular that has its origin in the gesture generator (G), from the posture of The coordinates of a body posture changing gesture point (GP) are determined and from the coordinates of the gesture point (GP) and the coordinates of a fixed in the first coordinate system reference point (RP1) a connection vector (V) between gesture point (GP ) and reference point (RP1) is calculated and assigned to the robot (R) and the robot (R) mitbew second coordinate system, in particular that has its origin in the robot (R), the robot (R) relative to a reference point (RP2) of the second coordinate system performs a movement whose direction starting from its reference point (RP2) the direction of the connection vector (V) corresponds and their speed depends on the amount of the connection vector (V).

Description

  • Die Erfindung betrifft ein Verfahren zur Steuerung der Bewegung eines mobilen Roboters durch eine Geste eines Gestengebers, wobei der Gestengeber mittels wenigstens einer Kamera datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter gebildet werden, die an den Roboter übertragen und von diesem in eine Bewegung umgesetzt werden.The invention relates to a method for controlling the movement of a mobile robot by a gesture of a gesture transmitter, wherein the gesture sensor is detected by at least one camera data technology and from the captured camera data motion data for the robot are formed, which are transmitted to the robot and from there into a Movement be implemented.
  • Im Stand der Technik ist es beispielsweise bekannt mobile Roboter mittels einer Geste zu steuern. Die Steuerung erfolgt dabei nicht zum Zweck der Kontrolle einer Bewegung des Roboters, sondern um mit der Geste eine spezielle Aktion des Roboters auszulösen. Z.B. kann eine mit einer Kamera ausgestattete Flugdrohne eine bestimmte Geste eines Gestengebers durch eine Bildverarbeitungssoftware erkennen und nach der Erkennung die Erstellung einer Photografie des Gestengebers auslösen. Dazu muss der Gestengeber eine ganz bestimmte Geste ausführen, da nur diese durch die Bildauswertung des Roboters erkannt wird.In the prior art, for example, it is known to control mobile robots by means of a gesture. The control is not done for the purpose of controlling a movement of the robot, but to trigger a special action of the robot with the gesture. For example, For example, a flight drone equipped with a camera may detect a particular gesture of a gesture by image processing software and, upon detection, trigger the creation of a photograph of the gesture generator. To do this, the gesture maker must make a very specific gesture, as only this is detected by the image evaluation of the robot.
  • Es ist ebenso bekannt, die Bewegung von stationären beweglichen Roboterarmen mittels Gesten eines Gestengebers zu steuern. Bei dieser Bewegungssteuerung bildet der Roboterarm üblicherweise exakt die Bewegung nach, die der Gestengeber z.B. mit seinem Arm vorgibt.It is also known to control the movement of stationary moving robot arms by means of gestures of a gesture generator. In this motion control, the robotic arm typically accurately tracks the motion that the gesture generator detects, e.g. pretending with his arm.
  • Bei der Bewegungssteuerung mobiler Roboter wird bislang auf Fernbedienungen verschiedener Art, z.B. mittels eines Smartphones zurückgegriffen. Solche Fernbedienungen weisen Eingabemittel auf, um hierüber die Bewegung des Roboters zu beeinflussen. Z.B. kann durch verschiedene Neigungen der Fernbedienung die Bewegung eines mobilen Roboters gesteuert werden.In mobile robot motion control, hitherto, remote controls of various types, e.g. using a smartphone. Such remote controls have input means to affect the movement of the robot over this. For example, The movement of a mobile robot can be controlled by different inclinations of the remote control.
  • Nachteilig ist hier, dass durch die Verwendung einer Fernbedienung die Steuerung häufig wenig intuitiv ist und ein Nutzer einer solchen Fernbedienung zunächst den Umgang mit dieser erlernen muss. Weiterhin ist durch die Notwendigkeit einer Fernbedienung ein Steuerungssystem aufwändig und teuer ist.The disadvantage here is that by using a remote control is often not very intuitive and a user of such a remote control must first learn how to handle this. Furthermore, the need for a remote control system is complex and expensive.
  • Somit ist es eine Aufgabe der Erfindung ein Verfahren zur Steuerung der Bewegung eines mobilen Roboters bereitzustellen, das eine intuitive Steuerung auch für unerfahrene Personen und ohne die Notwendigkeit der Handhabung einer Fernbedienung ermöglicht.Thus, it is an object of the invention to provide a method of controlling the movement of a mobile robot that allows intuitive control even for inexperienced persons and without the need to handle a remote control.
  • Diese Aufgabe wird dadurch gelöst, dass bei einem Verfahren der eingangs genannten gattungsgemäßen Art in einem dem Gestengeber zugeordneten ersten Koordinatensystem aus den die Körperhaltung des Gestengebers repräsentierenden Kameradaten die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes ermittelt werden und aus den Koordinaten des Gestenpunktes und den Koordinaten eines im ersten Koordinatensystem festgelegten Referenzpunktes ein Verbindungsvektor zwischen dem Gestenpunkt und dem Referenzpunkt berechnet wird und in einem dem Roboter zugeordneten und mit dem Roboter mitbewegten zweiten Koordinatensystem der Roboter relativ zu einem Referenzpunkt des zweiten Koordinatensystems eine Bewegung ausführt, deren Richtung ausgehend von seinem Referenzpunkt der Richtung des Verbindungsvektors entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors abhängt.This object is achieved in that, in a method of the generic type mentioned in the first coordinate system associated with the gesture from the camera data representing the posture of the gesture the coordinates of a changing with the posture gesture point are determined and from the coordinates of the gesture point and the coordinates of a reference point fixed in the first coordinate system, a connection vector between the gesture point and the reference point is calculated and, in a second coordinate system assigned to the robot and moving with the robot, the robot makes a movement relative to a reference point of the second coordinate system, whose direction starts from its reference point of direction of the connection vector and whose speed depends on the magnitude of the connection vector.
  • Für die Erfindung ist es wesentlich komplett ohne eine zu bedienende Fernbedienung auszukommen. Vielmehr ist es bei der Erfindung wesentlich, dass die Steuerung des mobilen Roboters sich aus der Körperhaltung des Gestengebers ergibt.For the invention, it is essential to get along completely without a remote control to be operated. Rather, it is essential in the invention that the control of the mobile robot results from the posture of the gesture generator.
  • Die Körperhaltung wird hierbei mit wenigstens einer Kamera datentechnisch erfasst, worunter verstanden wird, dass der Gestengeber durch ein Objektiv der wenigstens einen Kamera auf deren Kamera-Chip abgebildet wird und die optische Abbildung der Körperhaltung in Kameradaten umgewandelt wird, wie es im Stand der Technik bekannt ist. Mit Hilfe dieser Kameradaten werden die Koordinaten des Gestenpunktes ermittelt. Dies kann mit einer Software in der Kamera erfolgen oder auch extern zur Kamera mit einer Software, die in einer Auswerteeinheit läuft, zu der die Kameradaten übertragen werden. Durch Verwendung von mehr al einer Kamera kann sichergestellt werden, dass wenigstens eine der mehreren Kameras den Gestengeber vollständig erfasst. Es kann vorgesehen sein nur diejenigen Kameradaten von derjenigen Kamera zu verwerten hinsichtlich der Ermittlung der Koordinaten des Gestenpunktes, die den Gestengeber voll erfasst. Die Daten anderen Kamera können z.B. verworfen werden.The posture is in this case detected by at least one camera data, which is understood that the gesture is imaged by a lens of at least one camera on the camera chip and the optical image of the posture is converted into camera data, as known in the art is. With the help of this camera data, the coordinates of the gesture point are determined. This can be done with software in the camera or externally to the camera with software that runs in an evaluation unit to which the camera data is transmitted. By using more than one camera, it can be ensured that at least one of the multiple cameras completely captures the gesture. It may be provided to utilize only those camera data from that camera with respect to the determination of the coordinates of the gesture point, which fully captures the gesture. The data of other camera may e.g. be discarded.
  • Bei der Erfindung besteht keine Notwendigkeit eine oder mehrere bestimmte Gesten in den erfassten Kameradaten zu erkennen. Vielmehr basiert die Erfindung darauf, im ersten Koordinatensystem des Gestengebers zu jeder beliebig eingenommenen Körperhaltung des Gestengebers einen Gestenpunkt festzulegen, dessen Koordinaten in dem ersten Koordinatensystem ermittelt werden. Dieser Gestenpunkt bzw. dessen Koordinaten ändern sich somit, wenn der Gestengeber seine Körperhaltung ändert. Eine Geste im Sinne der Erfindung ist somit jede mögliche Körperhaltung und nicht eine oder mehrere bestimmte. Ein Gestengeber steuert somit einen Roboter erfindungsgemäß in Abhängigkeit seiner eingenommenen Körperhaltung.In the invention, there is no need to recognize one or more specific gestures in the captured camera data. Rather, the invention is based on the determination of a gesture point in the first coordinate system of the gesture generator for each arbitrarily adopted posture of the gesture, the coordinates of which are determined in the first coordinate system. This gesture point or its coordinates thus change when the gesture changes its posture. A gesture within the meaning of the invention is thus any possible posture and not one or more specific. A gesture controller thus controls a robot according to the invention as a function of its assumed posture.
  • Weiterhin ist im ersten Koordinatensystem ein Referenzpunkt mit seinen Koordinaten fest definiert. Es besteht nun die Möglichkeit aus den Koordinaten des variablen Gestenpunktes und des festen Referenzpunktes im ersten Koordinatensystem einen Verbindungsvektor zwischen diesen Punkten zu berechnen. Ein solcher Vektor ist durch eine Richtung und eine Länge bzw. einen Betrag definiert. Erfindungsgemäß wird sodann bei der Bewegung des mobilen Roboters die Richtung des Verbindungsvektors als Bewegungsrichtung des Roboters interpretiert und der Betrag bzw. die Länge des Verbindungsvektors gibt eine Geschwindigkeit vor, mit der sich der Roboter in der genannten Richtung bewegen soll. Die Geschwindigkeit kann z.B. mittels eines gespeicherten Formelzusammenhanges aus dem Betrag bzw. der Länge des Verbindungsvektors berechnet werden. Ein solcher Zusammenhang kann eine Proportionalität zwischen Länge / Betrag und Geschwindigkeit repräsentieren. Furthermore, a reference point with its coordinates is firmly defined in the first coordinate system. It is now possible from the coordinates of the variable gesture point and the fixed reference point in the first coordinate system to calculate a connection vector between these points. Such a vector is defined by a direction and a length or an amount. According to the invention, in the movement of the mobile robot, the direction of the connection vector is then interpreted as the direction of movement of the robot, and the amount or the length of the connection vector specifies a speed with which the robot is to move in said direction. The speed can be calculated, for example, by means of a stored formula relationship from the amount or the length of the connection vector. Such a relationship may represent a proportionality between length / amount and speed.
  • Die Richtung und die Geschwindigkeit, oder Daten aus denen diese berechnet werden, werden gemäß der Erfindung von einer Auswerteeinheit, welche die Kameradaten empfangen hat an den Roboter kommuniziert, sofern dieser nicht selbst die Auswerteeinheit umfasst.The direction and the speed or data from which these are calculated are, according to the invention, communicated to the robot by an evaluation unit, which has received the camera data, insofar as it does not itself comprise the evaluation unit.
  • Der Roboter vollzieht dabei die Bewegung in der genannten Richtung und der bestimmten Geschwindigkeit ausgehend von einem festen Referenzpunkt in einem zweiten Koordinatensystem, dass dem Roboter zugeordnet ist.The robot performs the movement in said direction and the determined speed starting from a fixed reference point in a second coordinate system that is assigned to the robot.
  • Somit wird bei der Erfindung die gewünschte Richtung und Geschwindigkeit im ersten Koordinatensystem des Gestengebers erfasst bzw. ermittelt und vom Roboter in dessen eigenen zweiten Koordinatensystem interpretiert. Die beiden Koordinatensysteme sind somit verschieden zueinander.Thus, in the invention, the desired direction and speed in the first coordinate system of the gesture sensor is detected or determined and interpreted by the robot in its own second coordinate system. The two coordinate systems are thus different from each other.
  • Das Koordinatensystem des Gestengebers ist dabei bevorzugt mit dem Gestengeber mitbewegt. Ändert dieser somit seine Position im Raum, also im Erdbezugssystem so folgt das erste Koordinatensystem dem Gestengeber. Eine bestimmte Körperhaltung wird somit immer zur Ermittlung derselben Koordinaten des Gestenpunktes führen, egal wo sich der Gestengeber im Erdbezugssystem befindet. Dies ist bevorzugt besonders leicht zu realisieren, wenn der Ursprung des ersten Koordinatensystems im Gestengeber liegt.The coordinate system of the gesture is preferably moved along with the gesture. If this thus changes its position in space, ie in the earth-tracking system, the first coordinate system follows the gesture generator. A specific posture will thus always lead to the determination of the same coordinates of the gesture point, no matter where the gesture is in the grounding system. This is preferably particularly easy to realize when the origin of the first coordinate system is in the gesture generator.
  • In gleicher Weise ist bevorzugt das zweite Koordinatensystem des Roboters mit dem Roboter mitbewegt, insbesondere hier der Ursprung des zweiten Koordinatensystems in den Roboter gelegt.In the same way, preferably the second coordinate system of the robot is moved with the robot, in particular here the origin of the second coordinate system is placed in the robot.
  • Ein jeder der beiden Referenzpunkte kann auch durch den jeweiligen Ursprung des jeweiligen Koordinatensystems gegeben sein. Dies ist jedoch nicht zwingend.Each of the two reference points can also be given by the respective origin of the respective coordinate system. However, this is not mandatory.
  • Bereits hierdurch ist die erfindungsgemäße Steuerung sehr intuitiv, weil der Gestengeber sich nicht in den Roboter hineinversetzen muss.Already hereby, the control according to the invention is very intuitive, because the gesture generator does not have to move into the robot.
  • Die Erfindung kann vorsehen, dass die Koordinaten des Gestenpunktes im ersten Koordinatensystem ermittelt werden aus den Koordinaten wenigstens einer in den Kameradaten repräsentierten Körperextremität des Gestengebers. Dabei können z.B. die Koordinaten des Gestenpunktes direkt die Koordinaten einer vorbestimmten Körperextremität des Gestengebers sein.The invention may provide that the coordinates of the gesture point in the first coordinate system are determined from the coordinates of at least one body extremity of the gesture sensor represented in the camera data. Thereby, e.g. the coordinates of the gesture point directly be the coordinates of a predetermined body extremity of the gesture generator.
  • Die Erfindung kann z.B. vorsehen, an einer oder mehreren Körperextremitäten des Gestengebers optische Marker anzuordnen, die mit der wenigstens einen Kamera erfasst werden. Die Koordinaten eines solchen Markers, z.B. an der Hand können die Koordinaten des Gestenpunktes bilden. Die Koordinaten des Gestenpunktes können auch aus den Koordinaten von wenigstens zwei Markern errechnet werden.The invention may e.g. provide at one or more body extremities of the gesture sensor to place optical markers that are detected with the at least one camera. The coordinates of such a marker, e.g. The coordinates of the gesture point can form on the hand. The coordinates of the gesture point can also be calculated from the coordinates of at least two markers.
  • Die konkrete Ermittlung solcher Koordinaten eines oder mehrerer Marker aus den Kameradaten wenigstens einer Kamera ist dem Fachmann aus dem Stand der Technik bekannt und bildet keinen wesentlichen Gegenstand der Erfindung.The concrete determination of such coordinates of one or more markers from the camera data of at least one camera is known to the person skilled in the art and forms no essential subject of the invention.
  • Bevorzugt sieht es die Erfindung vor, dass die Koordinaten des Gestenpunktes im ersten Koordinatensystem gebildet werden durch die Koordinaten des Schnittpunktes eines durch die Körperhaltung des Gestengebers definierten Richtungsvektors mit der Bodenebene, bevorzugt des die Unterarmrichtung des Gestengebers repräsentierenden Richtungsvektors mit der Bodenebene, auf welcher der Gestengeber steht, insbesondere wobei der Referenzpunkt im ersten Koordinatensystem des Gestengebers in derselben Bodenebene angeordnet ist, bevorzugt ventral und in der Sagittalebene des Gestengebers.Preferably, the invention provides that the coordinates of the gesture point in the first coordinate system are formed by the coordinates of the intersection of a direction vector defined by the posture of the gesture with the ground plane, preferably of the forearm direction of the gesture direction vector representing the ground plane on which the gesture in particular, wherein the reference point in the first coordinate system of the gesture transmitter is arranged in the same ground plane, preferably ventrally and in the sagittal plane of the gesture transmitter.
  • Eine solche Ausführung ist allgemein bei der Steuerung jeglicher mobiler Roboter möglich, jedoch besonders vorteilhaft und intuitiv bei der Steuerung von sich am Boden bewegenden Robotern, z.B. Reinigungsrobotern, wie Saugroboter.Such an embodiment is generally possible in the control of any mobile robot, but is particularly advantageous and intuitive in the control of ground moving robots, e.g. Cleaning robots, such as vacuum robots.
  • Durch den Schnittpunkt von bevorzugt der Unterarmrichtung mit der Bodenebene ergibt sich faktisch ein Gestenpunkt in der Bodenebene der dort am Boden angeordnet ist, wohin der Gestengeber mit seiner Hand oder seinen Fingern zeigt. So entspricht die Richtung eines von der Hand weggestreckten Zeigefingers zumindest im Wesentlichen der Unterarmrichtung, die jedoch aufgrund der deutlich längeren Ausbildung des Unterarmes im Vergleich zum Finger deutlich leichter oder zumindest mit höherer Genauigkeit in den Kameradaten ermittelbar ist.By the point of intersection of preferably the forearm direction with the ground plane, a gesture point in the ground plane is in fact arranged on the ground, to which the gesture giver points with his hand or his fingers. Thus, the direction of an index finger extended away from the hand at least substantially corresponds to the forearm direction, but due to the significantly longer Education of the forearm compared to the finger significantly easier or at least with higher accuracy in the camera data can be determined.
  • Z.B. kann es die Erfindung vorsehen, dass der Richtungsvektor, insbesondere von der Unterarmrichtung ermittelt wird in Abhängigkeit der Koordinaten und/oder Winkel von wenigstens zwei Körpergelenken des Gestengebers. Hierzu können die Koordinaten / Winkel der wenigstens zwei Körpergelenke aus den Kameradaten ermittelt werden. Beispielsweise kann der Richtungsvektor der Unterarmrichtung ermittelt werden in Abhängigkeit der Koordinaten des Ellenbogengelenkes und eines Gelenkes der Handextremität, insbesondere des Handgelenkes.For example, It can provide the invention that the direction vector, in particular of the forearm direction is determined depending on the coordinates and / or angle of at least two body joints of the gesture transmitter. For this purpose, the coordinates / angles of the at least two body joints can be determined from the camera data. For example, the directional vector of the forearm direction can be determined as a function of the coordinates of the elbow joint and of a joint of the hand extremity, in particular of the wrist.
  • Grundsätzlich kann es die Erfindung vorsehen, den Richtungsvektor, insbesondere der Unterarmrichtung mittels jeglicher im Stand der Technik bekannten Auswertung von Kameradaten zu ermitteln.In principle, the invention can provide for the direction vector, in particular the forearm direction, to be determined by means of any evaluation of camera data known in the prior art.
  • Besonders bevorzugt sieht es die Erfindung hingegen vor, dass die jeweiligen Gelenkkoordinaten und/oder Gelenkwinkel von Gelenkpositionen des Gestengebers und insbesondere des Ellenbogengelenkes und des Gelenkes der Handextremität ermittelt werden durch das Verfahren des Skelett-Tracking auf der Grundlage der Daten wenigstens einer Tiefenkamera.On the other hand, the invention particularly preferably provides that the respective joint coordinates and / or joint angles of joint positions of the gesture transmitter and in particular of the elbow joint and the joint of the hand extremity are determined by the method of skeletal tracking on the basis of the data of at least one depth camera.
  • Solche Tiefenkameras sind kommerziell erhältlich und liefern als Kameradaten direkt einen Datenstrom, der die nötigen Positionen und /oder Winkel dieser genannten Gelenke und anderen Gelenke des Körpers des Gestengebers bereitstellt, so dass aus dem Datenstrom lediglich die gewünschten Daten der zur Koordinatenbestimmung des Gestenpunktes verwendeten Gelenke separiert und genutzt werden. Hierdurch wird die Erfindung besonders kostengünstig realisierbar.Such depth cameras are commercially available and provide as camera data directly a data stream which provides the necessary positions and / or angles of said joints and other joints of the body of the gesture, so that only the desired data of the joints used for determining the coordinate of the gesture point separates from the data stream and be used. As a result, the invention is particularly cost feasible.
  • Eine solche Tiefenkamera kann z.B. einen Projektor, insbesondere Infrarot-Projektor umfassen, mit dem pulsierend Licht ausgesendet wird, wobei der Sensor der Kamera das vom Gestengeber reflektierte Licht empfängt und anhand der Laufzeit des Lichtes für jeden Bildpunkt der Kamera eine Tiefeninformation berechnet, der ein RGB-Bild zugeordnet werden kann. So kann ein Distanzbild des Gestengebers zur Kamera ermittelt werden. Aus den Distanzdaten können die Koordinaten und/oder Winkel der Gelenke des Skeletts des Gestengebers bestimmt werden. Durch die Berechnung dieser Daten in der Kamera-Infrastruktur werden externe Rechner vorteilhaft entlastet.Such a depth camera can e.g. comprise a projector, in particular infrared projector, is emitted with the pulsating light, wherein the sensor of the camera receives the reflected light from the gesture and based on the duration of the light for each pixel of the camera calculates a depth information to which an RGB image can be assigned , This allows a distance image of the gesture generator to be determined to the camera. From the distance data, the coordinates and / or angles of the joints of the skeleton of the gesture generator can be determined. By calculating this data in the camera infrastructure, external computers are advantageously relieved.
  • Beispielsweise braucht eine solche Tiefenkamera oder mehrere hiervon nur so im Raum positioniert werden, dass wenigstens eine Tiefenkamera den Gestengeber erfasst und die benötigten Gelenkdaten (Koordinaten und/oder Winkel) liefert. Besonders bevorzugt ist wenigstens eine Tiefenkamera auf dem mobilen Roboter angeordnet. Z.B. können mehrere Kameras mit gleichem Winkelabstand zueinander an der Umfangsperipherie eines Roboters angeordnet sein, insbesondere drei Kameras. So wird sichergestellt, dass der Gestengeber immer im „Blickfeld“ wenigstens einer Kamera des Roboters ist.For example, such a depth camera or several thereof need only be positioned in space so that at least one depth camera detects the gesture and supplies the required joint data (coordinates and / or angles). Particularly preferably, at least one depth camera is arranged on the mobile robot. For example, For example, several cameras can be arranged at the same angular distance from each other on the peripheral periphery of a robot, in particular three cameras. This ensures that the gesture is always in the "field of vision" of at least one camera of the robot.
  • Allgemein kann die Erfindung vorsehen die Auswertung der Kameradaten in einer Auswerteeinheit vorzunehmen, z.B. eine die extern ist zum Roboter. Die Daten für Richtung und Geschwindigkeit können an den zu steuernden Roboter durch eine Kommunikation übermittelt werden, z.B. eine Funkkommunikation. Im Fall einer Anordnung wenigstens einer Kamera auf dem Roboter kann die gesamte Auswertung und Steuerung des Roboters durch eine Auswerteeinheit des Roboters selbst vorgenommen werden. Insbesondere kann ein Roboter wenigstens seine Tiefenkamera tragen, so dass die Elektronik des Roboters nur deren bereitgestellten Datenstrom auswerten muss.In general, the invention can provide for the evaluation of the camera data in an evaluation unit, e.g. one is external to the robot. The direction and speed data may be communicated to the robot to be controlled by communication, e.g. a radio communication. In the case of an arrangement of at least one camera on the robot, the entire evaluation and control of the robot can be carried out by an evaluation unit of the robot itself. In particular, a robot can carry at least its depth camera, so that the electronics of the robot only needs to evaluate their provided data stream.
  • Die Erfindung kann weiterhin vorsehen, dass die aus dem Betrag des Verbindungsvektors zwischen Gestenpunkt und Referenzpunkt ermittelte Geschwindigkeit auf einen vorgegebenen Maximalwert beschränkt wird. So kann eine Beschränkung auf solche maximalen Werte erfolgen, die eine Steuerung des Roboters durch den Gestengeber mit der gewünschten Genauigkeit ermöglichen. The invention may further provide that the speed determined from the magnitude of the connection vector between the gesture point and the reference point is limited to a predetermined maximum value. Thus, a restriction to such maximum values can be made, which allow a control of the robot by the gesture with the desired accuracy.
  • Analog kann die aus dem Betrag des Verbindungsvektors ermittelte Geschwindigkeit auf einen vorgegebenen Minimalwert heraufgesetzt wird. Somit hat der Roboter - sofern er sich bewegt - eine Mindestgeschwindigkeit.Similarly, the speed determined from the magnitude of the connection vector can be increased to a predetermined minimum value. Thus, the robot - if it moves - has a minimum speed.
  • Die Erfindung wird anhand der Figur näher erläutert.The invention will be explained in more detail with reference to FIG.
  • Die 1 zeigt einen Gestengeber G, der auf einer Bodenebene B aufsteht. Auf dieser soll z.B. auch der mobile Roboter R fahren, der hier jedoch zur besseren Verdeutlichung in Aufsicht dargestellt ist. Mittels einer Tiefenkamera K wird der Gestengeber G optisch erfasst. Der Datenstrom der Tiefenkamera K wird an eine Auswerteeinheit A übermittelt. Der Datenstrom umfasst die Koordinaten und / oder Gelenkwinkel der Gelenke 1 bis 20 des Gestengebers G. Zur Bestimmung dieser Daten des Datenstromes läuft in der Kamera eine herstellerseitige Software, die nicht Gegenstand der Erfindung ist.The 1 shows a gesture generator G who is on a ground level B gets up. On this example, also the mobile robot R drive, which is shown here for better clarity in supervision. By means of a depth camera K becomes the gesture G optically recorded. The data stream of the depth camera K is sent to an evaluation unit A transmitted. The data stream includes the coordinates and / or joint angles of the joints 1 to 20 of the gesture G , To determine this data of the data stream, a manufacturer-side software is running in the camera, which is not the subject of the invention.
  • In der Auswerteeinheit wird aus den Koordinaten und oder Gelenkwinkeln der Gelenke 6 und 7, also hier des Ellenbogengelenkes und des Handgelenkes ein Unterarm-Richtungsvektor UV bestimmt, der die Richtung des Unterarmes zwischen diesen Gelenken 6 und 7 repräsentiert und in Richtung nach unten zur Bodenebene zeigt. Der Unterarm-Richtungsvektor UV schneidet somit die Bodeneben.In the evaluation unit is made of the coordinates and or joint angles of the joints 6 and 7 So here's the elbow joint and wrist a forearm direction vector UV certainly, the direction of the forearm between these joints 6 and 7 represents and points down to the ground level. The forearm direction vector UV thus cuts the bottom of life.
  • Die Berechnung erfolgt durch eine implementierte Software in der Auswerteeinheit A. Aus den Vektordaten des Unterarm-Richtungsvektors UV und gespeicherten Daten der Bodenebene werden durch die Software weiterhin die Koordinaten des Gestenpunktes GP berechnet, der somit in der Bodenebene B liegt. Diese Berechnung erfolgt mit Bezug zu einem ersten Koordinatensystem, dass dem Gestengeber G zugeordnet ist.The calculation is carried out by an implemented software in the evaluation unit A , From the vector data of the forearm direction vector UV and stored ground level data will continue to be the coordinates of the gesture point through the software GP calculated, thus in the ground level B lies. This calculation is done with reference to a first coordinate system that the gesture provider G assigned.
  • Im ersten Koordinatensystem ist weiterhin ein Referenzpunkt RP1 mit seinen Koordinaten fest definiert, insbesondere somit in der Auswerteeinheit gespeichert. Auch dieser Referenzpunkt RP1 liegt hier bevorzugt in der Bodenebene B. Der Referenzpunkt RP1 kann z.B. ventral zum Gestengeber G, also in Blickrichtung vor diesem definiert sein, z.B. in der Sagittalebene, also in seiner Körpermitte vor dem Gestengeber.The first coordinate system is still a reference point RP1 firmly defined with its coordinates, in particular thus stored in the evaluation unit. Also this reference point RP1 here lies preferably in the ground level B , The reference point RP1 can eg be ventral to the gesture generator G , that is to say defined in the direction of sight, eg in the sagittal plane, ie in the middle of the body in front of the gesture giver.
  • Davon abweichend zeigt die Figur die Anordnung des Referenzpunktes RP1 des ersten Koordinatensystems aus der Sagittalebene in Richtung zum die Geste gebenden Unterarm lateral versetzt. Z.B. kann der Referenzpunkt RP1 auch in der Bodenebene B vertikal unter dem Schultergelenk 5 angeordnet werden, was den Vorteil erschließt, dass ein vertikal herabhängender Arm, wie nachfolgend erläutert wird, keine Bewegung des Roboters auslöst.Deviating from the figure shows the arrangement of the reference point RP1 of the first coordinate system from the sagittal plane in the direction of the gesture giving forearm laterally offset. For example, the reference point RP1 also in the ground level B vertically below the shoulder joint 5 be arranged, which opens up the advantage that a vertically depending arm, as explained below, does not trigger movement of the robot.
  • Zur Steuerung der Bewegung des Roboters R wird nun aus den bekannten Koordinaten des Referenzpunktes RP1 und den variablen durch Auswertung bestimmten Koordinaten des Gestenpunktes GP ein Verbindungsvektor V berechnet, der hier lediglich zur Verdeutlichung separiert gezeichnet ist, jedoch praktisch in der Bodenebene B liegt, am Referenzpunkt RP1 beginnt und im Gestenpunkt GP endet.To control the movement of the robot R now becomes from the known coordinates of the reference point RP1 and the variable determined by evaluation coordinates of the gesture point GP a connection vector V calculated, which is drawn here only for clarity separated, but practically in the ground plane B is at the reference point RP1 begins and in the gesture point GP ends.
  • Die Richtung des Verbindungsvektors V bildet nun die Richtung, in der sich der Roboter R in seinem eigenen zweiten Koordinatensystem relativ zu seinem darin definierten Referenzpunkt RP2 bewegen soll. Der Referenzpunkt RP2 ist hier beispielsweise in das Zentrum des Roboters R gelegt.The direction of the connection vector V now forms the direction in which the robot R in its own second coordinate system relative to its reference point defined therein RP2 to move. The reference point RP2 is placed here, for example, in the center of the robot R.
  • Die Antriebsmotoren des Roboters R werden so angesteuert, dass der Roboter R mit einer Geschwindigkeit bewegt wird, insbesondere fährt, die vom Betrag des Vektors V abhängt. Mit zunehmendem Abstand zwischen dem Gestenpunkt GP und dem Referenzpunkt RP1 im ersten Koordinatensystem des Gestengebers erhöht sich somit die Geschwindigkeit.The drive motors of the robot R are controlled so that the robot R is moved at a speed, in particular, drives, the amount of the vector V depends. With increasing distance between the gesture point GP and the reference point RP1 in the first coordinate system of the gesture thus increases the speed.
  • Bei einem vertikal herabhängenden Unterarm ergibt sich keine Koordinatendifferenz zwischen Gestenpunkt GP und Referenzpunkt RP1, sofern dieser unter dem Schultergelenk 5 liegt, so dass sich der Roboter R nicht bewegt.In a vertically hanging forearm, there is no coordinate difference between the gesture point GP and reference point RP1 if this is below the shoulder joint 5 lies, so that the robot R not moved.
  • Die Steuerung erfolgt hier ausgehend von den in der Auswerteeinheit A berechneten Daten für „Richtung“ und „Geschwindigkeit“ dadurch, dass diese Daten durch eine Funkstrecke F an den Roboter R übertragen werden und dieser die Daten in die Bewegung umsetzt. Eine solche Kommunikationsstrecke kann entfallen, wenn die wenigstens eine Kamera K vom Roboter R selbst getragen wird.The control takes place here from those in the evaluation A calculated data for "direction" and "speed" in that this data through a radio link F to the robot R be transmitted and this implements the data in the movement. Such a communication path can be omitted if the at least one camera K from the robot R itself is worn.
  • Durch bloßes „Zeigen“ auf einen Punkt am Boden neben dem Referenzpunkt RP1 kann somit ein Gestengeber G bewirken, dass der gesteuerte Roboter sich in seinem eigenen Koordinatensystem in Richtung zu einem Punkt bewegt, der zum Referenzpunkt RP2 in derselben Richtung liegt, wie der gezeigte Gestenpunkt G zum Referenzpunkt RP1. Die Geschwindigkeit der Bewegung ist dabei abhängig von Abstand zwischen Gestenpunkt GP und Referenzpunkt RP1.By merely "pointing" to a point on the ground next to the reference point RP1 can thus be a gesture generator G cause the controlled robot to move in its own coordinate system toward a point that is the reference point RP2 in the same direction as the gesture point shown G to the reference point RP1 , The speed of the movement is dependent on the distance between the gesture point GP and reference point RP1 ,
  • Hierdurch ergibt sich eine sehr intuitive Steuerung eines mobilen Roboters selbst durch ungeübte Personen, die als Gestengeber auftreten.This results in a very intuitive control of a mobile robot even by untrained people who act as a gesture.
  • In bevorzugter Ausführung und mit allgemeiner Gültigkeit für alle Ausführungen kann durch nachfolgend verschieden eingenommene Körperhaltungen, insbesondere Unterarmrichtungen eine Trajektorie des Roboters definiert werden, die dieser fährt.In a preferred embodiment and with general validity for all embodiments, a trajectory of the robot which drives it can be defined by subsequently differently assumed postures, in particular forearm directions.
  • Z.B. kann in einer möglichen Ausführung in einer Steuersoftware des Roboters eine Programmschleife abgearbeitet werden, die eine Bewegung des Roboters in der berechneten Richtung relativ zu seinem Referenzpunkt RP2 und mit der berechneten Geschwindigkeit bewirkt.For example, in one possible embodiment, a program loop may be executed in a control software of the robot, which is a movement of the robot in the calculated direction relative to its reference point RP2 and at the calculated speed.
  • Dieser Schleife werden mit jedem Durchgang neue Werte für „Richtung“ und „Geschwindigkeit“ von der Auswerteeinheit übergeben. Neue Werte müssen nicht zwingend geänderte Werte sei.This loop is given new values for "direction" and "speed" by the evaluation unit with each pass. New values do not necessarily have to be changed values.
  • Hierdurch wird bewirkt, dass sich eine Trajektorie des Roboters zusammensetzt aus den Orten, die der Roboter mit den vorgegebenen Werten von Richtung und Geschwindigkeit mit jedem Schleifendurchlauf seiner Steuersoftware angefahren hat.This causes a trajectory of the robot to be composed of the locations that the robot has approached with the given values of direction and velocity with each loop pass of its control software.
  • Der räumliche Abstand zwischen solchen Orten einer Trajektorie ist variabel wegen der verschiedenen Geschwindigkeiten, die zwischen den Orten gefahren werden, hingegen ist der zeitliche Abstand zwischen den Ort identisch, vorausgesetzt, dass ein Schleifendurchlauf dieser Steuersoftware immer dieselbe Zeit benötigt.The spatial distance between such locations of a trajectory is variable because of the different speeds traveled between the locations, whereas the time interval between the locations is identical, provided that looping through this control software always requires the same time.
  • Die Arbeit wurde mit Unterstützung eines Stipendiums im Rahmen des FIT weltweit-Programms des DAAD ermöglicht.The work was made possible with the support of a scholarship as part of the DAAD's FIT worldwide program.

Claims (10)

  1. Verfahren zur Steuerung der Bewegung eines mobilen Roboters (R) durch eine Geste eines Gestengebers (G), wobei der Gestengeber (G) mittels wenigstens einer Kamera (K) datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter (R) gebildet werden, die an den Roboter (R) übertragen und von diesem in eine Bewegung umgesetzt werden, dadurch gekennzeichnet, dass in einem dem Gestengeber (G) zugeordneten ersten Koordinatensystem, insbesondere das seinen Ursprung im Gestengeber (G) hat, aus den die Körperhaltung des Gestengebers (G) repräsentierenden Kameradaten die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes (GP) ermittelt werden und aus den Koordinaten des Gestenpunktes (GP) und den Koordinaten eines im ersten Koordinatensystem festgelegten Referenzpunktes (RP1) ein Verbindungsvektor (V) zwischen Gestenpunkt (GP) und Referenzpunkt (RP1) berechnet wird und in einem dem Roboter (R) zugeordneten und mit dem Roboter (R) mitbewegten zweiten Koordinatensystem, insbesondere das seinen Ursprung im Roboter (R) hat, der Roboter (R) relativ zu einem Referenzpunkt (RP2) des zweiten Koordinatensystems eine Bewegung ausführt, deren Richtung ausgehend von seinem Referenzpunkt (RP2) der Richtung des Verbindungsvektors (V) entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors (V) abhängt.Method for controlling the movement of a mobile robot (R) by a gesture of a gesture generator (G), wherein the gesture generator (G) is detected by means of at least one camera (K) and from the acquired camera data movement data for the robot (R) are formed , which are transmitted to the robot (R) and converted by it into a movement, characterized in that in a the gesture generator (G) associated first coordinate system, in particular that has its origin in the gesture generator (G), from the posture of the gesture (G) representative camera data, the coordinates of a body posture changing gesture point (GP) are determined and from the coordinates of the gesture point (GP) and the coordinates of a first coordinate system fixed reference point (RP1) a connection vector (V) between the gesture point (GP) and reference point (RP1) is calculated and moved in one of the robot (R) and with the robot (R) moves second coordinate system, in particular that has its origin in the robot (R), the robot (R) relative to a reference point (RP2) of the second coordinate system performs a movement whose direction starting from its reference point (RP2) the direction of the connection vector (V) corresponds and their speed depends on the amount of the connection vector (V).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) im ersten Koordinatensystem ermittelt werden aus den Koordinaten wenigstens einer in den Kameradaten repräsentierten Körperextremität des Gestengebers (G).Method according to Claim 1 , characterized in that the coordinates of the gesture point (GP) in the first coordinate system are determined from the coordinates of at least one body extremity of the gesture transmitter (G) represented in the camera data.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) direkt die Koordinaten einer vorbestimmten Körperextremität sind.Method according to Claim 2 , characterized in that the coordinates of the gesture point (GP) are directly the coordinates of a predetermined body extremity.
  4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) im ersten Koordinatensystem gebildet werden durch die Koordinaten des Schnittpunktes eines durch die Körperhaltung des Gestengebers (G) definierten Richtungsvektors mit der Bodenebene (B), bevorzugt des die Unterarmrichtung des Gestengebers (G) repräsentierenden Richtungsvektors (UV) mit der Bodenebene (B), auf welcher der Gestengeber (G) steht, insbesondere wobei der Referenzpunkt (RP1) im ersten Koordinatensystem des Gestengebers (G) in derselben Bodenebene (B) angeordnet ist, bevorzugt ventral und in der Sagittalebene des Gestengebers (G).Method according to Claim 2 characterized in that the coordinates of the gesture point (GP) in the first coordinate system are formed by the coordinates of the intersection of a directional vector defined by the body posture of the gesture generator (G) with the ground plane (B), preferably the forearm direction of the gesture generator (G) Directional vector (UV) with the ground plane (B) on which the gesture generator (G) is, in particular wherein the reference point (RP1) in the first coordinate system of the gesture transmitter (G) in the same ground plane (B) is arranged, preferably ventral and in the sagittal plane of the gesture (G).
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Richtungsvektor (UV) ermittelt wird in Abhängigkeit der Koordinaten und/oder Winkel von wenigstens zwei Körpergelenken (6, 7) des Gestengebers (G).Method according to Claim 4 , characterized in that the directional vector (UV) is determined as a function of the coordinates and / or angles of at least two body joints (6, 7) of the gesture transmitter (G).
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Richtungsvektor (UV) der Unterarmrichtung ermittelt wird in Abhängigkeit der Koordinaten des Ellenbogengelenkes (6) und eines Gelenkes der Handextremität (7, 8), insbesondere des Handgelenkes (7).Method according to Claim 5 , characterized in that the directional vector (UV) of the forearm direction is determined as a function of the coordinates of the elbow joint (6) and a joint of the hand extremity (7, 8), in particular of the wrist (7).
  7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die jeweiligen Gelenkkoordinaten und/oder Gelenkwinkel ermittelt werden durch das Verfahren des Skelett-Tracking auf der Grundlage der Daten wenigstens einer Tiefenkamera (K).Method according to Claim 5 or 6 characterized in that the respective joint coordinates and / or joint angles are determined by the method of skeletal tracking based on the data of at least one depth camera (K).
  8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die aus dem Betrag des Verbindungsvektors (V) ermittelte Geschwindigkeit auf einen vorgegebenen Maximalwert beschränkt wird.Method according to one of the preceding claims, characterized in that the speed determined from the magnitude of the connection vector (V) is limited to a predetermined maximum value.
  9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die aus dem Betrag des Verbindungsvektors(V) ermittelte Geschwindigkeit auf einen vorgegebenen Minimalwert heraufgesetzt wird.Method according to one of the preceding claims, characterized in that the speed determined from the magnitude of the connection vector (V) is increased to a predetermined minimum value.
  10. Verfahren nach einem der vorherigen Ansprüche 4 bis 9, dadurch gekennzeichnet, dass es eingesetzt wird zur Steuerung eines bodenfahrenden Roboters (R), insbesondere eines Bodenreinigungsroboters (R).Procedure according to one of the previous Claims 4 to 9 , characterized in that it is used for controlling a floor-traveling robot (R), in particular a floor cleaning robot (R).
DE102017007908.0A 2017-08-21 2017-08-21 Method for controlling the movement of a mobile robot Pending DE102017007908A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017007908.0A DE102017007908A1 (en) 2017-08-21 2017-08-21 Method for controlling the movement of a mobile robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017007908.0A DE102017007908A1 (en) 2017-08-21 2017-08-21 Method for controlling the movement of a mobile robot
PCT/EP2018/000408 WO2019037890A1 (en) 2017-08-21 2018-08-21 Method for controlling the movement of a mobile robot

Publications (1)

Publication Number Publication Date
DE102017007908A1 true DE102017007908A1 (en) 2019-02-21

Family

ID=63798931

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017007908.0A Pending DE102017007908A1 (en) 2017-08-21 2017-08-21 Method for controlling the movement of a mobile robot

Country Status (2)

Country Link
DE (1) DE102017007908A1 (en)
WO (1) WO2019037890A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019216229A1 (en) * 2019-10-07 2021-04-08 Robert Bosch Gmbh Apparatus and method for controlling a robotic device
DE102019216560A1 (en) * 2019-10-28 2021-04-29 Robert Bosch Gmbh Method and device for training manipulation skills of a robot system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010017857A1 (en) * 2010-04-22 2011-10-27 Sick Ag 3D security device and method for securing and operating at least one machine
US20140147820A1 (en) * 2012-11-28 2014-05-29 Judy Sibille SNOW Method to Provide Feedback to a Physical Therapy Patient or Athlete
US20140244004A1 (en) * 2013-02-27 2014-08-28 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US20140303775A1 (en) * 2011-12-08 2014-10-09 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
US20140371909A1 (en) * 2013-06-13 2014-12-18 Samsung Electronics Co., Ltd. Cleaning robot and method for controlling the same
DE102013108114A1 (en) * 2013-07-30 2015-02-19 gomtec GmbH Input device for gesture control with protective device
US20150220145A1 (en) * 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Recognition of Start and/or Stop Portions of a Gesture Using an Auxiliary Sensor
DE102016221193B3 (en) * 2016-10-27 2018-01-04 Kuka Roboter Gmbh A method of controlling a manipulator based on hand recognition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3996015B2 (en) * 2002-08-09 2007-10-24 本田技研工業株式会社 Posture recognition device and autonomous robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010017857A1 (en) * 2010-04-22 2011-10-27 Sick Ag 3D security device and method for securing and operating at least one machine
US20140303775A1 (en) * 2011-12-08 2014-10-09 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
US20140147820A1 (en) * 2012-11-28 2014-05-29 Judy Sibille SNOW Method to Provide Feedback to a Physical Therapy Patient or Athlete
US20140244004A1 (en) * 2013-02-27 2014-08-28 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US20140371909A1 (en) * 2013-06-13 2014-12-18 Samsung Electronics Co., Ltd. Cleaning robot and method for controlling the same
DE102013108114A1 (en) * 2013-07-30 2015-02-19 gomtec GmbH Input device for gesture control with protective device
US20150220145A1 (en) * 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Recognition of Start and/or Stop Portions of a Gesture Using an Auxiliary Sensor
DE102016221193B3 (en) * 2016-10-27 2018-01-04 Kuka Roboter Gmbh A method of controlling a manipulator based on hand recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019216229A1 (en) * 2019-10-07 2021-04-08 Robert Bosch Gmbh Apparatus and method for controlling a robotic device
DE102019216560A1 (en) * 2019-10-28 2021-04-29 Robert Bosch Gmbh Method and device for training manipulation skills of a robot system

Also Published As

Publication number Publication date
WO2019037890A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN105223957B (en) A kind of method and apparatus of gesture manipulation unmanned plane
DE102017007908A1 (en) Method for controlling the movement of a mobile robot
DE102013203381A1 (en) METHOD AND SYSTEM FOR TRAINING AN ROBOT USING A RESPONSIBLE DEMONSTRATION SUPPORTED BY PEOPLE
DE69829424T2 (en) Hint that uses the image of a hand
DE102014110265A1 (en) Method for cleaning or processing a room by means of a self-moving device
DE10361341B4 (en) Device for operating a hob
EP2430614A1 (en) Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
DE102010045752A1 (en) Visual perception system and method for a humanoid robot
DE102014210897A1 (en) Method and device for spotlight positioning
EP1223537A2 (en) Controllable device with user authentication
Mashood et al. A gesture based kinect for quadrotor control
EP2922384B1 (en) Autonomous locomotion device
EP1675709A2 (en) Method for effecting the movement of a handling device and image processing device
DE102013017425A1 (en) Method for detecting gestures of a human body
DE102015115526A1 (en) Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
EP2381207B1 (en) 3D targeting and target designation from IR data
DE102016103799A1 (en) Image processing system for training a mounting system by virtual assembly of objects
DE102006053837A1 (en) Integrated circuit
DE102010037067A1 (en) Robot control device and method for teaching a robot
DE102014224599A1 (en) Method for operating an input device, input device
DE102009042172A1 (en) Method for providing control commands for a vehicle steerable by means of a control unit and control system for such a steerable driving tool
DE102016104186A1 (en) Simulator for training a team of a helicopter crew
Müggler Event-based vision for high-speed robotics
DE102018109463B3 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE102009031158A1 (en) Apparatus and method for detecting a pointing gesture of a user to interact with an input surface

Legal Events

Date Code Title Description
R163 Identified publications notified