EP3058506A1 - Erkennung von gesten eines menschlichen körpers - Google Patents

Erkennung von gesten eines menschlichen körpers

Info

Publication number
EP3058506A1
EP3058506A1 EP14786612.3A EP14786612A EP3058506A1 EP 3058506 A1 EP3058506 A1 EP 3058506A1 EP 14786612 A EP14786612 A EP 14786612A EP 3058506 A1 EP3058506 A1 EP 3058506A1
Authority
EP
European Patent Office
Prior art keywords
rotation angle
point
points
hand
hinge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14786612.3A
Other languages
English (en)
French (fr)
Inventor
Kristian Ehlers
Jan Hartmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Draegerwerk AG and Co KGaA
Original Assignee
Draegerwerk AG and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Draegerwerk AG and Co KGaA filed Critical Draegerwerk AG and Co KGaA
Publication of EP3058506A1 publication Critical patent/EP3058506A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a method for the recognition of gestures of a human body and a recognition device for the detection of gestures of a human body.
  • gestures of human bodies can be detected.
  • systems on the market that are able to determine the positions of individual body parts or individual limbs relative to each other. From this relative position, e.g. Forearm to upper arm, gestures and thus a gesture control can be derived.
  • Known methods are used, for example, to perform the control of computer games or television sets.
  • a point cloud is usually generated by the depth camera from which the current position of the respective body parts and thus the correlation of the body parts to each other can be calculated by means of calculation algorithms. For all points in time, the entire point cloud must be processed according to this evaluation method.
  • a disadvantage of known methods is that a relatively high computation effort is necessary at each point in time of the method. Thus, a movement of the body after each movement, a complete point cloud must be re-recorded and re-evaluated. This requires in particular in the distinction of small body parts to individual limb immense computing costs, which is usually not available. Accordingly, known methods are limited to recognizing relatively coarse gestures, e.g. the
  • Fine movements such. B. different gestures of a hand, especially gestures by different finger positions are only with
  • CONFIRMATION COPY Disproportionately complex computing use by known methods solvable. This drives the costs of implementing such methods at heights that are not economically viable. In addition, in such a case, very fine-resolution depth cameras are necessary in order to map the individual limbs at the necessary speed in the cloud of points from one another. This also greatly increases the cost required to carry out a corresponding method.
  • a method according to the invention serves to detect gestures of a human body by means of a depth camera device, comprising the following steps: a) generating a cloud of points through the depth camera device into a
  • a method according to the invention serves to recognize also fine gestures, in particular of individual limbs, such as the fingers of a hand of a human body. Basically, however, the method is applicable to the human body as a whole, that is, to any limb.
  • limbs can be defined in particular as individual movable bone elements of the human body. These can be z. B. by the
  • a method begins with an initialization.
  • Depth camera device is preferably equipped with at least one depth camera and can generate in this way a three-dimensional point cloud.
  • this point cloud thus arises as an initial image.
  • the evaluation of this initial image takes place with respect to a recognition of
  • the entire cloud of points or only partial areas of this cloud of points can be evaluated in detail.
  • the evaluation is carried out only in the region of the body parts, which includes the body members necessary for the gestures. If, for example, a human body is detected and a gesture of the fingers is sought, the detailed evaluation of the initial image takes place only in the area of the hand in order to carry out the recognition of the individual phalanxia as limbs of the body.
  • the setting of the pivot point is done with reference to the respectively recognized
  • the individual fingers of the hand are one
  • Human body defined by individual limbs in the form of phalanges. Between the individual limbs human joints are provided which have one or more rotational degrees of freedom.
  • hinge points with exactly one defined degree of freedom. If the real joint between two limb members on the human body is an embodiment with two or more rotational degrees of freedom, it is of course also possible to set two or more joint points, each with a defined degree of freedom. Thus, even complex joints of a body, which have two or more rotational degrees of freedom, can be simulated according to the invention.
  • By setting the hinge point results in an initial rotation angle, which in a defined manner, the positioning of the two adjacent
  • each articulation point is determined in the respective coordinate system, belonging to the respective articulation point.
  • Hinge point which is set in the method according to the invention, has its own coordinate system. Because of that, individual limbs
  • a plurality of hinge points is preferably used and set. This also results in a large number of rotation angles for this multiplicity of articulation points.
  • These can be used for a better overview, e.g. be specified or stored in a single-column and multi-cell vector. This single-columned and multicellular vector thus reproduces the relative position of the individual limbs in a defined and above all unambiguous manner.
  • each recognized limb and a hinge point must be set.
  • a recognition of all body limbs of a body take place, wherein only for the two hands or only for one hand the joint points are set for the further process steps.
  • a selection is made from all recognized limbs. This selection can be a subset or also include all recognized limbs. At least, however, a single hinge point is performed on the at least one recognized limb.
  • Rotation angle specification is also formed, for example, as a single-column, multi-cell vector.
  • a line-by-line comparison can be made as to whether there is a match or a substantial match between or a sufficient, in particular predefined, proximity to the determined rotation angles and this rotation angle specification. If this is the case, the real movement position of the respective limbs of the human body corresponds to the gesture correlated with this rotation angle specification.
  • the rotation angle specification can have both specific and one-time values, as well as value ranges.
  • a particularly narrow or broad training of the respective gesture is to be carried out, accordingly, a particularly narrow or broad training of
  • Rotation angle specification can be provided as a rotation angle range.
  • a plurality of different rotation angle specifications are stored in a gesture-specific manner.
  • the steps of comparing and recognizing the rotation angle and the gesture, respectively are performed for all the gesture-specific storage data of the rotation angle specifications, eg, sequentially or in parallel.
  • the comparison is performed until a sufficient correlation in the form of coincidence or substantially coincidence between the determined rotation angle and the rotation angle specification is recognized. This can be done an assignment of the specific rotation angle to the specific for this rotation angle specification gesture.
  • the recognition task is reduced completely to the comparison of rotation angle with rotation angle specification, which can be designed particularly cost-effective and simple in terms of the necessary computational effort.
  • the one-line comparison of a multicell single-column vector with a corresponding rotation angle specification is a very simple arithmetic operation, which requires neither a complex arithmetic unit nor a particularly large amount of time.
  • a further advantage of the method according to the invention is achieved in that a reduction of the actual human body from the point cloud to a corresponding model of the human body with regard to points of articulation and limbs could take place. This requires for the comparison between
  • An inventive method is used in particular in medical technology, eg for gesture control of medical apparatus.
  • medical technology eg for gesture control of medical apparatus.
  • there it is advantageous since now a large number of commands can be controlled by a wide variety of finger gestures.
  • Gesture control does not affect the sterility of the user, especially his hand.
  • the explained and described advantages are accordingly particularly advantageously achievable in the medical field in medical apparatuses for their control.
  • the method of the present invention may be used for a classical one
  • Gesture recognition when controlling a machine or even a vehicle can be performed by a method according to the invention by means of gesture control.
  • operator actions in a vehicle can be performed by a method according to the invention by means of gesture control.
  • control of actions of technical devices such as televisions, computers, mobile phones or tablet PCs can also be an inventive method for
  • Gesture recognition be used. Furthermore, in the medical environment in this way, a very accurate position detection of the individual limbs can enable a deployment in the field of teleoperation. Even a basic interaction between man and machine or human and robot is in the context of the present invention, a possible application.
  • a method according to the invention can be further developed in such a way that steps d) to h) are carried out in a repetitive manner, wherein the following picture of the preceding pass will be set as an initial picture for the following pass.
  • a tracking or a follow-up procedure is provided, so to speak, which makes it possible to carry out essentially continuous step-by-step monitoring with regard to a change in the gestures.
  • the rotation angle specification comprises a predetermined rotation angle range, wherein it is compared whether the specific rotation angle is within the rotation angle range.
  • the rotation angle specification can be a single-column multicellular vector. For each individual line can be a specific and a one-to-one
  • Rotation angle be used as rotation angle specification. However, it is preferred if here a rotation angle range is indicated in each line, which is e.g. between 10 ° and 25 ° is specifically designed for a gesture.
  • the width of the respective rotation angle range is preferably designed to be adjustable and in particular likewise star specific. So can by particularly close
  • Rotation angle ranges a clean and defined demarcation of very similar finger gestures from each other. If only a small number of gestures can be distinguished from one another in a method according to the invention, a particularly wide range of rotational angles can also be used for greater freedom in the actual detection. The degree of misrecognition or the delimitation of similar gestures can accordingly be represented with particular preference over the rotation angle range and its width.
  • the specificity is given by the sum of all the rotation angle specifications in such a multicellular vector. Depending on how wide the rotation angle range is executed, even poorly executed gestures can be detected. It is also possible to train gestures here. For this purpose, so-called training sets can be included, which are subsequently classified. On the basis of this training data, the redness angle specifications can be defined implicitly, so to speak.
  • steps a) and b) are carried out with a defined gesture of the relevant limb, in particular at least twice in succession with different gestures. It is, so to speak, around . a defined initialization of the present method.
  • a defined gesture for the Initialization step can provide.
  • Even a defined gesture sequence, such as spreading all fingers and closing them to a fist can provide a double initialization step as two consecutive different gestures.
  • the inventive method works even without the use of defined gestures for the initialization.
  • these initialization defined gestures may improve the initial setting of the fulcrums for accuracy.
  • the possibility of initialization described here can be used both to start a method according to the invention and in between. This close the
  • the two loops can be as often as you like
  • the first loop will pass twice before the procedure enters the second , loop. Since the second loop describes the recognition of the gesture and thus preferably continuous monitoring, this second loop is preferably repeated without a fixed final value. Also, a maximum repetition number of the second loop may trigger an automatic calibration through the first loop, for example after every 1000 passes through the second loop.
  • this is carried out for at least two points of articulation, in particular for a plurality of articulation points, wherein the articulation points jointly
  • inventive method are based. This makes it possible to use, for example, robotics rules in the reverse manner.
  • robotics rules e.g. known transformation rules between the individual translational and / or rotationally movable coordinate systems of
  • all points of the point cloud associated with the at least one pivot point are recognized during the evaluation of the subsequent image and the center of gravity of these points is set as the new pivot point.
  • the actual positioning of the hinge point depends, among other things, on the resolution of the depth camera device. With relatively coarse depth camera devices, it is not possible to assign a single specific point to the respective hinge point. Thus, all points which are recognized as belonging to the respective pivot point are defined for this and the focus of these points as new
  • Pivot point set This helps to allow an explicit and as accurate as possible positioning of the new pivot point even at lower-cost and less fine resolutions of the depth camera.
  • the human hand offers a very large number of different gestures due to the large number of limbs and the large number of actually existing finger joints.
  • the human hand forms a particularly simple and above all very variable usable medium to recognize different gestures.
  • a method according to the invention in accordance with the preceding paragraph can be further developed such that the same number of articulation points and limbs forms a hand model for all fingers of the hand.
  • This hand model is therefore in this case the limb model, as has already been explained.
  • the thumb takes from a medical point of view a special position on the hand. That's it, the proximal joint of the thumb is not an actual finger joint in the medical sense, but represents a mobility of the thumb. To illustrate this mobility in hand model according to the invention, one or more points of joint can also be set here. However, if the gestural variants of this mobility of the thumb are not needed, then the corresponding
  • blind joint point are set. This preserves the agreement with the number of hinge points for all fingers. However, the computational effort is reduced, at least for gesture recognition on the thumb. In other words, the relative movement and / or the position change for this pivot point is set to zero.
  • Mobility of the joints are taken into account.
  • a determination of the orientation of the recognized hand in “left” or “right” and in “palm view” or “back of hand” is made in addition to a sequence of passes of a method according to the invention.
  • Another advantage may be, if in a method according to the invention for the back of the hand, the carpal and / or the arm stump or the
  • Palm three pivot points are set. Since, as has already been explained, for example, by a plurality of points of the point cloud over the center of gravity, a definition of the location of the respective hinge point can be done in certain manual positions and at a single pivot point for the
  • Back of the hand may be mispositioned. In other words, for the back of the hand would be less and / or closer to each other
  • Points of the point cloud to be closed on the associated center of gravity.
  • the points cloud points would contract around the center of gravity of the back of the hand, providing a worse geometric mean for that center of gravity.
  • the position of the joint point thus set would be inaccurate, so that at certain
  • three pivot points for the back of the hand are now preferably set.
  • a relatively good result for the positioning of the back of the hand can still be achieved in this way.
  • the back of the hand is pulled into the stump of the arm.
  • the entire back of the hand is clamped by the three pivot points on the back of the hand and / or by the further pivot point of this embodiment, so that an undesirable mispositioning or contraction of the back of the hand to a single pivot point can be avoided.
  • the length of the limb between the two articulation points has a predetermined value. The individual limbs are thus reproduced in the representation of the hand model or the limb model by their length, so to speak as a framework.
  • the individual hinge points are determined by the length of the respective rod
  • the length may also be adjustable, so that e.g.
  • the joint between the metacarpal bone and the proximal finger bone is a joint in the human body with two rotational degrees of freedom.
  • the rotation angles of at least two articulation points are stored in a single-column vector and compared with the rotation angle specification, in the form of a single-column vector, line by line.
  • the rotation angle default vector is tag specific. Accordingly, for each desired gesture to be detected, a rotation angle specification and thus a gesture-specific rotation angle default vector are provided.
  • a further advantage can be achieved if, in a method according to the invention, the rotation angle of the initial image for the subsequent image is adopted in the case of impossible detection of a limb and / or a pivot point in a subsequent image.
  • the method can be performed further in the same way and with only minor errors. This is another advantage which makes the big difference too
  • a compensation can e.g. by a corresponding broadening in the width of rotation angle ranges in the rotation angle specification.
  • a recognition device for the recognition of gestures of a human body comprising a depth camera device and a control unit.
  • Recognition device is characterized in that the control unit is designed for carrying out a method according to the invention.
  • a recognition device brings the same advantages as described in detail with reference to FIG. 1
  • FIG. 3 shows the hand of FIG. 2 with a limb model arranged therein
  • FIG. 5 shows three body members in a first gesture position
  • FIG. 6 shows the body members of FIG. 5 in a second gesture position
  • Fig. 7 shows the timing of several embodiments of a
  • Fig. 9 shows an embodiment of an inventive
  • the point cloud 20 is shown here for the sake of clarity only for the outermost distal finger joint as a body member 12. In the same way, the recognition of all body members 12 and preferably also of the
  • the individual articulation points 14 can be set. These correlate with the respective actual joint between two limbs 12. The distance between two
  • adjacent hinge points 14 is preferably given as a length 13 of the respective body member 12 and specific body member. As can also be seen from FIG. 3, an equal number of all fingers 18 has been
  • FIGS. 5 and 6 show schematically how the gesture recognition can take place.
  • a separate coordinate system is defined for each hinge point 14, so that a corresponding rotation angle ⁇ for each hinge point 14 can be specifically recognized for this body joint 12. If there is a movement, e.g. by curving the finger, as is done from Fig. 5 to Fig. 6, so change
  • FIG. 8 also shows a possible comparison with a rotation angle specification RV, which is likewise designed here as a vector with rotation angle specification ranges. In this embodiment the two vectors agree that the gesture can be recognized as being present.
  • the rotation angle default RV is
  • FIG. 7 it can be seen that at the beginning of the method at the first time t1, the initialization, that is to say the implementation, as has been described from FIG. 1 to FIG. 2, takes place. Subsequently, a comparison with the initial image IB can take place in a subsequent image FB at a second time t2. For the subsequent steps, the subsequent image FB from the first pass is set as the initial image IB of the second pass and, accordingly, the method can be expanded as desired.
  • FIG 9 shows schematically a recognition device 100 according to the invention.
  • a depth camera device 1 0 with at least one
  • This depth camera device 1 10 is in
  • the human body 10 in this case the hand 16, is located in the detection range of the depth camera apparatus 1 10.
  • the above explanation of the embodiment describes the present invention solely by way of example. Of course, individual features of the embodiments, if technically feasible, can be combined freely with one another, without departing from the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein Verfahren für die Erkennung von Gesten eines menschlichen Körpers (10) mittels einer Tiefen kameravorrichtung (110), aufweisend die folgenden Schritte: a) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem ersten Zeitpunkt (t1) als Initialbild (IB), b) Auswerten des Initialbildes (IB) zur Erkennung von Körpergliedern (12) des Körpers (10), c) Setzen von zumindest einem Gelenkpunkt (14) mit einem durch einen Rotationswinkel (α) definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem erkannten Körperglied (12), d) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem zweiten Zeitpunkt (t2) nach dem ersten Zeitpunkt (t1) als Folgebild (FB), e) Auswerten des Folgebildes (FB) auf wenigstens eine erkannte Körperglied ( (12) und den zumindest einen gesetzten Gelenkpunkt (14) aus dem Initialbild (IB), f) Bestimmen des Rotationswinkels (α) des zumindest einen Gelenkpunktes (14) im Folgebild (FB), g) Vergleich des bestimmten Rotationswinkels (cc) mit einer Rotationswinkelvorgabe (RV), h) Erkennen einer Geste bei Korrelation des bestimmten Rotationswinkels (a) mit der Rotationswinkelvorgabe (RV).

Description

ERKENNUNG VON GESTEN EINES MENSCHLICHEN KÖRPERS
Die vorliegende Erfindung betrifft ein Verfahren für die Erkennung von Gesten eines menschlichen Körpers sowie eine Erkennungsvorrichtung für die Erkennung von Gesten eines menschlichen Körpers.
Es ist bekannt, dass mittels Tiefenkameravorrichtungen Gesten von menschlichen Körpern erfasst werden können. So sind beispielsweise Systeme auf dem Markt, welche in der Lage, sind, die Stellungen von einzelnen Körperteilen bzw. einzelnen Körpergliedern relativ zueinander zu bestimmen. Aus dieser Relativposition, z.B. des Unterarms zum Oberarm, können Gesten und damit eine Gestensteuerung abgeleitet werden. Bekannte Verfahren werden beispielsweise eingesetzt, um die Steuerung von Computerspielen oder Fernsehgeräten durchzuführen. Dabei wird durch die Tiefenkamera üblicherweise eine Punktewolke erzeugt, aus welcher über Berechnungsalgorithmen die aktuelle Position der jeweiligen Körperteile und damit die Korrelation der Körperteile zueinander berechnet werden kann. Für sämtliche Zeitpunkte muss dabei die gesamte Punktewolke nach dieser Auswertmethodik bearbeitet werden.
Nachteilhaft bei bekannten Verfahren ist, dass ein relativ hoher Rechenaufwand zu jedem Zeitpunkt des Verfahrens notwendig ist. So muss bei einer Bewegung des Körpers nach jeder Bewegung eine komplette Punktewolke neu erfasst und neu ausgewertet werden. Dies benötigt insbesondere bei der Unterscheidung kleiner Körperteile bis hin zu einzelnen Körpergliedern immensen Rechenaufwand, der üblicherweise nicht zur Verfügung steht. Dementsprechend beschränken sich bekannte Verfahren darauf, relativ grobe Gesten zu erkennen, also z.B. die
Bewegung eines Arms von oben nach unten oder eine Winkbewegung des
Unterarms. Feine Bewegungen, wie z. B. unterschiedliche Gesten einer Hand, insbesondere Gesten durch unterschiedliche Fingerstellungen, sind nur mit
BESTÄTIGUNGSKOPIE überproportional aufwendigem Recheneinsatz durch bekannte Verfahren lösbar. Dies treibt die Kosten in der Ausführung solcher Verfahren in Höhen, welche sich wirtschaftlich nicht rechnen. Darüber hinaus sind in einem solchen Fall sehr fein auflösende Tiefenkameras notwendig, um die einzelnen Körperglieder in der notwendigen Geschwindigkeit in der Punktewolke voneinander uriterscheidbar abzubilden. Damit wird ebenfalls der Kosteneinsatz, welcher für die Durchführung eines entsprechenden Verfahrens notwendig ist, stark erhöht.
Es ist Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zumindest teilweise zu beheben. Insbesondere ist es Aufgabe der vorliegenden Erfindung, in kostengünstiger und einfacher Weise auch die
Erkennung feiner Gesten, insbesondere die Erkennung von Gesten einzelner Fingerglieder, zu ermöglichen. Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit dem Merkmal des Anspruchs 1 und eine Erkennungsvorrichtung mit dem Merkmal des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den
Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten
Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen
Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Erkennungsvorrichtung und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzeihen Erfindungsaspekten stets
wechselseitig Bezug genommen wird bzw. werden kann. Ein erfindungsgemäßes Verfahren dient der Erkennung von Gesten eines menschlichen Körpers mittels einer Tiefenkameravorrichtung, aufweisend die folgenden Schritte: a) Erzeugen einer Punktewolke durch die Tiefenkameravorrichtung zu einem
ersten Zeitpunkt als Initialbild, - b) Auswerten des Initialbildes zur Erkennung von Körpergliedern des Körpers, c) Setzen von zumindest einem Gelenkpunkt mit einem durch einen
Rotationswinkel definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem Körperglied r
Erzeugen einer Punktewolke durch die Tiefenkameravorrichtung zu einem zweiten Punkt nach dem ersten Zeitpunkt als Folgebild,
Auswerten des Folgebildes auf das wenigstens eine erkannte Körperglied und den zumindest einen gesetzten Gelenkpunkt aus dem Initialbild,
Bestimmen des Rotationswinkels des zumindest einen Gelenkpunktes im Folgebild,
Vergleich des bestimmten Rotationswinkels mit einer Rotationswinkelvorgabe, h) Erkennen einer Geste bei Korrelation des bestimmten Rotationswinkels mit einer Rotationswinkelvorgabe.
Ein erfindungsgemäßes Verfahren dient dazu, auch feine Gesten, insbesondere von einzelnen Körpergliedern, wie den Fingern einer Hand eines menschlichen Körpers, zu erkennen. Grundsätzlich ist das Verfahren jedoch einsetzbar bei dem menschlichen Körper im Gesamten, also bei jeglichem Körperglied. So können Körperglieder insbesondere als einzelne bewegbare Knochenelemente des menschlichen Körpers definiert werden. Diese können z. B. durch den
Unterschenkel, den Oberschenkel, den Oberarm oder den Unterarm ausgebildet werden. Auch feinere Gelenke, wie insbesondere die einzelnen Glieder jedes Fingers einer Hand, können Körperglieder des menschlichen Körpers im Sinne der vorliegenden Erfindung darstellen. Im Sinne der vorliegenden Erfindung erfolgt keine vollständige Auswertung der Punktewolke zu jedem Zeitpunkt. Vielmehr kann ein Vergleich der Punktewolke zu zwei unterschiedlichen Zeitpunkten eine Reduktion auf ein Modell des jeweiligen Körpergliedes und den entsprechenden Gelenkpunkt erlauben. Somit muss kein aufwendiger Bildvergleich zur Gestenerkennung mehr durchgeführt werden. Vielmehr kann die Erkennung der Geste auf einen direkten oder einen indirekten Vergleich von Rotationswinkeln mit der Rotationswinkelvorgabe reduziert werden. Bei einem indirekten Vergleich muss keine vollständige Übereinstimmung, sondern nur eine ausreichende, insbesondere vordefinierte Nähe vorliegen.
Erfindungsgemäß beginnt ein Verfahren mit einer Initialisierung. Die
Tiefenkameravorrichtung ist dabei vorzugsweise mit zumindest einer Tiefenkamera ausgestattet und kann auf diese Weise eine dreidimensionale Punktewolke erzeugen. Zu dem ersten Zeitpunkt, welcher auch als Initialisierungszeitpunkt · bezeichnet werden kann, entsteht diese Punktewolke also als Initialbild. Die Auswertung diese Initialbilds erfolgt in Bezug auf eine Erkennung von
Körpergliedern des Körpers. Dabei kann die gesamte Punktewolke oder nur Teilbereiche dieser Punktewolke detailliert ausgewertet werden. Insbesondere erfolgt die Auswertung nur im Bereich der Körperteile, welche die für die Gesten notwendigen Körperglieder umfasst. Wird also beispielsweise ein menschlicher Körper erkannt und eine Geste der Finger gesucht, so erfolgt die detaillierte Auswertung des Initialbildes nur im Bereich der Hand, um die Erkennung der einzelnen Fingerglieder als Körperglieder des Körpers durchzuführen. Das Setzen des Gelenkpunktes erfolgt mit Bezug auf das jeweils erkannte
Körperglied. So sind beispielsweise die einzelnen Finger der Hand eines
menschlichen Körpers durch einzelne Körperglieder in Form von Fingergliedern definiert. Zwischen den einzelnen Körpergliedern sind menschliche Gelenke vorgesehen, die ein oder mehrere Rotationsfreiheitsgrade aufweisen. Die
Verbindung zwischen den einzelnen Körpergliedern wird durch das
erfindungsgemäß zugrunde gelegte Modell durch Gelenkpunkte mit genau einem definierten Freiheitsgrad widergespiegelt. Handelt es sich bei dem realen Gelenk zwischen zwei Körpergliedern am menschlichen Körper um eine Ausbildung mit zwei oder mehr Rotationsfreiheitsgraden, so können selbstverständlich auch zwei oder mehr Gelenkpunkte mit jeweils einem definierten Freiheitsgrad gesetzt werden. Damit können auch komplexe Gelenke eines Körpers, welche zwei oder mehr Rotationsfreiheitsgrade aufweisen, erfindungsgemäß nachgebildet werden. Durch das Setzen des Gelenkpunktes ergibt sich ein initialer Rotationswinkel, welcher in definierter Weise die Positionierung der beiden benachbarten
Körperglieder zueinander wiedergibt. Dieser Rotationswinkel stellt also die aktuelle Positionierung der Körperglieder zueinander eindeutig dar.
Der Rotationswinkel jedes Gelenkpunktes bestimmt sich dabei im jeweiligen Koordinatensystem, zugehörig zu dem jeweiligen Gelenkpunkt. Jeder
Gelenkpunkt, welcher im erfindungsgemäßen Verfahren gesetzt wird, weist ein eigenes Koordinatensystem auf. Dadurch, dass einzelne Körperglieder
miteinander verkettet sind, wie dies z.B. bei einzelnen Fingergliedern der Hand des menschlichen Körpers der Fall ist, ergibt sich damit bei komplexen Bewegungen der einzelnen Körperglieder relativ zueinander auch eine translatorische und/oder rotatorische Bewegung der einzelnen Koordinatensysteme. Um die nachfolgenden Auswertschritte möglichst einfach zu halten, wird jedoch der Rotationswinkel immer mit Bezug auf das jeweils, z.B. translatorisch, mitbewegte
Koordinatensystem des zugehörigen Gelenkpunktes gesetzt. Damit ergibt sich durch die Korrelation der Vielzahl von Rotationswinkeln bei einer Vielzahl von Gelenkpunkten eine definierte Körpergliedstellung aller Körperglieder relativ zueinander.
Wie aus dem voranstehenden Absatz erkennbar ist, wird vorzugsweise eine Vielzahl von Gelenkpunkten verwendet und gesetzt. Damit ergibt sich auch eine Vielzahl von Rotationswinkeln für diese Vielzahl von Gelenkpunkten. Diese können zur besseren Übersicht z.B. in einem einspaltigen und vielzelligen Vektor vorgegeben bzw. gespeichert werden. Dieser einspaltige und vielzellige Vektor gibt damit in definierter und vor allem eindeutiger Weise die Relativstellung der einzelnen Körperglieder zueinander wider.
Dabei ist darauf hinzuweisen, dass nicht für jedes erkannte Körperglied auch ein Gelenkpunkt gesetzt werden muss. So kann beispielsweise eine Erkennung aller Körperglieder eines Körpers stattfinden, wobei nur für die beiden Hände oder nur für eine Hand die Gelenkpunkte für die weiteren Verfahrensschritte gesetzt werden. Mit anderen Worten erfolgt beim Setzen der Gelenkpunkte eine Auswahl aus allen erkannten Körpergliedern. Diese Auswahl kann eine Teilmenge oder auch alle erkannten Körperglieder umfassen. Zumindest wird jedoch ein einziger Gelenkpunkt bei dem wenigstens einen erkannten Körperglied durchgeführt.
Nachdem durch die Schritte a) bis c) eine Initialisierung der aktuellen Situation des merlschlichen Körpers erfolgen konnte, kann nun die Gestenerkennung
durchgeführt werden. Zu einem zweiten Zeitpunkt wird mittels der
Tiefenkameravorrichtung wieder eine Punktewolke nach dem ersten Zeitpunkt als Folgebild erzeugt. Die Auswertung erfolgt nun auf die bereits in der Initialisierung erkannten Körperglieder und mit Bezug auf die gesetzten Gelenkpunkte aus dem Initialbild. Anschließend erfolgt die Bestimmung des Rotationswinkels des zumindest einen Gelenkpunktes im Folgebild. Mit anderen Worten ergibt sich für eine Vielzahl von Gelenkpunkten nun ein neuer einspaltiger und vielzelliger Vektor mit einer Vielzahl von Rotationswinkeln. Die Veränderung der Rotationswinkel innerhalb dieses Vektors zwischen Initialbild und Folgebild entspricht der Änderung der der Körperglieder und daraus abgeleitet der Geste in der Realsituation am menschlichen Körper.
Anschließend kann ein Vergleich des bestimmten Rotationswinkels im Folgebild mit einer Rotationswinkelvorgabe durchgeführt werden. Die
Rotationswinkelvorgabe ist dabei ebenfalls beispielsweise als einspaltiger, vielzelliger Vektor ausgebildet. Somit kann ein zeilenweiser Vergleich durchgeführt werden, ob eine Übereinstimmung oder im Wesentlichen eine Übereinstimmung zwischen bzw. eine ausreichende, insbesondere vordefinierte Nähe zu den bestimmten Rotationswinkeln und dieser Rotationswinkelvorgabe vorliegt. Ist dies der Fall, so entspricht die reale Bewegungsposition der jeweiligen Körperglieder des menschlichen Körpers der mit dieser Rotationswinkelvorgabe korrelierten Geste.
Selbstverständlich kann die Rotationswinkelvorgabe sowohl spezifische und eineindeutige Werte, als auch Wertebereiche aufweisen. Je nachdem wie genau und abgrenzbar die Erkennung der jeweiligen Geste durchgeführt werden soll, kann dementsprechend eine besonders enge oder breite Ausbildung der
Rotationswinkelvorgabe als Rotationswinkelbereich vorgesehen werden. Wie aus den voranstehenden Erläuterungen zur Gestenerkennung klar wird, ist insbesondere eine Vielzahl von unterschiedlichen Rotationswinkelvorgaben gestenspezifisch gespeichert. Somit erfolgen die Schritte des Vergleichs und des Erkennens des Rotationswinkels bzw. der Geste für sämtliche gestenspezifischen Speicherdaten der Rotationswinkelvorgaben, z.B. sequenziell oder parallel. Damit wird der Vergleich so lange durchgeführt, bis eine ausreichende Korrelation in Form einer Übereinstimmung oder im Wesentlichen Übereinstimmung zwischen dem bestimmten Rotationswinkel und der Rotationswinkelvorgabe erkannt wird. Damit kann eine Zuordnung der bestimmten Rotationswinkel zu der für diese Rotationswinkelvorgabe spezifischen Geste erfolgen.
Wie ebenfalls aus den voranstehenden Erläuterungen deutlich ist, wird für die Erkennung der Geste nun kein Bildvergleich im Kompletten mehr notwendig.
Vielmehr reduziert sich die Erkennungsaufgabe komplett auf den Vergleich von Rotationswinkel mit Rotationswinkelvorgabe, welche hinsichtlich des notwendigen Rechenaufwandes besonders kostengünstig und einfach ausgebildet sein können. Der einzeilige Vergleich eines mehrzelligen einspaltigen Vektors mit einer entsprechenden Rotationswinkelvorgabe ist eine sehr einfache Rechenoperation, die weder eine aufwendige Recheneinheit noch besonders viel Zeit in Anspruch nimmt.
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens wird dadurch erzielt, dass eine Reduktion des tatsächlichen menschlichen Körpers aus der Punktewolke auf ein entsprechendes Modell des menschlichen Körpers hinsichtlich Gelenkpunkten und Körpergliedern erfolgen konnte. Damit müss für den Vergleich zwischen
Initialbild und Folgebild nicht mehr die gesamte Punktewolke, sondern vielmehr nur die gesetzten definierten Gelenkpunkte betrachtet werden. Damit werden auch die Schritte der Auswertung des Folgebilds mit Bezug auf das jeweilige Initialbild hinsichtlich des notwendigen Rechenaufwands deutlich reduziert.
·
Ein erfindungsgemäßes Verfahren wird insbesondere in der Medizintechnik, z.B. zur Gestensteuerung von medizinischen Apparaten eingesetzt. Insbesondere dort ist es von Vorteil, da nun eine Vielzahl von Befehlen durch unterschiedlichste Fingergesten gesteuert werden können. Gleichzeitig wird durch die Gestensteuerung die Sterilität des jeweiligen Benutzers, insbesondere dessen Hand, nicht beeinträchtigt. Die erläuterten und beschriebenen Vorteile sind dementsprechend im medizinischen Bereich bei medizinischen Apparaten zu deren Steuerung besonders vorteilhaft erzielbar.
Selbstverständlich sind auch andere Anwendungsgebiete für ein
erfindungsgemäßes Verfahren denkbar. Zum Beispiel kann das Verfahren nach der vorliegenden Erfindung eingesetzt werden für eine klassische
Gestenerkennung bei der Steuerung einer Maschine oder sogar eines Fahrzeugs. Auch Bedienaktionen in einem Fahrzeug können durch ein erfindungsgemäßes Verfahren mittels Gestensteuerung durchgeführt werden. Bei der Steuerung von Aktionen technischer Geräte, wie Fernsehern, Computern, Mobiltelefonen oder Tablet-PCs kann ebenfalls ein erfindungsgemäßes Verfahren zur
Gestenerkenriung eingesetzt werden. Weiter kann im medizinischen Umfeld auf diese Weise eine sehr genaue Positionserkennung der einzelnen Körperglieder einen Einsatz im Bereich der Teleoperation ermöglichen. Auch eine grundsätzliche Interaktion zwischen Mensch und Maschine bzw. Mensch und Roboter ist im Rahmen der vorliegenden Erfindung ein möglicher Einsatzzweck. Ein erfindungsgemäßes Verfahren lässt sich dahingehend weiterbilden, dass die Schritte d) bis h) in sich wiederholender Weise durchgeführt werden, wobei das Folgebild des vorangegangenen Durchgangs als Initialbild für den folgenden Durchgang gesetzt werden wird. Damit wird sozusagen ein Tracking oder ein Folgeverfahren zur Verfügung gestellt, welches es erlaubt, im Wesentlichen kontinuierlich schrittweise eine Überwachung hinsichtlich einer Änderung der Gesten durchzuführen. Dies wird insbesondere dadurch möglich, dass der notwendige Rechenaufwand für die Durchführung jedes Erkennungstaktes einer Geste in erfindungsgemäßer Weise deutlich reduziert worden ist. Es erfolgt also im Gegensatz zu bekannten Verfahren keine Einzelbestimmung für jeden Zeitpunkt mehr, sondern vielmehr wird das einmal initial bestimmte Gelenkmodell des menschlichen Körpers bzw. des Teils des menschlichen Körpers beliebig lange in sich wiederholender Weise angewendet. Damit wird eine kontinuierliche
Gestenüberwachung möglich, so dass keine bewusste Aktivierung einer
Gestensteuerung für den tatsächlichen Steuervorgang mehr notwendig ist. Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren die Rotationswinkelvorgabe einen vorgegebenen Rotationswinkelbereich umfasst, wobei verglichen wird, ob sich der bestimmte Rotationswinkel innerhalb des Rotationswinkelbereichs befindet. Wie bereits angedeutet worden ist, kann es sich bei der Rotationswinkelvorgabe um einen einspaltigen mehrzelligen Vektor handeln. Für jede einzelne Zeile kann ein spezifischer und eineindeutiger
Rotationswinkel als Rotationswinkelvorgabe eingesetzt sein. Bevorzugt ist es jedoch, wenn hier ein Rotationswinkelbereich in jeder Zeile angegeben ist, welcher z.B. zwischen 10° und 25° für eine Geste spezifisch ausgebildet ist. Die Breite des jeweiligen Rotationswinkelbereichs ist vorzugsweise einstellbar ausgebildet und insbesondere ebenfalls gestenspezifisch. So kann durch besonders enge
Rotationswinkelbereiche eine saubere und definierte Abgrenzung sehr ähnlicher Fingergesten voneinander erfolgen. Wird bei einem erfindungsgemäßen Verfahren nur eine geringe Anzahl von Gesten voneinander zu unterscheiden sein, so kann für eine größere Freiheit bei der tatsächlichen Erkennung auch ein besonders breiter Rotationswinkelbereich einsetzbar sein. Der Grad der Fehlerkennung bzw. die Abgrenzung von ähnlichen Gesten kann dementsprechend besonders bevorzugt über den Rotationswinkelbereich und dessen Breite dargestellt werden. Hier wird auch gut erkennbar, dass für unterschiedliche Gesten die Spezifität durch die Summe sämtlicher Rotationswinkelvorgaben in einem solchen mehrzelligen Vektor die Spezifizierung erfolgt. Je nachdem wie breit der Rotationswinkelbereich ausgeführt ist, können auch schlecht ausgeführte Gesten erkannt werden. Weiter ist es hier möglich Gesten zu trainieren. Hierfür können sogenannte Trainigssets aufgenommen werden, welche anschließende klassifiziert werden. Auf Basis dieser Trainingsdaten können die Rötationswinkelvorgaben sozusagen implizit definiert werden.
Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren die Schritte a) und b) mit einer definierten Geste des betreffenden Körpergliedes durchgeführt werden, insbesondere wenigstens zweimal hintereinander mit unterschiedlichen Gesten. Dabei handelt es sich sozusagen um. eine definierte Initialisierung des vorliegenden Verfahrens. Eine Möglichkeit ist es, mit gespreizter Hand als Summe der zu erkennenden Körperglieder eine definierte Geste für den Initialisierungsschritt zur Verfügung zu stellen. Auch eine definierte Gestenfolge, wie z.B. das Spreizen sämtlicher Finger und das Schließen zu einer Faust, kann als zwei hintereinander durchgeführte unterschiedliche Gesten einen doppelten Initialisierungsschritt zur Verfügung stellen. Dabei handelt es sich jedoch nur um eine bevorzugte Ausführungsform. Das erfindungsgemäße Verfahren funktioniert auch ohne den Einsatz von definierten Gesten für die Initialisierung. Jedoch können diese definierten Gesten für die Initialisierung das initiale Setzen der Gelenkpunkte hinsichtlich der Genauigkeit verbessern. Die hier beschriebene Möglichkeit der Initialisierung kann sowohl zum Start eines erfindungsgemäßen Verfahrens, als auch zwischendurch eingesetzt werden. Dabei schließen die
Schritte der zweiten Schleife c) bis h) an die Durchführung der Schritte der ersten Schleife a) und b) an. Die beiden Schleifen können in sich beliebig häufig
wiederholt werden. Sind zum Beispiel zwei definierte Gesten für die Initialisierung vorgesehen, so wird die erste Schleife zweimal durchlaufen bevor das Verfahren in die zweite, Schleife eintritt. Da die zweite Schleife die Erkennung der Geste und damit die vorzugsweise kontinuierliche Überwachung beschreibt, wird diese zweite Schleife vorzugsweise ohne festen Endwert wiederholt. Auch kann eine maximale Wiederholungszahl der zweiten Schleife eine automatische Kalibrierung durch die erste Schleife, zum Beispiel nach jeweils 1000 Läufen durch die zweite Schleife, auslösen.
Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren, dieses für wenigstens zwei Gelenkpunkte, insbesondere für eine Mehrzahl von Gelenkpunkten, durchgeführt wird, wobei die Gelenkpunkte gemeinsam ein
Körpergliedmodell ausbilden. Wie bereits erläutert worden ist, können damit auch komplexe Teile eines Körpers, wie z. B. die Hand mit den Fingergliedern und damit eine Vielzahl von miteinander über Gelenke verbundenen Körpergliedern in einem Körpergliedmodell besonders einfach und mit wenig Rechenaufwand dem
erfindungsgemäßen Verfahren zugrunde gelegt werden. Damit wird es möglich, beispielsweise Robotikregeln in umgekehrter Weise einzusetzen. So können in einem solchen Fall z.B. bekannte Transformationsregeln zwischen den einzelnen translatorisch und/oder rotatorisch bewegbaren Koordinatensystemen der
Gelenkpunkte vorgesehen sein, um entsprechend eine rückwertige Bestimmung der tatsächlich erfolgten Geste bzw. der tatsächlich erfolgten Bewegung zu erkennen.
Vorteilhaft ist es weiter, wenn bei einem erfindungsgemäßen Verfahren bei der Auswertung des Folgebildes alle dem zumindest einen Gelenkpunkt zugehörigen Punkte der Punktewolke erkannt werden und der Schwerpunkt dieser Punkte als neuer Gelenkpunkt gesetzt wird. So hängt die tatsächliche Positionierung des Gelenkpunktes unter anderem von der Auflösung der Tiefenkameravorrichtung ab. Bei relativ groben Tiefenkameravorrichtungen ist es nicht möglich, einen einzelnen spezifischen Punkt dem jeweiligen Gelenkpunkt zuzuordnen. Somit werden sämtliche Punkte, welche dem jeweiligen Gelenkpunkt als zugehörig erkannt werden, für diesen definiert und der Schwerpunkt dieser Punkte als neuer
Gelenkpunkt gesetzt. Dies hilft, auch bei kostengünstigeren und weniger feinen Auflösungen der Tiefenkamera eine explizite und möglichst genaue Positionierung des neuen Gelenkpunktes zu erlauben.
Vorteilhaft ist es, wenn bei einem erfindungsgemäßen Verfahren dieses für die Körperglieder einer menschlichen Hand durchgeführt wird. Dies ist insbesondere mit vertretbarem Rechenaufwand erst mit Hilfe eines erfindungsgemäßen
Verfahrens überhaupt möglich. Die menschliche Hand bietet durch die Vielzahl der Körperglieder und die Vielzahl der tatsächlich vorhandenen Fingergelenke eine sehr große Anzahl unterschiedlicher Gesten. Damit bildet die menschliche Hand ein besonders einfaches und vor allem sehr variabel einsetzbares Medium, um unterschiedlichste Gesten erkennen zu können.
Ein erfindungsgemäßes Verfahren gemäß dem voranstehenden Absatz |ässt sich dahingehend weiterbilden, dass für alle Finger der Hand die gleiche Anzahl an Gelenkpunkten und Körpergliedern ein Handmodell ausbildet. Dieses Handmodell ist also in diesem Fall das Körpergliedmodell, wie es bereits erläutert worden ist. Durch die Ausbildung sämtlicher Finger der Hand, inklusive des Daumens, in gleicher weise, also mit gleicher Anzahl an Gelenkpunkten und Körpergliedern, wird der Kostenaufwand für die Berechnung bei der Durchführung eines,
erfindungsgemäßen Verfahrens weiter reduziert. Insbesondere der Daumen nimmt aus medizinischer Sicht eine Sonderstellung an der Hand ein. Dabei ist das proximale Gelenk des Daumes kein eigentliches Fingergelenk im medizinischen Sinne, stellt jedoch eine Bewegbarkeit des Daumens dar. Um diese Bewegbarkeit im erfindungsgemäßen Handmodell abzubilden, können hier ebenfalls ein oder mehrere Gelenkpunkte gesetzt werden. Werden jedoch die Gestenvarianten dieser Beweglichkeit des Daumens nicht benötigt, so kann der entsprechende
Gelenkpunkt für den Daumen ohne Rotationsfreiheitsgrad und damit als
Blindgelenkpunkt gesetzt werden. Damit bleibt die Übereinstimmung mit der Anzahl der Gelenkpunkte für alle Finger erhalten. Jedoch reduziert sich der • Rechenaufwand zumindest bei der Gestenerkennung am Daumen. Mit anderen Worten wird damit die Relativbewegung und/oder die Positionsänderung für diesen Gelenkpunkt auf Null gesetzt.
Ein weiterer Vorteil neben der Reduktion des Rechenaufwandes ist die
vorhandene Spiegelbarkeit der einzelnen Handmodelle. Damit wird es möglich, ohne Anpassung von Software, diese auf beide Hände bzw. auf beide
Handausrichtungen anzuwenden. Damit kann sich die mögliche Gestenanzahl sogar verdoppeln bzw. vervielfachen, da nun eine Korrelation von Gesten von beiden Händen erkennbar wird. Bevorzugt ist es, wenn dabei die beiden Hähde voneinander unterschieden werden, also die linke Hand und die rechte Hand jeweils als solche erkannt werden können. Dabei ist zu beachten, dass es für das Handmodell entscheidend ist, ob die jeweilige Hand in der Sicht auf den
Handrücken oder in der Sicht auf die Handfläche wahrgenommen wird. Für diese Unterscheidung können zum Beispiel initiale definierte Gesten verwendet werden, welche in dieser Anmeldung beschrieben sind. Auch ist es möglich über den Verlauf der Erkennung und die Richtung der Gelenkbewegungen einen
Rückschluss auf die Ausrichtung der Hand zu ziehen. Dabei kann die reale
Bewegbarkeit der Gelenke berücksichtigt werden. Mit anderen Worten wird über eine Abfolge von Durchläufen eines erfindungsgemäßen Verfahrens zusätzlich eine Bestimmung der Ausrichtung der erkannten Hand in„links" oder„rechts" und in„Handflächenansicht" oder„Handrückenansicht" vorgenommen.
Ein weiterer Vorteil kann es sein, wenn bei einem erfindungsgemäßen Verfahren für den Handrücken, die Handwurzel und/oder den Armstumpf bzw. die
Handfläche drei Gelenkpunkte gesetzt werden. Da, wie bereits erläutert worden ist, z.B. durch eine Vielzahl von Punkten der Punktewolke über deren Schwerpunkt eine Definition des Ortes des jeweiligen Gelenkpunktes erfolgen kann, würde bei bestimmten Handstellungen und bei einem einzigen Gelenkpunkt für den
Handrücken möglicherweise eine Fehlpositionierung erfolgen. Mit anderen Worten würde für den Handrücken aus immer weniger und/oder näher benachbarten
Punkten der Punktewolke auf den zugehörigen Schwerpunkt geschlossen werden. Mit anderen Worten würden sich die Punkte der Punktewolke um den Schwerpunkt des Handrückens zusammenziehen und damit einen schlechteren geometrischen Mittelwert für diesen Schwerpunkt liefern. Damit würde auch die Lage des damit gesetzten Gelenkpunktes ungenauer werden, so dass bei bestimmten
Gelenkstellungen und Gesten die reale Position nur ungenügend oder
möglicherweise fehlerhaft wiedergegeben würde. Um auch bei solchen komplexen Gestensituationen eine besonders vorteilhafte und gute Erkennung der jeweiligen Geste zu ermöglichen, werden nun vorzugsweise drei Gelenkpunkte für den Handrücken gesetzt. Insbesondere bei relativ gering auflösenden und damit kostengünstigeren Tiefenkameras der Tiefenkameravorrichtung, kann auf diese Weise trotzdem ein relativ gutes Ergebnis für die Positionierung des Handrückens erfolgen. Insbesondere von Vorteil ist es, wenn zwei Gelenkpunkte aus dem
Handrücken in den Armstumpf gezogen werden.
Ebenfalls von Vorteil ist es, wenn bei einem erfindungsgemäßen Verfahren auf der dem Daumen entgegengesetzten Seite der Hand im Handmodell mindestens ein weiterer Gelenkpunkt gesetzt wird. Damit werden die gleichen Vorteile wie im voranstehenden Absatz erzielt. Insbesondere erfolgt das Setzen des
Gelenkpunktes spiegelbildlich oder im Wesentlichen spiegelbildlich zum
entsprechenden nächstliegenden Gelenkpunkt des Daumens. Mit anderen Worten wird durch die drei Gelenkpunkte am Handrücken und/oder durch den weiteren Gelenkpunkt dieser Ausführungsform der gesamte Handrücken aufgespannt, so dass sich eine unerwünschte Fehlpositionierung oder ein Zusammenziehen des Handrückens auf einen einzelnen Gelenkpunkt vermeiden lässt. Selbstverständlich können auch noch mehrere Punkte, insbesondere Zwischenpunkte mit einem feineren Netz den Handrücken aufspannen, um diese Vorteile noch besser zu erzielen. Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren bei der Bestimmung von wenigstens zwei Gelenkpunkten, die Länge des Körperglieds zwischen den beiden Gelenkpunkten einen vorgegebenen Wert aufweist. Die einzelnen Körperglieder werden also in der Darstellung des Handmodells bzw. des Körpergliedmodells durch ihre Länge, sozusagen als Stabwerk, wiedergegeben. Die einzelnen Gelenkpunkte sind durch die Länge des jeweiligen Stabes
miteinander verbunden. Wird diese Länge vorgegeben, so wird die nachfolgende Auswertung hinsichtlich des notwendigen Rechenaufwandes nochmals geringer. Insbesondere kann die Länge auch einstellbar ausgebildet sein, so dass z.B.
grobe Vorgaben von großen, kleinen und mittleren Längen für das jeweilige Körperglied vorgegeben werden. Selbstverständlich kann über das laufende Verfahren auch eine Anpassung bzw. eine selbstlernende Ausbildung für die Länge der jeweiligen Körperglieder erfolgen. Insbesondere für den
Initialisierungsschritt beim ersten Bild als Initialbild werden auf diese Weise
Einsparungen des Rechenaufwandes erzielt.
Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren zumindest zwei Gelenkpunkte auf einen gemeinsamen Ort gesetzt werden, um ein menschliches Gelenk mit zumindest zwei rotatorischen Freiheitsgraden
nachzubilden. Insbesondere das Gelenk zwischen dem Mittelhandknochen und dem proximalen Fingerknochen ist beim menschlichen Körper ein Gelenk mit zwei rotatorischen Freiheitsgraden. Um ein solches komplexes Gelenk in das
erfindungsgemäße einfach gehaltene Verfahren zu übertragen, können
entsprechend zwei Gelenkpunkte auf den gemeinsamen Ort gesetzt werden. Dies erlaubt es, das erfindungsgemäße Verfahren auch bei einem realen komplexeren menschlichen Gelenk einzusetzen. Die bereits beschriebenen Robotikregeln, welche z.B. in Form der Denavit-Hartenberg-Regeln eingesetzt werden können, können in diesem Fall weiter Verwendung finden. Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren die Rotationswinkel von wenigstens zwei Gelenkpunkten in einem einspaltigen Vektor gespeichert und mit der Rotationswinkelvorgabe, in Form eines einspaltigen Vektors, zeilenweise verglichen werden. Diese Ausführungsform wurde bereits an mehreren Stellen erläutert. Hier wird gut ersichtlich, dass ein einzelner Zeilenvergleich eine Gestenerkennung zur Verfügung stellen kann. Der Rotationwinkelvorgabenvektor ist gestenspezifisch. Dementsprechend ist für jede gewünschte zu erkennende Geste eine Rotationswinkelvorgabe und damit ein gestenspezifischer Rotationswinkelvorgabenvektor vorgesehen. Der
entsprechende Vergleich erfolgt parallel oder sequenziell mit dem einspaltigen Vektor aller erkannten Rotationswinkel und mit allen einspaltigen Vektoren der Rotationswinkelvorgaben.
Ein weiterer Vorteil ist erzielbar, wenn bei einem erfindungsgemäßen Verfahren bei unmöglicher Erkennung eines Körpergliedes und/oder eines Gelenkpunktes in einem Folgebild der Rotationswinkel des Initialbilds für das Folgebild übernommen wird. Bei teilweise für die Tiefenkameravorrichtung verdeckten Gliedern kann somit das Verfahren weiter in gleicher Weise und mit nur geringen Fehlern ausgeführt werden. Dies ist ein weiterer Vorteil, welcher den großen Unterschied zu
bekannten Verfahren deutlich macht. Während bei bekannten Verfahren verdeckte Körperglieder nicht mehr erkannt werden können und dementsprechend auch nicht mehr für eine Gestenerkennung zur Verfügung stehen, kann in erfindungsgemäßer Weise eine Übertragung von Initialbild zum Folgebild hier eine weitere Erkennung durch das erfindungsgemäße Verfahren erlauben. Ein Ausgleich kann z.B. durch eine entsprechende Verbreiterung in der Breite von Rotationswinkelbereichen in der Rotationswinkelvorgabe erfolgen.
Ebenfalls Gegenstand der vorliegenden Erfindung ist eine Erkennungsvorrichtung für die Erkennung von Gesten eines menschlichen Körpers, aufweisend eine Tiefenkameravorrichtung und eine Kontrolleinheit. Die erfindungsgemäße
Erkennungsvorrichtung zeichnet sich dadurch aus, dass die Kontrolleinheit ausgebildet ist für die Durchführung eines erfindungsgemäßen Verfahrens.
Dementsprechend bringt eine erfindungsgemäße Erkennungsvorrichtung die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein
erfindungsgemäßes Verfahren erläutert worden sind.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch: Fig. 1 eine erste Darstellung einer Punktewolke,
Fig. 2 die Darstellung einer erkannten Hand,
Fig. 3 die Hand der Fig. 2 mit einem darin angeordneten Körpergliedmodell,
Fig. 4 das Körpergliedmodell der Hand alleine,
Fig. 5 drei Körperglieder in einer ersten Gestenpositionj Fig. 6 die Körperglieder der Fig. 5 in einer zweiten Gestenposition,
Fig. 7 die zeitliche Darstellung mehrerer Ausführungen eines
erfindungsgemäßen Verfahrens, Fig. 8 eine Möglichkeit eines Vergleichs zweier Vektoren für den
Rotationswinkel und
Fig. 9 eine Ausführungsform einer erfindungsgemäßen
Erkennungsvorrichtung.
Anhand der Fig. 1 bis 4 wird grundsätzlich die Übertragung einer Information aus der Erkennungsvorrichtung 100 in ein Körpergliedmodell 30 dargestellt. So beginnt das Ganze mit der Aufnahme einer Tiefenkameravorrichtung 1 10 eines
menschlichen Körpers 10, hier der Hand 16, und führt zu einer Punktewolke 20. Die Punktewolke 20 ist hier der Übersichtlichkeit halber nur für das äußerste distale Fingergelenk als Körperglied 12 dargestellt. In gleicher Weise erfolgt die Erkennung sämtlicher Körperglieder 12 und vorzugsweise auch des
entsprechenden Handrückens 17 aus der Punktewolke 20. Im Ergebnis steht eine Erkennung in der Punktewolke 20, wie sie die Fig. 2 zeigt. So findet sich dort die gesamte Hand 16 mit sämtlichen Fingern 18 inklusive dem Daumen 18a. Diese weisen die jeweiligen Fingerglieder als Körperglieder 12 auf.
Anschließend kann für ein erfindungsgemäßes Verfahren ein Setzen der einzelnen Gelenkpunkte 14 erfolgen. Diese korrelieren mit dem jeweiligen tatsächlichen Gelenk zwischen zwei Körpergliedern 12. Der Abstand zwischen zwei
benachbarten Gelenkpunkten 14 ist vorzugsweise als Länge 13 des jeweiligen Körperglieds 12 vorgegeben und körpergliedspezifisch. Wie ebenfalls der Fig. 3 zu entnehmen ist, wurde für sämtliche Finger 18 eine gleiche Anzahl an ·
Gelenkpunkten verwendet. Darüber hinaus wurde als Gegenspieler zum Daumen 18a auf dessen entgegengesetzter Seite im Handrücken 17 des
Körpergliedmodells 30 ein weiterer Gelenkpunkt 14 rechts außen gesetzt.
Zusätzlich bilden im Handrücken 17 und im Armstumpf 19 drei Gelenkpunkte 14 ein Dreieck aus, so dass sich in Summe ein Zusammenziehen des Handrückens 17 bei unterschiedlichen und vor allem komplexen Gesten der Hand 16 vermeiden lässt. .
Fig. 4 zeigt die Reduktion der Hand 16 des menschlichen Körpers 10 auf das tatsächliche Körpergliedmodell 30, welches nun der Gestenerkennung zugrunde gelegt werden kann. Für die nachfolgenden Erkennungsschritte reicht es aus, wenn aus der Punktewolke 20 die jeweilige Neupositionierung des jeweiligen Gelenkpunktes 14 erfolgt. Eine komplette Erkennung der gesamten Hand 16, wie sie zwischen Fig. 1 und Fig. 2 erfolgt, muss nun nicht mehr durchgeführt werden. Die Fig. 5 und 6 zeigen schematisch, wie die Gestenerkennung stattfinden kann. So wird für jeden Gelenkpunkt 14 ein eigenes Koordinatensystem definiert, so dass ein entsprechender Rotationswinkel α für jeden Gelenkpunkt 14 spezifisch für dieses Körpergelenk 12 erkannt werden kann. Erfolgt eine Bewegung z.B. durch Krümmen des Fingers, wie es von Fig. 5 zu Fig. 6 erfolgt, so ändern sich
dementsprechend auch die einzelnen Rotationswinkel a. Eine Speicherung dieser Rotationswinkel α kann z.B. in einem einspaltigen mehrzelligen Vektor, wie er insbesondere in Fig. 8 dargestellt ist, erfolgen. Fig. 8 zeigt auch einen möglichen Vergleich mit einer Rotationswinkelvorgabe RV, welche hier ebenfalls als Vektor mit Rotationswinkelvorgabebereichen ausgebildet ist. Bei dieser Ausführungsform erfolgt eine Übereinstimmung der beiden Vektoren dahingehend, dass die Geste als vorhanden erkannt werden kann. Die Rotationswinkelvorgabe RV ist
dementsprechend gestenspezifisch. In Fig. 7 ist erkennbar, dass zu Beginn des Verfahrens zum ersten Zeitpunkt t1 die Initialisierung, also die Durchführung, wie sie von Fig. 1 zu Fig. 2 beschrieben worden ist, erfolgt. Anschließend kann zu einem zweiten Zeitpunkt t2 in einem Folgebild FB ein Vergleich mit dem Initialbild IB erfolgen. Für die nachfolgenden Schritte wird das Folgebild FB aus dem ersten Durchgang als Initialbild IB des zweiten Durchgangs gesetzt und dementsprechend ist das Verfahren beliebig erweiterbar.
Fig. 9 zeigt schematisch eine erfindungsgemäße Erkennungsvorrichtung 100.
Diese ist mit einer Tiefenkameravorrichtung 1 0 mit wenigstens einer
Tiefenkamera ausgestattet. Diese Tiefenkameravorrichtung 1 10 ist in
signalkommunizierender Weise mit einer Kontrolleinheit 120 verbunden, die ein erfindungsgemäßes Verfahren ausübt. Der menschliche Körper 10, in diesem Fall die Hand 16, befindet sich im Erfassungsbereich der Tiefenkameravorrichtung 1 10. Die voranstehende Erläuterung der Ausführungsform beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
BEZUGSZEICHENLISTE
10 menschlicher Körper
12 Körperglied
13 Länge des Körperglieds
14 Gelenkpunkt
16 Hand
17 Handrücken
18 Finger
18a Daumen
19 Armstumpf
20 Punktewolke
30 Körpergliedmodell 100 Erkennungsvorrichtung
110 Tiefenkameravorrichtung
120 Kontrolleinheit t1 erster Zeitpunkt
t2 zweiter Zeitpunkt
t3 dritter Zeitpunkt α Rotationswinkel IB Initialbild
FB Folgebild
RV Rotationswinkelvorgabe

Claims

PATENTANSPRÜCHE
Verfahren für die Erkennung von Gesten eines menschlichen Körpers (10) mittels einer Tiefenkameravorrichtung (110), aufweisend die folgenden Schritte:
a) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem ersten Zeitpunkt (t1 ) als Initialbild (IB),
b) Auswerten des Initialbildes (IB) zur Erkennung von Körpergliedern (12) des Körpers (10),
c) Setzen von zumindest einem Gelenkpunkt (14) mit einem durch
einen Rotationswinkel (a) definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem erkannten Körperglied (12),
d) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem zweiten Zeitpunkt (t2) nach dem ersten Zeitpunkt (t1 ) als Folgebild (FB),
e) Auswerten des Folgebildes (FB) auf das wenigstens eine erkannte Körperglied (12) und den zumindest einen gesetzten Gelenkpunkt (14) aus dem Initialbild (IB),
f) Bestimmen des Rotationswinkels (a) des zumindest einen
Gelenkpunktes (14) im Folgebild (FB),
g) Vergleich des bestimmten Rotationswinkels (a) mit einer
Rotationswinkelvorgabe (RV),
h) Erkennen einer Geste bei Korrelation des bestimmten
Rotationswinkels (a) mit der Rotationswinkelvorgabe (RV).
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Schritte d) bis h) in sich wiederholender Weise durchgeführt werden, wobei das Folgebild (FB) des vorangegangen Durchgangs als Initialbild (IB) für den folgenden Durchgang gesetzt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Rotationswinkelvorgabe (RV) einen
vorgegebenen Rotationswinkelbereich umfasst, wobei verglichen wird ob sich der bestimmte Rotationswinkel (a) innerhalb des
Rotationswinkelbereichs befindet.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass die Schritte a) und b) mit einer definierten Geste des betreffenden Körpergliedes (12) durchgeführt werden, insbesondere wenigstens zweimal hintereinander mit unterschiedlichen Gesten.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass es für wenigstens zwei Gelenkpunkte (14), insbesondere für eine Mehrzahl von Gelenkpunkten (14), durchgeführt wird, wobei die Gelenkpunkte (14) gemeinsam ein Körpergliedmodell (30) ausbilden.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass bei der Auswertung des Folgebildes (FB) alle dem zumindest einen Gelenkpunkt (14) zugehörigen Punkte der Punktewolke (20) erkannt werden und der Schwerpunkt dieser Punkte als neuer
Gelenkpunkt (14) gesetzt wird.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass es für die Körperglieder (12) einer menschlichen Hand (16) durchgeführt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für alle
Finger (18) der Hand (16) die gleiche Anzahl an Gelenkpunkten (14) und Körpergliedern (12) ein Handmodell als Körpergliedmodell (30) ausbildet.
9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass für den Handrücken ( 7), die Handwurzel und/oder den Armstumpf (19) drei Gelenkpunkte (14) gesetzt werden.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass auf der dem Daumen (18a) entgegengesetzten Seite der Hand (16) im Handmodell mindestens ein weiterer Gelenkpunkt (14) gesetzt wird. 1 1. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass bei der Bestimmung von wenigstens zwei
Gelenkpunkten (14) die Länge (13) des Körperglieds (12) zwischen den beiden Gelenkpunkten (14) einen vorgegebenen Wert aufweist. 12. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass zumindest zwei Gelenkpunkte (14) auf einen gemeinsamen Ort gesetzt werden/ um ein menschliches Gelenk mit zumindest zwei rotatorischen Freiheitsgraden nachzubilden. 13. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass die Rotationswinkel ( ) von wenigstens zwei Gelenkpunkten (14) in einem einspaltigen Vektor gespeichert und mit der Rotationswinkelvorgabe (RV) in Form eines einspaltigen Vektors
zeilenweise verglichen werden. 4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch
gekennzeichnet, dass bei unmöglicher Erkennung eines Körpergliedes (12) und/oder eines Gelenkpunktes (14) in einem Folgebild (FB) der
Rotationswinkel (a) des Initialbilds (IB) für das Folgebild (FB) übernommen wird.
15. Erkennungsvorrichtung (100) für die Erkennung von Gesten eines
menschlichen Körpers (10), aufweisend eine Tiefenkameravorrichtung (1 10) und eine Kontrolleinheit (120), dadurch gekennzeichnet, dass die
Kontrolleinheit (120) ausgebildet ist für die Durchführung eines Verfahrens mit den Merkmalen eines der Ansprüche 1 bis 14.
EP14786612.3A 2013-10-19 2014-10-17 Erkennung von gesten eines menschlichen körpers Withdrawn EP3058506A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE201310017425 DE102013017425A1 (de) 2013-10-19 2013-10-19 Verfahren für die Erkennung von Gesten eines menschlichen Körpers
PCT/EP2014/002811 WO2015055320A1 (de) 2013-10-19 2014-10-17 Erkennung von gesten eines menschlichen körpers

Publications (1)

Publication Number Publication Date
EP3058506A1 true EP3058506A1 (de) 2016-08-24

Family

ID=51753180

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14786612.3A Withdrawn EP3058506A1 (de) 2013-10-19 2014-10-17 Erkennung von gesten eines menschlichen körpers

Country Status (5)

Country Link
US (1) US20160247016A1 (de)
EP (1) EP3058506A1 (de)
CN (1) CN105637531A (de)
DE (1) DE102013017425A1 (de)
WO (1) WO2015055320A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087219B (zh) * 2017-02-22 2018-04-10 罗普特（厦门）科技集团有限公司 人体姿势识别装置
CN107450672B (zh) * 2017-09-19 2024-03-29 曾泓程 一种高识别率的腕式智能装置
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
CN110163045A (zh) 2018-06-07 2019-08-23 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备
CN109453505B (zh) * 2018-12-03 2020-05-29 浙江大学 一种基于可穿戴设备的多关节追踪方法
CN109685013B (zh) * 2018-12-25 2020-11-24 上海智臻智能网络科技股份有限公司 人体姿态识别中头部关键点的检测方法及装置
TWI772726B (zh) * 2019-12-25 2022-08-01 財團法人工業技術研究院 輔具建模方法與肢體導板機構
CN112381002B (zh) * 2020-11-16 2023-08-15 深圳技术大学 人体风险姿态识别方法及系统
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
JP5881136B2 (ja) * 2010-09-27 2016-03-09 ソニー株式会社 情報処理装置及び方法、並びにプログラム
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
AU2011203028B1 (en) * 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US8817076B2 (en) * 2011-08-03 2014-08-26 General Electric Company Method and system for cropping a 3-dimensional medical dataset
EP2680228B1 (de) * 2012-06-25 2014-11-26 Softkinetic Software Verbesserungen bei oder im Zusammenhang mit dreidimensionalen nahen Interaktionen
KR101459445B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2015055320A1 *

Also Published As

Publication number Publication date
WO2015055320A1 (de) 2015-04-23
US20160247016A1 (en) 2016-08-25
DE102013017425A1 (de) 2015-05-07
CN105637531A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
WO2015055320A1 (de) Erkennung von gesten eines menschlichen körpers
DE102017129665B3 (de) Kollisionsfreie Bewegungsplanung bei geschlossener Kinematik
DE102014108287B4 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102018116053B4 (de) Robotersystem und Roboterlernverfahren
DE112019002310B4 (de) Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung
DE112004002219B4 (de) Verfahren zum Antreiben eines Roboters
DE102019216229B4 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
EP2392435A2 (de) Werkzeug-Handhabungssystem und Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren
DE102021107532A1 (de) System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen
DE102012009010A1 (de) Verfahren zum Erzeugen einer Bewegung eines Roboters
DE112013002018T5 (de) Echtzeithaltungs- und Bewegungsvorhersage bei der Ausführung von Betriebsaufgaben
EP3725472A1 (de) Verfahren zum ermitteln einer trajektorie eines roboters
DE102015223258A1 (de) Verfahren zum Bearbeiten der Oberfläche eines dreidimensionalen Objekts
DE102021204697B4 (de) Verfahren zum Steuern einer Robotervorrichtung
EP3146454B1 (de) Steuerungsvorrichtung für ein medizingerät
DE102020214633A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102020212658A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
WO2019037890A1 (de) Verfahren zur steuerung der bewegung eines mobilen roboters
EP1675709A2 (de) VERFAHREN ZUR EINRICHTUNG EINER BEWEGUNG EINES HANDHABUNGSGERÄTS UND BILDVERARBEITUNG
DE102010008240B4 (de) Verfahren zum Betrieb eines mehrachsigen, vorzugsweise sechsachsigen, Roboters
DE102015209773B3 (de) Verfahren zur kontinuierlichen Synchronisation einer Pose eines Manipulators und einer Eingabevorrichtung
DE102012022190A1 (de) Inverse Kinematik
DE102020211648A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102018124671B4 (de) Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
DE112017007903T5 (de) Haltepositions- und orientierungslehreinrichtung, haltepositions- und orientierungslehrverfahren und robotersystem

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160510

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20171009

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603