DE102013017425A1 - Verfahren für die Erkennung von Gesten eines menschlichen Körpers - Google Patents

Verfahren für die Erkennung von Gesten eines menschlichen Körpers Download PDF

Info

Publication number
DE102013017425A1
DE102013017425A1 DE201310017425 DE102013017425A DE102013017425A1 DE 102013017425 A1 DE102013017425 A1 DE 102013017425A1 DE 201310017425 DE201310017425 DE 201310017425 DE 102013017425 A DE102013017425 A DE 102013017425A DE 102013017425 A1 DE102013017425 A1 DE 102013017425A1
Authority
DE
Germany
Prior art keywords
rotation angle
points
hand
limb
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201310017425
Other languages
English (en)
Inventor
Kristian Ehlers
Jan Hartmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Draegerwerk AG and Co KGaA
Original Assignee
Draegerwerk AG and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Draegerwerk AG and Co KGaA filed Critical Draegerwerk AG and Co KGaA
Priority to DE201310017425 priority Critical patent/DE102013017425A1/de
Priority to PCT/EP2014/002811 priority patent/WO2015055320A1/de
Priority to CN201480057420.1A priority patent/CN105637531A/zh
Priority to EP14786612.3A priority patent/EP3058506A1/de
Priority to US15/030,153 priority patent/US20160247016A1/en
Publication of DE102013017425A1 publication Critical patent/DE102013017425A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

Die Erfindung betrifft ein Verfahren für die Erkennung von Gesten eines menschlichen Körpers (10) mittels einer Tiefenkameravorrichtung (110), aufweisend die folgenden Schritte: a) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem ersten Zeitpunkt (t1) als Initialbild (IB), b) Auswerten des Initialbildes (IB) zur Erkennung von Körpergliedern (12) des Körpers (10), c) Setzen von zumindest einem Gelenkpunkt (14) mit einem durch einen Rotationswinkel (α) definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem erkannten Körperglied (12), d) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem zweiten Zeitpunkt (t2) nach dem ersten Zeitpunkt (t1) als Folgebild (FB), e) Auswerten des Folgebildes (FB) auf wenigstens eine erkannte Körperglied ((12) und den zumindest einen gesetzten Gelenkpunkt (14) aus dem Initialbild (IB), f) Bestimmen des Rotationswinkels (α) des zumindest einen Gelenkpunktes (14) im Folgebild (FB), g) Vergleich des bestimmten Rotationswinkels (α) mit einer Rotationswinkelvorgabe (RV), h) Erkennen einer Geste bei Korrelation des bestimmten Rotationswinkels (α) mit der Rotationswinkelvorgabe (RV).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren für die Erkennung von Gesten eines menschlichen Körpers sowie eine Erkennungsvorrichtung für die Erkennung von Gesten eines menschlichen Körpers.
  • Es ist bekannt, dass mittels Tiefenkameravorrichtungen Gesten von menschlichen Körpern erfasst werden können. So sind beispielsweise Systeme auf dem Markt, welche in der Lage sind, die Stellungen von einzelnen Körperteilen bzw. einzelnen Körpergliedern relativ zueinander zu bestimmen. Aus dieser Relativposition, z. B. des Unterarms zum Oberarm, können Gesten und damit eine Gestensteuerung abgeleitet werden. Bekannte Verfahren werden beispielsweise eingesetzt, um die Steuerung von Computerspielen oder Fernsehgeräten durchzuführen. Dabei wird durch die Tiefenkamera üblicherweise eine Punktewolke erzeugt, aus welcher über Berechnungsalgorithmen die aktuelle Position der jeweiligen Körperteile und damit die Korrelation der Körperteile zueinander berechnet werden kann. Für sämtliche Zeitpunkte muss dabei die gesamte Punktewolke nach dieser Auswertmethodik bearbeitet werden.
  • Nachteilhaft bei bekannten Verfahren ist, dass ein relativ hoher Rechenaufwand zu jedem Zeitpunkt des Verfahrens notwendig ist. So muss bei einer Bewegung des Körpers nach jeder Bewegung eine komplette Punktewolke neu erfasst und neu ausgewertet werden. Dies benötigt insbesondere bei der Unterscheidung kleiner Körperteile bis hin zu einzelnen Körpergliedern immensen Rechenaufwand, der üblicherweise nicht zur Verfügung steht. Dementsprechend beschränken sich bekannte Verfahren darauf, relativ grobe Gesten zu erkennen, also z. B. die Bewegung eines Arms von oben nach unten oder eine Winkbewegung des Unterarms. Feine Bewegungen, wie z. B. unterschiedliche Gesten einer Hand, insbesondere Gesten durch unterschiedliche Fingerstellungen, sind nur mit überproportional aufwendigem Recheneinsatz durch bekannte Verfahren lösbar. Dies treibt die Kosten in der Ausführung solcher Verfahren in Höhen, welche sich wirtschaftlich nicht rechnen. Darüber hinaus sind in einem solchen Fall sehr fein auflösende Tiefenkameras notwendig, um die einzelnen Körperglieder in der notwendigen Geschwindigkeit in der Punktewolke voneinander unterscheidbar abzubilden. Damit wird ebenfalls der Kosteneinsatz, welcher für die Durchführung eines entsprechenden Verfahrens notwendig ist, stark erhöht.
  • Es ist Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zumindest teilweise zu beheben. Insbesondere ist es Aufgabe der vorliegenden Erfindung, in kostengünstiger und einfacher Weise auch die Erkennung feiner Gesten, insbesondere die Erkennung von Gesten einzelner Fingerglieder, zu ermöglichen.
  • Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit dem Merkmal des Anspruchs 1 und eine Erkennungsvorrichtung mit dem Merkmal des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Erkennungsvorrichtung und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
  • Ein erfindungsgemäßes Verfahren dient der Erkennung von Gesten eines menschlichen Körpers mittels einer Tiefenkameravorrichtung, aufweisend die folgenden Schritte:
    • a) Erzeugen einer Punktewolke durch die Tiefenkameravorrichtung zu einem ersten Zeitpunkt als Initialbild,
    • b) Auswerten des Initialbildes zur Erkennung von Körpergliedern des Körpers,
    • c) Setzen von zumindest einem Gelenkpunkt mit einem durch einen Rotationswinkel definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem Körperglied,
    • d) Erzeugen einer Punktewolke durch die Tiefenkameravorrichtung zu einem zweiten Punkt nach dem ersten Zeitpunkt als Folgebild,
    • e) Auswerten des Folgebildes auf das wenigstens eine erkannte Körperglied und den zumindest einen gesetzten Gelenkpunkt aus dem Initialbild,
    • f) Bestimmen des Rotationswinkels des zumindest einen Gelenkpunktes im Folgebild,
    • g) Vergleich des bestimmten Rotationswinkels mit einer Rotationswinkelvorgabe,
    • h) Erkennen einer Geste bei Korrelation des bestimmten Rotationswinkels mit einer Rotationswinkelvorgabe.
  • Ein erfindungsgemäßes Verfahren dient dazu, auch feine Gesten, insbesondere von einzelnen Körpergliedern, wie den Fingern einer Hand eines menschlichen Körpers, zu erkennen. Grundsätzlich ist das Verfahren jedoch einsetzbar bei dem menschlichen Körper im Gesamten, also bei jeglichem Körperglied. So können Körperglieder insbesondere als einzelne bewegbare Knochenelemente des menschlichen Körpers definiert werden. Diese können z. B. durch den Unterschenkel, den Oberschenkel, den Oberarm oder den Unterarm ausgebildet werden. Auch feinere Gelenke, wie insbesondere die einzelnen Glieder jedes Fingers einer Hand, können Körperglieder des menschlichen Körpers im Sinne der vorliegenden Erfindung darstellen.
  • Im Sinne der vorliegenden Erfindung erfolgt keine vollständige Auswertung der Punktewolke zu jedem Zeitpunkt. Vielmehr kann ein Vergleich der Punktewolke zu zwei unterschiedlichen Zeitpunkten eine Reduktion auf ein Modell des jeweiligen Körpergliedes und den entsprechenden Gelenkpunkt erlauben. Somit muss kein aufwendiger Bildvergleich zur Gestenerkennung mehr durchgeführt werden.
  • Vielmehr kann die Erkennung der Geste auf einen direkten oder einen indirekten Vergleich von Rotationswinkeln mit der Rotationswinkelvorgabe reduziert werden. Bei einem indirekten Vergleich muss keine vollständige Übereinstimmung, sondern nur eine ausreichende, insbesondere vordefinierte Nähe vorliegen.
  • Erfindungsgemäß beginnt ein Verfahren mit einer Initialisierung. Die Tiefenkameravorrichtung ist dabei vorzugsweise mit zumindest einer Tiefenkamera ausgestattet und kann auf diese Weise eine dreidimensionale Punktewolke erzeugen. Zu dem ersten Zeitpunkt, welcher auch als Initialisierungszeitpunkt bezeichnet werden kann, entsteht diese Punktewolke also als Initialbild. Die Auswertung diese Initialbilds erfolgt in Bezug auf eine Erkennung von Körpergliedern des Körpers. Dabei kann die gesamte Punktewolke oder nur Teilbereiche dieser Punktewolke detailliert ausgewertet werden. Insbesondere erfolgt die Auswertung nur im Bereich der Körperteile, welche die für die Gesten notwendigen Körperglieder umfasst. Wird also beispielsweise ein menschlicher Körper erkannt und eine Geste der Finger gesucht, so erfolgt die detaillierte Auswertung des Initialbildes nur im Bereich der Hand, um die Erkennung der einzelnen Fingerglieder als Körperglieder des Körpers durchzuführen.
  • Das Setzen des Gelenkpunktes erfolgt mit Bezug auf das jeweils erkannte Körperglied. So sind beispielsweise die einzelnen Finger der Hand eines menschlichen Körpers durch einzelne Körperglieder in Form von Fingergliedern definiert. Zwischen den einzelnen Körpergliedern sind menschliche Gelenke vorgesehen, die ein oder mehrere Rotationsfreiheitsgrade aufweisen. Die Verbindung zwischen den einzelnen Körpergliedern wird durch das erfindungsgemäß zugrunde gelegte Modell durch Gelenkpunkte mit genau einem definierten Freiheitsgrad widergespiegelt. Handelt es sich bei dem realen Gelenk zwischen zwei Körpergliedern am menschlichen Körper um eine Ausbildung mit zwei oder mehr Rotationsfreiheitsgraden, so können selbstverständlich auch zwei oder mehr Gelenkpunkte mit jeweils einem definierten Freiheitsgrad gesetzt werden. Damit können auch komplexe Gelenke eines Körpers, welche zwei oder mehr Rotationsfreiheitsgrade aufweisen, erfindungsgemäß nachgebildet werden.
  • Durch das Setzen des Gelenkpunktes ergibt sich ein initialer Rotationswinkel, welcher in definierter Weise die Positionierung der beiden benachbarten Körperglieder zueinander wiedergibt. Dieser Rotationswinkel stellt also die aktuelle Positionierung der Körperglieder zueinander eindeutig dar.
  • Der Rotationswinkel jedes Gelenkpunktes bestimmt sich dabei im jeweiligen Koordinatensystem, zugehörig zu dem jeweiligen Gelenkpunkt. Jeder Gelenkpunkt, welcher im erfindungsgemäßen Verfahren gesetzt wird, weist ein eigenes Koordinatensystem auf. Dadurch, dass einzelne Körperglieder miteinander verkettet sind, wie dies z. B. bei einzelnen Fingergliedern der Hand des menschlichen Körpers der Fall ist, ergibt sich damit bei komplexen Bewegungen der einzelnen Körperglieder relativ zueinander auch eine translatorische und/oder rotatorische Bewegung der einzelnen Koordinatensysteme. Um die nachfolgenden Auswertschritte möglichst einfach zu halten, wird jedoch der Rotationswinkel immer mit Bezug auf das jeweils, z. B. translatorisch, mitbewegte Koordinatensystem des zugehörigen Gelenkpunktes gesetzt. Damit ergibt sich durch die Korrelation der Vielzahl von Rotationswinkeln bei einer Vielzahl von Gelenkpunkten eine definierte Körpergliedstellung aller Körperglieder relativ zueinander.
  • Wie aus dem voranstehenden Absatz erkennbar ist, wird vorzugsweise eine Vielzahl von Gelenkpunkten verwendet und gesetzt. Damit ergibt sich auch eine Vielzahl von Rotationswinkeln für diese Vielzahl von Gelenkpunkten. Diese können zur besseren Übersicht z. B. in einem einspaltigen und vielzeiligen Vektor vorgegeben bzw. gespeichert werden. Dieser einspaltige und vielzeilige Vektor gibt damit in definierter und vor allem eindeutiger Weise die Relativstellung der einzelnen Körperglieder zueinander wider.
  • Dabei ist darauf hinzuweisen, dass nicht für jedes erkannte Körperglied auch ein Gelenkpunkt gesetzt werden muss. So kann beispielsweise eine Erkennung aller Körperglieder eines Körpers stattfinden, wobei nur für die beiden Hände oder nur für eine Hand die Gelenkpunkte für die weiteren Verfahrensschritte gesetzt werden. Mit anderen Worten erfolgt beim Setzen der Gelenkpunkte eine Auswahl aus allen erkannten Körpergliedern. Diese Auswahl kann eine Teilmenge oder auch alle erkannten Körperglieder umfassen. Zumindest wird jedoch ein einziger Gelenkpunkt bei dem wenigstens einen erkannten Körperglied durchgeführt.
  • Nachdem durch die Schritte a) bis c) eine Initialisierung der aktuellen Situation des menschlichen Körpers erfolgen konnte, kann nun die Gestenerkennung durchgeführt werden. Zu einem zweiten Zeitpunkt wird mittels der Tiefenkameravorrichtung wieder eine Punktewolke nach dem ersten Zeitpunkt als Folgebild erzeugt. Die Auswertung erfolgt nun auf die bereits in der Initialisierung erkannten Körperglieder und mit Bezug auf die gesetzten Gelenkpunkte aus dem Initialbild. Anschließend erfolgt die Bestimmung des Rotationswinkels des zumindest einen Gelenkpunktes im Folgebild. Mit anderen Worten ergibt sich für eine Vielzahl von Gelenkpunkten nun ein neuer einspaltiger und vielzeiliger Vektor mit einer Vielzahl von Rotationswinkeln. Die Veränderung der Rotationswinkel innerhalb dieses Vektors zwischen Initialbild und Folgebild entspricht der Änderung der der Körperglieder und daraus abgeleitet der Geste in der Realsituation am menschlichen Körper.
  • Anschließend kann ein Vergleich des bestimmten Rotationswinkels im Folgebild mit einer Rotationswinkelvorgabe durchgeführt werden. Die Rotationswinkelvorgabe ist dabei ebenfalls beispielsweise als einspaltiger, vielzeiliger Vektor ausgebildet. Somit kann ein zeilenweiser Vergleich durchgeführt werden, ob eine Übereinstimmung oder im Wesentlichen eine Übereinstimmung zwischen bzw. eine ausreichende, insbesondere vordefinierte Nähe zu den bestimmten Rotationswinkeln und dieser Rotationswinkelvorgabe vorliegt. Ist dies der Fall, so entspricht die reale Bewegungsposition der jeweiligen Körperglieder des menschlichen Körpers der mit dieser Rotationswinkelvorgabe korrelierten Geste.
  • Selbstverständlich kann die Rotationswinkelvorgabe sowohl spezifische und eineindeutige Werte, als auch Wertebereiche aufweisen. Je nachdem wie genau und abgrenzbar die Erkennung der jeweiligen Geste durchgeführt werden soll, kann dementsprechend eine besonders enge oder breite Ausbildung der Rotationswinkelvorgabe als Rotationswinkelbereich vorgesehen werden.
  • Wie aus den voranstehenden Erläuterungen zur Gestenerkennung klar wird, ist insbesondere eine Vielzahl von unterschiedlichen Rotationswinkelvorgaben gestenspezifisch gespeichert. Somit erfolgen die Schritte des Vergleichs und des Erkennens des Rotationswinkels bzw. der Geste für sämtliche gestenspezifischen Speicherdaten der Rotationswinkelvorgaben, z. B. sequenziell oder parallel. Damit wird der Vergleich so lange durchgeführt, bis eine ausreichende Korrelation in Form einer Übereinstimmung oder im Wesentlichen Übereinstimmung zwischen dem bestimmten Rotationswinkel und der Rotationswinkelvorgabe erkannt wird. Damit kann eine Zuordnung der bestimmten Rotationswinkel zu der für diese Rotationswinkelvorgabe spezifischen Geste erfolgen.
  • Wie ebenfalls aus den voranstehenden Erläuterungen deutlich ist, wird für die Erkennung der Geste nun kein Bildvergleich im Kompletten mehr notwendig. Vielmehr reduziert sich die Erkennungsaufgabe komplett auf den Vergleich von Rotationswinkel mit Rotationswinkelvorgabe, welche hinsichtlich des notwendigen Rechenaufwandes besonders kostengünstig und einfach ausgebildet sein können. Der einzeilige Vergleich eines mehrzeiligen einspaltigen Vektors mit einer entsprechenden Rotationswinkelvorgabe ist eine sehr einfache Rechenoperation, die weder eine aufwendige Recheneinheit noch besonders viel Zeit in Anspruch nimmt.
  • Ein weiterer Vorteil des erfindungsgemäßen Verfahrens wird dadurch erzielt, dass eine Reduktion des tatsächlichen menschlichen Körpers aus der Punktewolke auf ein entsprechendes Modell des menschlichen Körpers hinsichtlich Gelenkpunkten und Körpergliedern erfolgen konnte. Damit muss für den Vergleich zwischen Initialbild und Folgebild nicht mehr die gesamte Punktewolke, sondern vielmehr nur die gesetzten definierten Gelenkpunkte betrachtet werden. Damit werden auch die Schritte der Auswertung des Folgebilds mit Bezug auf das jeweilige Initialbild hinsichtlich des notwendigen Rechenaufwands deutlich reduziert.
  • Ein erfindungsgemäßes Verfahren wird insbesondere in der Medizintechnik, z. B. zur Gestensteuerung von medizinischen Apparaten eingesetzt. Insbesondere dort ist es von Vorteil, da nun eine Vielzahl von Befehlen durch unterschiedlichste Fingergesten gesteuert werden können. Gleichzeitig wird durch die Gestensteuerung die Sterilität des jeweiligen Benutzers, insbesondere dessen Hand, nicht beeinträchtigt. Die erläuterten und beschriebenen Vorteile sind dementsprechend im medizinischen Bereich bei medizinischen Apparaten zu deren Steuerung besonders vorteilhaft erzielbar.
  • Selbstverständlich sind auch andere Anwendungsgebiete für ein erfindungsgemäßes Verfahren denkbar. Zum Beispiel kann das Verfahren nach der vorliegenden Erfindung eingesetzt werden für eine klassische Gestenerkennung bei der Steuerung einer Maschine oder sogar eines Fahrzeugs. Auch Bedienaktionen in einem Fahrzeug können durch ein erfindungsgemäßes Verfahren mittels Gestensteuerung durchgeführt werden. Bei der Steuerung von Aktionen technischer Geräte, wie Fernsehern, Computern, Mobiltelefonen oder Tablet-PCs kann ebenfalls ein erfindungsgemäßes Verfahren zur Gestenerkennung eingesetzt werden. Weiter kann im medizinischen Umfeld auf diese Weise eine sehr genaue Positionserkennung der einzelnen Körperglieder einen Einsatz im Bereich der Teleoperation ermöglichen. Auch eine grundsätzliche Interaktion zwischen Mensch und Maschine bzw. Mensch und Roboter ist im Rahmen der vorliegenden Erfindung ein möglicher Einsatzzweck.
  • Ein erfindungsgemäßes Verfahren lässt sich dahingehend weiterbilden, dass die Schritte d) bis h) in sich wiederholender Weise durchgeführt werden, wobei das Folgebild des vorangegangenen Durchgangs als Initialbild für den folgenden Durchgang gesetzt werden wird. Damit wird sozusagen ein Tracking oder ein Folgeverfahren zur Verfügung gestellt, welches es erlaubt, im Wesentlichen kontinuierlich schrittweise eine Überwachung hinsichtlich einer Änderung der Gesten durchzuführen. Dies wird insbesondere dadurch möglich, dass der notwendige Rechenaufwand für die Durchführung jedes Erkennungstaktes einer Geste in erfindungsgemäßer Weise deutlich reduziert worden ist. Es erfolgt also im Gegensatz zu bekannten Verfahren keine Einzelbestimmung für jeden Zeitpunkt mehr, sondern vielmehr wird das einmal initial bestimmte Gelenkmodell des menschlichen Körpers bzw. des Teils des menschlichen Körpers beliebig lange in sich wiederholender Weise angewendet. Damit wird eine kontinuierliche Gestenüberwachung möglich, so dass keine bewusste Aktivierung einer Gestensteuerung für den tatsächlichen Steuervorgang mehr notwendig ist.
  • Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren die Rotationswinkelvorgabe einen vorgegebenen Rotationswinkelbereich umfasst, wobei verglichen wird, ob sich der bestimmte Rotationswinkel innerhalb des Rotationswinkelbereichs befindet. Wie bereits angedeutet worden ist, kann es sich bei der Rotationswinkelvorgabe um einen einspaltigen mehrzeiligen Vektor handeln. Für jede einzelne Zeile kann ein spezifischer und eineindeutiger Rotationswinkel als Rotationswinkelvorgabe eingesetzt sein. Bevorzugt ist es jedoch, wenn hier ein Rotationswinkelbereich in jeder Zeile angegeben ist, welcher z. B. zwischen 10° und 25° für eine Geste spezifisch ausgebildet ist. Die Breite des jeweiligen Rotationswinkelbereichs ist vorzugsweise einstellbar ausgebildet und insbesondere ebenfalls gestenspezifisch. So kann durch besonders enge Rotationswinkelbereiche eine saubere und definierte Abgrenzung sehr ähnlicher Fingergesten voneinander erfolgen. Wird bei einem erfindungsgemäßen Verfahren nur eine geringe Anzahl von Gesten voneinander zu unterscheiden sein, so kann für eine größere Freiheit bei der tatsächlichen Erkennung auch ein besonders breiter Rotationswinkelbereich einsetzbar sein. Der Grad der Fehlerkennung bzw. die Abgrenzung von ähnlichen Gesten kann dementsprechend besonders bevorzugt über den Rotationswinkelbereich und dessen Breite dargestellt werden. Hier wird auch gut erkennbar, dass für unterschiedliche Gesten die Spezifität durch die Summe sämtlicher Rotationswinkelvorgaben in einem solchen mehrzeiligen Vektor die Spezifizierung erfolgt. Je nachdem wie breit der Rotationswinkelbereich ausgeführt ist, können auch schlecht ausgeführte Gesten erkannt werden. Weiter ist es hier möglich Gesten zu trainieren. Hierfür können sogenannte Trainigssets aufgenommen werden, welche anschließende klassifiziert werden. Auf Basis dieser Trainingsdaten können die Rotationswinkelvorgaben sozusagen implizit definiert werden.
  • Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren die Schritte a) und b) mit einer definierten Geste des betreffenden Körpergliedes durchgeführt werden, insbesondere wenigstens zweimal hintereinander mit unterschiedlichen Gesten. Dabei handelt es sich sozusagen um eine definierte Initialisierung des vorliegenden Verfahrens. Eine Möglichkeit ist es, mit gespreizter Hand als Summe der zu erkennenden Körperglieder eine definierte Geste für den Initialisierungsschritt zur Verfügung zu stellen. Auch eine definierte Gestenfolge, wie z. B. das Spreizen sämtlicher Finger und das Schließen zu einer Faust, kann als zwei hintereinander durchgeführte unterschiedliche Gesten einen doppelten Initialisierungsschritt zur Verfügung stellen. Dabei handelt es sich jedoch nur um eine bevorzugte Ausführungsform. Das erfindungsgemäße Verfahren funktioniert auch ohne den Einsatz von definierten Gesten für die Initialisierung. Jedoch können diese definierten Gesten für die Initialisierung das initiale Setzen der Gelenkpunkte hinsichtlich der Genauigkeit verbessern. Die hier beschriebene Möglichkeit der Initialisierung kann sowohl zum Start eines erfindungsgemäßen Verfahrens, als auch zwischendurch eingesetzt werden. Dabei schließen die Schritte der zweiten Schleife c) bis h) an die Durchführung der Schritte der ersten Schleife a) und b) an. Die beiden Schleifen können in sich beliebig häufig wiederholt werden. Sind zum Beispiel zwei definierte Gesten für die Initialisierung vorgesehen, so wird die erste Schleife zweimal durchlaufen bevor das Verfahren in die zweite Schleife eintritt. Da die zweite Schleife die Erkennung der Geste und damit die vorzugsweise kontinuierliche Überwachung beschreibt, wird diese zweite Schleife vorzugsweise ohne festen Endwert wiederholt. Auch kann eine maximale Wiederholungszahl der zweiten Schleife eine automatische Kalibrierung durch die erste Schleife, zum Beispiel nach jeweils 1000 Läufen durch die zweite Schleife, auslösen.
  • Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren, dieses für wenigstens zwei Gelenkpunkte, insbesondere für eine Mehrzahl von Gelenkpunkten, durchgeführt wird, wobei die Gelenkpunkte gemeinsam ein Körpergliedmodell ausbilden. Wie bereits erläutert worden ist, können damit auch komplexe Teile eines Körpers, wie z. B. die Hand mit den Fingergliedern und damit eine Vielzahl von miteinander über Gelenke verbundenen Körpergliedern in einem Körpergliedmodell besonders einfach und mit wenig Rechenaufwand dem erfindungsgemäßen Verfahren zugrunde gelegt werden. Damit wird es möglich, beispielsweise Robotikregeln in umgekehrter Weise einzusetzen. So können in einem solchen Fall z. B. bekannte Transformationsregeln zwischen den einzelnen translatorisch und/oder rotatorisch bewegbaren Koordinatensystemen der Gelenkpunkte vorgesehen sein, um entsprechend eine rückwertige Bestimmung der tatsächlich erfolgten Geste bzw. der tatsächlich erfolgten Bewegung zu erkennen.
  • Vorteilhaft ist es weiter, wenn bei einem erfindungsgemäßen Verfahren bei der Auswertung des Folgebildes alle dem zumindest einen Gelenkpunkt zugehörigen Punkte der Punktewolke erkannt werden und der Schwerpunkt dieser Punkte als neuer Gelenkpunkt gesetzt wird. So hängt die tatsächliche Positionierung des Gelenkpunktes unter anderem von der Auflösung der Tiefenkameravorrichtung ab. Bei relativ groben Tiefenkameravorrichtungen ist es nicht möglich, einen einzelnen spezifischen Punkt dem jeweiligen Gelenkpunkt zuzuordnen. Somit werden sämtliche Punkte, welche dem jeweiligen Gelenkpunkt als zugehörig erkannt werden, für diesen definiert und der Schwerpunkt dieser Punkte als neuer Gelenkpunkt gesetzt. Dies hilft, auch bei kostengünstigeren und weniger feinen Auflösungen der Tiefenkamera eine explizite und möglichst genaue Positionierung des neuen Gelenkpunktes zu erlauben.
  • Vorteilhaft ist es, wenn bei einem erfindungsgemäßen Verfahren dieses für die Körperglieder einer menschlichen Hand durchgeführt wird. Dies ist insbesondere mit vertretbarem Rechenaufwand erst mit Hilfe eines erfindungsgemäßen Verfahrens überhaupt möglich. Die menschliche Hand bietet durch die Vielzahl der Körperglieder und die Vielzahl der tatsächlich vorhandenen Fingergelenke eine sehr große Anzahl unterschiedlicher Gesten. Damit bildet die menschliche Hand ein besonders einfaches und vor allem sehr variabel einsetzbares Medium, um unterschiedlichste Gesten erkennen zu können.
  • Ein erfindungsgemäßes Verfahren gemäß dem voranstehenden Absatz lässt sich dahingehend weiterbilden, dass für alle Finger der Hand die gleiche Anzahl an Gelenkpunkten und Körpergliedern ein Handmodell ausbildet. Dieses Handmodell ist also in diesem Fall das Körpergliedmodell, wie es bereits erläutert worden ist. Durch die Ausbildung sämtlicher Finger der Hand, inklusive des Daumens, in gleicher Weise, also mit gleicher Anzahl an Gelenkpunkten und Körpergliedern, wird der Kostenaufwand für die Berechnung bei der Durchführung eines erfindungsgemäßen Verfahrens weiter reduziert. Insbesondere der Daumen nimmt aus medizinischer Sicht eine Sonderstellung an der Hand ein. Dabei ist das proximale Gelenk des Daumes kein eigentliches Fingergelenk im medizinischen Sinne, stellt jedoch eine Bewegbarkeit des Daumens dar. Um diese Bewegbarkeit im erfindungsgemäßen Handmodell abzubilden, können hier ebenfalls ein oder mehrere Gelenkpunkte gesetzt werden. Werden jedoch die Gestenvarianten dieser Beweglichkeit des Daumens nicht benötigt, so kann der entsprechende Gelenkpunkt für den Daumen ohne Rotationsfreiheitsgrad und damit als Blindgelenkpunkt gesetzt werden. Damit bleibt die Übereinstimmung mit der Anzahl der Gelenkpunkte für alle Finger erhalten. Jedoch reduziert sich der Rechenaufwand zumindest bei der Gestenerkennung am Daumen. Mit anderen Worten wird damit die Relativbewegung und/oder die Positionsänderung für diesen Gelenkpunkt auf Null gesetzt.
  • Ein weiterer Vorteil neben der Reduktion des Rechenaufwandes ist die vorhandene Spiegelbarkeit der einzelnen Handmodelle. Damit wird es möglich, ohne Anpassung von Software, diese auf beide Hände bzw. auf beide Handausrichtungen anzuwenden. Damit kann sich die mögliche Gestenanzahl sogar verdoppeln bzw. vervielfachen, da nun eine Korrelation von Gesten von beiden Händen erkennbar wird. Bevorzugt ist es, wenn dabei die beiden Hände voneinander unterschieden werden, also die linke Hand und die rechte Hand jeweils als solche erkannt werden können. Dabei ist zu beachten, dass es für das Handmodell entscheidend ist, ob die jeweilige Hand in der Sicht auf den Handrücken oder in der Sicht auf die Handfläche wahrgenommen wird. Für diese Unterscheidung können zum Beispiel initiale definierte Gesten verwendet werden, welche in dieser Anmeldung beschrieben sind. Auch ist es möglich über den Verlauf der Erkennung und die Richtung der Gelenkbewegungen einen Rückschluss auf die Ausrichtung der Hand zu ziehen. Dabei kann die reale Bewegbarkeit der Gelenke berücksichtigt werden. Mit anderen Worten wird über eine Abfolge von Durchläufen eines erfindungsgemäßen Verfahrens zusätzlich eine Bestimmung der Ausrichtung der erkannten Hand in „links” oder „rechts” und in „Handflächenansicht” oder „Handrückenansicht” vorgenommen.
  • Ein weiterer Vorteil kann es sein, wenn bei einem erfindungsgemäßen Verfahren für den Handrücken, die Handwurzel und/oder den Armstumpf bzw. die Handfläche drei Gelenkpunkte gesetzt werden. Da, wie bereits erläutert worden ist, z. B. durch eine Vielzahl von Punkten der Punktewolke über deren Schwerpunkt eine Definition des Ortes des jeweiligen Gelenkpunktes erfolgen kann, würde bei bestimmten Handstellungen und bei einem einzigen Gelenkpunkt für den Handrücken möglicherweise eine Fehlpositionierung erfolgen. Mit anderen Worten würde für den Handrücken aus immer weniger und/oder näher benachbarten Punkten der Punktewolke auf den zugehörigen Schwerpunkt geschlossen werden. Mit anderen Worten würden sich die Punkte der Punktewolke um den Schwerpunkt des Handrückens zusammenziehen und damit einen schlechteren geometrischen Mittelwert für diesen Schwerpunkt liefern. Damit würde auch die Lage des damit gesetzten Gelenkpunktes ungenauer werden, so dass bei bestimmten Gelenkstellungen und Gesten die reale Position nur ungenügend oder möglicherweise fehlerhaft wiedergegeben würde. Um auch bei solchen komplexen Gestensituationen eine besonders vorteilhafte und gute Erkennung der jeweiligen Geste zu ermöglichen, werden nun vorzugsweise drei Gelenkpunkte für den Handrücken gesetzt. Insbesondere bei relativ gering auflösenden und damit kostengünstigeren Tiefenkameras der Tiefenkameravorrichtung, kann auf diese Weise trotzdem ein relativ gutes Ergebnis für die Positionierung des Handrückens erfolgen. Insbesondere von Vorteil ist es, wenn zwei Gelenkpunkte aus dem Handrücken in den Armstumpf gezogen werden.
  • Ebenfalls von Vorteil ist es, wenn bei einem erfindungsgemäßen Verfahren auf der dem Daumen entgegengesetzten Seite der Hand im Handmodell mindestens ein weiterer Gelenkpunkt gesetzt wird. Damit werden die gleichen Vorteile wie im voranstehenden Absatz erzielt. Insbesondere erfolgt das Setzen des Gelenkpunktes spiegelbildlich oder im Wesentlichen spiegelbildlich zum entsprechenden nächstliegenden Gelenkpunkt des Daumens. Mit anderen Worten wird durch die drei Gelenkpunkte am Handrücken und/oder durch den weiteren Gelenkpunkt dieser Ausführungsform der gesamte Handrücken aufgespannt, so dass sich eine unerwünschte Fehlpositionierung oder ein Zusammenziehen des Handrückens auf einen einzelnen Gelenkpunkt vermeiden lässt. Selbstverständlich können auch noch mehrere Punkte, insbesondere Zwischenpunkte mit einem feineren Netz den Handrücken aufspannen, um diese Vorteile noch besser zu erzielen.
  • Vorteilhaft ist es ebenfalls, wenn bei einem erfindungsgemäßen Verfahren bei der Bestimmung von wenigstens zwei Gelenkpunkten, die Länge des Körperglieds zwischen den beiden Gelenkpunkten einen vorgegebenen Wert aufweist. Die einzelnen Körperglieder werden also in der Darstellung des Handmodells bzw. des Körpergliedmodells durch ihre Länge, sozusagen als Stabwerk, wiedergegeben. Die einzelnen Gelenkpunkte sind durch die Länge des jeweiligen Stabes miteinander verbunden. Wird diese Länge vorgegeben, so wird die nachfolgende Auswertung hinsichtlich des notwendigen Rechenaufwandes nochmals geringer. Insbesondere kann die Länge auch einstellbar ausgebildet sein, so dass z. B. grobe Vorgaben von großen, kleinen und mittleren Längen für das jeweilige Körperglied vorgegeben werden. Selbstverständlich kann über das laufende Verfahren auch eine Anpassung bzw. eine selbstlernende Ausbildung für die Länge der jeweiligen Körperglieder erfolgen. Insbesondere für den Initialisierungsschritt beim ersten Bild als Initialbild werden auf diese Weise Einsparungen des Rechenaufwandes erzielt.
  • Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren zumindest zwei Gelenkpunkte auf einen gemeinsamen Ort gesetzt werden, um ein menschliches Gelenk mit zumindest zwei rotatorischen Freiheitsgraden nachzubilden. Insbesondere das Gelenk zwischen dem Mittelhandknochen und dem proximalen Fingerknochen ist beim menschlichen Körper ein Gelenk mit zwei rotatorischen Freiheitsgraden. Um ein solches komplexes Gelenk in das erfindungsgemäße einfach gehaltene Verfahren zu übertragen, können entsprechend zwei Gelenkpunkte auf den gemeinsamen Ort gesetzt werden. Dies erlaubt es, das erfindungsgemäße Verfahren auch bei einem realen komplexeren menschlichen Gelenk einzusetzen. Die bereits beschriebenen Robotikregeln, welche z. B. in Form der Denavit-Hartenberg-Regeln eingesetzt werden können, können in diesem Fall weiter Verwendung finden.
  • Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren die Rotationswinkel von wenigstens zwei Gelenkpunkten in einem einspaltigen Vektor gespeichert und mit der Rotationswinkelvorgabe, in Form eines einspaltigen Vektors, zeilenweise verglichen werden. Diese Ausführungsform wurde bereits an mehreren Stellen erläutert. Hier wird gut ersichtlich, dass ein einzelner Zeilenvergleich eine Gestenerkennung zur Verfügung stellen kann. Der Rotationwinkelvorgabenvektor ist gestenspezifisch. Dementsprechend ist für jede gewünschte zu erkennende Geste eine Rotationswinkelvorgabe und damit ein gestenspezifischer Rotationswinkelvorgabenvektor vorgesehen. Der entsprechende Vergleich erfolgt parallel oder sequenziell mit dem einspaltigen Vektor aller erkannten Rotationswinkel und mit allen einspaltigen Vektoren der Rotationswinkelvorgaben.
  • Ein weiterer Vorteil ist erzielbar, wenn bei einem erfindungsgemäßen Verfahren bei unmöglicher Erkennung eines Körpergliedes und/oder eines Gelenkpunktes in einem Folgebild der Rotationswinkel des Initialbilds für das Folgebild übernommen wird. Bei teilweise für die Tiefenkameravorrichtung verdeckten Gliedern kann somit das Verfahren weiter in gleicher Weise und mit nur geringen Fehlern ausgeführt werden. Dies ist ein weiterer Vorteil, welcher den großen Unterschied zu bekannten Verfahren deutlich macht. Während bei bekannten Verfahren verdeckte Körperglieder nicht mehr erkannt werden können und dementsprechend auch nicht mehr für eine Gestenerkennung zur Verfügung stehen, kann in erfindungsgemäßer Weise eine Übertragung von Initialbild zum Folgebild hier eine weitere Erkennung durch das erfindungsgemäße Verfahren erlauben. Ein Ausgleich kann z. B. durch eine entsprechende Verbreiterung in der Breite von Rotationswinkelbereichen in der Rotationswinkelvorgabe erfolgen.
  • Ebenfalls Gegenstand der vorliegenden Erfindung ist eine Erkennungsvorrichtung für die Erkennung von Gesten eines menschlichen Körpers, aufweisend eine Tiefenkameravorrichtung und eine Kontrolleinheit. Die erfindungsgemäße Erkennungsvorrichtung zeichnet sich dadurch aus, dass die Kontrolleinheit ausgebildet ist für die Durchführung eines erfindungsgemäßen Verfahrens. Dementsprechend bringt eine erfindungsgemäße Erkennungsvorrichtung die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren erläutert worden sind.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch:
  • 1 eine erste Darstellung einer Punktewolke,
  • 2 die Darstellung einer erkannten Hand,
  • 3 die Hand der 2 mit einem darin angeordneten Körpergliedmodell,
  • 4 das Körpergliedmodell der Hand alleine;
  • 5 drei Körperglieder in einer ersten Gestenposition,
  • 6 die Körperglieder der 5 in einer zweiten Gestenposition,
  • 7 die zeitliche Darstellung mehrerer Ausführungen eines erfindungsgemäßen Verfahrens,
  • 8 eine Möglichkeit eines Vergleichs zweier Vektoren für den Rotationswinkel und
  • 9 eine Ausführungsform einer erfindungsgemäßen Erkennungsvorrichtung.
  • Anhand der 1 bis 4 wird grundsätzlich die Übertragung einer Information aus der Erkennungsvorrichtung 100 in ein Körpergliedmodell 30 dargestellt. So beginnt das Ganze mit der Aufnahme einer Tiefenkameravorrichtung 110 eines menschlichen Körpers 10, hier der Hand 16, und führt zu einer Punktewolke 20. Die Punktewolke 20 ist hier der Übersichtlichkeit halber nur für das äußerste distale Fingergelenk als Körperglied 12 dargestellt. In gleicher Weise erfolgt die Erkennung sämtlicher Körperglieder 12 und vorzugsweise auch des entsprechenden Handrückens 17 aus der Punktewolke 20. Im Ergebnis steht eine Erkennung in der Punktewolke 20, wie sie die 2 zeigt. So findet sich dort die gesamte Hand 16 mit sämtlichen Fingern 18 inklusive dem Daumen 18a. Diese weisen die jeweiligen Fingerglieder als Körperglieder 12 auf.
  • Anschließend kann für ein erfindungsgemäßes Verfahren ein Setzen der einzelnen Gelenkpunkte 14 erfolgen. Diese korrelieren mit dem jeweiligen tatsächlichen Gelenk zwischen zwei Körpergliedern 12. Der Abstand zwischen zwei benachbarten Gelenkpunkten 14 ist vorzugsweise als Länge 13 des jeweiligen Körperglieds 12 vorgegeben und körpergliedspezifisch. Wie ebenfalls der 3 zu entnehmen ist, wurde für sämtliche Finger 18 eine gleiche Anzahl an Gelenkpunkten verwendet. Darüber hinaus wurde als Gegenspieler zum Daumen 18a auf dessen entgegengesetzter Seite im Handrücken 17 des Körpergliedmodells 30 ein weiterer Gelenkpunkt 14 rechts außen gesetzt. Zusätzlich bilden im Handrücken 17 und im Armstumpf 19 drei Gelenkpunkte 14 ein Dreieck aus, so dass sich in Summe ein Zusammenziehen des Handrückens 17 bei unterschiedlichen und vor allem komplexen Gesten der Hand 16 vermeiden lässt.
  • 4 zeigt die Reduktion der Hand 16 des menschlichen Körpers 10 auf das tatsächliche Körpergliedmodell 30, welches nun der Gestenerkennung zugrunde gelegt werden kann. Für die nachfolgenden Erkennungsschritte reicht es aus, wenn aus der Punktewolke 20 die jeweilige Neupositionierung des jeweiligen Gelenkpunktes 14 erfolgt. Eine komplette Erkennung der gesamten Hand 16, wie sie zwischen 1 und 2 erfolgt, muss nun nicht mehr durchgeführt werden.
  • Die 5 und 6 zeigen schematisch, wie die Gestenerkennung stattfinden kann. So wird für jeden Gelenkpunkt 14 ein eigenes Koordinatensystem definiert, so dass ein entsprechender Rotationswinkel α für jeden Gelenkpunkt 14 spezifisch für dieses Körpergelenk 12 erkannt werden kann. Erfolgt eine Bewegung z. B. durch Krümmen des Fingers, wie es von 5 zu 6 erfolgt, so ändern sich dementsprechend auch die einzelnen Rotationswinkel α. Eine Speicherung dieser Rotationswinkel α kann z. B. in einem einspaltigen mehrzeiligen Vektor, wie er insbesondere in 8 dargestellt ist, erfolgen. 8 zeigt auch einen möglichen Vergleich mit einer Rotationswinkelvorgabe RV, welche hier ebenfalls als Vektor mit Rotationswinkelvorgabebereichen ausgebildet ist. Bei dieser Ausführungsform erfolgt eine Übereinstimmung der beiden Vektoren dahingehend, dass die Geste als vorhanden erkannt werden kann. Die Rotationswinkelvorgabe RV ist dementsprechend gestenspezifisch.
  • In 7 ist erkennbar, dass zu Beginn des Verfahrens zum ersten Zeitpunkt t1 die Initialisierung, also die Durchführung, wie sie von 1 zu 2 beschrieben worden ist, erfolgt. Anschließend kann zu einem zweiten Zeitpunkt t2 in einem Folgebild FB ein Vergleich mit dem Initialbild IB erfolgen. Für die nachfolgenden Schritte wird das Folgebild FB aus dem ersten Durchgang als Initialbild IB des zweiten Durchgangs gesetzt und dementsprechend ist das Verfahren beliebig erweiterbar.
  • 9 zeigt schematisch eine erfindungsgemäße Erkennungsvorrichtung 100. Diese ist mit einer Tiefenkameravorrichtung 110 mit wenigstens einer Tiefenkamera ausgestattet. Diese Tiefenkameravorrichtung 110 ist in signalkommunizierender Weise mit einer Kontrolleinheit 120 verbunden, die ein erfindungsgemäßes Verfahren ausübt. Der menschliche Körper 10, in diesem Fall die Hand 16, befindet sich im Erfassungsbereich der Tiefenkameravorrichtung 110.
  • Die voranstehende Erläuterung der Ausführungsform beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Bezugszeichenliste
  • 10
    menschlicher Körper
    12
    Körperglied
    13
    Länge des Körperglieds
    14
    Gelenkpunkt
    16
    Hand
    17
    Handrücken
    18
    Finger
    18a
    Daumen
    19
    Armstumpf
    20
    Punktewolke
    30
    Körpergliedmodell
    100
    Erkennungsvorrichtung
    110
    Tiefenkameravorrichtung
    120
    Kontrolleinheit
    t1
    erster Zeitpunkt
    t2
    zweiter Zeitpunkt
    t3
    dritter Zeitpunkt
    α
    Rotationswinkel
    IB
    Initialbild
    FB
    Folgebild
    RV
    Rotationswinkelvorgabe

Claims (15)

  1. Verfahren für die Erkennung von Gesten eines menschlichen Körpers (10) mittels einer Tiefenkameravorrichtung (110), aufweisend die folgenden Schritte: a) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem ersten Zeitpunkt (t1) als Initialbild (IB), b) Auswerten des Initialbildes (IB) zur Erkennung von Körpergliedern (12) des Körpers (10), c) Setzen von zumindest einem Gelenkpunkt (14) mit einem durch einen Rotationswinkel (α) definierten Rotationsfreiheitsgrad in Bezug zu wenigstens einem erkannten Körperglied (12), d) Erzeugen einer Punktewolke (20) durch die Tiefenkameravorrichtung (110) zu einem zweiten Zeitpunkt (t2) nach dem ersten Zeitpunkt (t1) als Folgebild (FB), e) Auswerten des Folgebildes (FB) auf das wenigstens eine erkannte Körperglied (12) und den zumindest einen gesetzten Gelenkpunkt (14) aus dem Initialbild (IB), f) Bestimmen des Rotationswinkels (α) des zumindest einen Gelenkpunktes (14) im Folgebild (FB), g) Vergleich des bestimmten Rotationswinkels (α) mit einer Rotationswinkelvorgabe (RV), h) Erkennen einer Geste bei Korrelation des bestimmten Rotationswinkels (α) mit der Rotationswinkelvorgabe (RV).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schritte d) bis h) in sich wiederholender Weise durchgeführt werden, wobei das Folgebild (FB) des vorangegangen Durchgangs als Initialbild (IB) für den folgenden Durchgang gesetzt wird.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Rotationswinkelvorgabe (RV) einen vorgegebenen Rotationswinkelbereich umfasst, wobei verglichen wird ob sich der bestimmte Rotationswinkel (α) innerhalb des Rotationswinkelbereichs befindet.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Schritte a) und b) mit einer definierten Geste des betreffenden Körpergliedes (12) durchgeführt werden, insbesondere wenigstens zweimal hintereinander mit unterschiedlichen Gesten.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass es für wenigstens zwei Gelenkpunkte (14), insbesondere für eine Mehrzahl von Gelenkpunkten (14), durchgeführt wird, wobei die Gelenkpunkte (14) gemeinsam ein Körpergliedmodell (30) ausbilden.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei der Auswertung des Folgebildes (FB) alle dem zumindest einen Gelenkpunkt (14) zugehörigen Punkte der Punktewolke (20) erkannt werden und der Schwerpunkt dieser Punkte als neuer Gelenkpunkt (14) gesetzt wird.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass es für die Körperglieder (12) einer menschlichen Hand (16) durchgeführt wird.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für alle Finger (18) der Hand (16) die gleiche Anzahl an Gelenkpunkten (14) und Körpergliedern (12) ein Handmodell als Körpergliedmodell (30) ausbildet.
  9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass für den Handrücken (17), die Handwurzel und/oder den Armstumpf (19) drei Gelenkpunkte (14) gesetzt werden.
  10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass auf der dem Daumen (18a) entgegengesetzten Seite der Hand (16) im Handmodell mindestens ein weiterer Gelenkpunkt (14) gesetzt wird.
  11. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei der Bestimmung von wenigstens zwei Gelenkpunkten (14) die Länge (13) des Körperglieds (12) zwischen den beiden Gelenkpunkten (14) einen vorgegebenen Wert aufweist.
  12. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zumindest zwei Gelenkpunkte (14) auf einen gemeinsamen Ort gesetzt werden, um ein menschliches Gelenk mit zumindest zwei rotatorischen Freiheitsgraden nachzubilden.
  13. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Rotationswinkel (α) von wenigstens zwei Gelenkpunkten (14) in einem einspaltigen Vektor gespeichert und mit der Rotationswinkelvorgabe (RV) in Form eines einspaltigen Vektors zeilenweise verglichen werden.
  14. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei unmöglicher Erkennung eines Körpergliedes (12) und/oder eines Gelenkpunktes (14) in einem Folgebild (FB) der Rotationswinkel (α) des Initialbilds (IB) für das Folgebild (FB) übernommen wird.
  15. Erkennungsvorrichtung (100) für die Erkennung von Gesten eines menschlichen Körpers (10), aufweisend eine Tiefenkameravorrichtung (110) und eine Kontrolleinheit (120), dadurch gekennzeichnet, dass die Kontrolleinheit (120) ausgebildet ist für die Durchführung eines Verfahrens mit den Merkmalen eines der Ansprüche 1 bis 14.
DE201310017425 2013-10-19 2013-10-19 Verfahren für die Erkennung von Gesten eines menschlichen Körpers Ceased DE102013017425A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE201310017425 DE102013017425A1 (de) 2013-10-19 2013-10-19 Verfahren für die Erkennung von Gesten eines menschlichen Körpers
PCT/EP2014/002811 WO2015055320A1 (de) 2013-10-19 2014-10-17 Erkennung von gesten eines menschlichen körpers
CN201480057420.1A CN105637531A (zh) 2013-10-19 2014-10-17 人体姿势识别
EP14786612.3A EP3058506A1 (de) 2013-10-19 2014-10-17 Erkennung von gesten eines menschlichen körpers
US15/030,153 US20160247016A1 (en) 2013-10-19 2014-10-17 Method for recognizing gestures of a human body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310017425 DE102013017425A1 (de) 2013-10-19 2013-10-19 Verfahren für die Erkennung von Gesten eines menschlichen Körpers

Publications (1)

Publication Number Publication Date
DE102013017425A1 true DE102013017425A1 (de) 2015-05-07

Family

ID=51753180

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310017425 Ceased DE102013017425A1 (de) 2013-10-19 2013-10-19 Verfahren für die Erkennung von Gesten eines menschlichen Körpers

Country Status (5)

Country Link
US (1) US20160247016A1 (de)
EP (1) EP3058506A1 (de)
CN (1) CN105637531A (de)
DE (1) DE102013017425A1 (de)
WO (1) WO2015055320A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087219B (zh) * 2017-02-22 2018-04-10 罗普特(厦门)科技集团有限公司 人体姿势识别装置
CN107450672B (zh) * 2017-09-19 2024-03-29 曾泓程 一种高识别率的腕式智能装置
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
CN110163045A (zh) 2018-06-07 2019-08-23 腾讯科技(深圳)有限公司 一种手势动作的识别方法、装置以及设备
CN109453505B (zh) * 2018-12-03 2020-05-29 浙江大学 一种基于可穿戴设备的多关节追踪方法
CN109685013B (zh) * 2018-12-25 2020-11-24 上海智臻智能网络科技股份有限公司 人体姿态识别中头部关键点的检测方法及装置
TWI772726B (zh) * 2019-12-25 2022-08-01 財團法人工業技術研究院 輔具建模方法與肢體導板機構
CN112381002B (zh) * 2020-11-16 2023-08-15 深圳技术大学 人体风险姿态识别方法及系统
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
JP5881136B2 (ja) * 2010-09-27 2016-03-09 ソニー株式会社 情報処理装置及び方法、並びにプログラム
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
AU2011203028B1 (en) * 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US8817076B2 (en) * 2011-08-03 2014-08-26 General Electric Company Method and system for cropping a 3-dimensional medical dataset
EP2680228B1 (de) * 2012-06-25 2014-11-26 Softkinetic Software Verbesserungen bei oder im Zusammenhang mit dreidimensionalen nahen Interaktionen
KR101459445B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법

Also Published As

Publication number Publication date
US20160247016A1 (en) 2016-08-25
EP3058506A1 (de) 2016-08-24
CN105637531A (zh) 2016-06-01
WO2015055320A1 (de) 2015-04-23

Similar Documents

Publication Publication Date Title
DE102013017425A1 (de) Verfahren für die Erkennung von Gesten eines menschlichen Körpers
DE102017129665B3 (de) Kollisionsfreie Bewegungsplanung bei geschlossener Kinematik
DE102014108287B4 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102018116053B4 (de) Robotersystem und Roboterlernverfahren
DE102015011830C5 (de) Robotersystem zum Einstellen eines Bewegungsüberwachungsbereichs eines Roboters
DE102008057142B4 (de) Verfahren zur rechnergestützten Bewegungsplanung eines Roboters
DE102019216229B4 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102012009010A1 (de) Verfahren zum Erzeugen einer Bewegung eines Roboters
DE102021107532A1 (de) System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen
DE112013002018T5 (de) Echtzeithaltungs- und Bewegungsvorhersage bei der Ausführung von Betriebsaufgaben
DE102021204697B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE102014116845A1 (de) Verfahren zum Ermitteln einer Bewegungsgrenze
DE102020212658A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE10215885A1 (de) Automatische Prozesskontrolle
WO2005039836A2 (de) Verfahren zur einrichtung einer bewegung eines handhabungsgeräts und bildverarbeitung
DE102010008240B4 (de) Verfahren zum Betrieb eines mehrachsigen, vorzugsweise sechsachsigen, Roboters
DE102014011852A1 (de) Verfahren zum Verfolgen wenigstens einer an einem Bauteil vorgesehenen Arbeitsposition für zumindest einen Roboter
WO2019037890A1 (de) Verfahren zur steuerung der bewegung eines mobilen roboters
DE102012022190A1 (de) Inverse Kinematik
DE102015209773B3 (de) Verfahren zur kontinuierlichen Synchronisation einer Pose eines Manipulators und einer Eingabevorrichtung
EP3530418A1 (de) Verfahren und vorrichtung zum bestimmen eines optimierten bewegungsablaufs einer robotereinrichtung
DE102020211648A1 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102007041482A1 (de) Verfahren zur automatischen Erkennung wenigstens der Art und/oder der Lage einer mit einer Gliedmaße gebildeten Geste, insbesondere einer Handgeste
DE102020006839A1 (de) System und Verfahren zum manuellen Anlernen elnes Robotermanipulators
DE102020206913A1 (de) Verfahren und Vorrichtung zum Betreiben eines Roboters

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final