DE102012019649A1

DE102012019649A1 - Verfahren zur Erkennung von im freien Raum ausgeführten Körpergesten durch einen optischen Sensor und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number: DE102012019649A1
Application number: DE201210019649
Authority: DE
Inventors: Frank Bläsing; Christian Müller
Original assignee: Leopold Kostal GmbH and Co KG
Current assignee: Kostal Automobil Elektrik GmbH and Co KG
Priority date: 2012-10-06
Filing date: 2012-10-06
Publication date: 2014-04-10

Abstract

Beschrieben wird ein Verfahren zur Erkennung von Körpergesten, speziell von Wischgesten, das durch die Erkennung eines kontinuierlichen Bewegungsablaufes, sowohl die Unterscheidung von anderen Bewegungen als auch eine besonders schnelle Erkennung von bestimmten Gesten ermöglicht. Basis für diesen Ansatz ist eine auf den Bildern einer Kamera arbeitende Objektsegmentierung, die robuste Merkmale eines segmentierten Zeigeobjektes zur Verfügung stellt. Als wichtigster Parameter wird aus dem Kamerabild ein sogenannter Hauptachsenwinkel des segmentierten Zeigeobjektes ermittelt und dessen Änderungsgeschwindigkeit, also dessen erste zeitliche Ableitung, durch eine mit der Kamera verbundene Auswerteeinheit bestimmt. Bediengesten, bei denen der zeitliche Verlauf der Änderungsgeschwindigkeit bestimmte vorgegebene Bedingungen erfüllt, werden mit hoher Zuverlässigkeit erkannt. Vorgeschlagen wird zudem eine Vorrichtung zur Ausführung des Verfahrens.

Description

Die Steuerung einer Vorrichtung durch Körpergesten, die auf der Berührung einer festen Oberflächen, wie einem Touchpad oder Touchscreen, oder auf der Bewegung einer technischen Vorrichtung beruhen, wie zum Beispiel einer Maus am Computer, sind seit langem bekannt.
Durch die Implementierung optischer Sensoren und insbesondere von Kamerasystemen in Kraftfahrzeugen ergibt sich zunehmend die Möglichkeit, berührungslose Bedienelemente einzusetzen, die auf einer Gestenerkennung beruhen. Üblich ist die Erfassung von Finger-, Hand- oder Armgesten, die an einer beliebigen Stelle im freien Raum ausgeführt werden.
Solche Körpergesten, im Folgenden auch einfach als Bediengesten bezeichnet, können beispielsweise zur Steuerung von Funktionen eines Infotainmentsystems im Kraftfahrzeug vorgesehen sein. Zur Erkennung von Arm-, Hand- oder Fingerpositionen und -bewegungen werden 2D- und insbesondere auch 3D-Kamerasysteme eingesetzt, die in ihrer Bildebene in jedem Pixel den Abstand zu einem Objekt im Raum bestimmen. Hierbei kommen sowohl stereoskopische Verfahren (Stereokamera) als auch Lichtlaufzeit messende Verfahren („Time Of Flight”-Kamera) zum Einsatz. Der Bestand der unterstützten Bediengesten kann dabei von Handgesten, also zum Beispiel Wischbewegungen in verschiedene Richtungen bis hin zu Fingergesten, wie etwa Zeigegesten oder Pinch-/Spread-Gesten reichen.
Wichtig und zugleich problematisch ist, dass insbesondere in einem Kraftfahrzeug Körpergesten aus Sicherheitsgründen mit einer hohen Zuverlässigkeit und Eindeutigkeit erkannt werden müssen. Falsch als Bediengesten interpretierte Körperbewegungen und dadurch fehlerhaft ausgelösten Bedienfunktionen können zu unerwünschten Ereignissen oder sogar zu gefährlichen Situationen führen.
Bediengesten dürfen daher nicht mit sonstigen Bewegungen verwechselt werden, um die unbeabsichtigte Auslösung von Bedienfunktionen zu vermeiden. Andererseits dürfen Gesten aber auch nicht zu kompliziert sein, damit sie leicht ausführbar sind und dabei nicht zu viel Aufmerksamkeit der ausführenden Person in Anspruch nehmen.
Wichtig für die Akzeptanz solcher Systeme ist die robuste Erkennung von ausgeführten Bediengesten. Der Nutzer darf nicht durch zu häufige Fehlerkennungen in seinem Nutzungsverhalten gestört werden. Eine Schwierigkeit liegt hierbei in der Unterscheidung von zufälligen Arm- und Handbewegungen und relevanten Gesten zur Bedienung des Systems. Besonders Wischgesten, die mit der ganzen Hand, teilweise mit Unterstützung des Unterarms, ausgeführt werden, sind oftmals schwierig von Aushol- oder Greifbewegungen, etwa zur Betätigung herkömmlicher Bedienelemente, zu unterscheiden.
Es stellte sich die Aufgabe, ein Verfahren zur Erkennung von im freien Raum ausgeführten Körpergesten zu schaffen, welches eine besonders robuste Erkennung ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch das im Anspruch 1 beschriebene Verfahren gelöst.
Vorgeschlagen wird ein Ansatz zur Wischgestenerkennung, der durch die Erkennung eines kontinuierlichen Bewegungsablaufes, sowohl die Unterscheidung von anderen Bewegungen als auch eine besonders schnelle Erkennung von bestimmten Gesten ermöglicht. Basis für diesen Ansatz ist eine auf den Bildern einer Kamera arbeitende Objektsegmentierung, die robuste Merkmale eines segmentierten Zeigeobjektes zur Verfügung stellt. Besonders vorteilhaft kann als Kamera eine abstandsauflösende Kamera vorgesehen werden. Als wichtigster Parameter wird aus dem Kamerabild ein sogenannter Hauptachsenwinkel des segmentierten Zeigeobjektes ermittelt und dessen Änderungsgeschwindigkeit, also dessen erste zeitliche Ableitung, durch eine mit der Kamera verbundene Auswerteeinheit bestimmt. Bediengesten, bei denen der zeitliche Verlauf der Änderungsgeschwindigkeit bestimmte vorgegebene Bedingungen erfüllt, werden mit hoher Zuverlässigkeit erkannt.
Nachfolgend soll die Erfindung anhand der Zeichnung näher erläutert werden. Es zeigen
1 den Hauptachsenwinkel eines segmentierten Zeigeobjektes,
2 eine skizzenhaft dargestellte Vorrichtung,
3 typische Verläufe der Änderungsgeschwindigkeit des Hauptachsenwinkels bei erfindungsgemäß erfassbaren Wischbewegungen.
Die 2 verdeutlicht skizzenhaft eine bevorzugte Anwendung des erfindungsgemäßen Verfahrens. Eine Kamera 2 ist im Dachbereich 3 eines Kraftfahrzeugs angeordnet und blickt von dort schräg nach unten in den Fahrzeuginnenraum. Die Kamera 2 kann in einer Draufsicht einen Arm, eine Hand oder auch einen einzelnen Finger als Zeigeobjekt 1 erfassen. Aufgrund von erfassten Formen, Größen und Abständen im Kamerabild identifiziert eine mit der Kamera 2 verbundene elektronische Auswerteeinheit 4 die Lage der Längsachse (im Folgenden bezeichnet als Hauptachse 5) des zu erfassenden Zeigeobjekts 1 im Raum und bestimmt daraus, skizzenhaft dargestellt in der 1, als sogenannten Hauptachsenwinkel α die relative Position der Hauptachse 5 zu einem intern gespeicherten Koordinatensystem 6.
Die Kamera 2 kann besonders vorteilhaft als eine Stereokamera ausgeführt sein, welche Gegenstände räumlich erfassen kann. Äußerst vorteilhaft ist die Verwendung einer Time-of-Flight-Kamera, welche direkte Abstandsmessungen ermöglicht. Die mit der Kamera 2 verbundene Auswerteeinheit 4 ermittelt aus zeitlich nacheinander erfassten Kamerabildern die Lage und die zeitlichen Lageveränderungen des Hauptachsenwinkels α und berechnet daraus dessen jeweilige Änderungsgeschwindigkeit α'(t). Aus dem zeitlichen Verlauf der berechneten Änderungsgeschwindigkeit α'(t) kann die Auswerteeinheit 4 bestimmte Bediengesten eindeutig erkennen und zur Steuerung von hier nicht näher beschriebenen Bedienfunktionen verwenden.
Ein typischer Verlauf der Änderungsgeschwindigkeit α'(t) des Hauptachsenwinkels α eines Zeigeobjekts 1 bei der Ausführung von Bediengesten, die durch das hier beschriebenen Verfahren erkannt werden können, ist in der 3 skizziert. Der Kurvenverlauf stellt zwei unmittelbar aufeinander folgend ausgeführte Bediengesten dar.
Die erste Bediengeste sei im Folgenden anhand einiger hervorgehobener Punkte A bis H des α'(t)-Diagramms näher erläutert. Um eine absichtlich ausgeführte Bediengeste von einer irrelevanten Bewegung des Zeigeobjekts 1 (eines Arms, einer Hand oder eines Fingers) zu unterscheiden, besteht die Bediengeste aus einer Ausholbewegung in einer Richtung und einer sich unmittelbar anschließenden Wischbewegung in die entgegengesetzte Richtung. Es sei angenommen, das Zeigeobjekt 1 sei, wie in der 1 dargestellt eine Hand und die Hauptachse 5 sei durch die Längsachse der gestreckten Hand definiert. Es sei ferner angenommen, die Hand befinde sich bis zur Ausführung der Bediengeste, die am Punkt A beginnt in der Ruhelage. Die Änderungsgeschwindigkeit α'(t) variiert daher bis zum Punkt A nur geringfügig um den Nullpunkt 0 und überschreitet insbesondere zu keinem Zeitpunkt einen ersten Schwellenwert v₁. Neben diesen ersten Schwellenwert v₁ ist in der Auswerteeinheit 4 ein zweiter größerer Schwellenwert v₂ definiert, sowie auch zwei zu diesen beiden Schwellenwerten v₁, v₂ betragsmäßig gleichgroße negative Schwellenwerte –v₁, –v₂.
Am Punkt A beginnt die die Bediengeste einleitende Ausholbewegung. Die Hand führt dazu aus der Ruhelage eine beschleunigte Winkelbewegung aus. Deren Änderungsgeschwindigkeit α'(t) überschreitet etwa am Punkt B den ersten Schwellenwert v₁, was von der Auswerteeinheit 4 erkannt wird und der Auswerteeinheit 4 signalisiert, dass eine bestimmte Bediengeste eingeleitet sein könnte. Die Änderungsgeschwindigkeit α'(t) der Handbewegung überschreitet am Punkt C den zweiten Schwellenwert v₂, was ein weiteres Kriterium zur Verifikation der Bediengeste ist. Die Änderungsgeschwindigkeit α'(t) der Ausholbewegung erreicht am Punkt D ihr Maximum, wird danach abgebremst und kommt am Punkt E zum Stillstand. Die Bewegung geht danach übergangslos in eine in der entgegengesetzten Richtung ausgeführte Wischbewegung über, deren Änderungsgeschwindigkeit α'(t) am Punkt F betragsmäßig den Schwellenwert –v₁ überschreitet, danach am Punkt G betragsmäßig maximal wird und nach Abbremsung am Punkt H zur Ruhe kommt. Die Auswerteeinheit 4 erkennt die Bediengeste eindeutig daran, dass sie die Schwellenwert v₁, v₂ und –v₁ in genau dieser Reihenfolge und innerhalb eines vorgegebenen Zeitintervalls Δt₁ registriert.
Die Erkennung der Bediengeste am Punkt F erfolgt damit schon vor dem eigentlichen Ende der Wischbewegung am Punkt H. Dies ermöglicht beispielsweise bei einer Menünavigation durch Wischgesten eine zeitgleiche Bewegung des Menüs mit der eigentlichen Wischbewegung des Anwenders. Die beschriebene Bediengeste kann analog natürlich auch in umgekehrter Richtung erfolgen, was durch den weiteren Verlauf des in der 3 dargestellten Verlaufs der Änderungsgeschwindigkeit α'(t) angedeutet ist. In diesem Fall registriert die Auswerteeinheit 4 betragsmäßige Überschreitungen der Schwellenwerte –v₁, –v₂ und v₁ in genau dieser Reihenfolge und innerhalb eines vorgegebenen Zeitintervalls Δt₂. Die Breite des Zeitintervalls Δt₂ kann natürlich den gleichen Wert aufweisen wie die des Zeitintervalls Δt₁.
Diese Bedingungen, die jeweils einen zwar einfach ausführbaren aber dennoch sehr spezifischen Bewegungsablauf innerhalb eines limitierten Zeitraums erfordern, der durch das Zeitintervall Δt₁ bzw. Δt₂ vorgegeben ist, macht es sehr unwahrscheinlich, dass eine so definierte Bediengeste mit einer zufälligen Bewegung verwechselt wird. Hierdurch kann die Gefahr einer versehentlichen Auslösung der zugehörigen Bedienfunktionen praktisch ausgeschlossen werden.
Bezugszeichenliste

1: Zeigeobjekt
2: Kamera
3: Dachbereich
4: Auswerteeinheit
5: Hauptachse
6: Koordinatensystem
0: Nullpunkt
α: Hauptachsenwinkel
α'(t): Änderungsgeschwindigkeit
Δt₁, Δt₂: Zeitintervalle
v₁, v₂, –v₁, –v₂: Schwellenwerte
A–K: Punkte (im Diagramm der 3)

Claims

Verfahren zur Erkennung einer im freien Raum ausgeführten Körpergeste durch einen optischen Sensor; gekennzeichnet durch eine sich wiederholende Abfolge folgender Verfahrensschritte: – Erfassung eines Bildes durch eine Kamera (2), – Segmentierung mindestens eines Zeigeobjekts (1) aufgrund dessen Form und Größe durch eine Auswerteeinheit (4), – Erfassung eines Hauptachsenwinkels (α) aus der Lage von Objektflächen des Zeigeobjekts (1) im Raum, – Bestimmung der Lageveränderung des Hauptachsenwinkels (α), – Berechnung des der Änderungsgeschwindigkeit (α'(t)) des Hauptachsenwinkels (α), – Überprüfung, ob der Wert der Änderungsgeschwindigkeit (α'(t)) des Hauptachsenwinkels (α) innerhalb eines vorgebbaren Zeitintervalls (Δt₁, Δt₂) mehrere beidseitig um den Nullpunkt (0) herum liegende Schwellenwerte (v₁, v₂, –v₁, –v₂) betragsmäßig überschreitet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass sich die Verfahrensschritte zeitlich periodisch wiederholen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Zeigeobjekt (1) eine Hand oder ein Finger oder ein Arm ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Körpergeste aus einer Ausholbewegung in einer Richtung und einer in der dazu entgegengesetzten Richtung erfolgenden Wischbewegung besteht.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kamera ein abstandsauflösendes Bild erfasst.
Vorrichtung zur Ausführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, dass die Vorrichtung zumindest eine Kamera (2) und eine Auswerteeinheit (4) zur Auswertung der von der Kamera (2) erfassten Bildsignale aufweist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die Kamera (2) eine abstandsauflösende Kamera ist.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Kamera (2) eine stereoskopische Kamera oder eine Time-of-Flight-Kamera ist.
Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Kamera (2) in einem Kraftfahrzeug angeordnet ist.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Kamera (2) im Innenraum des Kraftfahrzeugs, vom Dachbereich (3) herabblickend angeordnet ist.