-
Die Erfindung betrifft ein Verfahren zur Darstellung von Grafikelementen auf einer grafischen Ausgabeeinheit in Abhängigkeit von einer Bewegung eines Objekts. Ferner betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens sowie eine Verwendung des Verfahrens.
-
Benutzerschnittstellen, d. h. so genannte Mensch-Maschine-Schnittstellen bzw. Human-Machine-Interfaces, basieren gegenwärtig vornehmlich auf Konzepten, die maximal zweidimensionale Eingabeeinheiten wie beispielsweise Dreh- oder Druckknöpfe, Schieberegler oder Touchscreens verwenden. Daneben gibt es bereits mit einer Gestenerkennung ausgestattete Elektronikprodukte für verschiedene Anwendungen und dreidimensionale Eingabegeräte wie 3D-Kameras oder 3D-Scanner.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu einer bewegungsabhängigen Darstellung von Grafikelementen auf einer grafischen Ausgabeeinheit anzugeben. Ferner ist es Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur Durchführung des Verfahrens sowie eine Verwendung des Verfahrens zur verbesserten Bedienung einer Benutzerschnittstelle anzugeben.
-
Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die Merkmale des Anspruchs 1, hinsichtlich der Vorrichtung durch die Merkmale des Anspruchs 10 und hinsichtlich der Verwendung des Verfahrens durch die Merkmale des Anspruchs 11 gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei dem erfindungsgemäßen Verfahren zur Darstellung von Grafikelementen auf einer grafischen Ausgabeeinheit in Abhängigkeit von einer Bewegung eines Objekts wird wenigstens ein Darstellungsmodus mittels einer auf der Ausgabeeinheit darstellbaren Kurve, eines die Kurve parametrisierenden Kurvenparameters und entlang der Kurve in Abhängigkeit von dem Parameterwert des Kurvenparameters dargestellten Grafikelementen definiert. Ferner wird laufend eine räumliche Position wenigstens eines Referenzpunktes des Objekts ermittelt. Der Kurvenparameter des wenigstens einen Darstellungsmodus wird als eine Funktion von wenigstens einer ermittelten räumlichen Position des wenigstens einen Referenzpunktes definiert. Auf der Ausgabeeinheit werden Grafikelemente gemäß einem momentanen Darstellungsmodus in Abhängigkeit von einem momentanen Wert des Kurvenparameters des momentanen Darstellungsmodus dargestellt.
-
Die Erfindung ermöglicht vorteilhaft eine Darstellung von Grafikelementen, die durch Bewegungen eines Objekts in drei räumlichen Dimensionen gesteuert wird. Die Kernidee ist die Platzierung von Grafikelementen entlang einer vordefinierten Kurve in Abhängigkeit von den Werten eines Kurvenparameters, der aus räumlichen Positionen eines bewegten Objektes bzw. von Referenzpunkten des Objekts gebildet wird. Auf diese Weise wird die Bewegung des Objekts mit der Darstellung von Grafikelementen auf einer grafischen Ausgabeeinheit verknüpft. Dies kann vorteilhaft verwendet werden, um durch Bewegungen des Objekts Anwendungen zu steuern, die durch Grafikelemente auf der grafischen Ausgabeeinheit veranschaulicht werden. Beispielsweise kann der Eindruck erzeugt werden, mit dem Objekt ”in die Ausgabeeinheit hineinzugreifen” oder sich ”in der Ausgabeeinheit zu bewegen”, um eine Anwendung auszuwählen und aufzurufen. So wird eine intuitive Auswahl und Bedienung von Anwendungen ermöglicht.
-
Eine bevorzugte Ausgestaltung der Erfindung sieht vor, dass verschiedene Darstellungsmodi definiert werden und der momentane Darstellungsmodus in Abhängigkeit von ermittelten räumlichen Positionen des wenigstens einen Referenzpunktes bestimmt wird.
-
Diese Ausgestaltung ermöglicht einen Wechsel des Darstellungsmodus in Abhängigkeit von Bewegungen des Objekts. Dadurch werden vorteilhaft die Flexibilität der Ausgabe der Ausgabeeinheit und deren Anpassbarkeit an Bewegungen des Objekts erhöht.
-
Eine Weitergestaltung dieser Ausgestaltung sieht vor, dass eine Anzahl einem momentanen Zeitpunkt vorausgehender Zeitpunkte festgelegt wird und der momentane Darstellungsmodus in Abhängigkeit von zu diesen Zeitpunkten ermittelten räumlichen Positionen des wenigstens einen Referenzpunktes bestimmt wird.
-
Auf diese Weise kann die Ausgabe der Ausgabeeinheit vorteilhaft an einen vorausgehenden zeitlichen Verlauf der Bewegung des Objekts angepasst werden. Beispielsweise kann die Ausgabe von einer Richtung, Geschwindigkeit und/oder Beschleunigung der Bewegung abhängig gemacht werden.
-
Eine zusätzliche oder alternative Weitergestaltung der zuvor genannten Ausgestaltung sieht vor, dass sich Darstellungsmodi durch die Art des Kurvenparameters und/oder durch die Definition des Kurvenparameters als Funktion von wenigstens einer ermittelten räumlichen Position des wenigstens einen Referenzpunktes und/oder durch die jeweils zugehörige Kurve voneinander unterscheiden.
-
Dies ermöglicht, den Kurvenparameter, dessen Definition und/oder die Kurve in Abhängigkeit von der Bewegung des Objekts zu wechseln. Dadurch können beispielsweise virtuelle Bewegungen ”in die Ausgabeeinheit hinein”, ”aus der Ausgabeeinheit heraus” oder ”innerhalb der Ausgabeeinheit” den realen Bewegungen des Objekts durch geeignete Änderungen des Kurvenparameters und/oder der Kurve besonders gut angepasst werden.
-
Eine weitere Ausgestaltung der Erfindung sieht vor, dass die räumliche Position des wenigstens einen Referenzpunktes ermittelt wird, indem Bilder des Objekts aufgenommen und ausgewertet werden.
-
Dies ermöglicht vorteilhaft eine automatische Bestimmung von Positionen der Referenzpunkte des Objekts durch eine geeignete Bildauswertung aufgenommener Bilder.
-
Dabei werden die Bilder des Objekts vorzugsweise mittels einer 3D-Kamera oder eines 3D-Scanners aufgenommen.
-
Dadurch können vorteilhaft räumliche Positionen der Referenzpunkte besonders genau erfasst werden.
-
Eine weitere Ausgestaltung der Erfindung sieht vor, dass als Kurvenparameter eine Funktion eines Abstands des Objekts von der grafischen Ausgabeeinheit oder eines Winkels zwischen einer Richtung von der grafischen Ausgabeeinheit zu dem Objekt und einer festen Richtung oder einer Geschwindigkeit oder Beschleunigung des Objekts relativ zu der grafischen Ausgabeeinheit verwendet wird.
-
Die Entfernung des Objekts von der Ausgabeeinheit, ein entsprechender Winkel sowie die Geschwindigkeit oder Beschleunigung des Objekts relativ zu der grafischen Ausgabeeinheit eignen sich besonders gut zur Beschreibung der Bewegung des Objekts relativ zur Ausgabeeinheit und eignen sich daher auch besonders gut zur Definition von Kurvenparametern von virtuellen Kurven, die Bewegungen des Objekts entsprechen.
-
Eine weitere Ausgestaltung der Erfindung sieht vor, dass eine Form und/oder Größe und/oder Farbe und/oder Orientierung dargestellter Grafikelemente in Abhängigkeit von dem Wert des Kurvenparameters oder einer anderen Funktion von wenigstens einer ermittelten räumlichen Position des wenigstens einen Referenzpunktes verändert wird.
-
Auf diese Weise können Grafikelemente in Abhängigkeit von der Bewegung des Objekts beispielsweise hervorgehoben, verändert und/oder virtuell in den Vorder- oder Hintergrund verschoben werden. Dadurch kann die Darstellung der Grafikelemente für einen Benutzer vorteilhaft übersichtlicher und verständlicher gestaltet werden.
-
Eine weitere Ausgestaltung der Erfindung sieht vor, dass als Objekt eine Hand oder ein Arm oder ein Kopf oder ein Fuß eines Benutzers der grafischen Ausgabeeinheit verwendet wird.
-
Dies ermöglicht eine besonders intuitive Benutzung der Ausgabeeinheit durch Körperteile des Benutzers, beispielsweise durch ein virtuelles ”Hineingreifen” in die Ausgabeeinheit mit einer Hand und/oder einem Arm.
-
Eine erfindungsgemäße Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens umfasst eine 3D-Kamera oder einen 3D-Scanner zur Aufnahme von Bildern des Objekts, eine Auswerteeinheit zur Ermittelung der räumlichen Positionen des wenigstens einen Referenzpunktes durch Auswertung der aufgenommenen Bilder und zur Ermittelung der dem jeweiligen Darstellungsmodus entsprechenden Darstellung der Grafikelemente sowie eine grafische Ausgabeeinheit zur Ausgabe dieser Darstellung.
-
Eine derartige Vorrichtung ermöglicht die Durchführung des erfindungsgemäßen Verfahrens mit den oben genannten Vorteilen.
-
Eine erfindungsgemäße Verwendung des erfindungsgemäßen Verfahrens sieht die Bedienung einer Benutzerschnittstelle mittels der Bewegung des Objekts vor, wobei Grafikelemente von der Benutzerschnittstelle bereitgestellte Anwendungen symbolisieren und durch Bewegungen des Objekts sichtbar und aufrufbar machen.
-
Diese Verwendung des erfindungsgemäßen Verfahrens ermöglicht vorteilhaft eine intuitive und berührungslose Bedienung der Benutzerschnittstelle mittels Bewegungen des Objekts.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Dabei zeigen:
-
1 schematisch ein Objekt und eine 3D-Kamera zur Aufnahme von Kamerabildern des Objekts, und
-
2 schematisch eine Ausgabeeinheit und ein auf ihm dargestelltes Grafikelement sowie ein Kurve eines Darstellungsmodus.
-
1 zeigt schematisch ein Objekt 1 und eine 3D-Kamera 2 zur laufenden Aufnahme von Kamerabildern des Objekts 1.
-
Das Objekt 1 ist in diesem Fall eine Hand eines Benutzers. Das Objekt 1 wird in den Kamerabildern durch eine Bildauswertung erfasst. Eine einfache Methode zur Identifizierung des Objekts 1 ist beispielsweise eine Unterscheidung zwischen einem Bildvordergrund, in dem sich das Objekt 1 befindet, und einem Bildhintergrund 3 auf der Basis einer Auswertung von Entfernungen. So kann das Objekt 1 dadurch identifiziert werden, dass es sich näher an der 3D-Kamera 2 als ein aus einer Entfernung zum Bildhintergrund 3 ermittelter Entfernungsschwellenwert befindet. Es können aber auch andere Methoden zur Erkennung des Objekts 1 verwendet werden.
-
Ferner werden durch Auswertung der Kamerabilder die räumlichen Positionen von Referenzpunkten P1, ..., Pn des Objekts 1 ermittelt. In dem in 1 gezeigten Ausführungsbeispiel ist eine Fingerspitze eines Zeigefingers der Hand des Benutzers ein erster Referenzpunkt P1 und ein Schwerpunkt einer Form der Hand ist ein zweiter Referenzpunkt P2. Die räumlichen Positionen der Referenzpunkte P1, ..., Pn werden beispielsweise als Vektoren X →1, ..., X →n in einem dreidimensionalen Koordinatensystem mit kartesischen Koordinaten x, y, z ermittelt.
-
2 zeigt schematisch eine grafische Ausgabeeinheit 4 und ein auf ihm dargestelltes Grafikelement 5.
-
Grafikelemente 5 werden dabei in Abhängigkeit von den Bewegungen des Objekts 1 auf der Ausgabeeinheit 4 dargestellt. Dazu werden verschiedene Darstellungsmodi definiert, indem für jeden Darstellungsmodus eine auf der Ausgabeeinheit 4 darstellbare Kurve 6, ein die Kurve 6 parametrisierender Kurvenparameter a und entlang der Kurve 6 in Abhängigkeit von dem Parameterwert des Kurvenparameters a dargestellte Grafikelemente 5 definiert werden.
-
Der Kurvenparameter a eines Darstellungsmodus wird als eine Funktion von zu verschiedenen Zeitpunkten t0, ..., tm ermittelten Positionen X →1(t0), ..., X →1(tm), X →2(t0), ..., X →2(tm), ..., X →n(t0), ..., X →n(tm) der Referenzpunkte P1, ..., Pn definiert, wobei tm, ..., t0 aufeinander folgende Zeitpunkte mit tm < tm-1 < ... < t0 sind, zu denen jeweils ein Kamerabild aufgenommen wurde, und t0 einen momentanen Zeitpunkt angibt. Die Anzahl m der dabei verwendeten Zeitpunkte tm, ..., t1, die dem momentanen Zeitpunkt t0 vorangehen, ist dabei implementierungsabhängig.
-
Die verschiedenen Darstellungsmodi unterscheiden sich voneinander durch ihre jeweiligen Kurven 6 und/oder durch ihre jeweiligen Kurvenparameter a. Die Darstellungsmodi können daher durch ein Indexpaar (i, j) charakterisiert werden, wobei der erste Index i die Kurven 6 indiziert und der zweite Index j die Kurvenparameter a indiziert. Ein Darstellungsmodus (i, j) ist daher mittels einer Kurve 6 mit einer Parameterdarstellung P →i(a) und einem Kurvenparameter a = gj(X →1(t0), ..., X →n(tm)) definiert, wobei P →i(a) die Parameterdarstellung der Kurve 6 des Darstellungsmodus (i, j) in einem virtuellem Darstellungsraum der Ausgabeeinheit 4 bezeichnet und gj(X →1(t0), ..., X →n(tm)) diejenige Funktion der X →1(t0), ..., X →1(tm), X →2(t0), ..., X →2(tm), ..., X →n(t0), ..., X →n(tm) bezeichnet, die den Kurvenparameter a des Darstellungsmodus (i, j) definiert.
-
Als Kurvenparameter a können dabei beispielsweise Funktionen eines Abstands des Objekts 1 von der grafischen Ausgabeeinheit 4 oder eines Winkels zwischen einer Richtung von der grafischen Ausgabeeinheit 4 zu dem Objekt 1 und einer festen Richtung oder einer Geschwindigkeit oder Beschleunigung des Objekts 1 relativ zu der grafischen Ausgabeeinheit 4 verwendet werden.
-
Die Ausgabeeinheit 4 kann beispielsweise eine Anzeigeeinheit für zwei- oder dreidimensionale Bilder sein. Entsprechend kann die Kurve 6 durch eine Parameterdarstellung P →i(a) in einem zwei- oder dreidimensionalen virtuellem Darstellungsraum der Ausgabeeinheit 4 definiert sein.
-
Auf der Ausgabeeinheit 4 werden Grafikelemente 5 entlang der Kurve 6 des jeweiligen Darstellungsmodus in Abhängigkeit von dem momentanen Parameterwert des jeweiligen Kurvenparameters angezeigt. Die Kurve 6 selbst wird dabei in der Regel nicht explizit angezeigt. Beispielsweise werden also ein oder mehrere Grafikelemente 5 auf der Ausgabeeinheit 4 an einem Punkt oder in der Nähe eines Punktes auf der Kurve 6 eines momentanen Darstellungsmodus dargestellt, wobei der Punkt auf der Kurve 6 durch einen momentanen Wert des Kurvenparameters dieses Darstellungsmodus definiert ist. Optional kann dabei zusätzlich eine Form und/oder Größe und/oder Farbe und/oder Orientierung dargestellter Grafikelemente 5 in Abhängigkeit von dem Wert des Kurvenparameters oder einer anderen Funktion der ermittelten räumlichen Positionen X →1(t0), ..., X →1(tm), X →2(t0), ..., X →2(tm), ..., X →n(t0), ..., X →n(tm) der Referenzpunkte P1, ..., Pn verändert werden.
-
Durch eine schnelle und häufige Aktualisierung der Darstellung kann dadurch einem Benutzer beispielsweise der Eindruck vermittelt werden, durch die Bewegung des Objekts 1, also z. B. mit einer Hand, ”in die Ausgabeeinheit 4 hineinzugreifen”. Eine Kopplung der Grafikelemente 5 mit von einer Benutzerschnittstelle bereitgestellten Anwendungen ermöglicht somit eine intuitive Auswahl und Bedienung dieser Anwendungen.
-
Durch einen Wechsel des Darstellungsmodus kann dabei die Kurve 6 und/oder die Art des Kurvenparameters a und/oder die den Kurvenparameter a definierende Funktion gewechselt werden. Der Wechsel bzw. die Auswahl eines Darstellungsmodus wird dabei in Abhängigkeit von ermittelten räumlichen Positionen X →1(t0), ..., X →1(tm), X →2(t0), ..., X →2(tm), ..., X →n(t0), ..., X →n(tm) der Referenzpunkte P1, ..., Pn bestimmt.
-
In einer Ausgestaltung der Erfindung können auch zukünftige Positionen X →1(t0 + Δt), ..., X →n(t0 + Δt) der Referenzpunkte P1, ..., Pn vorausberechnet und zur Definition der Kurvenparameter verwendet werden.
-
Bezugszeichenliste
-
- 1
- Objekt
- 2
- 3D-Kamera
- 3
- Hintergrund
- 4
- Ausgabeeinheit
- 5
- Grafikelement
- 6
- Kurve
- P1
- erster Referenzpunkt
- P2
- zweiter Referenzpunkt
- x, y, z
- kartesische Koordinate
