-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste.
-
Stand der Technik
-
Die
EP 2 056 185 A2 beschreibt eine Gestenerkennungsvorrichtung, welche nicht-sichtbares Licht zur Objekterkennung in einem Projektionskegel verwendet. Die Gestenerkennung und Bildanalyse basiert auf Daten eines Infrarotsensors, welcher von einer Hand oder von einem Finger eines Benutzers reflektierte Lichtstrahlen erfasst.
-
Die
US 2011/0181553 A1 beschreibt ein Verfahren für eine interaktive Projektion mit einer Gestenerkennung.
-
Die
US 2009/0189858 A1 offenbart eine Gestenerkennung, bei welcher zur Objekterkennung ein periodisches Lichtmuster auf das zu erkennende Objekt projiziert wird.
-
Die
US 2010/0053591 A1 beschreibt ein Verfahren und eine Vorrichtung für den Einsatz von Pico-Projektoren in mobilen Anwendungen. Bei dem dort beschrieben Verfahren wird beim Einsatz eines Laser-Projektors die Analyse des reflektierten Lichtes zur Objekterkennung herangezogen.
-
Die
US 2011/0181553 A1 beschreibt eine Vorrichtung zum Erkennen einer Cursor-Position auf einer beleuchteten Projektionsfläche eines ein Bild projizierenden Videoprojektors. Die Cursor-Position wird als die am weitesten entfernte Position eines Hindernisses von demjenigen Abschnitt des Randes des projizierten Bildes bestimmt, von welchem das Hindernis in das projizierte Bild hineinragt.
-
Offenbarung der Erfindung
-
Die vorliegende Erfindung schafft gemäß dem Patentanspruch 1 ein Verfahren zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste, welches eine Mehrzahl von Bildpunkten aufweist, mit den Verfahrensschritten: Erfassen aller Bildpunkte des projizierten Bildes und von einem oder von mehreren Parameterwerten der einzelnen Bildpunkte, Vergleichen des einen oder der mehreren erfassten Parameterwerte der einzelnen Bildpunkte mit einem Parametervergleichswert und Zuordnen einer Untermenge der Bildpunkte zu einer Bildpunktemenge in Abhängigkeit der Vergleichsergebnisse, und Ermitteln der im Lichtkegel des projizierten Bildes ausgeführten Geste basierend auf der zugeordneten Bildpunktemenge.
-
Die vorliegende Erfindung schafft ferner gemäß dem Patentanspruch 8 eine Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste mit: einer Projektoreinrichtung zum Projizieren des Bildes auf eine Projektionsoberfläche, einer Sensoreinrichtung zum Erfassen von Bildpunkten des projizierten Bildes und zum Erfassen von einem oder mehreren Parameterwerten der einzelnen Bildpunkte, und einer Datenverarbeitungseinrichtung zum Vergleichen des einen oder der mehreren erfassten Parameterwerte der einzelnen Bildpunkte mit einem Parametervergleichswert und zum Zuordnen einer Untermenge der Bildpunkte zu einer Bildpunktemenge in Abhängigkeit der Vergleichsergebnisse und zum Ermitteln der im Lichtkegel des projizierten Bildes ausgeführten Geste basierend auf der zugeordneten Bildpunktemenge.
-
Vorteile der Erfindung
-
Ein Kernpunkt der vorliegenden Erfindung ist es, eine Beschränkung der Datenverarbeitung und -speicherung auf zur Gestenerkennung wichtige, anhand von Änderungen von Parameterwerten ausgewählte Bildbereiche vorzunehmen.
-
Eine Idee der Erfindung ist, hierfür diejenigen Koordinaten auf der Projektionsfläche des Projektors zu ermitteln, bei welchen sich der Abstand zwischen Projektor und der Projektionsoberfläche lokal signifikant ändert. Dabei werden innerhalb eines Frames nur diese Koordinaten in einer Speichereinheit des Projektors abgelegt und können durch einen Prozessor der Vorrichtung weiterverarbeitet werden. Alternativ können nur diejenigen Koordinaten gespeichert werden, bei welchen sich der Reflexionsgrad der Projektionsoberfläche signifikant ändert.
-
Ein Vorteil der Erfindung ist, dass die Erkennung eines Objektes ohne extensiven Speicherbedarf in einem Laser-Scanner realisiert werden kann. Folglich werden nur die Umrisskoordinaten eines Objektes gespeichert, das sich im Projektionskegel befindet. Damit wird der Speicherbedarf bei der Gestenerkennung innerhalb des Projektors sehr klein gehalten.
-
Kern der Erfindung ist es ferner, für die Gestenerkennung, wie etwa eine Erkennung eines Zeigers oder Fingers im Bild eines Pico-Projektors, die Koordinaten auf der Projektionsfläche zu ermitteln, bei welchen sich der Abstand zwischen Projektor und Proiektionsoberfläche lokal signifikant ändert. Erfindungsgemäß werden innerhalb eines Frames nur diese Koordinaten in der Speichereinheit des Projektors abgelegt und können durch einen Applikationsprozessor des Pico-Projektors abgerufen werden.
-
Alternativ können die Koordinaten gespeichert werden, bei welchen sich die Reflektivität der Projektionsfläche signifikant ändert.
-
Zur Signifikanzbewertung der Abstands- oder Reflektivitätsänderung wird während der Zeilen-Bewegung oder einer sonstigen Rasterbewegung eines Scanner-Spiegels der Vorrichtung die Distanz zwischen der Lichtquelle und der reflektierenden Oberfläche in diesem Bildpunkt ermittelt, wie etwa über eine sogenannte time-of-flight Messung oder mit der Phasenverschiebungsmethode. Der ermittelte Wert wird mit dem Wert des in der Zeile benachbarten Bildpunktes verglichen.
-
Ändert sich der ermittelte Wert relativ von Punkt zu Punkt stärker als ein definierter Schwellwert, so ist die Änderung signifikant und die entsprechende Zeilen- und Spaltenkoordinate wird in der Speichereinheit registriert oder es wird ein daraus ermitteltes Koordinatenpaar mit reduzierter Ortsauflösung registriert, um durch die reduzierte Datenmenge Speicherplatz- und Rechenleistungsbedarf der Vorrichtung einzusparen.
-
Gemäß einer Ausführungsform der Erfindung werden als die Parameterwerte der Bildpunkte Abstände zwischen den auf eine Projektionsoberfläche projizierten Bildpunkten und einer das Bild projizierende Projektoreinrichtung verwendet.
-
Gemäß einer weiteren Ausführungsform der Erfindung wird die spalten- und/oder zeilenweisen Abrasterung der Bildpunkte des projizierten Bildes synchron mit einer spalten- und/oder zeilenweisen Projektion des Bildes vorgenommen.
-
Gemäß einer weiteren Ausführungsform der Erfindung wird der Parametervergleichswert anhand der Parameterwerte von den zuvor erfassten Bildpunkten ermittelt.
-
Gemäß einer weiteren Ausführungsform der Erfindung werden als die Parameterwerte der Bildpunkte Reflektivitätswerte der auf eine Projektionsoberfläche projizierten Bildpunkte verwendet.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt das Zuordnen der Bildpunkte zu der Bildpunktemenge in Abhängigkeit einer geometrischen Form der Bildpunktemenge.
-
Gemäß einer weiteren Ausführungsform der Erfindung wird das Erfassen der Bildpunkte des projizierten Bildes durch eine spalten- und/oder zeilenweisen Abrasterung aller Bildpunkte des projizierten Bildes vorgenommen.
-
Gemäß einer weiteren Ausführungsform der Erfindung weist die Sensoreinrichtung einen Abstandssensor zum Erfassen von Abständen zwischen den auf eine Projektionsoberfläche projizierten Bildpunkten und einer das Bild projizierende Projektoreinrichtung auf.
-
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren.
-
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Kurze Beschreibung der Zeichnungen
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
-
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
Es zeigen:
-
1 eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung;
-
2–3 jeweils eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung;
-
4 eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer weiteren Ausführungsform der Erfindung;
-
5 eine schematische Darstellung eines Diagramms mit einer Ortsabhängigkeit eines Parameterwertes gemäß einer Ausführungsform der Erfindung;
-
6–7 jeweils eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung;
-
8 eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung; und
-
9 eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung.
-
In den Figuren der Zeichnung bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
-
Die 1 zeigt eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung.
-
Mit einer Vorrichtung 1 zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste wird ein Bild 2 auf eine Projektionsfläche 11 projiziert. Die Vorrichtung 1 ist mit einem Abstandssensor ausgestattet, der zum Erfassen von Abständen D zwischen den auf die Projektionsoberfläche 11 projizierten Bildpunkten B und einer das Bild 2 projizierende Projektoreinrichtung 103 der Vorrichtung 1 ausgelegt ist.
-
Die Bildpunkte B sind beispielsweise als Pixel, Bildpunkte, Bildzellen oder Bildelemente ausgebildet. Die Bildpunkte B sind ferner beispielsweise als die einzelnen Farbwerte einer digitalen Rastergrafik ausgebildet. Die Bildpunkte B sind beispielsweise rasterförmig angeordnete Bildpunkte oder Pixel.
-
In der 1 ist dargestellt, wie ein Anwender mit seinem Arm 3 in einen zur Projektion des Bildes 2 verwendeten Projektionskegel 2a greift und dadurch einen Schatten 4 auf der Projektionsoberfläche 11 erzeugt. Mit einem Finger 8 des Armes 3 markiert der Anwender eine bestimmte Position auf der Projektionsoberfläche 11.
-
Neben der in der 1 gezeigten Geste, bei welcher mit dem Finger 8 ein Punkt auf dem projizierten Bild 2 markiert wird, sind ebenso weitere Gesten als von der Vorrichtung 1 zu ermittelnde Gesten denkbar. Ferner ist es ebenso denkbar, anstelle des Fingers 8 einen sonstigen Gegenstand oder ein sonstiges Zeigeinstrument beim Ausführen der Geste zu verwenden, wie etwa einen bei Präsentationen eingesetzten Zeigestab oder einen Laser-Pointer.
-
Die 2 zeigt eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung.
-
Bei dem Verfahren zum Ermitteln einer im Lichtkegel 2a eines projizierten Bildes 2 ausgeführten Geste werden beispielsweise mittels eines Bilderkennungsalgorithmus Randpunkte 6 des Armes 3 des Anwenders erkannt. Der Arm 3 des Anwenders wird durch den Lichtkegel 2a teilweise beleuchtet, dadurch wird eine den Arm 3 in einen beleuchteten Bereich und einen nicht-beleuchteten Bereich unterteilende Randlinie 5 definiert.
-
Die Randpunkte 6 des Armes 3 werden mittels einer Signifikanzbewertung des Bilderkennungsalgorithmus erkannt. Beispielsweise werden die Koordinaten der umlaufenden Randpunkte 6 des Armes 3 in einer Speichereinheit gespeichert und einem Applikationsprozessor oder einer sonstigen Datenverarbeitungseinrichtung der Vorrichtung 1 zur Verfügung gestellt.
-
Der Bilderkennungsalgorithmus nutzt beispielsweise erfasste Parameterwerte P der einzelnen Bildpunkte B und vergleicht diese mit einem Parametervergleichswert PS. Anschließend erfolgt ein Zuordnen der Bildpunkte B zu einer Bildpunktemenge BM in Abhängigkeit der Vergleichsergebnisse.
-
Zur Signifikanzbewertung der Abstandsänderung bzw. der Reflektivitätsänderung wird beispielsweise während der Zeilen-Bewegung eines Scanner-Spiegels der Vorrichtung 1 und damit während des Projizierens des Bildpunktes B die Distanz zwischen der Lichtquelle der Vorrichtung 1 und der reflektierenden Oberfläche der Projektionsoberfläche 11 in diesem Bildpunkt B ermittelt.
-
Dies erfolgt beispielsweise über Flugzeitmethoden, auch time-of-flight Messungen genannt, oder über Phasenverschiebungsmethoden. Der ermittelte Wert wird mit dem Wert des in der Zeile oder in der Spalte benachbarten Bildpunktes B verglichen.
-
Ändert sich der ermittelte Parameterwert relativ von Bildpunkt B zu Bildpunkt B stärker als ein definierter Parametervergleichswert oder ein sonstiger Schwellwert, so ist die Änderung des Parameterwertes des jeweiligen Bildpunktes B signifikant und die entsprechende Zeilen- und Spaltenkoordinate des Bildpunktes B wird in der Speichereinheit registriert. Bei der Bestimmung des Wertesprungs des Parameterwertes in der Zeile oder in der Spalte können auch Daten zwischengespeichert und mit Filteralgorithmen bewertet werden, wie etwa mit einer gleitenden Mittelwertbildung über 2 bis 50 Pixel einer Zeile oder einer Spalte.
-
Beispielsweise erfolgt die Signifikanzbewertung nicht relativ aus dem Vergleich der Werte benachbarter Messpunkte, sondern die Signifikanzbewertung wird absolut mit Bezug auf einen als Referenzmaß verwendeten Parametervergleichswert PS ermittelt.
-
Wird ein Abstandswert bzw. eine Reflektivitätswert ermittelt, welcher größer als das Referenzmaß ist so, werden diese Koordinaten als Paar in einer Speichereinrichtung der Vorrichtung abgelegt und einer Bildpunktemenge BM zugeordnet. Als Referenzmaß wird beispielsweise der mittlere Abstand D des Projektors zur Projektionsoberfläche 11 herangezogen.
-
Der Abstand D kann auf der ungestörten Projektionsoberfläche 11, d.h. ohne eine Überdeckung mit einem Objekt, einfach durch Mittelung vieler Abstandswerte ermittelt werden. Weiterhin ist es möglich, den mittleren Abstand D abschnittsweise zu bestimmen und bei der Objekterkennung mit dem für diesen Abschnitt gültigen mittleren Abstand D zu vergleichen. Vorteilhaft hierbei ist es, dass aufgrund der kurzen Projektionsdistanz, die beim Einsatz einer Vorrichtung, welche einen Pico-Projektor als Projektoreinrichtung 103 umfasst, typisch ist, lokal deutliche Distanzvariationen zwischen der Lichtquelle und der Projektionsfläche 11 vorherrschen.
-
Darüber hinaus kann zur Signifikanzbewertung als Parametervergleichswert PS nicht nur ein unterer Schwellwert oder ein Mindestmaß der Änderung herangezogen werden, sondern es kann auch ein oberer Schwellwert für die Änderung des Abstandes von Punkt zu Punkt bzw. ein oberer Grenzwert für den Distanzunterschied zwischen Referenzmaß und gemessenem Wert definiert werden.
-
Die Kriterien, ob ein unterer Schwellwert über- oder unterschritten wird und ob ein oberer Schwellwert über- oder unterschritten wurde, können unabhängig voneinander festgesetzt werden oder diese Kriterien können logisch miteinander verknüpft werden.
-
Die weiteren in der 2 dargestellten Bezugszeichen wurden bereits in der zu der 1 zugehörigen Figurenbeschreibung beschrieben und werden daher nicht weiter erläutert.
-
Die 3 zeigt eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung.
-
In der 3 sind Randpunkte 6 eines Armes 3 dargestellt. Die Randpunkte 6 bilden eine Bildpunktemenge BM, welche eine geometrische Form 20, 21 des Armes 3 abbilden. Die Bildpunktemenge BM umfasst ferner einen relevanten Bildpunkt 7, welcher eine relevante Stelle, wie etwa eine Zeigerspitze darstellt, welche einem Finger 8 entspricht.
-
Die weiteren in der 3 dargestellten Bezugszeichen wurden bereits in der zu der 1 zugehörigen Figurenbeschreibung beschrieben und werden daher nicht weiter erläutert.
-
Die 4 zeigt eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer weiteren Ausführungsform der Erfindung.
-
Die Projektionsoberfläche 11 ist durch ein Objekt 10 überdeckt. Das Objekt 10 ist beispielsweise ein eine Geste ausführender Finger. Die Projektionsfläche 11 kann als eine Bildwand, als eine Leinwand oder eine Projektionswand oder als eine sonstige rückstrahlende Fläche ausgebildet, die das Licht diffus streut und auf der ein Abbild des projizierten Bildes 2 entsteht. Die Überdeckung der Projektionsoberfläche 11 durch das Objekt 10 reicht bis zu einer Stelle XS.
-
Die 5 zeigt eine schematische Darstellung eines Diagramms mit einer Ortsabhängigkeit eines Parameterwertes gemäß einer Ausführungsform der Erfindung.
-
Als Parameterwert P ist auf der y-Achse des Diagramms der Abstand D zwischen den auf eine Projektionsoberfläche 11 projizierten Bildpunkten B und der das Bild 2 projizierende Projektoreinrichtung 103 aufgetragen. Auf der y-Achse ist ferner ein vorgegebener Parametervergleichswert PS eingetragen.
-
Die x-Achse des Diagramms entspricht der Ortskoordinate x, ferner ist auf der x-Achse die in 4 bereits beschriebene Stelle XS eingezeichnet. An der Stelle XS steigt der Parameterwert P sprunghaft an.
-
Die 6 zeigt eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung.
-
Eine geometrische Form 20 ist durch eine Bildpunktemenge BM mit den Randpunkten 6 definiert. Die in der 6 dargestellte geometrische Form 20 ist als ein Vieleck ausgebildet und entspricht einem Arm 3 des Anwenders.
-
Die 7 zeigt eine schematische Darstellung einer Zuordnung von Bildpunkten gemäß einer weiteren Ausführungsform der Erfindung.
-
Eine geometrische Form 21 ist als eine Untermenge der Bildpunkte B durch eine Bildpunktemenge BM mit den Randpunkten 6 definiert. Die in der 7 dargestellte geometrische Form 20 ist als ein Viereck ausgebildet und entspricht einem Arm 3 des Anwenders.
-
Die 8 zeigt eine schematische Darstellung einer Vorrichtung zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung.
-
Eine Vorrichtung 1 zum Ermitteln einer im Lichtkegel 2a eines projizierten Bildes 2 ausgeführten Geste umfasst eine Datenverarbeitungseinrichtung 101, eine Sensoreinrichtung 102 und eine Projektoreinrichtung 103.
-
Die 9 zeigt eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Ermitteln einer im Lichtkegel eines projizierten Bildes ausgeführten Geste gemäß einer Ausführungsform der Erfindung.
-
Das Verfahren zum Ermitteln einer im Lichtkegel 2a eines projizierten Bildes 2 ausgeführten Gesten.
-
Als ein erster Verfahrensschritt erfolgt ein Erfassen S1 aller Bildpunkte B des projizierten Bildes 2 und von einem oder von mehreren Parameterwerten P der einzelnen Bildpunkte B.
-
Als ein zweiter Verfahrensschritt erfolgt ein Vergleichen S2 des einen oder der mehreren erfassten Parameterwerte P der einzelnen Bildpunkte B mit einem Parametervergleichswert PS und ein Zuordnen einer Untermenge der Bildpunkte B zu einer Bildpunktemenge BM in Abhängigkeit der Vergleichsergebnisse.
-
Als ein dritter Verfahrensschritt erfolgt ein Ermitteln S3 der im Lichtkegel 2a des projizierten Bildes 2 ausgeführten Geste basierend auf der zugeordneten Bildpunktemenge BM.
-
Das Ermitteln S3 der Geste erfolgt mittels eines Gestenerkennungsalgorithmus. Bei der eigentlichen Erkennung der Geste fließen beispielsweise zur Datenreduktion lediglich die Informationen der zugeordneten Bildpunktemenge BM ein, wobei die Daten der Randpunkte 6 analysiert werden und Merkmale aus den Daten der Randpunkte 6 extrahiert werden. Diese Merkmale dienen als Eingabe für die Ermittlung der zu erkennenden Geste. Hierfür werden beispielsweise Hidden Markov Models, künstliche neuronale Netze und weitere Gestenerkennungstechniken eingesetzt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2056185 A2 [0002]
- US 2011/0181553 A1 [0003, 0006]
- US 2009/0189858 A1 [0004]
- US 2010/0053591 A1 [0005]
