AT503008B1 - Interaktives optisches system und verfahren zum extrahieren und verwerten von interaktionen in einem optischen system - Google Patents

Description

2 AT 503 008 B1

Die Erfindung betrifft ein interaktives optisches System mit mindestens einem Projektor zum Projizieren von Bildern, insbesondere Videos, auf eine als Interaktionsfläche vorgesehene Projektionsfläche, mit mindestens einer Bildaufnahmeeinheit, insbesondere Kamera, zum Aufnehmen der Interaktionsfläche, mit einer der Bildaufnahmeeinheit zugeordneten Bilderkennungseinheit zum Erkennen von einem oder mehreren Objekten, insbesondere Personen, im Bereich der Interaktionsfläche, und mit einer Steuereinheit, die mit der Bilderkennungseinheit verbunden ist, zum Auslösen von Steuervorgängen, insbesondere unter Ansteuerung des Projektors, abhängig von den erkannten Objekt-Bildern.

Weiters bezieht sich die Erfindung auf ein Verfahren zum Extrahieren von Interaktionen in einem optischen System, wobei Bilder, insbesondere Videos, mit Hilfe mindestens eines Projektors auf eine als Interaktionsfläche vorgesehene Projektionsfläche projiziert werden, und die Interaktionsfläche mit Hilfe mindestens einer Bildaufnahmeeinheit, insbesondere Kamera, aufgenommen bzw. abgefilmt wird, um ein oder mehrere etwaige Objekte, insbesondere Personen, im Bereich der Interaktionsfläche zusammen mit letzterer aufzunehmen und mittels einer Bilderkennungseinheit ausschließlich auf Basis des aktuellen von der Kamera gelieferten Bildinhalts (Frames) zu erkennen.

Interaktive Systeme sind hinlänglich bekannt. Beispielsweise ist es üblich, einer Rechneranlage einen Inhalt an einem Bildschirm anzuzeigen, wobei Interaktionen zur Veränderung des Bildschirminhalts, beispielsweise mit Hilfe einer Tastatur, einer Maus, eines Touch-Screens oder eines Joysticks, möglich sind. Mit diesen Mitteln kann ein Betrachter den Inhalt der Anzeige steuern, wobei beispielsweise Objekte auf dem Bildschirm verschoben, andere Bildinhaite wiedergegeben oder sonstige Aktionen interaktiv abgerufen werden.

Es sind auch bereits interaktive optische Systeme bekannt geworden, vgl. beispielsweise die WO 2004/055776 A. Ein Vorteil von derartigen Systemen mit optischen Projektionen liegt in der Größe der Anzeige, da dies zu einer erhöhten Attraktion führt, neue Interaktionsmöglichkeiten eröffnet und so verstärkt Anklang bei Benützern findet. Von Nachteil ist bei der gegebenen Größe der Anzeige jedoch die technisch schwierige Realisierung der Interaktion mit den Anzeigeinhalten. Abgesehen von Lösungen etwa mit einem Touch-Screen, der eine kleinere Kopie des projizierten Bildinhalts anzeigt und zur Interaktion benützt wird, was aber für den Anwender nicht besonders intuitiv wirkt, ist hier optische Bilderkennung eingesetzt worden. Dabei werden Bilder (Videobilder) aufgenommen und analysiert, wobei diese Analyse entweder zeitversetzt oder in Echtzeit erfolgen kann. Hierfür gibt es bereits umfangreiche Erkenntnisse aus dem Bereich der Signalverarbeitung und der Computergrafik, wobei Algorithmen und Methoden zur Extraktion von bestimmten Bildinhalten aus aufgenommenen Videobildern bekannt sind. Die so extrahierten Informationen können, abgesehen von den erwähnten Gebieten der Signalverarbeitung, der Computergrafik und dgl., auch zur Extraktion von Steuersignalen für eine Steuereinheit und somit für eine Interaktion mit einem optischen System, das Bilder projiziert, verwendet werden. Dadurch wird es möglich, einen großflächig, beispielsweise auf einer Bodenfläche, angezeigten Inhalt durch Zeigen und Deuten mit Händen und Füßen steuerbar und damit interaktiv zu machen. Dabei können nicht nur einzelne Personen, sondern auch mehrere Personen gleichzeitig mit dem System interagieren. Das System unterscheidet grundsätzlich nicht zwischen Personen und anderen Objekten auf (bzw. vor) der inieraküonsfiäche. Durch den Einsatz von optischer Bilderkennung und die Extraktion der Interaktionen dieser Personen aus dem jeweils zur aktuellen Zeit aufgenommenen Bild werden Steuersignale für die direkte Beeinflussung der angezeigten Inhalte ermöglicht, wobei in der Folge beispielsweise der gesamte Bildinhalt, aber auch nur einzelne Teilbereiche der projizierten Bilder, verändert werden können. Auf diese Weise können die gewünschten bzw. vorgegebenen Veränderungen abhängig von den Interaktionen in Echtzeit visuell über den Projektor wiedergegeben werden. Es ist im Übrigen in diesem Zusammenhang auch bekannt, zusätzlich Audio-Signale wiederzugeben und diese Audio-Signalwiedergabe ebenfalls durch optische Interaktion zu verändern.

Ein Problem bei diesen optischen interaktiven Systemen ist jedoch nach wie vor, dass für Inter- 3 AT 503 008 B1 aktionen in Echtzeit eine zuverlässige und rasche Bildauswertung ermöglicht werden muss; ein Vergleich beispielsweise eines projizierten Bildes mit einem aufgenommenen Bild bzw. mit gespeicherten Bilddaten, die vorgegebene Abläufe angeben zur Extraktion von Unterschieden, entsprechend den interagierenden Objekten, ist relativ aufwändig und kritisch bei bewegten Inhalten und führt zu einer Einschränkung der möglichen Anwendungsgebiete.

Es sind Systeme wie beispielsweise die WO 1995/034881 bekannt, die aufgrund von Bewegungen von Benützern Interaktionen erkennen. Diese Verfahren führen bei der Anzeige statischer, nicht bewegter Inhalte zu guten Ergebnissen, da eine klare Trennung zwischen angezeigten Objekten (unbewegt) und Interaktionen (bewegt) erfolgen kann. Bei der Anzeige bewegter Inhalte können jedoch derartige Verfahren keine Unterscheidung zwischen Bewegungen von projizierten Objekten und Bewegungen realer Objekten durchführen, wodurch sie für moderne Systeme, in denen die Anzeige bewegter Inhalte eine zentrale Anforderung darstellt, nicht eingesetzt werden können.

Ebenso sind Systeme wie beispielsweise US 2002/0186221 A1 bekannt, die durch Analyse unterschiedlicher Wellenlängen mittels Infrarot-Kameras und Infrarot-Beleuchtung und anschließendem Vergleich mit vordefinierten Mustern (Mustervergleich) Bewegungen extrahieren können. Auch bei diesen Systemen ist sowohl aufgrund der Erkennung von Bewegungen (siehe oben), aber auch aufgrund des Mustervergleiches keine Unabhängigkeit von den projizierten Bildinhalten gegeben, wodurch nur ein kleiner Teil der möglichen Anwendungsgebiete abgedeckt werden kann.

Es ist daher Aufgabe der Erfindung, ein System sowie ein Verfahren wie eingangs angegeben vorzusehen, das auf besonders einfache, nichtsdestoweniger zuverlässige Weise eine Extraktion von Interaktionen ermöglicht, wobei ein hohes Maß an Flexibilität gegeben sein soll. Besonders sind die Möglichkeit der Anzeige bewegter Inhalte, die Unabhängigkeit von den angezeigten Inhalten sowie die Funktionalität in unterschiedlichsten Umgebungslichtsituationen zu berücksichtigen. Um diese zentralen Anforderungen zu erfüllen ist ein optisches Bilderkennungsverfahren notwendig, das intelligenter und flexibler aufgebaut ist als bestehende Systeme und somit über den Stand der Technik hinausgeht.

Die obigen Anforderungen werden in der Erfindung durch folgende Herangehensweisen gelöst: Die Möglichkeit der Anzeige bewegter Inhalte wird dadurch hergestellt, dass die Erkennung ausschließlich auf Basis des aktuellen von der Kamera gelieferten Bildinhalts erfolgt, also keine Referenzen zu in der Vergangenheit aufgenommenen Bildinhalten bestehen. Die Unabhängigkeit von den angezeigten Inhalten wird dadurch erreicht, dass die Erkennung ausschließlich aufgrund von Helligkeitswerten erfolgt, und weder ein Mustervergleich noch ein Vergleich mit vorhergehenden Bildern integriert sind. Die Funktionalität in unterschiedlichsten Umgebungslichtsituationen wird schließlich durch eine automatische Schwellenwertsanpassung, welche unten näher beschrieben ist und welche wiederum ausschließlich auf Basis von Helligkeitswerten unabhängig von den projizierten Inhalten erfolgt, gewährleistet.

Hierzu sind das erfindungsgemäße System und das erfindungsgemäße Verfahren wie in den unabhängigen Ansprüchen 1 und 8 angegeben ausgebiidet. Vorteilhafte Ausführungsformen und Weiterbildungen dieses Systems und dieses Verfahrens sind in den abhängigen Ansprüchen definiert.

Beim vorliegenden System wird bei der Bilderkennung auf die Detektion von Helligkeitsunterschieden abgestellt, wobei beispielsweise die Projektionsfläche, auf die mit Hilfe des Projektors (oder der Projektoren) vorgegebene Bilder, gemäß Steuerung durch die Steuereinheit, projiziert werden, möglichst hell gewählt wird. Wenn nun ein Objekt auf diese Projektionsfläche oder vor diese Projektionsfläche gelangt, beispielsweise eine Person auf den die Projektionsfläche bildenden Boden tritt, wird dieses Objekt eine Verdunkelung, d.h. einen Bereich im aufgenommenen Bild mit reduzierter Helligkeit, verglichen mit der Aufnahme der Projektionsfläche ohne 4 AT 503 008 B1

Objekt, bewirken. Diese Reduktion in der Helligkeit kann einfach erkannt werden, und sie kann auch mit schnellen Methoden noch weiter im Sinne einer Extraktion der jeweiligen Interaktion kombiniert werden, wie insbesondere mit einer Kanten- und Umrisserkennung, um so letztlich auf die Steuerinformation zu kommen, mit der die Steuereinheit entsprechend im Sinne einer geänderten Bildprojektion etc. reagieren kann.

Um bei einer sich ändernden Umgebungshelligkeit eine entsprechende Anpassung und dadurch immer optimale Helligkeitsunterschiede erzielen zu können, wird in vorteilhafter Weise auch vorgesehen, eine Kalibrierung der Grund-Helligkeit bzw. eines Basis-Schwellenwerts entsprechend dieser Grundhelligkeit der Projektionsfläche durchzuführen; diese Kalibrierung wird beispielsweise zyklisch in kurzen Zeitabständen, etwa in Abständen von 1 Minute, durchgeführt, um so immer eine optimale Extraktion der Interaktionen durch Objekte sicherzustellen. Bei Änderungen in der Grund-Helligkeit wird der Basis-Schwellenwert entsprechend angepasst, wobei beispielsweise ein Anpassungsfaktor vorgesehen wird, der in seinem Wert vom Inhalt bzw. von der Helligkeit der projizierten und aufgenommenen Bilder abhängen kann. Dadurch kann, wenn eine stärkere Anpassung notwendig ist, falls eine starke Schwankung der Umgebungshelligkeit eingetreten ist, auch eine entsprechend große Bemessung des Anpassungsfaktors zwecks möglichst rascher Kalibrierung des Basis-Schwellenwerts vorgesehen werden, ebenso wie eine Feinabstimmung bei bloß geringen Helligkeitsänderungen in der Umgebung möglich ist.

Die Erfindung wird nachstehend anhand von besonders bevorzugten Ausführungsbeispielen, auf die sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die Zeichnung noch weiter erläutert. In der Zeichnung zeigen im Einzelnen: Fig. 1 schematisch eine Anordnung eines interaktiven optischen Systems gemäß der Erfindung in Zuordnung zu einer Interaktionsfläche (Projektionsfläche); Fig. 2 schematisch den Aufbau eines solchen interaktiven optischen Systems; Fig. 3 eine Anordnung mit mehreren solchen Systemen und einem zentralen Server; Fig. 4 in einem Blockschaltbild-artigen Schema den Aufbau bzw. die Arbeitsweise eines Systems gemäß der Erfindung; Fig. 5 ein Schema zur Veranschaulichung der Helligkeits-Kalibrierung; Fig. 6 ein Ablaufdiagramm zur Veranschaulichung der Schwellenwert-Anpassung; Fig. 7 schematisch in den Fig. 7A, 7B und 7C die Vorgangsweise bei der Umrisserkennung und Umrechnung in Begrenzungsflächen im Zuge der Detektion eines Objekts, hier der Hand einer Person; und Fig. 8 in den Detailfiguren Fig. 8A bis 8G mehr im Detail die Vorgangsweise bei dieser Objektdetektion.

In Fig. 1 ist schematisch ein interaktives optisches System 1 veranschaulicht, das einen Projektor 2 enthält, der auf eine Projektionsfläche 3, beispielsweise eine Bodenfläche, gerichtet ist und Bilder bzw. Videofilme auf diese Projektionsfläche 3 projiziert. Die projizierten Bilder können insgesamt als interaktive Bildfläche dienen, es können jedoch auch gesonderte interaktive Inhalte 4 innerhalb der projizierten Bilder - die beispielsweise deckungsgleich mit der Projektionsfläche 3 sind - vorhanden sein. Eine Person 5 kann nun beispielsweise mit ihrer Hand 5', die sie über den interaktiven Bildinhalt oder Bildteil 4 hält, interaktiv mit dem System 1 agieren. Zur Extraktion dieser Interaktionen enthält das System 1 eine Bildaufnahmeeinheit 6 nämlich bevorzugt eine Videokamera, die die Projektionsfläche 3, zumindest den Bildteil 4, abfilmt und die Biiddaten einer Bilderkennungseinheit 7 (auch Trackäng-Modui genannt) zuführt. Diese Biider-kennungseinheit 7 kann beispielsweise Teil einer Rechnereinheit 8 sein, die zugleich den Projektor 2 sowie weiters im vorliegenden Beispiel auch eine Audiosignal- Wiedergabeeinrichtung in Form eines oder mehrerer Lautsprecher 9 ansteuert.

Der Bildprojektor 2 kann von beliebiger Bauart, beispielsweise ein LCD-Projektor oder ein DLP-Projektor, sein und er projiziert die Bilder direkt, ohne Umlenkung über einen Spiegel oder dgl. Hilfsmittel, auf die Interaktionsfläche 3. Das Kamerasystem 6, das die Interaktionsfläche 3 abfilmt, sendet diese Daten beispielsweise mehrmals pro Sekunde an die Bilderkennungseinheit 7. Wie erwähnt, können Bildteile 4, mit denen interagiert werden kann, als Bilddaten innerhalb der Interaktionsfläche 3 angezeigt werden. 5 AT 503 008 B1

Die gesamte Elektronik ist bevorzugt in einem Gesamtsystem mit einem Gehäuse 10 verbaut, das einfach montiert werden kann und gegen unbefugten Zutritt geschützt ist.

Wie die Person 5 durch Verdecken oder Abschatten des interaktiven Inhalts 4 mit Hilfe der Hand 5' mit den projizierten Inhalten interagieren kann, wird nachstehend noch näher erläutert werden.

Der Projektor 2 ist im gezeigten Beispiel vertikal montiert, und er projiziert die Bilder auf die horizontal angeordnete Interaktionsfläche 3. Selbstverständlich wäre es aber auch möglich, beispielsweise eine horizontale Projektion, mit einer horizontalen Projektionsachse des Projektors 2 und einer vertikalen Projektions- bzw. Interaktionsfläche 3, vorzusehen. Die Rechnereinheit 8 bestimmt beispielsweise die zu projizierenden Inhalte (Videobilder, etc.) und konvertiert für diesen Zweck die gespeicherten oder übertragenen Bilddaten in ein für den Projektor 2 verarbeitbares Bildformat. Die unmittelbar neben dem Projektor 2 angebrachte Kamera 6 ist so eingestellt, dass sie das komplette projizierte Bild, also die komplette Interaktionsfläche 3, einschließlich der gegebenenfalls dazwischen befindlichen Objekte 5 bzw. 5' abfilmt. Auch die Audio-Wiedergabeeinrichtung (Lautsprecher) 9 kann an die Rechnereinheit 8 angeschlossen sein.

Als Kamera 6 für die Bildaufnahme kann eine herkömmliche Bildkamera eingesetzt werden, wobei es aber auch denkbar ist, die Bilder in einem für Menschen nicht sichtbaren Lichtspektrum aufzunehmen, also beispielsweise Wärmebildkameras, Infrarotkameras, etc., einzusetzen. Der Einfachheit halber werden jedoch Kameras benützt, die im sichtbaren Lichtspektrum arbeiten. Denkbar ist es auch, 3D-Kameras zu verwenden.

Die Kamera 6 nimmt beispielsweise pro Sekunde mehrere Bilder der Interaktionsfläche 3 auf, und sie sendet die zugehörigen Bilddaten in einem digitalen Format an die Bilderkennungseinheit 7. Dort erfolgt die Extrahierung der interagierenden Personen bzw. Objekte 5 bzw. 5', wobei eine Technik verwendet wird, die die Helligkeitswerte im Bild vergleicht, um so die interagierenden Objekte 5 bzw. 5' zu extrahieren. Es wird immer nur das aktuell aufgenommene Bild (Frame) herangezogen, und es erfolgt eine Umrissdetektion mit nachfolgender Konvertierung der erkannten Umrisse in Bildschirmkoordinaten, wie nachstehend noch näher erläutert werden wird. Diese Bildschirmkoordinaten werden aus Performance-Gründen noch weiter verarbeitet und dabei in Begrenzungsflächen umgewandelt. In der durch die Rechnereinheit 8 gebildeten Steuereinheit werden die erhaltenen Daten dazu verwendet, um die Interaktion mit dem jeweiligen interaktiven Inhalt 4 zu ermitteln, und je nach interaktivem Inhalt und Interaktion können beispielsweise Bildteile verschoben, andere Bilder projiziert oder sonstige Änderungen aktiviert werden, was durch entsprechende Ansteuerung des Projektors 2 sowie gegebenenfalls des Lautsprechers 9 geschieht.

Im Einzelnen kann, wie aus Fig. 2 ersichtlich ist, die mit der Kamera 6 verbundene Bilderkennungseinheit 7 (Tracking-Modul 7) die ein Helligkeitsbewertungsmodul 7' sowie weitere Bildver-arbeitungsmodule 7" umfasst, die extrahierten Interaktions-Daten (nach Begrenzungsflächen-Umwandlung) an die - hier auch Render-Engine genannte - Steuereinheit 11 weiterleiten, wo die Daten aus dem Tracking-Modul 7 dazu verwendet werden, die genannte Interaktion auf an sich herkömmliche Weise zu berechnen. Diese Render-Engine bzw. Steuereinheit 11 steuert dann den Projektor 2 und den Lautsprecher 9 an.

Zusätzlich kann, wie aus Fig. 2 ersichtlich ist, innerhalb der Rechnereinheit 8 ein Konfigurationsmodul 12 vorgesehen sein, das ein Scheduler-Modul 13 mit Daten versorgt, die eine Beschreibung der anzuzeigenden Inhalte enthalten und im Konfigurationsmodul 12 gespeichert sind. Das Scheduler-Modul 13 leitet die daraus resultierenden Steuersignale sowohl an das Tracking-Modul 7 als auch an die Render-Engine 11 weiter. Das Scheduler-Modul 13 kann beispielsweise nach einer im Konfigurationsmodul 12 konfigurierten Zeitabfolge oder aber auch abhängig von einem Münzeinwurf in einem Münzautomaten (nicht dargestellt) unterschiedliche 6 AT 503 008 B1

Inhalte projizieren lassen. Die Information des anzuzeigenden Bildinhalts wird wie erwähnt über die Steuereinheit (Render-Engine) 11, nach dortiger Aufbereitung, an den Projektor 2 gesandt; dabei können etwaige Interaktionen, deren Ergebnis vom Tracking-Modul 7 übermittelt wird, berücksichtigt werden, so dass die entsprechenden Video- und Audiowiedergaben über den Projektor 2 und den Lautsprecher 9 angesteuert werden. Das Scheduler-Modul 13 leitet diese Informationen auch an das Tracking-Modul 7 weiter, damit dort die Bilderkennung entsprechend angepasst werden kann. Auf diese Weise können die unterschiedlichsten Inhalte interaktiv gestaltet werden.

Das Scheduler-Modul 13 kann ferner auch die Betriebsarten des Projektors 2 steuern, und es kann insbesondere den Projektor 2 einschalten und ausschalten.

In Fig. 2 ist weiters ein Aktualisierungsmodul oder Update-Modul 14 gezeigt, welches, gesteuert vom Scheduler-Modul 13, eine Aktualisierung der Konfiguration für das Konfigurationsmodul 12 sowie eine Veränderung der für die Render-Engine 11 zugrunde liegenden Bilddaten ermöglicht. Dieses Update-Modul 14, das somit eine Aktualisierung der Konfigurationsdaten aller Elemente, insbesondere der Bild- und Tondaten, ermöglicht, kann die gewünschten Aktualisierungsdaten über eine beliebige Kommunikationseinrichtung 15, wie etwa LAN, WAN, W-LAN, UMTS, GPRS usw., zugeführt erhalten.

Im Einzelnen führt die Kamera 6 der Steuereinheit (dem Tracking-Modul) 7 die digitalen Bilddaten als Videostream zu, und dort werden im Helligkeitsbewertungsmodul 7' die Interaktionen der Personen bzw. Objekte 5 bzw. 5' durch optische Bilderkennung, auf Basis von Differenzen in der Bildhelligkeit, berechnet. Dies kann im Einzelnen beispielsweise wie folgt realisiert werden: Mittels bitweiser Verschiebung werden die einzelnen Farbwerte ausgelesen, und durch Mittelwertsberechnung wird der Helligkeitswert für jeden einzelnen Bildpunkt bestimmt. Im Helligkeitsbewertungsmodul 7' werden anschließend jene Bildpunkte zur weiteren Verarbeitung herangezogen, deren Helligkeit unterhalb eines Schwellenwerts liegt, der - wie nachstehend noch näher erläutert werden wird - bevorzugt automatisch ermittelt wird.

Wie nachstehend anhand der Fig. 5, 7 und 8 noch näher erläutert werden wird, wird im Zuge der Bilderkennung weiters eine Kantenerkennung und in der Folge eine Umrissermittlung durchgeführt, wobei die Art des projizierten Inhalts wesentlich ist. Beispielsweise gibt es Unterschiede beim Detektieren von Personen 5, die auf einer sehr dunkel projizierten Fläche 3 vorhanden sind, im Vergleich zu einer Situation, wenn sich die Personen 5 auf einer sehr hell projizierten Interaktionsfläche 3 befinden. Auch kommt dem Umgebungslicht eine wesentliche Rolle zu. Zur Erleichterung der Erkennung kann bevorzugt das Scheduler-Modul 13 dem Tracking-Modul 7 wie erwähnt eine Information über die projizierten Bilder übermitteln, wobei diese Information anschließend in die Berechnung einfließt. Weiters passt sich das Tracking-Modul 7 zufolge einer Helligkeits-Kalibrierung, wie nachstehend noch näher erläutert wird, selbstständig an die Umgebungshelligkeit an, um auch bei unterschiedlichen Lichtsituationen exakte Ergebnisse zu liefern.

Die Render-Engine 11, die die Daten der Steuereinheit 7 verarbeitet, verändert entsprechend diesen Daten die aktuellen Bild- und Toninhalte, wobei diese Veränderungen in Echtzeit berechnet werden. Durch die zusätzlich vom Scheduler-Modul 13 übermittelten bevorzugten Steuersignale ist eine zeitliche Steuerung oder eine Münzeinwurf-Steuerung für die Wiedergabe der interaktiven Inhalte möglich. Parallel zum Festlegen, welche interaktiven Inhalte angezeigt werden, sendet das Scheduler-Modul 13 entsprechende Daten an das Tracking-Modul 11, damit dieses seine Algorithmen an die angezeigten Daten anpassen kann. Das Scheduler-Modul 13 liest auch Statusmeldungen beispielsweise des Projektors 2 aus (wie z.B. betreffend Lampenverbrauchszeit, Temperatur, Filterstatus usw.), speichert diese Statusmeldungen als Statusbericht für das jeweilige System 1 und löst gegebenenfalls Reaktionen auf Fehlermeldungen aus. Auch kann das Scheduler-Modul 13 Statusinformationen der Bilderkennungseinheit 7 und der Steuereinheit 11 abfragen und gegebenenfalls Einstellungen optimieren bzw. 7 AT 503 008 B1 einzelne Module zurücksetzen und neu initialisieren. Eine weitere Möglichkeit besteht darin, dass das Scheduler-Modul 13 das gesamte System 1 steuert und insbesondere das Starten und Beenden des Betriebs des Systems 1 entsprechend voreingestellten Betriebszeiten initiiert. Dabei ist es möglich, unterschiedliche Betriebszeiten für verschiedene Tage einzustellen. Wird das System 1 gestartet, so wird als erstes das Scheduler-Modul 13 gestartet, wonach dieses zunächst die Betriebszeiten aus dem Konfigurationsmodul 12 ausliest. Dieses Auslesen der Konfiguration wird in regelmäßigen Abständen wiederholt (beispielsweise außerhalb der Betriebszeit alle 30 Minuten und während des Betriebs beispielsweise alle 5 Minuten), um etwaige Änderungen an der Konfiguration, die durch das Update- Modul 14 zugeleitet werden, zu berücksichtigen. Für den Betrieb startet das Scheduler-Modul 13 automatisch das Tracking- Modul (die Bilderkennungseinheit) 7, die Render-Engine (die Steuereinheit) 11 sowie den Projektor 2. Durch die jeweils aktuelle Konfiguration wird wie erwähnt dem Scheduler-Modul 13 auch vermittelt, welche Inhalte angezeigt werden müssen. Überdies wird in regelmäßigen Abständen, entsprechend ebenfalls der eingestellten Konfiguration, das Update-Modul 14 angestoßen, um gegebenenfalls aktualisierte Daten zu übernehmen. Diese Daten können beispielsweise von einem zentralen Server 16 (s. Fig. 3) über die Kommunikationseinrichtung 15 übermittelt werden, und umgekehrt können, wie ebenfalls in Fig. 3 veranschaulicht ist, Statusdaten betreffend alle Komponenten auf den Server 16 kopiert werden.

Das Update-Modul 14 ermöglicht somit auch eine Fernwartung des jeweiligen Systems 1, und es ist möglich, unterschiedliche aktuelle Bild- und Tondaten vom zentralen Server 16 auf jedes einzelne System 1 (vgl. Fig. 3, wo eine Mehrzahl von Systemen 1.1 bis 1.n in Zuordnung zum zentralen Server 16 angedeutet ist) zu übertragen, wobei diese Daten im jeweiligen System 1 sofort in die Wiedergabe einfließen; hierbei werden in einem unabhängigen Prozess in einem eigenen Zeitintervall von beispielsweise 30 Minuten die aktuellen Bild- und Tondaten zu jedem System 1 gemäß Fig. 3, die im Server 16 getrennt gehalten werden, gesondert übertragen. Dabei werden alle auf dem System 1 befindlichen Datenbestände durch die aktualisierten Daten des Servers 16 ersetzt. Nicht möglich ist hierbei die Aktualisierung der Module, die sich zu diesem Zeitpunkt gerade in Betrieb befinden, wie etwa die Bilderkennungseinheit 7 und die Steuereinheit 11 sowie das Scheduler-Modul 13. Außerhalb der Betriebszeit können aber auch die Bilderkennungseinheit 7 und die Steuereinheit 11 aktualisiert werden. Beispielsweise wird außerhalb der Betriebszeit in einem einstellbaren Intervall von ungefähr 2 Stunden ein Update initiiert, das genau diese Module 7, 11 aktualisiert. Um auch das Scheduler-Modul 13 aktualisieren zu können, wird dieses einmal am Tag für kurze Zeit außer Betrieb gesetzt, und vor der Beendigung wird ein Update bewirkt, welches zeitverzögert die Daten vom Server 16 überträgt. Die Zeitverzögerung ist notwendig, damit das Scheduler-Modul 13 ordnungsgemäß gestoppt werden kann, und damit anschließend das Update erfolgreich ausgeführt werden kann. Im Anschluss an dieses Update wird das Scheduler-Modul 13 wieder gestartet.

Zur Übertragung der Statusmeldungen werden die Daten in unterschiedliche Pakete aufgeteilt und mit getrennter Priorität übertragen. Konkret werden als Statusdaten beispielsweise das Logfile des Scheduler-Moduls 13, der Steuereinheit 11 und der Bilderkennungseinheit 7 sowie ein Logfile des Systems 1 als Zusammenfassung des Hardware-Status hievon regelmäßig etwa in Intervallen von ca. 5 Minuten auf den Server 16 kopiert. Pro Tag wird beispielsweise je ein Logfile vom Scheduler-Modul 13 und von der Bilderkennungseinheit 7 sowie von der Steuereinheit 11 erstellt. Die Zusammenfassung des Hardware-Status existiert nur einmal pro System 1 und wird immer überschrieben. Bei dieser Übertragung werden alle am Server 16 existierenden Datenbestände durch jene des jeweiligen Systems 1 überschrieben.

Bei der Aktualisierung der Ton- und Bilddaten ist es nicht ohne weiteres möglich, einfach immer alle Daten vom Server 16 auf die Systeme 1 zu kopieren (oder umgekehrt alle Statusdaten auf den Server 16 zu kopieren), sondern es muss ein Synchronisationsmechanismus 17 (s. Fig. 3) zwischengeschaltet werden. Die Updates melden sich an diesem Synchronisationsmechanismus 17 an und teilen mit, welche Daten sie aktualisieren wollen und in welche Richtung diese Daten übertragen werden sollen (Daten vom Server 16 zum jeweiligen System 1 - s. Verbin- 8 AT 503 008 B1 düng 18 in Fig. 3; oder Daten vom jeweiligen System 1 zum Server 16 - s. Verbindung 19). Anschließend vergleicht der Synchronisationsmechanismus 17 die Datenbestände des Servers 16 mit jenen des jeweiligen Systems 1, so dass nur aktualisierte Daten übertragen werden. Hierbei kann noch einen Schritt weiter gegangen werden, indem innerhalb einer Datei nur die Änderungen übertragen werden. Ein entsprechender Synchronisationsmechanismus ist auch in den Update-Modulen 14 der Systeme 1 enthalten, und es können auf diese Weise die Daten auch über eine Einrichtung mit geringer Bandbreite, wie z.B. GPRS, als Kommunikationseinrichtung 15 übertragen werden. Um die Übertragung gegen einen unbefugten Zugriff zu schützen, kann sowohl die Abfrage der Daten als auch die Übertragung der Daten selbst über eine mit SSH gesicherte Verbindung erfolgen. Ein Problem ist sicherlich auch die Betreuung von mehreren Systemen 1 mit unterschiedlichen Datenbeständen durch einen gemeinsamen Server 16. Es ist aber dabei nichtsdestoweniger möglich, Systemdaten für die einzelnen Module, wie Bilderkennungseinheit 7, Steuereinheit 11, Scheduler-Modul 13, Update-Modul 14, für alle Systeme 1 gleich vorzusehen und nur die User-Daten (Bild- und Tondaten sowie Konfigurationseinstellungen) für die einzelnen Systeme 1 unterschiedlich vorzusehen. Jedes Update-Modul 14 der einzelnen Systeme 1 wird dann so konfiguriert, dass es nur die Datenbestände des jeweiligen Systems 1 sowie die Systemdaten aktualisiert bzw. synchronisiert.

Diese Zuordnung der Datenbestände ist in Fig. 3 durch einen gemeinsamen Systemdaten-Datenbestand 20 sowie durch die unterschiedlichen Benützerdaten 21.1 bis 21.n für die einzelnen Systeme 1.1 bis 1.n angedeutet.

Gemäß Fig. 4 ist ein Scheduler-Startmodul 22 vorgesehen, das alle Funktionen betreffend den Start des Scheduler-Moduls 13 umfasst. Es werden zuerst die aktuellen Konfigurationen eingelesen, anschließend wird anhand der Betriebszeiten des jeweiligen Tages geprüft, ob das Gesamtsystem 1 gestartet werden soll oder ob sich das System 1 außerhalb der Betriebszeit befindet. Außerhalb der Betriebszeit wird regelmäßig das Update- Modul 14 angestoßen, das seinerseits wie beschrieben ein Update der Konfigurationsdaten und ein System-Update durchführt. Wird jedoch die Betriebszeit erreicht, so wird ein System-Startmodul 23 initialisiert. Dieses System-Startmodul 23 startet daraufhin die Bilderkennungseinheit 7, die Steuereinheit 11 und den Projektor 2. Anschließend wird die Konfiguration der anzuzeigenden Inhalte eingelesen und ein Kampagnenplanungsmodul 24 gestartet. Dieses Kampagnenplanungsmodul 24 hat die Aufgabe, die Inhaltseinstellungen zu analysieren und das Scheduler-Modul 13 entsprechend darauf einzustellen. Es kann hier beispielsweise festgelegt werden, wie lange welcher Inhalt angezeigt werden soll, und welche Steuerbefehle für die Render-Engine 11 (Steuereinheit) und für die Bilderkennungseinheit 7 (Tracking- Modul) zur Anzeige des jeweiligen Inhalts notwendig sind.

Sind die jeweiligen Zeitpunkte für einen Inhaltswechsel erreicht, so werden die entsprechenden Steuerbefehle an die Render-Engine 11 und das Tracking-Modul 7 über ein Steuermodul 25 gesendet. Während der Betriebszeit löst dieses Steuermodul 25 auch die notwendigen Updates aus, indem es das Update-Modul 14 anstößt.

Im Anschluss daran überprüft ein Systemstatus-Prüfmodul 26 laufend den Status aller Module des Systems 1. Alle Informationen werden in einem Statusbericht zusammengefasst, der beim nächsten Konfigurations-Update vom System 1 zum zentralen Server 16 übertragen wird. Weiters kann das Prüfmodul 16 eigenständig auf Fehler im System 1 reagieren und versuchen, diese zu beheben, indem es die betroffenen Module gezielt neu initialisiert oder aber die Konfigurationen zurücksetzt.

Ist die durch die Konfiguration vorgesehene Betriebszeit zu Ende, so wird ein System-Stoppmodul 27 vom Scheduler-Startmodul 22 initialisiert, so dass es die Bilderkennungseinheit 7, die Steuereinheit 11 und den Projektor 2 deaktiviert. Ist die Shutdown-Zeit für das Scheduler-Modul 13 erreicht, so wird vom Scheduler-Startmodul 22 weiters ein Scheduler-Shutdownmodul 28 initialisiert. Dieses Shutdownmodul 28 initialisiert so lange ein zeitverzögertes Update, indem 9 AT 503 008 B1 es das Update-Modul 14 entsprechend anstößt, und es stoppt anschließend das Scheduler-Modul 13. Durch die bereits erwähnte Zeitverzögerung wird das Update erst nach der vollständigen Deaktivierung des Scheduler-Moduls 13 ausgeführt, so dass das Scheduler-Modul 13 eventuell aktualisiert werden kann.

Gemäß Fig. 5 führt ein Kalibriermodul 30 eine automatische Schwellenwerts-Kalibrierung durch (wie nachfolgend noch näher anhand der Fig. 6 erläutert werden wird), wobei diese Schwellenwerts-Kalibrierung aufgrund der aktuellen, von der Kamera 6 gelieferten Bilddaten einen Schwellenwert liefert, der in einem nachfolgenden Helligkeitswert-Prüfmodul 31 mit den Helligkeitswerten der Bildpunkte verglichen wird; dieses Prüfmodul 31 bildet somit im Wesentlichen das vorerwähnte Helligkeitsbewertungsmodul 7'. Das Scheduler-Modul 13 liefert dem Kalibriermodul 30 einen Anpassungsfaktor, was schematisch in Fig. 5 mit 32 angedeutet ist, und der entsprechend den jeweiligen Bildinhalten eingestellt wird.

Im Prüfmodul 31 wird wie erwähnt für alle Bildpunkte des aktuellen Bildinhalts geprüft, ob der Helligkeitswert dieser Bildpunkte unter dem im Kalibriermodul 30 automatisch ermittelten Schwellenwert liegt, d.h. ob die betroffenen Bildpunkte dunkler sind als der Schwellenwert, was auf die Präsenz eines Objekts 5 bzw. 5' hindeutet. Danach ermittelt ein Kantenerkennungsmodul 33 die Kanten für die im Prüfmodul 31 gewonnenen Objekt-Punkte. Hierbei wird für jeden Objekt-Bildpunkt überprüft, ob einer der vier benachbarten Bildpunkte in der Matrix bei der Prüfung im Prüfmodul 31 einen unterschiedlichen Wert geliefert hat. Ist dies der Fall, so wird dieser Bildpunkt als Kante definiert. In Fig. 8 ist schematisch in der Detaildarstellung in Fig. 8A ein von der Kamera 6 aufgenommenes Bild mit einem entsprechend den Helligkeitsunterschieden erkenntlichen Objekt (Hand 5'; vgl. auch Fig. 7A) gezeigt. In der Detaildarstellung von Fig. 8B sind die Bildpunkte veranschaulicht, die unterhalb des im Kalibriermodul 30 automatisch ermittelten Schwellenwerts liegen. In Fig. 8C ist ersichtlich, wie im Zuge der Kantenerkennung (Kantenerkennungsmodul 33 in Fig. 5) eine Bildpunkte-Reduktion dadurch erfolgt, dass dann, wenn ein Bildpunkt inmitten eines größeren Objekts liegt (vgl. z.B. den Bildpunkt in Spalte 3/ Zeile 4), dieser Bildpunkt aus der Bildpunktmenge herausfällt, wogegen jene Bildpunkte, bei denen einer der Nachbarbildpunkte nicht unter dem Schwellenwert liegt, als Kante erkannt und markiert werden.

Anschließend erfolgt in einem Umrisserkennungsmodul 34 eine Umrissermittlung für die so erhaltenen Kanten, wobei die zuvor ermittelten Bildpunkte (siehe Fig. 8C) nunmehr dahingehend überprüft werden, ob innerhalb einer definierten Anzahl von Bildpunkten eine Kante bzw. eine Änderung des bei der Schwellenwertsprüfung (Prüfmodul 31) ermittelten Wertes auftritt. Ist dies der Fall, so handelt es sich nicht um einen Umriss des zu erkennenden Objekts, z.B. 5', wodurch diese Bildpunkte ausgeschlossen werden. Dies trifft beispielsweise auf die Bildpunkte in den Spalten 5 und 6, Zeilen 3 und 5 zu. Die verbleibenden Bildpunkte definieren den Umriss des Objekts 5'. Dieser Umriss, der von der Bilderkennungseinheit 7 berechnet wird, ist auch in Fig. 7B bei 35 angedeutet. In einem anschließenden Flächenschwellenwerts- Prüfmodul 36 (siehe Fig. 5) wird für jeden Bildpunkt der relevanten Bildpunktmenge ermittelt, ob es sich bei den unmittelbar benachbarten Bildpunkten ausschließlich um Punkte unterhalb des im Modul 30 ermittelten Schwellenwerts handelt. Ist dies der Fall, so werden diese Bildpunkte aus der relevanten Biiapunktemenge entfernt, wie dies etwa bei den Biidpunkten in Spaite 2/Zeiie 2 sowie Spalte 7/Zeile 4 gemäß Fig. 8E der Fall ist.

Von einem nachfolgenden Umrissrastermodul 37 werden die relevanten Bildpunkte sowohl horizontal als auch vertikal auf ein regelmäßiges Raster aufgelegt. Der beispielsweise verwendete Abstand des Rasters beträgt sowohl horizontal als auch vertikal jeweils zwei Bildpunkte. Dabei fallen gemäß der Darstellung in Fig. 8F die Punkte 3/3, 3/5, 7/3, 7/5 (jeweils: Spalten -Nr./Zeilen - Nr.) aus der Menge der relevanten Bildpunkte heraus.

Danach wird in einem Begrenzungsflächen-Schwellenwertsprüfmodul 38 für jeden Bildpunkt ermittelt, ob innerhalb eines definierten Abstandes (Seitenlänge der in der Render-Engine 11 10 AT 503 008 B1 verwendeten Begrenzungsfläche) ein weiterer Bildpunkt aus der Menge der relevanten Bildpunkte vorkommt; ist dies der Fall, so wird dieser Bildpunkt ebenfalls eliminiert. Gemäß Fig. 8F trifft dies für die Punkte 4/4, 5/2 und 5/6 zu. Gemäß Fig. 8G verbleiben somit beispielsweise die Punkte 2/4, 4/3, 4/5, 6/2 und 6/6. Diesen Punkten werden vergleichsweise größere Begrenzungsflächen zugeordnet, und die so erhaltenen Daten werden nun an die Render-Engine 11 übermittelt. Das entsprechende Ergebnis dieser Bildverarbeitung der Hand 5' ist auch in Fig. 7C bei 35' veranschaulicht.

Anhand der Fig. 6 soll nun abschließend noch die automatische Schwellenwertseinmessung beschrieben werden, die gemäß der Darstellung in Fig. 5 im Kalibriermodul 30 erfolgt. Diese Schwellenwertseinmessung oder Kalibrierung wird vom System 1 jeweils durchgeführt, sobald ein anderer Inhalt angezeigt wird, also beispielsweise jede Minute. Der Grund für diese automatische Kalibrierung ist wie erwähnt die geeignete Anpassung des Systems an die Umgebungshelligkeit, was aufgrund wechselnder Lichtverhältnisse in relativ kurzen Intervallen notwendig ist.

Gemäß Fig. 6 wird in einem Schwellenwerttestmodul 41 eine Ermittlung jener Bildpunkte durchgeführt, die unterhalb eines vordefinierten Schwellenwerts liegen. Dieser Vorgang und der vordefinierte Schwellenwert dienen dazu, einen Basiswert für die folgende automatische Schwellenwertseinmessung zu generieren.

Gemäß einem nachfolgenden Modul 42 ist eine Ermittlung des Erkennungsgrades vorgesehen, wobei festgestellt wird, welcher Prozentsatz der Bildpunkte mit der aktuellen Schwellenwertseinstellung im vom System 1 als Objekt 5' erkannten Bereich, also oberhalb des Schwellenwerts, liegt. Danach erfolgt ein Schwellenwertsminimumtest 43, bei dem festgestellt wird, ob ein zu definierender Mindest-Prozentsatz der Bildpunkte oberhalb des vordefinierten Schwellenwerts liegt. Wenn dies der Fall ist, wird zu einem Schwellenwertreduktionsmodul 44 weitergegangen, wo gegebenenfalls der aktuelle Schwellenwert, der den Minimumtest gemäß Modul 43 erfüllt, um einen vom Scheduler-Modul 13 übergebenen Prozentsatz (Anpassungsfaktor) erniedrigt oder erhöht wird. Die Übergabe dieses Faktors erfolgt vom Scheduler-Modul 13 getrennt, für jeden unterschiedlichen Inhalt, der vom System 1 angezeigt werden soll, also beispielsweise einmal pro Minute. Dadurch kann auch auf die Art der angezeigten Inhalte eingegangen werden, indem vom Scheduler-Modul 13 der Anpassungsfaktor für unterschiedliche Inhalte verschieden definiert wird.

Wenn im Modul 43 das Testergebnis negativ ist, d.h. der vordefinierte Prozentsatz der Bildpunkte nicht oberhalb des Schwellenwerts liegt, wird nach einer neuerlichen Prozentbestimmung in einem Modul 42' (ähnlich dem Modul 42) eine Schwellenwertserhöhung durchgeführt, die den aktuellen Schwellenwert um einen zu definierenden Wert erhöht. Diese Schwellenwertserhöhung wird gemäß einem Modul 45 in Fig. 6 durchgeführt. Im Anschluss daran erfolgt gemäß einem Testmodul 46 ein Schwellenwertsvergleich, der den aktuellen Schwellenwert mit dem Schwellenwert aus der vorhergegangenen Berechnung des letzten von der Kamera 6 gelieferten Bildes vergleicht. Dieser Schwellenwertsvergleich gemäß Modul 46 wird durchgeführt, um zu verhindern, dass der Schwellenwert innerhalb einer automatischen Sch wellen wertseinmes-sungs- Periode absinkt. Erst bei einem neuerlichen Anstoß der automatischen Schweiien-wertseinmessung kann es zu einer Festlegung eines geringeren Schwellenwertes kommen. Damit kann sich die automatische Schwellenwertseinmessung den Gegebenheiten anpassen, sollte beispielsweise eine Person 5 zum Zeitpunkt der Schwellenwertseinmessung auf der interaktiven Fläche 3 stehen und diese vor der nächsten Schwellenwertseinmessung verlassen. Umgekehrt wird der Schwellenwert bewusst nicht verändert, wenn nach der erfolgten Schwellenwertseinmessung oder Kalibrierung eine Person 5 auf die interaktive Fläche 3 tritt.

Ist nun der aktuelle Schwellenwert größer als der vorhergehende Schwellenwert, so wird in einem Reduktionsmodul 47 eine Reduktion des Schwellenwertes durchgeführt, wobei im Einzelnen der aktuelle Schwellenwert um einen zu definierenden Wert reduziert wird. Im Anschluss

Claims (14)

1. AT 503 008 B1

   1 1 daran wird zum Minimumtest-Modul 43 zurückgekehrt, und diese Schleife wird solange durchlaufen, bis der Prozentsatz der Bildpunkte, die oberhalb des Schwellenwertes liegen sollen, erreicht wird, wonach zum Modul 44 übergegangen wird. Patentansprüche: 1. Interaktives optisches System (1) mit mindestens einem Projektor (2) zum Projizieren von Bildern, insbesondere Videos, auf eine als Interaktionsfläche (3) vorgesehene Projektionsfläche, mit mindestens einer Bildaufnahmeeinheit (6), insbesondere Kamera, zum Aufnehmen der Interaktionsfläche (3), mit einer der Bildaufnahmeeinheit (6) zugeordneten Bilderkennungseinheit (7) zum Erkennen von einem oder mehreren Objekten, insbesondere Personen, im Bereich der Interaktionsfläche, und mit einer Steuereinheit (8; 11), die mit der Bilderkennungseinheit (7) verbunden ist, zum Auslösen von Steuervorgängen, insbesondere unter Ansteuerung des Projektors (2), abhängig von den erkannten Objekt-Bildern, dadurch gekennzeichnet, dass die Bilderkennungseinheit (7) ein Helligkeitsbewertungsmodul (71) enthält, um das oder die Objekte (5; 5') aus den Daten des aktuellen von der Bildaufnahmeeinheit (6) gelieferten Bildinhalts (Frame) und auf der Basis von Helligkeitsunterschieden zur Interaktionsfläche (3) zu erkennen.
2. 2. System nach Anspruch 1, dadurch gekennzeichnet, dass dem Helligkeitsbewertungsmodul (7) ein Kalibriermodul (30) zugeordnet ist, um die Grund-Helligkeit der Interaktionsfläche (3), insbesondere zyklisch in vorgegebenen Zeitintervallen, unabhängig von den vom Projektor (2) projizierten Inhalten zu ermitteln und einen zugehörigen Basis-Schwellenwert als Vergleichswert für die Helligkeitserkennung durch das Helligkeitsbewertungsmodul (7') zu bestimmen.
3. 3. System nach Anspruch 2, dadurch gekennzeichnet, dass ein Vorgabemodul (13) zum Liefern eines Schwellenwerts-Anpassungsfaktors (32) mit dem Kalibriermodul (30) verbunden ist.
4. 4. System nach Anspruch 3, dadurch gekennzeichnet, dass am Vorgabemodul (13) der Schwellenwert-Anpassungsfaktor (32) abhängig vom Inhalt der projizierten Bilder einstellbar ist.
5. 5. System nach Anspruch 4, dadurch gekennzeichnet, dass der Schwellenwert-Anpassungsfaktor (32) abhängig von den vom Helligkeitsbewertungsmodul (7') erkannten Helligkeitswerten am Vorgabemodul (13) einstellbar ist.
6. 6. System nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mit dem Helligkeitsbewertungsmodul (7') ein Kantenerkennungsmodul (33) verbunden ist.
7. 7. System nach Anspruch 6, dadurch gekennzeichnet, dass mit dem Kantenerkennungsmodul (33) ein Umrisserkennungsmodul (34) verbunden ist.
8. 8. Verfahren zum Extrahieren von Interaktionen in einem optischen System (1), wobei Bilder, insbesondere Videos, mit Hilfe mindestens eines Projektors (2) auf eine als Interaktionsfläche (3) vorgesehene Projektionsfläche projiziert werden, und die Interaktionsfläche (3) mit Hilfe mindestens einer Bildaufnahmeeinheit (6), insbesondere Kamera, aufgenommen bzw. abgefilmt wird, um ein oder mehrere etwaige Objekte, (5; 5') insbesondere Personen, im Bereich der Interaktionsfläche (3) zusammen mit letzterer aufzunehmen und mittels einer Bilderkennungseinheit (7) zu erkennen, dadurch gekennzeichnet, dass das oder die Objekte (5; 5') mittels der Bilderkennungseinheit (7) aus den Daten des aktuellen von der Bildaufnahmeeinheit (6) gelieferten Bildinhalts (Frame) durch Verarbeiten von Helligkeitsunterschieden zwischen Objekt (5; 5') und Interaktionsfläche (3) in einem Helligkeitsbewer- 1 2 AT 503 008 B1 tungsmodul (7') erkannt wird bzw. werden.
9. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in einem oder mehreren Kalibrierschritten ein Basis-Schwellenwert, entsprechend der Grund-Helligkeit der Interaktionsfläche (3) unabhängig von den vom Projektor (2) projizierten Inhalten, als Vergleichswert für die Helligkeitsdifferenzerkennung im Helligkeitsbewertungsmodul (7‘) bestimmt wird.
10. 10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Kalibrierung zyklisch, in vorgegebenen Zeitintervallen, z.B. entsprechend 1 Minute, durchgeführt wird.
11. 11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Kalibrierung entsprechend einem vorgebbaren, insbesondere variablen Schwellenwert-Anpassungsfaktor (32), durchgeführt wird.
12. 12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Schwellenwert-Anpassungsfaktor (32) in Abhängigkeit vom Inhalt der projizierten Bilder eingestellt wird.
13. 13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass die Bilder bei der Verarbeitung der Helligkeitsunterschiede auf darin vorhandene Kanten detektiert werden.
14. 14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass nach der Kantendetektion eine Umrisserkennung durchgeführt wird, um nicht zu Umrissen gehörige Kanten auszuscheiden. Hiezu 5 Blatt Zeichnungen