DE10163648A1 - Interaktives Projektions- und Eingabesystem - Google Patents

Abstract

Die Erfindung betrifft ein interaktives Projektionssystem mit einer Projektionswand (2), auf die Bilder projizierbar sind, welche wenigstens einen Eingabebereich (9) für Eingaben durch Systembenutzer enthält, und mit einer Berührungsbetätigungen des Eingabebereichs (9) erkennenden Bildaufnahme- und -auswertungseinrichtung (5-8). Erfindungsgemäß sind die Projektionsbilder auf der in Projektionsrichtung hinteren Seite der Projektionswand sichtbar und diese Seite ist für Berührungsbetätigungen des Eingabebereichs vorgesehen, so dass durch die Eingaben die Bildprojektion nicht gestört wird. In dem Projektionssystem sowie unabhängig davon ist ein Eingabesystem mit einer Eingabebereiche enthaltenden Eingabefläche und einer Berührungsbetätigung der Eingabebereiche erkennenden Bildaufnahme- und -auswerteinrichtung verwendbar. Erfindungsgemäß weist die Bildaufnahme- und -auswerteinrichtung wenigstens eine Abbildungseinrichtung (5, 6) mit einer sich parallel zu der Eingabefläche erstreckenden Abbildungsachse auf.

Description

• Die Erfindung betrifft ein interaktives Projektionssystem mit einer Projektionswand, auf die Bilder projizierbar sind, welche wenigstens einen Eingabebereich für Eingaben durch Systembenutzer enthält, und mit einer Berührungsbetätigungen des Eingabebereichs erkennenden Bildaufnahme- und -auswertungseinrichtung sowie ein in diesem System verwendbares Eingabesystem.
• Projektionssysteme solcher Art sind aus der EP 0 055 366 A2, der DE 197 08 240 A 1 sowie der WO 95/34881 bekannt. Das auf die Projektionswand zu projizierende, z. B. Textinformation enthaltende Bild wird durch einen Rechner erzeugt. Die Bildaufnahme- und -auswertungseinrichtung steht mit dem Rechner in Verbindung, wobei vor allem die Auswertungskomponenten dieser Einrichtung durch Software gebildet sind. Eine elektronische Kamera erfasst das auf die Projektionswand geworfene Bild. Die Bildaufnahme- und -auswertungseinrichtung untersucht, ob in einem Eingabebereich ein Finger eines Benutzers oder ein durch diesen verwendeter Zeigestab erscheint und erzeugt ein Schaltsignal, welches eine dem betreffenden Eingabebereich zugewiesene Rechnerfunktion auslöst, z. B. einen Wechsel des zu projizierenden Bildes. Der Finger des Benutzers bzw. der Zeigestab ist insoweit mit einem auf einem Computerbildschirm bewegbaren Mauszeiger gleichzusetzen.
• Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein neues Projektionssystem der eingangs erwähnten Art zu schaffen, das gegenüber den bekannten Systemen dieser Art eine störungsfreiere Bildprojektion- und -auswertung ermöglicht.
• Das diese Aufgabe lösende Projektionssystem nach der Erfindung ist dadurch gekennzeichnet, dass die Bilder auf der in Projektionsrichtung hinteren Seite der Projektionswand sichtbar sind und diese Seite für Berührungsbetätigungen des Eingabebereichs vorgesehen ist.
• Bei dem System nach dem Stand der Technik erfolgen Eingaben auf der Projektionsseite, wobei der Systembenutzer störend in den Projektionskegel eingreift. Durch die Erfindung wird ein solcher Eingriff vermieden. Ferner lässt sich das neue System vorteilhaft in Fällen anwenden, in denen der Systembenutzer zu den Systemkomponenten, außer zu der Projektionswand, möglichst keinen Zugang haben soll. Als Projektionswand kann z. B. eine Schaufensterscheibe dienen, wobei von innen Projektionsbilder auf die Scheibe geworfen werden. Ein interessierter Betrachter kann nun von außen Eingaben vornehmen und hierdurch z. B. weitere Informationen durch Wechsel des Projektionsbildes erhalten.
• Entsprechend der vorangehend beschriebenen Ausführungsform kommt also eine durchsichtige Projektionswand in Betracht, wobei die Projektionswand insbesondere ein Teil einer Fensterscheibe sein kann. Daneben erscheint die Verwendung eines durchscheinenden Materials, z. B. einer dünnen Textil- oder Kunststofflage, ohne weiteres denkbar. Eine Glasscheibe kann innenseitig mit einer durch Lichtstreuung die Erzeugung des Projektionsbildes fördernden Folie oder einem solchen Belag versehen sein oder ein Hologramm aufweisen.
• In einer Ausführungsform der Erfindung weist die Bildaufnahme- und -auswertungseinrichtung eine Abbildungseinrichtung mit einer sich schräg zu Projektionswand erstreckenden optischen Achse derart auf, dass in das Gesichtsfeld der Abbildungseinrichtung neben dem projizierten Bild nur ein den Zeigefinger umfassender Teil des Armes eines auf die Berührungsbereiche etwa senkrecht zur Projektionswand zugreifenden Benutzers fällt. Bei dieser Ausführungsform wird das durch die Bildaufnahme- und -auswertungseinrichtung bei Abwesenheit des Betrachters erfasste Projektionsbild nur durch den Arm des Benutzers verändert. Zur Erkennung einer Berührungsbetätigung kann vorteilhaft ein Differenzbildauswerfverfahren durchgeführt werden, bei dem der Informationsgehalt von Bildpunkten eines elektronisch gespeicherten Standardbildes ohne Berührungsbetätigung mit den entsprechenden Bildpunkten eines Istbildes verglichen und so eine bildliche Veränderung des Eingabebereichs durch die Hand des Benutzers erfasst wird.
• Neben einer Differenzbildauswertung kann die Bildaufnahme- und -auswertungseinrichtung zur Erkennung oder Betätigung der Eingabebereiche auch anhand einer Umrisserkennung oder/und Auswertung von Helligkeits- oder Farbunterschieden vorgesehen sein.
• In einer weiteren Ausführungsform der Erfindung weist die Bildaufnahme- und -auswertungseinrichtung wenigstens eine Abbildungseinrichtung mit einer sich parallel zur Projektionswand erstreckenden Abbildungsachse auf. Vorteilhaft lässt sich bei dieser Ausführungsform ein streifenförmiger, längsseits an die Projektionswand angrenzender Gesichtsfeldausschnitt auswerten, welcher neben einem geeignet auswählbaren, von Konturen und Linien freien Hintergrund ggf. nur den auf einen Eingabebereich gerichteten Zeigefinger enthält.
• Zweckmäßig ist die optische Abbildungsachse auf einen solchen Hintergrund gerichtet, gegen den sich der Zeigefinger in Helligkeit und Farbe abhebt, wobei Helligkeitsunterschiede durch geeignete Beleuchtung des Fingers noch betont werden können. Im Falte der Verwendung eines Schaufensters als Projektionswand könnte den Hintergrund z. B. ein dunkler matter, diffus streuender Fensterrahmen bilden, zu dem der Finger in Helligkeit und ggf. Farbe im Kontrast steht.
• In weiterer Ausgestaltung der Erfindung kann die Bildaufnahme- und -auswerfeinrichtung zur Bestimmung der Position eines bestimmten Punktes des abgebildeten Zeigefingers des Benutzers vorgesehen sein und z. B. die Spitze oder den Schwerpunkt des Fingers ermitteln. Durch diese Maßnahme ergibt sich eine höhere Auflösung in bezug auf die Zuordnung der Fingerposition zu dem Eingabebereich.
• Vorteilhaft weist die Bildaufnahme- und -auswerfeinrichtung wenigstens einen in Projektionsrichtung im Halbraum hinter der Projektionswand angeordneten Umlenkspiegel und eine im Halbraum vor der Projektionswand angeordnete, auf den Umlenkspiegel gerichtete Kamera auf. Die Kamera ist so vor unerwünschten Zugriffen von außen geschützt. Andererseits ließe sich die Kamera verhältnismäßig zugriffssicher auch vor der Schaufensterscheibe innerhalb des Schaufensterrahmens unterbringen.
• In dem vorangehend beschriebenen interaktiven Projektionssystem sowie unabhängig davon lässt sich das eingangs erwähnte Eingabesystem verwenden, das eine Eingabebereiche enthaltende Eingabefläche und eine Berührungsbetätigung der Eingabebereiche erkennende Bildaufnahme- und -auswerfeinrichtung aufweist, und dadurch gekennzeichnet, dass die Bildaufnahme- und -auswerfeinrichtung wenigstens eine Abbildungseinrichtung mit einer sich parallel zu der Eingabefläche erstreckenden Abbildungsachse umfasst. Die Eingabefläche dieses Eingabesystems kann nicht nur durch Rückprojektion erzeugte Bilder aufweisen, sondern auch durch Aufprojektion, durch eine Bildröhre, z. B. eines EDV-Monitors oder Bilder, die in anderer Weise temporär erzeugt sind. Alternativ kann die Eingabefläche mit einem dauerhaften, statischen Bild versehen sein, das neben Bildinformationen z. B. Textinformationen enthält, z. B. einen Fahrplan.
• Die Erfindung soll nun anhand von Ausführungsbeispielen und der beiliegenden, sich auf diese Ausführungsbeispiele beziehenden Zeichnungen näher erläutert werden. Es zeigen:
• Fig. 1 ein erstes Ausführungsbeispiel für ein interaktives Projektionssystem nach der Erfindung in einer schematischen Darstellung,
• Fig. 2 ein zweites Ausführungsbeispiel für ein Projektionssystem nach der Erfindung,
• Fig. 3 eine die Funktion der Projektionssysteme von Fig. 1 und 2 erläuternde Darstellung, und
• Fig. 4 eine Teilansicht eines dritten Ausführungsbeispiels für ein erfindungsgemäßes Projektionssystem.
• Fig. 1 zeigt eine Schaufensterscheibe 1. Ein mittlerer Abschnitt der Schaufensterscheibe 1 bildet eine durchsichtige Projektionswand 2, in die ein Hologramm eingearbeitet ist. Von außen gesehen hinter dem Schaufenster im Gebäudeinneren ist ein Projektor 3 angeordnet. Der Projektor 3 enthält ein Display zur Erzeugung von Bildern, die er auf die Projektionswand 2 wirft.
• Der Projektor 3 ist mit einem Rechner 4 verbunden, welcher Daten für die Bilderzeugung auf dem genannten Display liefert. In der Mitte an einem oberen Rahmenteil und einem seitlichen Rahmenteil des Schaufensters (Rahmenteile nicht gezeigt) ist jeweils eine elektronische Kamera 5 bzw. 6 angebracht. Die optische Achse ihrer Abbildungseinrichtungen erstreckt sich im Abstand von wenigen Zentimetern jeweils parallel zur Projektionswand 2, wobei die optischen Achsen bei diesem Ausführungsbeispiel zueinander genau senkrecht stehen. Abweichend von der vorangehend beschriebenen Kameraanordnung könnten die Kameras auch in den Rahmenecken platziert oder mehr als zwei Kameras vorgesehen sein.
• Die elektronischen Kameras 5 und 6 sind über einen Multiplexer 7 verbunden, welcher die Signale beider Kameras vorverarbeitet und dem Rechner 4 zuleitet.
• Das Bezugszeichen 8 weist auf eine Bildauswertungseinrichtung hin, die in Verbindung mit dem Rechner 4 durch im Rechner installierte Software gebildet ist.
• Bei 9 ist auf der Projektionswand 2 ein Eingabebereich zur Berührung durch einen Finger 10 eines Betrachters auf der Außenseite des Schaufensters vorgesehen, welcher ein von innen durch den Projektor 3 auf die Projektionswand 2 geworfenes Bild betrachtet, das z. B. Textinformationen über das zu dem Schaufenster gehörende Handelsgeschäft enthalten kann. Die Berührungsbereiche brauchen auf der Projektionswand 2 nicht wie gezeigt durch eine Rahmenabbildung kenntlich gemacht, sondern nur virtuell vorhanden und im Rechner 4 durch Programmierung abgelegt zu sein.
• Der Betrachter wird durch die Textinformationen ggf. zu Eingaben aufgefordert, damit er z. B. durch Wechsel des auf die Projektionswand 2 geworfenen Bildes weitere Informationen erhält.
• Zwecks Eingabe berührt der Betrachter den Eingabebereich 9 mit dem Zeigefinger 10, der nun im Gesichtsfeld der Kameras 5 und 6 erscheint.
• Gemäß Fig. 3 wertet die Bildauswertungseinrichtung 8 einen Bildausschnitt 11 des Bildes der Kamera 5 sowie einen Bildausschnitt 12 des Bildes der Kamera 6 aus. Diese Bildausschnitte entsprechen Gesichtsfeldausschnitten, die längs an die Projektionswand 2 bzw. Schaufensterscheibe 1 angrenzen und jeweils einen Rahmenteil des Schaufensters 1 zum Hintergrund haben. Die Bildausschnitte 11 und 12 liegen in dem Ausführungsbeispiel auf der optischen Achse der jeweiligen Abbildungseinrichtung der elektronischen Kameras 5 und 6 und sind so ausgerichtet, dass die betreffenden Randseiten der Projektionswand 2 jeweils in der Mitte des Gesichts- bzw. Abbildungsfeldes liegen. Abweichend hiervon wäre zur Festlegung entsprechender Bildausschnitte der gesamte Abbildungsbereich der Kamera verwertbar, und die Kamera ließe sich so ausrichten, dass irgendeine Abbildungsachse parallel zum Schaufenster verläuft. Vertikale Begrenzungen der Projektionswand 2 sind in Fig. 3 durch Linien 13 und 14 und horizontale Begrenzungen der Projektionswand durch Linien 15 und 16 angedeutet. In den Bildausschnitten 11 und 12 erscheint eine Zeigefingerabbildung 17 bzw. 17'.
• Der Rechner 4 ermittelt Koordinaten X' und Y', unter denen die Zeigefingerabbildung 17 in den Bildausschnitten 11 und 12 erscheint. Die Koordinaten X' und Y' beziehen sich auf einen bestimmten Punkt des Fingers, z. B. seinen Schwerpunkt oder die Fingerspitze.
• Die die Position des Fingers vor der Projektionswand 2 eindeutig kennzeichnenden, den Kamerabildern entnommenen Koordinaten X' und Y' werden im Rechner 4 in karthesische, auf die Projektionswand bezogene Koordinaten X, Y überführt. Auch der Eingabebereich 9 ist rechnerintern in solchen karthesischen Koordinaten abgelegt.
• Der durch den Fensterrahmen gebildeten Hintergrund ist in dem betreffenden Ausführungsbeispiel dunkel, so dass sich der Finger deutlich vor ihm abhebt. Im Rechner 4 erfolgt eine Diskriminierung des Hintergrundes, was die Bestimmung der Position des Fingers erleichtert. Ferner kann die Innenfläche des Rahmens geneigt sein, so dass störende Lichtreflektionen vermieden werden.
• Stellt der Rechner 4 fest, dass eine Fingerabbildung 17 bzw. 17' in den Bildausschnitten 11 und 12 erscheint und die ermittelte Fingerposition in einen Eingabebereich fällt, kann ein Schaltsignal ausgelöst werden, das maßgebend für weitere, vom Rechner 4 ausgeführte Arbeitsschritte ist. Wie bereits erwähnt, kann durch dieses Schaltsignal ein Bildwechsel des auf der Projektionswand 2 erzeugten Projektionsbildes ausgelöst werden, wobei das neue Bild wiederum Eingabebereiche für weitere Schalteingaben enthalten kann.
• Maßgebend für das vorangehend erwähnte Schaltsignal ist die Registrierung eines Zugriffs auf den Eingabebereich, also ein Zustandwechsel. Daneben sind weitere, andere Computerfunktionen auslösende Schaltsignale erzeugbar. Verharrt z. B. der Zeigefinger länger als eine vorgeschriebene Dauer auf den Eingabebereich, so kann damit ein weiteres Schaltsignal verknüpft sein. Zweimaliges Antippen des Eingabebereichs, wobei der Finger innerhalb eines bestimmten Zeitrahmens zweimal in dem Bildausschnitt 11, 12 erscheint, kann z. B. dem Doppelklick mit einer Computermaus entsprechen. Auf diese Weise lassen sich alle durch eine Computermaus erzeugbaren unterschiedlichen Signale bilden.
• Es wird nun auf Fig. 2 Bezug genommen, wo eine durch eine Schaufensterscheibe 1a eines Schaufensters gebildete Projektionswand 2a in gleicher Weise wie bei dem Ausführungsbeispiel von Fig. 1 durch einen Projektor (nicht gezeigt) angestrahlt wird. Im Unterschied zu dem Ausführungsbeispiel von Fig. 1 sind Kameras 5a und 6a jedoch nicht in Projektionsrichtung hinter der Projektionswand 2a, sondern im Gebäudeinneren davor angeordnet. Die Kameras 5a und 6a sind jeweils auf einen Spiegel 18 bzw. 19 gerichtet. Die Anordnung der Kameras und der Spiegel ist so gewählt, dass die gleichen Gesichtsfelder wie bei dem Ausführungsbeispiel von Fig. 1 abgebildet werden, nur in entgegengesetzter Blickrichtung.
• Bei dem Ausführungsbeispiel von Fig. 4 ist eine einzige elektronische Kamera 20 auf ein durch einen Projektor 3b auf eine durchsichtige Projektionswand 2b geworfenes Bild gerichtet und die optische Achse ihrer Abbildungseinrichtung schräg verlaufend zu der Projektionswand 2b so angeordnet, dass in einen das Projektionsbild erfassenden Gesichtsfeldausschnitt nur ein Teil eines zur Schalteingabe vorgestreckten Arms fällt. Wenn man dafür sorgt, dass sich der durch den Gesichtsfeldausschnitt erfasste Hintergrund oberhalb des Arms nicht ändert. Zur Ermittlung der Fingerposition kann hier zweckmäßig ein Bilddifferenzauswerfverfahren angewandt werden, bei dem der am höchsten gelegene Bildbereich ermittelt wird, der verändert ist. Letztere Änderung muß durch zur Eingabe den auf die Projektionswand 2b aufgesetzten Zeigefinger bewirkt sein.
• Abweichend von der in Fig. 4 gezeigten Position ließe sich die Kamera 20 im Projektionshalbraum auch an beliebigen anderen Stellen, z. B. neben dem Projektor oder oberhalb des Projektionskegels, anordnen. Auch in diesen Fällen lässt sich die Zeigefingerposition durch ein Differenzbildverfahren ermitteln.
• Es versteht sich, dass zur Berührungsbetätigung nicht unbedingt eine Berührung der Projektionswand bzw. Eingabefläche erfolgen muß, sondern auch eine Annäherung ausreichend sein kann.
• Einer oder mehrere Eingabebereiche können in bezug auf die Projektionswand feststehend oder in Zahl und Anordnung auf der Wand variabel an unterschiedliche projizierte Bilder gekoppelt sein.
• Zweckmäßig registriert die Bildauswertungseinrichtung Bewegungen des Zeigefingers in Echtzeit.
• Es versteht sich, dass bei Verwendung mehrerer Kameras mit parallel zur Eingabefläche verlaufenden Abbildungsachsen auch ein nur angenähert paralleler Verlauf möglich ist, derart, dass die den Finger oder das Zeigeelement erfassenden Kameras die betreffenden, den Finger oder ein Zeigeelement enthaltenden Bildfeldausschnitte von der Schaufensterinnenseite her schräg durch die Fensterscheibe hindurch erfassen.

Claims (12)

1. Interaktives Projektionssystem mit einer Projektionswand (2), auf die Bilder projizierbar sind, welche wenigstens einen Eingabebereich (9) für Eingaben durch Systembenutzer enthält, und mit einer Berührungsbetätigungen des Eingabebereichs (9) erkennenden Bildaufnahme- und -auswertungseinrichtung (5-8), dadurch gekennzeichnet, dass die Bilder auf der in Projektionsrichtung hinteren Seite der Projektionswand (2) sichtbar sind und diese Seite für Berührungsbetätigungen des Eingabebereichs (9) vorgesehen ist.

2. Projektionssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Projektionswand (2) durchsichtig ist.

3. Projektionssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Projektionswand (2) durch einen Teil einer durchsichtigen Scheibe (1) gebildet ist.

4. Projektionssystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung eine Abbildungseinrichtung (20) mit einer sich schräg zur Projektionswand (2b) erstreckenden optischen Achse derart aufweist, dass in das Gesichtsfeld der Abbildungseinrichtung (20) neben dem projizierten Bild nur ein den Zeigefinger umfassender Teil des Arms eines auf den Eingabebereich etwa senkrecht zur Projektionswand (2b) zugreifenden Benutzers fällt.

5. Projektionssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung (5-8) wenigstens eine Abbildungseinrichtung (5, 6) mit einer sich parallel zur Projektionswand (2) erstreckenden Abbildungsachse aufweist.

6. Projektionssystem nach Anspruch 5, dadurch gekennzeichnet, dass die Abbildungsachse auf einen Hintergrund gerichtet ist, gegen welchen sich der Zeigefinger (10) eines den Eingabebereich (9) mit dem Zeigefinger (10) betätigenden Benutzers abhebt.

7. Projektionssystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung (5-8) zur Bestimmung der Position eines bestimmten Punktes des abgebildeten Zeigefingers eines Benutzers vorgesehen ist, vorzugsweise der Fingerspitze oder des Schwerpunkts.

8. Projektionssystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung (5-8) einen in Projektionsrichtung in dem Halbraum hinter der Projektionswand (2a) angeordneten Umlenkspiegel (18, 19) und eine im Halbraum vor der Projektionswand angeordnete, auf den Umlenkspiegel (18, 19) gerichtete Kamera (5a, 6a) umfasst.

9. Projektionssystem nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung (5-8) zur Erkennung der Betätigung des Eingabebereichs basierend auf einer Differenzbildauswertung, einer Umrisserkennung oder/und einer Auswertung von Helligkeits- und Farbunterschieden vorgesehen ist.

10. Eingabesystem mit einer, Eingabebereiche enthaltenden Eingabefläche und einer Berührungsbetätigungen der Eingabebereiche erkennenden Bildaufnahme- und -auswertungseinrichtung (5-8), dadurch gekennzeichnet, dass die Bildaufnahme- und -auswertungseinrichtung (5-8) wenigstens eine Abbildungseinrichtung (5, 6) mit einer sich parallel zu der Eingabefläche erstreckenden Abbildungsachse aufweist.

11. Eingabesystem nach Anspruch 10, dadurch gekennzeichnet, dass die Eingabefläche ein durch Rückprojektion, Aufprojektion, eine Bildröhre oder in anderer Weise temporär erzeugtes Bild aufweist.

12. Eingabesystem nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Eingabefläche ein dauerhaftes Bild aufweist.