DE10360952A1

DE10360952A1 - Vorrichtung und Verfahren zur Interaktion zwischen einem Objekt und einer graphisch darstellbaren Benutzeroberfläche

Info

Publication number: DE10360952A1
Application number: DE2003160952
Authority: DE
Inventors: Jan Dipl.-Ing. Stallkamp
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2003-12-23
Filing date: 2003-12-23
Publication date: 2005-07-28

Abstract

Beschrieben werden eine Vorrichtung sowie ein Verfahren zur Interaktion zwischen einem Nutzer und einer graphischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale. DOLLAR A Die Erfindung zeichnet sich dadurch aus, dass eine Referenzfläche vorgesehen ist, die der Benutzeroberfläche räumlich fest zugeordnet ist, dass wenigstens zwei Beobachtungseinrichtungen beabstandet zueinander vorgesehen sind, die jeweils eine parallel oder weitgehend parallel zur Referenzfläche orientierte Beobachtungsachse, die innerhalb oder im Bereich der Referenzfläche verläuft, und jeweils einen in der Referenzfläche liegenden Beobachtungswinkel zur Erfassung der gesamten Referenzfläche aufweisen, dass eine Auswerteeinheit vorgesehen ist, die ein von den Beobachtungseinrichtungen erfasstes, nutzerspezifisches Annäherungsereignis an die Referenzfläche zur Ermittlung einer den Ort des Annäherungsereignisses relativ zur Referenzfläche beschreibenden Orts-Information auswertet, und dass ein Signalgenerator vorgesehen ist, der in Abhängigkeit der ermittelten Orts-Information das nutzerspezifische Signal erzeugt.

Description

Technisches Gebiet
Die Erfindung bezieht sich auf eine Vorrichtung sowie ein Verfahren zur Interaktion zwischen einem Nutzer und einer graphischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale.
Mit der Durchdringung der Informationstechnik in vielen Bereichen des Lebens wächst zugleich auch der Bedarf an einem universalen Zugang zu Informationen und letztlich an hierfür erforderlichen technischen Schnittstellen zum Bediener zu derartigen Informationssystemen.

Eine besondere Bedeutung in diesem Zusammenhang kommt Eingabegeräten mit grafischen Benutzeroberflächen zu, die eine Ein- und Ausgabe auch von komplexeren Informationen gestatten. Besondere technische Schwierigkeiten beim Einsatz derartiger Eingabegeräten treten jedoch in Arbeitsbereichen mit extremen Umgebungsbedingungen auf, wie sie beispielsweise unter sterilen Umgebungen vorherrschen, wie beispielsweise in klinischen Operationsbereichen oder Reinräumen, wie sie aus Bereichen der Halbleiterfertigung bekannt sind. Umgekehrt stellen auch stark verschmutzte Umgebungen hohe Anforderungen an derartige Eingabegeräte, die trotz starken Verunreinigungen sowie auch mechanischen Belastungen störungsfrei bedienbar sein sollen. Für derartige Einsatzbereiche sind bei Interaktionen mit grafischen Oberflächen spezielle Lösungen erforderlich, die einerseits eine Kapselung zum Schutz der elektronischen Komponenten aufweisen sollten, andererseits jedoch auch die direkte Interaktion bzw. Eingabemöglichkeit ungehindert ermöglichen sollen.

Stand der Technik

Neben den bekannten Lösungen grafische Oberflächen mit Hilfe von Tastaturen, Schaltern oder Knöpfen zu bedienen, sind darüber hinaus spezialisierte Lösungen für die Bedienung grafischer Benutzeroberflächen nach dem so genannten Touch-Screen-Prinzip bekannt. Äußerlich bestehen Touch-Screens aus einer transparenten Scheibe oder Folie, die auf ein normales Display aufgesetzt oder aufgeklebt wird.

Wie der Name bereits sagt setzen Touch-Screens, unabhängig ihres kapazitiven oder resistiven Funktionsprinzips voraus, dass zur ihrer Ansteuerung bzw. Aktivierung ein unmittelbarer Druck bzw. Kontakt mit der Touch-Screen-Oberfläche zu erfolgen hat. Dies führt dazu, dass derartige Funktionsoberflächen in einer nur eingeschränkten Weise zu Zwecken eines Umgebungsschutzes gekapselt werden können, möchte man verhindern, dass der Bedienkomfort sowie auch die gesamte Bedienbarkeit keinen Schaden nehmen soll. So eignen sich lediglich dünne Schutzfolien zum Oberflächenschutz von Touch-Screens. Insofern eignen sich an sich bekannte Touch-Screens nur für relativ geringe Schutzklassen.

Der Begriff „Schutzklassen" bezieht sich auf einen genormter Industriestandard, durch den festgelegt ist, welchen Umweltbelastungen hinsichtlich Berührung, Fremdkörper- und Feuchtigkeitsschutz ein System ausgesetzt werden kann, ohne dabei selbst Schaden zu nehmen. Die Schutzklassen werden in IP-Normen angegeben, die eine zweistellige Zifferkombination enthalten und den jeweiligen Schutzgrad angeben. Die erste Ziffer spezialisiert dabei die Schutzklasse für Berührungs- und Fremdkörperschutz, die zweite Ziffer für Wasserschutz und Feuchtigkeit. Grundsätzlich reichen IP-Normen von 0 bis 68, d.h. also von vollständig ungeschützt bis hin zu staubdicht und geschützt gegen die Wirkungen beim dauernden Untertauchen in Wasser. Im Lichte dieser Schutzklasseneinteilung ist leicht nachvollziehbar, dass mit Hilfe handelsüblicher Touch-Screen-Technik Schutzklassen von > 65, d.h. staubdicht und zumindest geschützt gegen starkes Strahlwasser, nur äußerst bedingt erreichbar sind. So sind höhere IP-Klassen interessant für Anwendungen, in denen Temperatursicherheit sowie Resistenz gegen Chemikalien, wie bspw. bei Reinigungs- und Sterilisiationsverfahren, eine zentrale Rolle spielen.

Die gleiche Beurteilung trifft auch auf die so genannten Touch-Pads zu, die häufig bei Laptops oder vergleichbaren Geräten eingesetzt werden und in den meisten Fällen aus einer drucksensitiven Fläche bestehen.

Die vorstehend zum Stand der Technik zählenden Techniken zur Interaktion mit einem Informationssystem über eine zumeist grafisch dargestellte Benutzeroberfläche beruht auf der körperlichen Kontaktierung mit einer technisch ausgebildeten Interaktionsebene. Demgegenüber sind berührungslos arbeitende Eingabesysteme bekannt, wie beispielsweise das so genannte „Inertialtracking". Bei diesem Verfahren wird eine mit Inertialsensoren ausgerüstete Pointereinheit bewegt, deren Inertitalsensoren nach vorheriger Kalibrierung relativ zu einer Benutzeroberfläche bewegt werden und durch die Bewegung die aktuelle Position der Pointereinheit ermittelt wird. Neben derzeit noch technischen Schwierigkeiten, die mit der Drift der Sensoren zusammenhängen, sind es insbesondere die zu hohen Kosten für präzise arbeitende Sensorsysteme, die einem zukunftsnahen Einsatz im Wege stehen.

Auch sind elektromagnetische Tracking-Systeme bekannt, die gleichsam eine Pointereinheit vorsehen, die relativ zu einer grafischen Benutzeroberfläche bewegbar ist und mehrere orthogonal zueinander angeordnete Empfangsspulen vorsieht. Wird die Pointereinheit innerhalb eines stationären elektromagnetischen Gradientenfeldes bewegt, so kann die relative Position der Pointereinheit in Bezug zu einer Referenzposition ermittelt werden. Gleichsam dem Inertialtracking-System erfordert auch das elektromagnetische Tracking überaus hohe Investitionskosten und gestattet überdies lediglich den Einsatz in einem Umfeld ohne magnetisierbare Materialien.

Schließlich ist das so genannte Kamera-Tracking-Verfahren bekannt, das im einfachsten Fall eine Kamera vorsieht, die vorzugsweise senkrecht zur Benutzeroberfläche angeordnet und die Bewegung eines Pointers erfasst. Die relative Ortsauflösung der Pointerbewegung kann mit Hilfe an sich bekannter Bildverarbeitungsprogrammen ermittelt werden. Erheblich aufwendiger in diesem Zusammenhang sind Verfahren, bei denen zwei oder drei Kameras in einer definierten Position auf einen Träger montiert sind und auf dem Pointer angebrachte IR-Dioden oder IR-Reflektoren segmentieren und in eine räumliche Korrelation zueinander bringen. Auch kann in diesem Fall durch Kalibrierung der Pointerposition eine relative Position exakt ermittelt werden.

Schließlich ist es auch möglich, einen Pointer mit einer Ultraschallquelle zu versehen, der durch entsprechende Triggerung von geeignet im Raum angebrachten Mikrofonen geortet werden kann. Nachteilig ist jedoch, dass Ultraschall wegen seiner Eigenschaften im Nahfeld und der Klimaabhängigkeit nur bei größeren Distanzen und Toleranzen eine gewünschte Ortsauflösung ermöglicht.

Allen bisher bekannten Systemen zur sprachlosen Kommunikation mit Informationssystemen über entsprechend grafisch darstellbare Benutzeroberflächen haftet entweder der Nachteil einer nur ungenügenden Kapselbarkeit gegenüber extremen äußeren Umgebungsbedingungen an, oder die bekannten Interaktionssysteme sind technisch zu aufwendig und letztlich zu kostspielig.

Darstellung der Erfindung

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung sowie ein Verfahren zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale derart weiterzubilden, dass unter Verwendung möglichst einfacher und kostengünstiger Mittel eine kompakt und robuste Eingabemöglichkeit geschaffen wird, die selbst bei äußerst widrigen Umgebungsbedingungen eine ungehinderte und einfache Kommunikation mit einem Informationssystem ermöglicht. Die Vorrichtung soll eine hermetische Kapselung erlauben, die auch zu Zwecken einer Sterilisierung den hohen Dichtigkeitsanforderungen einer Autoklavierung, d.h. hohe Resistenz gegenüber Chemikalien sowie Temperatur, Stand hält. Der Schutzklassenstandard IP >> 65 soll erreicht werden, d.h. staubdicht und geschützt gegen die Wirkungen beim andauernden Untertauchen in Wasser.

Die Lösung der der Erfindung zugrunde liegenden Aufgabe ist im Anspruch 1 angegeben. Gegenstand des Anspruchs 15 ist ein Verfahren zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale. Den Erfindungsgedanken vorteilhaft weiterbildende Merkmale sind Gegenstand der Unteransprüche sowie unter Bezugnahme auf die weiteren Ausführungsbeispiele aus dem Beschreibungstext zu entnehmen.

Erfindungsgemäß ist eine Vorrichtung zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale dadurch ausgebildet, dass eine Referenzfläche vorgesehen ist, die der Benutzeroberfläche räumlich fest zugeordnet ist. In einem einfachsten Fall können Referenzfläche und Benutzeroberfläche zusammenfallen. In Fällen, in denen bspw. über der graphischen Benutzeroberfläche eine transparente Schutzschicht vorgesehen ist, ist die Referenzfläche identisch zur Oberfläche der Schutzschicht, also von der Benutzeroberfläche räumlich getrennt angeordnet.

Ferner sind wenigstens zwei Beobachtungseinrichtungen beabstandet zueinander vorgesehen, die jeweils parallel oder weitgehend parallel zur Referenzfläche orientierte Beobachtungsachsen aufweisen, die innerhalb oder im Bereich der Referenzfläche verlaufen. Darüber hinaus sehen die Beobachtungseinrichtungen jeweils einen zur Referenzfläche lateralen Beobachtungswinkel vor, der es ermöglicht, die gesamte Referenzfläche für jede einzelne Beobachtungseinrichtung zu erfassen. Eine Auswerteeinheit wertet ein von den Beobachtungseinrichtungen erfasstes, nutzerspezifisches Annäherungsereignis an die Referenzfläche zur Bestimmung einer den Ort des Annäherungsereignisses relativ zur Referenzfläche repräsentierenden Orts-Information, die wiederum einem Signalgenerator zugeführt wird, der in Abhängigkeit der ermittelten Ort-Information ein nutzerspezifisches Signal erzeugt.

Unter dem Begriff „Annäherungsereignis" ist eine räumliche Annäherung eines beliebigen Objektes an die Referenzfläche zu verstehen. Im praktischen Sinne ist damit eine Annäherung der Hand oder eines Fingers einer Person gemeint, die zur Informationseingabe über die graphische Benutzeroberfläche, bspw. einen Finger an einem bestimmten Ort der Referenzfläche absetzt, an dem an der Benutzeroberfläche ein Bedienfeld graphisch dargestellt ist. Wird ein Mindestabstand zwischen bspw. dem Finger und der Referenzfläche unterschritten, so wir diese Annäherung als ein Eingabevorgang gewertet. Nicht notwendigerweise muss hierbei der Finger die Referenzoberfläche körperlich berühren, zumal die von den Beobachtungseinrichtungen erfassten Bildausschnitte den Spaltabstand zwischen bspw. dem Finger und der Referenzfläche mit einer ausreichenden Präzision erfassen. Zusätzlich ist es möglich bei einem Kontaktvorgang bspw. beim Finger oder bei einem geeigneten Zeigegerät eine Formänderung durch die Kameras feststellen, z.B. der aufgedrückte Daumen wird breiter etc.. Derartige Deformationen können durchaus auch als quantitatives und qualitatives Berührungskriterium herangezogen werden.

Die erfindungsgemäße Vorrichtung bedient sich somit der optischen Überwachung der Referenzoberfläche, wobei die Blickrichtungen der beiden Beobachtungseinrichtungen über den seitlichen Rand der Referenzfläche hinweg, die Ebene der Referenzfläche erfassen. Es ist leicht verständlich, dass bei einer derartigen Blickrichtung Annäherungsereignisse an die Referenzfläche seitlich zur Annäherungsrichtung erfasst werden, wodurch der Annäherungsabstand genau detektierbar ist.

Für den Fall eines einfachsten Ausführungsbeispiels, bei dem die Referenzfläche identisch ist zur grafischen Benutzeroberfläche, sind die beiden Beobachtungseinrichtungen jeweils als zwei Kameras ausgebildet, vorzugsweise als CCD-Kameras. Die Kameraobjektive der jeweiligen Kameras weisen einen in der Referenzfläche orientierten Öffnungswinkel auf, so dass die Referenzfläche von jeder einzelnen Kamera vollständig erfasst wird. Da ein Annäherungsereignis aus zwei unterschiedlichen Blickwinkeln mit Hilfe der zwei Kameras erfasst wird und diese zueinander einen bekannten Abstand aufweisen, ist es im Wege geometrischer Bilddatenauswertung möglich, den exakten Ort in Bezug auf die Referenzfläche zu ermitteln. Mit Hilfe dieser Orts-Information, die letztlich einem vom Nutzer auf der grafischen Benutzeroberfläche dargestellten und aktivierbaren Bedienfeld entspricht, wird ein nutzerspezifisches Signal von einem Signalgenerator erzeugt, das zur weiteren Bearbeitung an entsprechend an den Signalgenerator angeschlossene elektrische Komponenten weitergeleitet wird.

Der wesentliche Aspekt der erfindungsgemäßen Vorrichtung zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche besteht darin, dass durch die erfindungsgemäße optische Überwachung einer zur grafischen Benutzeroberfläche korrespondierenden Referenzfläche keinerlei weitere Hilfsmittel erforderlich sind, bis auf das Vorsehen zweier Beobachtungseinrichtungen, die mittels üblicher Gehäusefenstertechnik innerhalb eines die gesamte Benutzeroberfläche hermetisch umgebenden Gehäuses integrierbar sind. Somit sind keinerlei berührempfindliche, wärmeempfindliche oder hinsichtlich elektromagnetischer Wechselwirkung sensible Sensorvorkehrungen zu treffen, die eine gewünschte Gehäusekapselung zumindest erschweren oder gar unmöglich machen.

Die erfindungsgemäße Vorrichtung macht überdies den Einsatz speziell ausgebildeter Pointer entbehrlich und gestattet eine nutzerspezifische Signalauslösung durch bloße Annäherung an die Referenzfläche mit dem Finger. Darüber hinaus bedarf es keiner zusätzlichen Beleuchtungserfordernisse, zumal die Beleuchtung durch das Display mit einer der GUI erfolgt, d.h. Graphical User Interface, sofern gewährleistet ist, dass die grafische Benutzeroberfläche genügend hell ausgeleuchtet ist, um eine physiologisch angenehme visuelle Wahrnehmung beim Nutzer zu gewährleisten. Dies kann einerseits durch ein selbst leuchtendes Display oder durch eine konventionelle Beleuchtung der grafischen Benutzeroberfläche längs der Blickrichtung der jeweiligen Kameraachsen realisiert werden.

Der entscheidende Vorteil der erfindungsgemäßen Vorrichtung besteht jedoch in der Möglichkeit der vollständigen Kapselung ohne die Funktion des Interaktionssystems einzuschränken, wie insbesondere die weiteren Ausführungen unter Bezugnahme auf das Ausführungsbeispiel zeigen werden.

Erfindungsgemäß zeichnet sich überdies ein Verfahren zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale dadurch aus, dass die Benutzeroberfläche oder eine der Benutzeroberfläche räumlich fest zugeordnete Referenzfläche mittels wenigstens zwei Beobachtungseinrichtungen optisch derart erfasst wird, dass von beiden Beobachtungseinrichtungen ein nutzerspezifisches Annäherungsereignis an der Benutzeroberfläche oder Referenzfläche erfassbar ist. Bei Unterschreiten eines Mindestabstandes zwischen dem Nutzer und der Benutzeroberfläche oder Referenzfläche wird ein Annäherungsereignis festgestellt und einen im Ort des Annäherungsereignisses relativ zur Referenzfläche beschreibende Orts-Information ermittelt. Vorzugsweise erfolgt dies im Wege einer Bildverarbeitung unter Zugrundelegung trigonometrischer Beziehungen. Auf der Grundlage der so gewonnenen Orts-Information wird letztlich das nutzerspezifische Signal erzeugt.

Kurze Beschreibung der Erfindung
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen exemplarisch beschrieben. Es zeigen:
1 schematisierte Darstellung einer grafischen Benutzeroberfläche mit der erfindungsgemäßen Anordnung wenigstens zweier Beobachtungseinrichtungen in Drauf- und Seitensichtdarstellung,
2 Darstellungen zur Beschreibung eines Annäherungsereignisses auf der Benutzeroberfläche, sowie
3a, b schematisierte Darstellung der Vorrichtung zur Interaktion mit gekapseltem Gehäuse.
Wege zur Ausführung der Erfindung, gewerbliche Verwendbarkeit
In 1 ist eine schematisierte Darstellung einer erfindungsgemäßen Vorrichtung zur Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche 1 zur Erzeugung nutzerspezifischer Signale, durch die letztlich elektrische Geräte bzw. Komponenten ansteuerbar sind, dargestellt. Seitlich neben einer grafischen Benutzeroberfläche 1 sind zwei als Beobachtungseinrichtungen 2 ausgebildete CCD-Kameras angeordnet, deren Beobachtungsfelder 3, 4 vorzugsweise in der Ebene der grafischen Benutzeroberfläche 1 liegen. Dem von jeder Kamera 2 aufgenommene Beobachtungsfeld 3, 4, kann ein Beobachtungsvolumen zugeordnet werden, das eine dreieckförmige Grundfläche und eine senkrecht dazu begrenzte Höhe aufweist. Das Beobachtungsvolumen enthält vollständig die Referenzfläche bzw. die Benutzeroberfläche 1. Somit kann auch der Raumbereich oberhalb und gegebenenfalls auch unterhalb der Referenzebene erfasst und überwacht werden.
In der in 1 dargestellten Bilddarstellung entspricht die obere Darstellung einem Schnitt senkrecht zur grafischen Benutzeroberfläche 1 und die untere Darstellung einer Draufsicht auf die grafische Benutzeroberfläche 1. Im gezeigten Ausführungsbeispiel sind die grafische Benutzeroberfläche 1 und die vorstehend zitierte Referenzfläche identisch und fallen infolgedessen zusammen. Die beiden CCD-Kameras 2 weisen einen definierten Abstand D auf und verfügen überdies über Kameraoptiken, die einen in der Ebene der grafischen Benutzeroberfläche 1 liegenden Öffnungswinkel vorsehen, durch den jede einzelne CCD-Kamera 2 die gesamte grafische Benutzeroberfläche 1 erfasst (dies ist jeweils durch die in der unteren Darstellung in 1 dargestellten schraffierten Beobachtungsfelder 3, 4 hervorgehoben). Durch die erfindungsgemäße Kameraanordnung relativ zur grafischen Benutzeroberfläche 1, in deren Ebene in dem gezeigten Ausführungsbeispiel die Beobachtungsachsen beider Kameras 2 liegen, kann ein Annäherungsereignis, bspw. ein Aufsetzen eines Fingers oder Pointers auf die Benutzeroberfläche 1, optisch derart erfasst werden, dass der Spalt bzw. ein definierter minimaler Abstand zwischen Finger bzw. Pointer und der Benutzeroberfläche 1 detektierbar ist. Im Falle des Unterschreitens eines Minimalabstandes wird das Annäherungsereignis als Berührung gewertet und mit Hilfe eines geeigneten Signalgenerators ein nutzerspezifisches Signal generiert. Voraussetzung hierfür ist jedoch die Ermittlung des genauen Ortes relativ zur Benutzeroberfläche, an der das Annäherungsereignis bzw. das Berührereignis letztlich stattfindet. Zur Bildauswertung, der von den CCD-Kameras 2 erfassten Bilddaten dient eine Frame Grabber- Einheit 5 und eine sich daran anschließende softwaregestützte Bildverarbeitungseinheit 6, durch die letztlich die genaue Ortsinformation erhältlich ist. Die Ermittlung der Ortsinformation x, y soll anhand von 2 näher erläutert werden.
2 zeigt wiederum eine Draufsicht-Darstellung auf die grafische Benutzeroberfläche 1 mit den seitlich zu ihr angeordneten CCT-Kameras 2, die zueinander einen definierten Abstand D aufweisen. Es sei angenommen, dass ein Pointer 7 auf die Benutzeroberfläche 1 an einem bestimmten Aufsetzpunkt P (x, y) aufgesetzt wird (siehe hierzu Seitenbilddarstellung mit vergrößerter Detailansicht). Der in der Detailansicht dargestellte Bildausschnitt entspricht dem von einer Kamera 2 aufgenommenen Videobild und verdeutlicht, dass es mit Hilfe der erfindungsgemäßen Kameraanordnung möglich ist, den Spaltabstand s zwischen dem Pointer 7 und der grafischen Benutzeroberfläche 1 exakt zu erfassen. Wird ein vorher bestimmter Minimalabstand zwischen Pointer 7 und Benutzeroberfläche 1 unterschritten, so kann das Annäherungsereignis als eine vom Nutzer bestimmte Berührung aufgefasst werden, der ein bestimmter Interaktionswunsch zugrunde liegt.
Zur Beurteilung, ob eine Berührung vorliegt oder nicht, wie es aus der Detaildarstellung in 2 hervorgeht, ist es zudem nicht notwendigerweise erforderlich, dass die Beobachtungsachse der Kameras 2 längs der Benutzeroberfläche oder in einer der Benutzeroberfläche 1 fest zugeordneten Referenzfläche liegt, vielmehr ist es auch möglich, die Beobachtungsachse unter einem kleinen Winkel schräg zur Benutzeroberfläche anzustellen, etwa im Bereich zwischen –10° ≤ α ≤ 10°.
Zur Bestimmung des Aufsetzpunktes P (x, y) werden nach entsprechender Kalibrierung die Winkel α1 und α2 (siehe 2) in Bezug auf das durch die Koordinatenachsen x und y festgelegte Kamerabezugsystems berechnet. Es ergeben sich hierdurch die Geraden g1 und g2, deren Schnittpunkt P (x, y), gemessen in Pixel oder mm, den Aufsetzpunkt beschreibt. Für die Geraden g1 und g2 gilt:
Auf der Grundlage des mit Hilfe der Geraden-Schnittpunkts-Ermittlung gewonnenen Aufsetzpunktes P (x, y) ist ein räumlich fester Bezug zwischen dem Aufsetzpunkt und beispielsweise einem auf der Benutzeroberfläche grafisch vorgegebenen Bedienfeld hergestellt, so dass mit Hilfe eines geeigneten Signalgenerators ein nutzerspezifisches Signal erzeugbar ist.
Handelt es sich um größere Benutzeroberflächen oder um Benutzerobertlächenformen, die nicht durch zwei Kameras zur optischen Erfassung vollständig überwacht werden können, so ist je nach Einsatzzweck die Verwendung auch von mehreren Kameras denkbar.
Das vorstehend beschriebene Ausführungsbeispiel für eine Vorrichtung zur gezielten Interaktion zwischen einem Nutzer und einer grafischen Benutzeroberfläche ermöglicht in vorteilhafter Weise den Einsatz innerhalb eines vollständig hermetisch gekapselten Gehäuses, so dass die Interaktion mit entsprechenden Elektronikkomponenten auch unter extremen Umgebungsbedingungen möglich wird, wie eingangs beschrieben. Im Ausführungsbeispiel der 3a und b ist der innere Rahmen eines Interaktionssystems für den sterilen Bereich innerhalb eines Operationssystems dargestellt. 3a zeigt das Interaktionssystem ohne und 3b mit Gehäusekapselung. Die grafische Benutzeroberfläche 1 ist in einem Zentrierrahmen 10 gefasst. Die Oberfläche der grafischen Benutzeroberfläche 1 ist zum Schutz gegenüber äußeren Umgebungsbedingungen mit einer lichttransparenten Schutzschicht 8 abgedeckt. Unterhalb der Benutzeroberfläche 1 sind zwei CCD-Kameras 2 (nur eine sichtbar dargestellt) platz sparend angebracht, deren Kamerablickrichtung jeweils über eine Prismenanordnung 9 periskopartig räumlich umgelenkt wird. Die optische Umlenkung der Kamerablickrichtung erfolgt derart, dass die Beobachtungsachse jeder einzelnen Kameraeinheit 2 in der Ebene der lichttransparenten Schutzschicht 8 zu liegen kommt, längs der es gilt, Berührereignisse optisch festzustellen.
In 3b umgibt ein hermetisch abgedichtetes, isoliertes Gehäuse 13 die in 3a dargestellten Komponenten, so insbesondere auch all jene elektrischen Komponenten, die für eine funktionelle Interaktion erforderlich sind. Das isolierte Gehäuse weist zwei Öffnungen 12 auf, durch die die prismatischen Endbereiche der Prismenanordnung 9 hindurch ragen. Zur hermetischen Abdichtung dieser Öffnungen sind die Endbereiche mit nicht weiter dargestellten Glaskuppeln zu umgeben, so dass einerseits eine hermetische Abdichtung des Gehäuses 13 gegenüber der Umgebung gewährleistet ist und andererseits eine freie optische Übersicht über die gesamte von der transparenten Schutzschicht 8 überdeckten grafischen Benutzeroberfläche 1 ermöglicht wird.

1: Grafische Benutzeroberfläche
2: Kamera
3, 4: Blickfeld, Kamerasektoren
5: Frame-Grabbereinheit
6: Bildverarbeitungs-Segmentierungs-Algorithmus
7: Pointer
8: Lichttransparente Schutzschicht
9: Prismenanordnung
10: Zentrierrahmen
11: Halterahmen
12: Öffnung

Claims

Vorrichtung zur Interaktion zwischen einem Nutzer und einer graphischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale, dadurch gekennzeichnet, – dass eine Referenzfläche vorgesehen ist, die der Benutzeroberfläche räumlich fest zugeordnet ist, – dass wenigstens zwei Beobachtungseinrichtungen beabstandet zueinander vorgesehen sind, die jeweils eine parallel oder weitgehend parallel zur Referenzfläche orientierte Beobachtungsachse, die innerhalb oder im Bereich der Referenzfläche verläuft, und jeweils einen in der Ebene der Referenzfläche liegenden Beobachtungswinkel zur Erfassung der gesamten Referenzfläche aufweisen, – dass eine Auswerteeinheit vorgesehen ist, die ein von den Beobachtungseinrichtungen erfasstes, nutzerspezifisches Annäherungsereignis an die Referenzfläche zur Ermittlung einer den Ort des Annäherungsereignis relativ zur Referenzfläche beschreibenden Orts-Information auswertet, und – dass ein Signalgenerator vorgesehen ist, der in Abhängigkeit der ermittelten Orts-Information das nutzerspezifische Signal erzeugt.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzfläche die Benutzeroberfläche ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzfläche koplanar zur Benutzeroberfläche ausgebildet ist und gegenüber dieser beabstandet angeordnet ist.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die wenigstens zwei Beobachtungseinrichtungen jeweils eine Kamera, vorzugsweise eine CCD-Kamera, aufweisen.
Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Beobachtungseinrichtungen seitlich neben der Referenzfläche mit einem Abstand D zueinander angeordnet sind.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Beobachtungsachse mit der Referenzfläche einen Winkel –10° ≤ α ≤ 10° einschließt.
Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Beobachtungsachse einen senkrechten Abstand d zur Referenzfläche mit 0 ≤ d ≤ 10 mm, vorzugsweise 0 ≤ d ≤ 2 mm, aufweist.
Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Auswerteeinheit eine bild verarbeitende Einheit aufweist.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteeinheit eine Frame-Grabber-Einheit aufweist.
Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Auswerteinheit einen Abstands-Diskriminator vorsieht, der nur bei Unterschreiten eines Mindestabstandes zwischen dem Nutzer und der Referenzfläche ein Signal generiert.
Vorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die graphische Benutzeroberfläche eine Bildschirmoberfläche einer Monitoreinheit ist.
Vorrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die wenigstens zwei Beobachtungseinrichtungen, die Auswerteeinheit und der Signalgenerator in einem hermetisch abgeschlossenen Gehäuse vorgesehen sind.
Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Benutzeroberfläche Teil des Gehäuses ist oder die Benutzeroberfläche mit einer transparenten Abdeckung versehen ist.
Vorrichtung nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass das Gehäuse fluiddicht und autoklavierbar ist.
Vorrichtung nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Beobachtungseinrichtungen jeweils ein Beobachtungsvolumen erfassen, das durch eine dreieckförmige Grundfläche und durch ein normal zu dieser Grundfläche orientiertes Dickenmass defniert ist, und dass innerhalb des Beobachtungsvolumens die Referenzfläche liegt.
Verfahren zur Interaktion zwischen einem Nutzer und einer graphischen Benutzeroberfläche zur Erzeugung nutzerspezifischer Signale, dadurch gekennzeichnet, dass die Benutzeroberfläche oder eine der Benutzeroberfläche räumlich fest zugeordneten Referenzfläche mittels wenigstens zwei Beobachtungseinrichtungen optisch derart erfasst wird, dass von beiden Beobachtungseinrichtungen ein nutzerspezifisches Annäherungsereignis an der Benutzeroberfläche oder Referenzfläche erfassbar ist, dass bei Unterschreiten eines Mindestabstandes zwischen dem Nutzer und der Benutzeroberfläche oder Referenzfläche ein Annäherungsereignis festgestellt wird und eine den Ort des Annäherungsereignis relativ zur Referenzfläche beschreibende Orts-Information ermittelt wird, und dass in Abhängigkeit der ermittelten Orts-Information das nutzerspezifische Signal erzeugt wird.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die Bestimmung der Orts-Information im Wege einer Bildverarbeitung und unter Zugrundelegung trigonometrischer Beziehungen erfolgt.