-
Die Erfindung betrifft ein Verfahren zum Betrieb einer durch mit wenigstens einem Körperteil des menschlichen Körpers durchgeführten Gesten steuerbaren Eingabevorrichtung sowie eine Eingabevorrichtung.
-
Im Stand der Technik sind eine Vielzahl von Eingabevorrichtungen bekannt, die meist einer durch die Eingaben zu steuernden Zielvorrichtung zugeordnet sind. Als insbesondere im medizintechnischen Bereich nützliche Eingabemöglichkeit haben sich Gesten, die durch Körperteile des menschlichen Körpers realisiert werden, erwiesen. Derartige Gesten, die durch entsprechende Sensoreinrichtungen detektiert werden, können beispielsweise spezifische Systemfunktionen aufrufen oder sie vollständig oder teilweise steuern.
-
Ein weithin bekannte Art von Gesten sind sogenannte Touchgesten (Berührungsgesten), bei welchen mit Hilfe eines Fingers oder mehrerer Finger auf einer berührungsempfindlichen Oberfläche, beispielsweise einem Touchscreen, Gesten ausgeführt werden. Die berührungssensitive Oberfläche wirkt als Sensoreinrichtung und kann die Gesten entsprechend erkennen. Derartige Touchscreens sind im alltäglichen Gebrauch beispielsweise oft Tablet-Computern und dergleichen realisiert. Mit Hilfe solcher Berührungsgesten kann ein Benutzer über eine Eingabevorrichtung, beispielsweise einen Touchscreen, mit einer Zielvorrichtung interagieren. Je nach eingesetzter Technologie und Funktionalität können „Single-Touch“-Gesten und/oder „Multi-Touch“-Gesten erkannt und eingesetzt werden.
-
Der besondere Vorteil von berührungssensitiven Oberflächen im medizintechnischen Bereich ist dadurch gegeben, dass derartige Sensoreinrichtungen, beispielsweise durch Überzug mit einer Folie oder einer sonstigen Schicht, steril gestaltet werden können und somit beispielsweise bei Durchführung eines (minimalinvasiven) Eingriffes eine Steuerung von Zielvorrichtungen vom Eingriffsort aus erlauben können. So sind beispielsweise Röntgeneinrichtungen mit derartigen Eingabevorrichtungen bekannt, bei denen als Beispiel für eine Berührungsgeste mit einem einfachen Antippen der berührungssensitiven Oberfläche mit einem Finger („Single-Touch“-Geste) auf einem bestimmten Bereich, insbesondere eines Touchscreens, eine Funktion im Bildsystem geändert werden kann. Ein weiteres Beispiel ist die Veränderung der Zoomstufe eines auf einem Touchscreen angezeigten Röntgenbilds durch die Verkleinerung bzw. Vergrößerung des Abstands zwischen zwei gleichzeitig auf dem Touchscreen, konkret also der berührungssensitiven Oberfläche, aufsitzender Finger einer Hand („Multi-Touch“-Geste).
-
Neben diesen Berührungsgesten sind auch andere Gesten bekannt geworden, beispielsweise zunächst die sogenannten „In-Air-Gesten“, die auch als Luftgesten bezeichnet werden können. Dabei werden Bewegungen von Körperteilen eines Benutzers, beispielsweise von Fingern, Händen, Armen oder dem gesamten Körper, durch Sensoreinrichtungen, beispielsweise 3D-Kameras, erkannt. Die Messdaten der Sensoreinrichtung werden ausgewertet, um die Luftgesten zu erkennen und ein technisches System, also die Zielvorrichtung, anzusteuern. Diese Art von Gesten ist vorteilhaft, nachdem keinerlei Berührung der Eingabevorrichtung stattfinden muss, was ebenso im Hinblick auf die Sterilität Vorteile bietet.
-
Schließlich wurden im Stand der Technik auch bereits Augengesten bekannt, wobei Augenbewegungen oder Bewegungen des Augenlids durch Sensoreinrichtungen, beispielsweise eine Kamera, erkannt werden können, um bestimmte Funktionen einer Zielvorrichtung auszulösen. Ein konkretes Beispiel für solche Augengesten sind beispielsweise Blinzelgesten bei der Verwendung von sogenannten „Head-Mounted Displays“, mithin im Kopfbereich eines Benutzers zu befestigende Kopfvorrichtungen, die meist ein durch die Augen des Benutzers einsehbares Display als Anzeigevorrichtung umfassen. Über Augengesten können dann auf dem Display darzustellende Informationen verändert bzw. beeinflusst werden; es ist jedoch auch möglich, die Kopfvorrichtung als Eingabevorrichtung für eine sonstige Zielvorrichtung, insbesondere eine Medizintechnikvorrichtung, einzusetzen.
-
Ein Problem bei Verwendung solcher Gesten zur Steuerung von Eingabevorrichtungen bzw. über diese Zielvorrichtungen besteht in der „Usability“. Ein beispielsweise aus einer Eingabevorrichtung und einer Zielvorrichtung gebildetes technisches System weist bezüglich Gesten normalerweise keine Affordanzen auf, das bedeutet, es ist dem Benutzer nicht offensichtlich, welche Gesten verfügbar sind und welche Funktionen wie auf welche Gesten abgebildet sind. Dies kann zu einer schlechten Nutzbarkeit führen, beispielsweise also erhöhten Fehlerraten bei der Benutzung, einer verlängerten Dauer, bis ein Benutzer eine gewünschte Funktion im System verwenden kann, oder einer verringerten Benutzerzufriedenheit.
-
Für eine effektive und effiziente Nutzung von Gesten müssen dem Benutzer die gewünschten oder möglichen Gesten und deren Funktionen bewusst sein. Dabei ist die Stärke dieses Problems abhängig von verschiedenen Faktoren, beispielsweise der Anzahl, Komplexität und Konsistenz der eingesetzten Gesten. So kann das beschriebene Usability-Problem besonders stark sein, wenn eine große Anzahl von Gesten, komplexe Gesten (beispielsweise „Multi-Touch“-Gesten mit vielen Fingern) und inkonsistente Gesten (beispielsweise vom Systemzustand abhängige Gesten) verwendet werden.
-
Zur Lösung des Problems existieren bereits mehrere Ansätze im Stand der Technik. So ist es denkbar, Gesten und die zugeordnete Funktion in einer Bedienungsanleitung zu dokumentieren, so dass ein Benutzer entweder vor der Benutzung oder während der Benutzung der Eingabevorrichtung Informationen über die Gesten einholen kann, um diese dann entsprechend zur Steuerung der Zielvorrichtung zu verwenden.
-
Eine weitere bekannte Möglichkeit ist eine in das System aus Eingabevorrichtung und Zielvorrichtung integrierte Hilfefunktion, welche dem Benutzer auf Anfragen, ähnlich einer Bedienungsanleitung, Informationen über Gesten und deren Funktion liefert. Eine derartige Hilfefunktion kann den Benutzer beispielsweise Schritt für Schritt durch bestimmte Gesten führen, um diese offensichtlich und erlernbar zu machen.
-
Schließlich ist auch eine Einweisung denkbar, bei der einem Benutzer von einer weiteren Person erklärt wird, welche Gesten verfügbar sind und wozu sie dienen. Ebenso existiert die Möglichkeit, dass der Benutzer die Gesten durch zufälliges oder gewolltes Handeln herausfindet. Hierdurch erlernte Gesten können danach bei einer erneuten Benutzung wieder verwendet werden.
-
Eine weitere Möglichkeit ist die Verwendung von Standardgesten. Vor allem durch durch Gesten gesteuerte Geräte aus dem Consumer-Bereich haben sich, insbesondere im Fall von Berührungsgesten, bestimmte wenige Gesten als Standard für gewisse Systemfunktionen herausgebildet. Werden solche Standardgesten eingesetzt, kann es möglich sein, dass ein Benutzer Gesten richtig einsetzt, ohne diese vorher explizit gelernt haben zu müssen.
-
Der Erfindung liegt daher die Aufgabe zugrunde, eine verbesserte Möglichkeit zum Unterstützen eines Benutzers beim Erlernen von Gesten anzugeben, die insbesondere ein Erlernen von Gesten während der Bedienung der Zielvorrichtung über die Eingabevorrichtung erlaubt.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass bei Erfüllung einer automatisch überprüften, wenigstens eine Bedienaktion auswertenden Hilfebedingung automatisch eine wenigstens eine in einem aktuellen Betriebsmodus der Eingabevorrichtung und/oder eine durch sie steuerbaren Zielvorrichtung nutzbare Geste erläuternde Hilfsausgabe, insbesondere Hilfsdarstellung, und/oder eine anwählbare Hinweisdarstellung, bei deren Anwahl die Hilfsausgabe erfolgt, über eine Ausgabevorrichtung ausgegeben wird.
-
Erfindungsgemäß wird mithin vorgeschlagen, die Bedientätigkeit des Benutzers, sei es durch Gesten oder andere Bedienaktionen, zu beobachten, die entsprechenden Messdaten auszuwerten und abhängig von dieser Auswertung bei Erfüllung wenigstens einer Hilfebedingung Hilfsausgaben zur Verfügung zu stellen, die dem Benutzer das Erlernen von Gesten praktisch parallel zu seinen Bedienaktionen erlaubt. Bedienaktionen umfassen dabei nicht nur die Gesten, sondern können auch andere Handlungen seitens des Benutzers umfassen, die der Eingabe dienen, beispielsweise die Betätigung von Schaltern oder sonstigen Bedienelementen der Eingabevorrichtung. Dabei ist es zwar grundsätzlich denkbar, eine akustische Hilfsausgabe zu verwenden, bevorzugt ist es jedoch, eine visuelle Unterstützung in Form einer Hilfsdarstellung (Hilfsgraphik) auszugeben. Die Hilfsdarstellung (bzw. allgemeine Hilfsausgabe) soll den Benutzer über im aktuellen Betriebsmodus mögliche Gesten, insbesondere eine seiner aktuellen Bedienaktion zugeordnete Geste, und deren Funktion informieren. Dabei ist es weiterhin deutlich bevorzugt, wenn die Hilfsausgabe, insbesondere die Hilfsdarstellung, unmittelbar erfolgt und nicht erst nach einer Hinweisdarstellung, welche nur dann ausgegeben werden sollte, wenn der Darstellungsraum nicht ausreicht und nur die Möglichkeit verbleibt, den Benutzer über die Hinweisdarstellung auf die Verfügbarkeit der Hilfsausgabe hinzuweisen.
-
Dabei sei an dieser Stelle noch darauf hingewiesen, dass die Eingabevorrichtung auch einen integralen Teil der über sie steuerbaren Zielvorrichtung bilden kann und/oder die Eingabevorrichtung und die Zielvorrichtung ein technisches System bilden. Bei der Zielvorrichtung handelt es sich dabei bevorzugt um eine Medizintechnikvorrichtung, da sich die Verwendung von Gesten in diesem Bereich als besonders vorteilhaft erwiesen hat. Dies gilt insbesondere im Bereich von (gegebenenfalls minimalinvasiven) Eingriffen, die unter Bildüberwachung durchgeführt werden oder bei denen Behandlungseinrichtungen verwendet werden, so dass die Bildaufnahmeeinrichtungen oder Behandlungseinrichtungen über Gesten unter Aufrechterhaltung der Sterilität besonders vorteilhaft angesteuert werden können.
-
Zusammenfassend ermöglicht es die vorliegende Erfindung also, das Erlernen von Gesten dynamisch während der Bedienung zu ermöglichen. Die Hilfebedingung wertet entsprechend Bedienaktionen, mithin konkrete, auf die Bedienung gerichtete Handlungen des Benutzers aus. Insbesondere werden dabei auf in dem Betriebsmodus verfügbare Funktionen gerichtete Bedienaktionen, die nicht selbst Hilfefunktionen sind, ausgewertet. Die durch die Hilfebedingung ausgewerteten Bedienaktionen sind also insbesondere im aktuellen Betriebsmodus nutzbare oder sonstige Gesten oder aber Bedienfunktionen, die sich auf Funktionen beziehen, die auch über Gesten steuerbar sind. So ist es die aktive Benutzung von im aktuellen Betriebsmodus verfügbaren Funktionen, die das Ausgeben von Hilfsdarstellungen und somit ein Erlernen von Gesten erlaubt. Insbesondere muss dann ein vorheriger Wissensaufbau über verfügbare Gesten und deren Funktionsweise nicht zwingend notwendig sein.
-
Die Erfindung bringt vor allem den Vorteil mit sich, dass sich die hier beschriebene Lösung mit anderen Ansätzen zum Erlernen von Gesten problemlos kombinieren lässt. Es ist also beispielsweise möglich, einen Teil der verfügbaren und benötigten Gesten über eine Bedienungsanleitung vor der Benutzung eines Systems, einen anderen Teil über eine Hilfefunktion an der Eingabevorrichtung bzw. der Zielvorrichtung und wiederum einen anderen Teil durch die dynamischen Hilfsdarstellungen während der Benutzung zu erlernen. Selbst eine Vielzahl komplexer Gesten kann im Laufe der Zeit durch wiederholte Benutzung erlernt werden.
-
Wie bereits erwähnt wurde, ist die Verwendung einer Hinweisdarstellung eher als eine Ausnahme in bestimmten Fällen zu sehen. Ein Beispiel hierfür ist die Verwendung sogenannter Online-Gesten, also Gesten, die kontinuierlich während der Durchführung einer Funktion aufrecht erhalten werden, bei-spielsweise zur Größenveränderung einer Kollimation eines Flouroskopiegeräts durch eine „Multi-Touch“-Geste auf einem Touchscreen. Dabei kann es sinnvoll sein, dass nicht eine komplette Hilfsdarstellung angezeigt wird, sondern nur ein Hinweis, dass eine Hilfsdarstellung zur Verfügung steht, welche dann nach weiterer Interaktion angezeigt werden kann. Dies kann vor allem bei geringem Anzeigeplatz für die Hilfsdarstellung, beispielsweise einer kleinen Displaygröße von mobilen Bediengeräten mit Touchscreen, helfen, den Workflow des Benutzers nicht zu stören und trotzdem ein dynamisches Erlernen von Gesten zu ermöglichen.
-
Eine konkrete, vorteilhafte Ausgestaltung der vorliegenden Erfindung sieht vor, dass als Hilfebedingung überprüft wird, ob eine durch ein Bedienelement und/oder eine Geste auswählbare Funktion über das Bedienelement aktiviert wird. Es ist also denkbar, dass die gleiche Funktion an einer Eingabevorrichtung auf wenigstens zwei Arten ausgeführt werden kann. Ist eine über eine Geste aktivierbare Funktion gegeben, kann es denkbar sein, dass dieselbe Funktion auch durch einen Softwareschalter, einen Hardwareschalter und/oder ein sonstiges Bedienelement aktiviert werden kann. Wird nun die Funktion auf eine andere Weise als über die Geste selbst ausgeführt, ist es zweckmäßig, den Benutzer über die Möglichkeit der Verwendung der Geste zu informieren, so dass dynamisch genau zu diesem Zeitpunkt temporär die Hilfsdarstellung ausgegeben wird, welche den Benutzer über die Geste informiert, welche verwendet werden kann, um die gleiche Funktion zu aktivieren. Zweckmäßig wird, worauf im Folgenden noch näher eingegangen werden wird, die Hilfsdarstellung nur über einen kurzen Zeitraum eingeblendet, um den Benutzer nicht von anderen Aufgaben abzuhalten.
-
Alternativ oder zusätzlich kann es vorteilhaft sein, wenn als Hilfebedingung überprüft wird, ob der Benutzer eine in dem aktuellen Betriebsmodus nutzbare Geste und/oder eine unbekannte und/oder im aktuellen Betriebsmodus nicht nutzbare Geste ausführt. In dieser Ausgestaltung muss eine bestimmte Funktion nicht zwangsweise redundant über verschiedene Möglichkeiten der Eingabevorrichtung aufrufbar sein, sondern der Benutzer wird während dem bewussten oder unbewussten Ausprobieren von Gesten unterstützt. Dabei kann zum einen in einer bevorzugten Ausgestaltung auf erkennbare Gesten abgestellt werden, denen im aktuellen Betriebsmodus eine bestimmte Funktion zugewiesen ist. Wird eine derartige Geste erkannt, ist die Hilfebedingung erfüllt und es wird die Hilfsdarstellung eingeblendet. Auch in diesem Fall ist es zweckmäßig, wenn die Hilfsdarstellung nur für eine kurze Zeit eingeblendet wird, um den Benutzer nicht weiter zu stören. Besonders zweckmäßig ist es, dass bei einer zeitlich ausgedehnteren Geste die Hilfsdarstellung solange ausgegeben wird, wie die Geste ausgeführt wird, dass sich gezeigt hat, dass dann eine informative Wirkung ohne eine Behinderung im Workflow realisiert werden kann.
-
Denkbar ist es jedoch auch, ein Ausprobieren von Gesten seitens eines Benutzers zu detektieren, der offensichtlich im aktuellen Betriebsmodus nutzbare Gesten nicht kennt, das bedeutet, unbekannte und/oder im aktuellen Betriebsmodus nicht nutzbare Gesten ausführt. Während der Eingabevorrichtung gänzlich unbekannte Gesten schwerer zu detektieren sind, dies jedoch über geeignete Auswertungsalgorithmen durchaus möglich ist, ist es jedoch in den meisten Fällen realisierbar, grundsätzlich bei der Bedienung der Eingabevorrichtung verwendete, jedoch im aktuellen Betriebsmodus nicht vorgesehene Gesten zu detektieren. Führt der Benutzer eine derartige Geste aus, kann er ebenso durch eine Hilfsdarstellung auf die tatsächlich möglichen Gesten hingewiesen werden, wobei eine derartige Hilfsdarstellung in diesem Fall zweckmäßig alle im aktuellen Betriebsmodus möglichen Gesten enthalten kann.
-
Dies ist im Fall, in dem die Hilfebedingung für eine bestimmte, aktuell ausgeführte Geste eines Benutzers erfüllt ist, nicht zwangsläufig notwendig, denn dann kann sich die Hilfsdarstellung bevorzugt auf die detektierte Geste beziehen. Das ist insbesondere dann vorteilhaft, wenn der Benutzer eher zufällig die Geste durchführt, da er dann intuitiv darauf hingewiesen wird, dass er eine korrekte, nutzbare Bedienaktion für die Eingabevorrichtung durchführt.
-
Wie bereits erwähnt, wird das Verfahren bei einer das Vorliegen von im aktuellen Betriebsmodus nutzbaren Gesten auswertenden Hilfebedingung bevorzugt so realisiert, dass ein Benutzer bei seiner Bedientätigkeit möglichst wenig gestört wird, dennoch jedoch nützliche Informationen zu der Geste und ihrer Funktion erhält. Dann kann die Hilfsdarstellung jedes Mal, wenn die im aktuellen Betriebsmodus nutzbare Geste ausgeführt wird, auch ausgegeben werden. Es ist jedoch auch eine Ausgestaltung denkbar, dass in der Hilfebedingung bei einer in dem aktuellen Betriebsmodus nutzbaren Geste überprüft wird, ob diese erstmalig und/oder weniger als eine bestimmte Maximalzahl von Durchführungen durch den identifizierten Benutzer und/oder erstmalig in einem vorbestimmten Zeitraum ausgeführt wird. Auf diese Weise kann vermieden werden, dass ein Benutzer mit einer Hilfsdarstellung belästigt wird, die er überhaupt nicht mehr benötigt. Derartiges ist insbesondere zweckmäßig, wenn sich der Benutzer identifizieren lässt, so dass die Hilfsdarstellung beim erstmaligen Ausführen oder auch für eine bestimmte Anzahl von ersten Ausführungen der Geste einblenden lässt; ein ähnliches Resultat lässt sich dann, wenn sich der Benutzer nicht eindeutig identifizieren lässt, dadurch erreichen, dass die Anzeige der Hilfsdarstellung auf eine bestimmte Anzahl von Malen in einem vorbestimmten Zeitraum beschränkt wird.
-
Zur Identifikation des Benutzers kann vorgesehen sein, dass zur Benutzung der Zielvorrichtung, insbesondere über die Eingabevorrichtung, eingegebene Anmeldedaten verwendet werden und/oder für die Auswertung von Hilfebedingungen relevante Benutzungsdaten in einem Benutzerprofil abgespeichert werden. Insbesondere im Bereich von Medizintechnikvorrichtungen als Zielvorrichtungen ist es bekannt, dass sich Benutzer vor deren Benutzung anmelden, beispielsweise über die Eingabevorrichtung oder über eine weitere Eingabevorrichtung. Dann ist mithin bekannt, welcher Benutzer zurzeit Eingaben über die Eingabevorrichtung tätigt. Entsprechend kann die Anzeige der Hilfsdarstellungen auf den Kenntnisstand dieses Benutzers abgestellt werden, insbesondere dann, wenn entsprechende Informationen, beispielsweise die vorherige Benutzung von Gesten, in einem Benutzerprofil des identifizierten Benutzers abgespeichert werden.
-
Eine zweckmäßige Ausgestaltung der Erfindung sieht vor, dass die Hilfsdarstellung für einen vorbestimmten Zeitraum, insbesondere zwei bis zehn Sekunden, und/oder bis zur Beendigung der Durchführung einer durch die Hilfebedingung ausgewerteten Geste und/oder bis zur Durchführung einer Beendigungsbedienaktion ausgegeben wird. Dem liegt der Gedanke zugrunde, dass der Benutzer nur den positiven Nutzen aus der Hilfsdarstellung ziehen soll, durch diese jedoch nicht in seiner Bedientätigkeit eingeschränkt werden soll, weshalb die Hilfsdarstellung zweckmäßig nur für kurze Zeiträume angezeigt wird bzw. gezielt Zeiträume gewählt werden, in denen die Hilfsdarstellung die Bedientätigkeit des Benutzers nicht behindert oder einschränkt. Als besonders zweckmäßig hat sich bei zeitlich ausgedehnten Gesten ein Zeitraum bis zur Beendigung der Durchführung der Geste erwiesen; nachdem dies jedoch nicht für jede Geste der Fall ist, kann, insbesondere für sonstige Fälle, ein vorbestimmter Zeitraum vorgegeben werden, bis die Hilfsdarstellung wieder ausgeblendet wird. Denkbar ist es selbstverständlich auch, dass die Hilfsdarstellung bis zur Durchführung einer Beendigungsbedienaktion ausgegeben wird, mithin vom Benutzer gezielt wieder ausgeschaltet werden kann, was bevorzugt zusätzlich zu dem ohnehin beschränkten Zeitraum der Anzeige realisiert ist.
-
In konkreter Ausgestaltung kann die Hilfsdarstellung einen die Geste erläuternden Anteil und/oder einen die der Geste zugeordnete Funktion erläuternden Anteil umfassen. Beispielsweise ist es bei Berührungsgesten denkbar, dass die Hilfsdarstellung eine bevorzugt animierte Hand umfasst, die anzeigt, wie die Berührungsgeste durchzuführen ist; zudem kann, insbesondere bei mehreren Gesten dem die Geste erläuternden Anteil zugeordnet, ein die entsprechende Funktion erläuternder Anteil vorgesehen werden, beispielsweise für eine Routinefunktion einer kreisförmigen Bewegung einer Hand gezeigt werden, gemeinsam mit einer zugeordneten Texteinblendung „rotieren“. Entsprechend ist es besonders zweckmäßig, wenn wenigstens der die Geste erläuternde Anteil der Hilfsdarstellung animiert ist. Auf diese Weise können Gesten besonders vorteilhaft wiedergegeben werden.
-
Im Rahmen der vorliegenden Erfindung sind verschiedene Ausgabevorrichtungen für die Gesten denkbar, wobei bevorzugt eine Ausgabevorrichtung der Zielvorrichtung und/oder eine Ausgabevorrichtung der Eingabevorrichtung verwendet werden, so dass die Hilfsdarstellung gut durch einen Benutzer wahrnehmbar ist, insbesondere im unmittelbaren Kontext zu den zu steuernden Vorrichtungen. So kann als Ausgabevorrichtung beispielsweise ein Touchscreen und/oder ein Monitor verwendet werden, der stationär an der Zielvorrichtung und/oder der Eingabevorrichtung angebracht ist. Auch eine Darstellung auf einem Bildschirm oder Touchscreen eines mobilen Endgeräts, beispielsweise einer Fernbedienung, ist denkbar. Ein Bildschirm oder Touchscreen kann auch an einem Kontrollpult oder dergleichen vorgesehen sein. Verschiedenste Ausgestaltungen sind hier denkbar.
-
Eine andere Option für eine Ausgabevorrichtung ist ein Display einer im Augenbereich angeordneten, auch als Anzeigevorrichtung dienenden Kopfvorrichtung. Die Hilfsdarstellung kann also beispielsweise auf einem sogenannten „Head-Mounted Display“ wiedergegeben werden, welches die Hilfsdarstellung alleine anzeigen kann oder über die Realität legen kann (Augmented Reality).
-
Neben derartigen Displays/Bildschirmen kann als Ausgabevorrichtung auch eine Holographieeinrichtung und/oder ein Projektor verwendet werden. Die Anzeige der Hilfsdarstellung kann also auch mittels Holographie erfolgen, wobei es ebenso denkbar ist, die Hilfsdarstellung mittels eines Projektors auszugeben. Beispielsweise könnte im Fall einer Medizintechnikvorrichtung als Hilfsvorrichtung die Hilfsdarstellung direkt auf einen Patienten projeziert werden.
-
Wie bereits einleitend dargelegt wurde, lässt sich das erfindungsgemäße Verfahren auf eine Vielzahl verschiedener Gesten anwenden. So kann vorgesehen sein, dass als Gesten mit wenigstens einem Auge durchgeführte Augengesten bei einer am Kopf des Benutzers zu befestigenden, auch als Anzeigevorrichtung dienenden Kopfvorrichtung und/oder mit wenigstens einem Finger auf einem Touchscreen als Eingabevorrichtung oder Teil der Eingabevorrichtung durchgeführte Berührungsgesten und/oder mit wenigstens einer Extremität durchgeführte Luftgesten, insbesondere bei einer dreidimensionalen Gestenerkennungsvorrichtung als Eingabevorrichtung, verwendet werden. Zweckmäßigerweise werden die Gesten mittels einer Sensoreinrichtung detektiert, insbesondere wenigstens einer Kamera und/oder einer berührungssensitiven Oberfläche eines Touchscreens und/oder am Körper getragener Sensoren, insbesondere Beschleunigungssensoren. Verschiedenste im Stand der Technik bekannte Eingabevorrichtungen, die Gesten über entsprechende Sensoreinrichtungen detektieren, können im Rahmen der vorliegenden Erfindung eingesetzt werden.
-
Neben dem Verfahren betrifft die vorliegende Erfindung auch eine Eingabevorrichtung, aufweisend eine zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Eingabevorrichtung übertragen, mit welcher ebenso die genannten Vorteile erhalten werden können. Insbesondere kann die Eingabevorrichtung mithin eine Sensorvorrichtung umfassen, um die Gesten detektieren zu können, welche dann entsprechend ausgewertet werden können. Bedienaktionen betreffend Daten werden mittels einer entsprechenden Auswerteeinheit auch bezüglich der wenigstens einen Hilfebedingung analysiert und gegebenenfalls die Ausgabe einer Hilfsdarstellung veranlasst.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
-
1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
-
2 einen Ablauf in einem Anwendungsbeispiel,
-
3 einen weiteren Ablauf in einem Anwendungsbeispiel, und
-
4 eine erfindungsgemäße Eingabevorrichtung.
-
1 zeigt einen allgemeinen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Dabei werden in einem Schritt S1 durch eine Sensoreinrichtung der Eingabevorrichtung von einem Benutzer durchgeführte Gesten erfasst. Gleichzeitig wird auch die Bedienung von sonstigen Bedienelementen der Eingabevorrichtung überwacht. Die dabei entstehenden Bedienaktionsdaten werden nun nicht nur dahingehend ausgewertet, welche Funktionen der Eingabevorrichtung bzw. der ihr zugeordneten Zielvorrichtung, insbesondere einer Medizintechnikvorrichtung, im aktuellen Betriebsmodus angesteuert werden, sondern es werden in einem Schritt S2 auch die Hilfebedingungen überprüft.
-
Jede der Hilfebedingungen wertet Bedienaktionsdaten aus, die sich auf Bedienaktionen zur Steuerung von in diesem Betriebsmodus verfügbaren Funktionen, die keine Hilfefunktion sind, beziehen, oder aber auf Gesten, die unbekannt sind oder zumindest im aktuellen Betriebsmodus nicht nutzbar. Mit anderen Worten dienen die Hilfebedingungen zur Überwachung der normalen Benutzung der Eingabevorrichtung bzw. der Zielvorrichtung. Konkret werden vorliegend auf von einem Benutzer durchgeführte Gesten bezogene Bedienaktionsdaten sowie auf die Betätigung von Bedienelementen bezogene Bedienaktionsdaten ausgewertet, wobei die Bedienelemente eine alternative Möglichkeit zur Aktivierung einer auch durch eine Geste zugänglichen Funktion ermöglichen.
-
Dabei sei an diese Stelle angemerkt, dass sich konkrete Ausführungsbeispiele der vorliegenden Erfindung auf verschiedenste Arten von Gesten beziehen können, insbesondere die bereits genannten Augengesten, die Luftgesten und die Berührungsgesten.
-
Eine im Schritt S2 ausgewertete Hilfebedingung überprüft beispielsweise, ob eine Funktion, die auch durch eine Geste aktiviert werden kann, alternativ durch ein Bedienelement, beispielsweise einen Schalter, aktiviert wurde. Eine weitere Hilfebedingung im Schritt S2 überprüft, ob eine Geste durchgeführt wird, die im aktuellen Betriebsmodus einer Funktion zugeordnet ist, wobei insbesondere zusätzlich überprüft werden kann, zumindest für einige Gesten, ob Daten vorliegen, insbesondere in einem Benutzerprofil, die anzeigen, dass die Geste schon häufiger benutzt wurde. Schließlich kann eine Hilfebedingung im Schritt S2 überprüfen, ob unbekannte und/oder in dem aktuellen Betriebsmodus nicht nutzbare Gesten durchgeführt werden. Dies kann als ein Versuch, Gesten aufzufinden, gedeutet werden.
-
Ist keine Hilfebedingung erfüllt, sind auch keine weiteren Aktionen notwendig. Ist jedoch eine der Hilfebedingungen erfüllt, wird im Schritt S3 eine Hilfsdarstellung ausgegeben. Dafür können verschiedene geeignete Ausgabevorrichtungen eingesetzt werden, die bevorzugt ermöglichen, die Hilfsdarstellung in Kontext mit der Eingabevorrichtung und der Zielvorrichtung zu bringen. Umfasst die Eingabevorrichtung beispielsweise einen Touchscreen und geht es um Berührungsgesten, bietet es sich an, die Hilfsdarstellung auf dem Touchscreen darzustellen. Bei einem durch Augengesten steuerbaren Head-Mounted Display bietet es sich an, das dort ohnehin vorgesehene Display einzusetzen. Aber auch andere Ausgabevorrichtungen, beispielsweise Monitore, Projektoren oder Holographieeinrichtungen, sind je nach konkreter Ausgestaltung der Eingabevorrichtung bzw. der Zielvorrichtung denkbar.
-
Ist eine auf eine konkrete Geste bezogene Hilfebedingung im Schritt S2 erfüllt gewesen, kann sich die Hilfsdarstellung auch nur auf diese einzige Geste, mithin deren Erläuterung, beziehen. Bei nicht auf konkrete Gesten bezogenen Hilfebedingungen enthält die Hilfsdarstellung bevorzugt Informationen zu allen im aktuellen Betriebsmodus möglichen Gesten. Für jede Geste enthält die Hilfsdarstellung bevorzugt einen die Geste erläuternden, animierten Anteil und einen die zugeordnete Funktion erläuternden, gegebenenfalls ebenfalls animierten Anteil.
-
Die Anzeigedauer der Hilfsdarstellung kann ebenso von der erfüllten Hilfebedingung abhängig sein. Bei zeitlich ausgedehnten Gesten hat es sich als zweckmäßig herausgestellt, die Hilfsdarstellung solange anzuzeigen, wie die Geste ausgeführt wird. Ansonsten bietet es sich an, die Hilfsdarstellung nur für einen vorbestimmten Zeitraum, beispielsweise 3 Sekunden, anzuzeigen, um die Bedientätigkeit des Benutzers nicht zu stören. Auch ist es vorliegend möglich, die Hilfsdarstellung durch eine Beendigungsbedienaktion, beispielsweise eine Beendigungsgeste, wieder zu deaktivieren.
-
Die 2 und 3 zeigen konkrete Ausgestaltungen in dem Fall, in dem die Eingabevorrichtung einen Touchscreen 1 umfasst. Wie im ersten Teilbild 2a der 2 zu erkennen ist, ist auf dem Touchscreen 1 ein Bedienelement 3 dargestellt. Dieses Bedienelement 3 dient der Aktivierung einer Funktion, die auch durch eine Geste aktiviert werden kann. Dabei muss das Bedienelement 3 nicht auf dem Touchscreen 1 realisiert sein, sondern es kann auch als Hardware-Schalter oder sonstiges Hardware-Bedienelement, beispielsweise an einer auch den Touchscreen 1 enthaltenden Bedienkonsole, realisiert sein.
-
Im zweiten Teilbild 2b betätigt ein Benutzer mit seiner Hand 4 das Bedienelement 3. Damit ist aber eine Hilfebedingung im Schritt S2 erfüllt, denn eine auch über eine Geste aktivierbare Funktion wird auf alternative Weise aktiviert. Entsprechend wird, wie im dritten Teilbild 2c zu sehen ist, auf dem Touchscreen 1 eine Hilfsdarstellung 5 eingeblendet, die vorliegend einen insbesondere animierten, die Geste erläuternden Anteil 6 und einen die der Geste und dem Bedienelement 3 zugeordnete Funktion erläuternden Anteil 7, hier einen Textbestandteil, umfasst.
-
Im letzten Teilbild 2d ist der vorbestimmte Zeitraum, beispielsweise 3 Sekunden, vergangen, so dass die Hilfsdarstellung 5 wieder ausgeblendet ist und auf dem Touchscreen 1 wieder nur noch der Schalter und die sonstigen dargestellten Informationen zu sehen sind.
-
3 zeigt einen weiteren konkreten Handlungsablauf, wiederum beispielhaft unter Verwendung eines Touchscreens 1. Im ersten Teilbild 8a führt, wie durch die Hand 4 und den Pfeil 9 angedeutet, der Benutzer eine im aktuellen Betriebsmodus verwendbare Geste auf dem Touchscreen 1 durch, der durch dessen berührungssensitive Oberfläche als Sensoreinrichtung detektiert wird. Dies führt wiederum zur Anzeige einer Hilfsgraphik 5, die wiederum die Geste und die zugeordnete Funktion genauer erläutert. Dies ist im zweiten Teilbild 8b gezeigt. Die Hilfsdarstellung 5 wird in diesem Fall solange angezeigt, wie der Benutzer die Geste durchführt, und nach Beendigung der Geste wieder ausgeblendet, wie dies im Teilbild 8c gezeigt ist.
-
Selbstverständlich sind auch viele andere konkrete Beispiele für die Ausführung des erfindungsgemäßen Verfahrens denkbar, die beispielsweise sich auch auf Augengesten und Luftgesten beziehen können. Wesentlich ist, dass jeweils die normale Benutzungstätigkeit überwacht und ausgenutzt wird, um dynamisch Hilfsdarstellungen auszugeben, die ein verbessertes Erlernen von Gesten erlauben.
-
4 zeigt schließlich eine Prinzipsskizze einer erfindungsgemäßen Eingabevorrichtung 10, vorliegend in Form einer Bedienkonsole 11, die einen Touchscreen 1 umfasst und seitlich benachbart an einer Patientenliege einer hier nur angedeuteten Röntgeneinrichtung als Zielvorrichtung 12 angeordnet ist. Neben dem Touchscreen 1 umfasst die Bedienkonsole auch weitere Bedienelemente 13. Als Sensoreinrichtung 14 zur Erfassung von Gesten dient vorliegend die berührungssensitive Oberfläche 15 des Touchscreens 1.
-
Deren Daten sowie die Benutzungsdaten der sonstigen Bedienelemente 13 werden einer Steuereinrichtung 16 der Eingabevorrichtung 10 zur Auswertung zugeführt, wobei die Steuereinrichtung 16 zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist und insbesondere auch die Kommunikation mit der Zielvorrichtung 12 steuert, um Funktionen zu realisieren. Dabei können Bedienaktionen teilweise auch durch die Eingabevorrichtung 10 ausgewertet werden, beispielsweise was das Wechseln von Betriebsmodi und dergleichen angeht.
-
Der Zielvorrichtung 12, hier eine Röntgeneinrichtung, können neben der Eingabevorrichtung 10 auch weitere Eingabevorrichtungen zugeordnet bzw. zugehörig sein, beispielsweise eine Eingabevorrichtung für Luftgesten mit einer 3D-Kamera als Sensoreinrichtung, der als Ausgabevorrichtung eine Holographieeinrichtung, ein Monitor oder ein Projektor zugeordnet sein können. Im Fall der Eingabevorrichtung 10 wird als Ausgabevorrichtung der Touchscreen 1 verwendet.
-
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 1
- Touchscreen
- 2a
- erstes Teilbild
- 2b
- zweites Teilbild
- 2c
- drittes Teilbild
- 2d
- viertes Teilbild
- 3
- Bedienelement
- 4
- Hand
- 5
- Hilfsdarstellung
- 6
- Anteil
- 7
- Anteil
- 8a
- erstes Teilbild
- 8b
- zweites Teilbild
- 8c
- drittes Teilbild
- 9
- Pfeil
- 10
- Eingabevorrichtung
- 11
- Bedienkonsole
- 12
- Zielvorrichtung
- 13
- Bedienelemente
- 14
- Sensoreinrichtungh
- 15
- berührungssensitive Oberfläche
- 16
- Steuereinrichtung
- S1
- Schritt
- S2
- Schritt
- S3
- Schritt
