-
GEBIET DER ERFINDUNG
-
Die Erfindung betrifft eine Benutzerschnittstelle zum Steuern von Softwareanwendungen. Die Erfindung hat viele potentielle Anwendungen und ist insbesondere geeignet für das Gebiet der Medienproduktion, einschließlich Audio-, Video-, Film- und Multimedia-Produktion. Sie ist insbesondere anwendbar auf solche Produktionsaufgaben wie das Editieren, das Mischen, die Effektbearbeitung, die Formatumsetzung und die Parallelverarbeitung der in der digitalen Manipulation des Inhalts für diese Medien verwendeten Daten, obwohl sie nicht auf diese Anwendungen beschränkt ist.
-
HINTERGRUND DER ERFINDUNG
-
Computer bieten heute schnelle Grafikkarten und gut gestaltete grafische Benutzerschnittstellen, hauptsächlich gesteuert durch eine Maus, eine Tastatur und andere Peripheriegeräte. Maus-Schnittstellen sind jedoch, obwohl sie schnell zu erlernen sind, letztlich in der Geschwindigkeit durch die Menge an für bestimmte Befehle erforderlichen Hand-Auge-Bewegungen begrenzt. Sie mögen für den zeitweisen oder gelegentlichen Gebrauch geeignet sein, aber für einen professionellen Gebrauch werden sie durch dedizierte Hardware-Oberflächen einfach überflügelt, bei denen die Nutzerhände Abfolgen von Aktionen lernen, was die bewussten Gedanken frei lässt, sich auf den Inhalt der aktuellen Aufgabe zu konzentrieren. Eine wirkliche ”Look-Away”-Bedienung kann nur durch das Setzen von Funktionen innerhalb der Reichweite der Nutzerhände erzielt werden. Zum Beispiel spielen Musiker typischerweise besser, wenn sie nicht auf die Tastatur/das Griffbrett schauen.
-
Touchscreens haben die Fähigkeit, Funktion und Aussehen entsprechend dem Kontext zu verändern, was ein äußerst nützliches Modell gewesen ist, speziell bei Smartphones und Point-of-Sale-Anwendungen. Touchscreens alleine können jedoch für komplexe und durchsatzstarke Situationen ungeeignet sein. In zum Beispiel komplexen audio-visuellen Produktionsumgebungen können Schnittstellen, die ein physisches ”Gefühl” integrieren, die Arbeitsgeschwindigkeit erhöhen, wenn sich die Operatoren auf Videomaterial, Stimmeigenschaften oder andere Steuerelemente wie beispielsweise Hebel, Tonregler und Knöpfe konzentrieren müssen. Touchscreens haben keine taktile Antwort, so dass es kein physisches Feedback gibt.
-
Während Knöpfe in Steuerungen mit festen Tasten ein unmittelbares taktiles Feedback bereitstellen, kann, wenn eine große Anzahl von Funktionen erforderlich ist, die Basisfläche der resultierenden Steuerung unpraktikabel sein. Ein Satz von Tastatur-Schnelltasten und/oder Modifikatoren (welche vorübergehend einige Tastenfunktionen verändern können) kann in eine Steuerung mit festen Tasten integriert werden, um mehr Funktionen zu einer kleineren Basisfläche hinzuzufügen, aber typischerweise lernen Operatoren nur eine kleine Untergruppe von Schnelltasten, weil ihre zur Verfügung stehende Lernzeit begrenzt ist.
-
Demgemäß gibt es mit größer werdender Funktionalität insbesondere in komplexen und durchsatzstarken Situationen einen fortgesetzten Bedarf, verbesserte Benutzerschnittstellen zum Steuern von Softwareanwendungen vorzusehen.
-
Es ist eine Aufgabe der Erfindung, einen oder mehrere der Nachteile des Standes der Technik im Wesentlichen zu überwinden oder wenigstens zu verbessern.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
In einem Aspekt sieht die Erfindung eine als Benutzerschnittstelle zum Steuern von Softwareanwendungen ausgestaltete Vorrichtung vor, wobei die Vorrichtung aufweist: einen Anzeigeschirm; eine Anordnung von taktilen Steuerelementen; ein Maskierungselement, das ausgestaltet ist, um wenigstens einen Teil des Anzeigeschirms zu verdecken und wenigstens einen Anzeigebereich preiszugeben, wobei wenigstens ein Anzeigebereich dem Anzeigen einer aktuellen Funktion eines taktilen Steuerelements dient; und einen Zuordner, der auf ein auf einen Benutzer zurückgehendes Ereignis reagiert, um eine Funktion einer oder mehrerer Softwareanwendungen auszuführen, die dem auf einen Benutzer zurückgehenden Ereignis zugewiesen sind, wobei ein auf einen Benutzer zurückgehendes Ereignis die Betätigung eines taktilen Steuerelements enthält, um die aktuelle Funktion des taktilen Steuerelements auszuführen, die auf dem Anzeigebereich angezeigt wird, wobei eine grafische Benutzerschnittstellenanwendung ausgestaltet ist, um es einem Benutzer zu ermöglichen, Funktionen einer oder mehrerer Softwareanwendungen auf einen Benutzer zurückgehenden Ereignissen zuzuweisen und ein vorbestimmtes Layout von Funktionen, die einem oder mehreren taktilen Steuerelementen der Vorrichtung zugewiesen sind, anzuordnen.
-
In einem weiteren Aspekt sieht die Erfindung eine als Benutzerschnittstelle ausgestaltete Vorrichtung vor, wobei die Vorrichtung aufweist: einen Anzeigeschirm; eine Anordnung von taktilen Steuerelementen; wenigstens ein Layout-Steuerelement; ein Maskierungselement, das ausgestaltet ist, um wenigstens einen Teil des Anzeigeschirms zu verdecken und wenigstens einen Anzeigebereich preiszugeben, wobei wenigstens ein Anzeigebereich dem Anzeigen einer aktuellen Funktion wenigstens eines taktilen Steuerelements dient; einen Zuordner, der auf ein auf einen Benutzer zurückgehendes Ereignis reagiert, um eine Funktion einer oder mehrerer Softwareanwendungen auszuführen, die dem auf einen Benutzer zurückgehenden Ereignis zugewiesen sind, wobei ein auf einen Benutzer zurückgehendes Ereignis die Betätigung eines taktilen Steuerelements enthält, um die aktuelle Funktion des taktilen Steuerelements auszuführen, das auf dem Anzeigebereich angezeigt wird; und einen Zuordner, der auf einen Benutzer reagiert, der ein Layout-Steuerelement betätigt, und der ausgestaltet ist, um das Anzeigen von Informationen auf wenigstens einem Anzeigebereich zu veranlassen, was das Anzeigen von Informationen entsprechend der aktuellen Funktion eines oder mehrerer taktiler Steuerelemente entspricht, wobei eine grafische Benutzerschnittstellenanwendung ausgestaltet ist, um es einem Benutzer zu ermöglichen, Funktionen einer oder mehrerer Softwareanwendungen auf einen Benutzer zurückgehenden Ereignissen zuzuweisen und ein vorbestimmtes Layout von Funktionen anzuordnen, die einem oder mehreren taktilen Steuerelementen der Vorrichtung zugewiesen sind, und sich eine Betätigung des Layout-Steuerelements zwischen vorbestimmten Layouts von Funktionen, die einem oder mehreren taktilen Steuerelementen zugewiesen sind, ändert.
-
In einem noch weiteren Aspekt sieht die Erfindung ein Benutzerschnittstellensystem zum Steuern von Softwareanwendungen vor, wobei das System aufweist: eine grafische Benutzerschnittstellenanwendung, die ausgestaltet ist, um es einem Benutzer zu ermöglichen, Funktionen einer oder mehrerer Softwareanwendungen auf einen Benutzer zurückgehenden Ereignissen zuzuweisen; und einen Zuordner, der auf ein auf einen Benutzer zurückgehendes Ereignis reagiert, um eine Funktion einer oder mehrerer Softwareanwendungen auszuführen, die dem auf einen Benutzer zurückgehenden Ereignis zugewiesen sind, wobei die auf einen Benutzer zurückgehenden Ereignisse ein oder mehrere Ereignisse enthalten aus: eine Betätigung eines taktilen Steuerelements, ein Sprachbefehl, eine zweidimensionale Geste, eine dreidimensionale Geste.
-
In einem noch weiteren Aspekt sieht die Erfindung ein Benutzerschnittstellensystem zum Steuern von Softwareanwendungen vor, wobei das System aufweist: einen Anzeigeschirm; wenigstens ein Layout-Steuerelement; eine grafische Benutzerschnittstellenanwendung, die ausgestaltet ist, um es einem Benutzer zu ermöglichen, Funktionen einer oder mehrerer Softwareanwendungen auf einen Benutzer zurückgehenden Ereignissen zuzuweisen; einen Zuordner, der auf ein auf einen Benutzer zurückgehendes Ereignis reagiert, um eine Funktion einer oder mehrerer Softwareanwendungen auszuführen, die dem auf einen Benutzer zurückgehenden Ereignis zugewiesen sind; und einen Zuordner, der auf einen Benutzer reagiert, der ein Layout-Steuerelement betätigt, und der ausgestaltet ist, um das Anzeigen von Informationen auf dem Anzeigeschirm zu veranlassen, was das Anzeigen von Informationen entsprechend der aktuellen Funktion eines oder mehrerer auf einen Benutzer zurückgehender Ereignisse enthält, wobei die auf einen Benutzer zurückgehenden Ereignisse ein oder mehrere Ereignisse enthalten aus: eine Betätigung eines taktilen Steuerelements, einen Sprachbefehl, eine zweidimensionale Geste, eine dreidimensionale Geste, und sich eine Betätigung des Layout-Steuerelements zwischen vorbestimmten Layouts von Funktionen, die den auf einen Benutzer zurückgehenden Ereignissen zugewiesen sind, ändert.
-
In Ausführungen aller nachfolgender Aspekte kann ein taktiles Steuerelement ein Schalter mit einer transparenten Kappe sein. Ein Anzeigebereich kann durch die transparente Kappe zum Anzeigen einer aktuellen Funktion des Schalters sichtbar sein. Ein Bildkanal kann zwischen der Anzeige und der transparenten Kappe angeordnet sein. Der Bildkanal kann mehrere parallele Lichtleiter aufweisen, die an einem ersten Ende in festem Kontakt zum Anzeigebereich sind.
-
Ein taktiles Steuerelement kann ein Knopf oder Drehknopf sein. Der Knopf oder Drehknopf kann ausgestaltet sein, um die auf einem Anzeigebereich angezeigten Informationen zu manipulieren. Vorzugsweise enthält das Maskierungselement eine geschützte Produktoberfläche.
-
Die grafische Benutzerschnittstellenanwendung kann ausgestaltet sein, um ein Drag-and-Drop-Editieren der Funktionen einer oder mehrerer Softwareanwendungen zu erlauben, die auf einen Benutzer zurückgehenden Ereignissen zugewiesen sind, einschließlich eines Layouts von Funktionen, die einem oder mehreren taktilen Steuerelementen einer Vorrichtung zugewiesen sind.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Bevorzugte Ausführungsbeispiele der Erfindung werden nun anhand der beiliegenden Zeichnungen beschrieben. Darin zeigen:
-
1 eine Bedienung einer Benutzerschnittstelle gemäß Ausführungsbeispielen der Erfindung auf hoher Ebene;
-
2 ein vereinfachtes Flussdiagramm zum Veranschaulichen des Konzepts hinter Mehrfach-Layouts von Funktionen gemäß Ausführungsbeispielen der Erfindung;
-
3a bis 3c Beispiele von Hardware-Steuerflächen, die zur Verwendung mit Ausführungsbeispielen der Erfindung geeignet sind;
-
4 einen Screenshot einer grafischen Benutzerschnittstellenanwendung, die ausgestaltet ist, um es einem Benutzer zu ermöglichen, ein vorbestimmtes Layout von Funktionen anzuordnen, die einem oder mehreren taktilen Steuerelementen einer Vorrichtung gemäß Ausführungsbeispielen der Erfindung zugewiesen sind;
-
5 einen beispielhaften Zuordner, der zur Verwendung mit Ausführungsbeispielen der Erfindung geeignet ist;
-
6 eine schematische Ansicht eines Bildkanals mit mehreren parallelen Lichtleitern, die an einem ersten Ende in festem Kontakt zu einem Anzeigebereich sind;
-
7 eine vereinfachte Darstellung eines Schaltermechanismus mit einer transparenten Kappe; und
-
8 eine Schnittansicht einer Steuerung, die drei Layouts auf den unteren Tasten in einem Editor-Modus, einer englischen Tastatur und einer japanischen Tastatur zeigt.
-
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
-
Ausführungsbeispiele der Erfindung können eine Steuerung von Softwareanwendungen, die auf einem PC kaufen, Mac- oder Linux-Betriebssystemen sowie einer Kommunikation über installierte Protokolle und Befehlssätze, einschließlich RS-422, MIDI, ASCII, Ethernet, HUI und mehr ermöglichen. Es ist eine Lösung, die anwendungsbewusst sein kann und deshalb in der Lage sein kann, den Fokus beinahe augenblicklich zwischen verschiedenen Softwareanwendungen zu wechseln oder sie zu starten, falls sie aktuell nicht aktiv sind. Sie kann auch sprachenbewusst sein, was es ihr erlaubt, geeignete grafische Symbole und Layouts zum Arbeiten in der aktuellen Sprache der die Softwareanwendung betreibenden Hardware zu wählen.
-
In bevorzugten Ausführungsbeispielen kann die leistungsstarke Kombination von Software-Scripten mit Hardware-Schnittstellen komplexe Interaktionen mit Softwareanwendungen und ein genaues Zählen (engl. ”tallying”) der sich ergebenden Wechsel zurück zu den Hardwareanzeigen ermöglichen.
-
Bezug nehmend auf 1 ist ein Betrieb einer Benutzerschnittstelle gemäß Ausführungsbeispielen der Erfindung auf höherer Ebene gezeigt.
-
1: Ereignis (auf einen Benutzer zurückgehend)
-
Eine taktile Bedienung durch einen Benutzer, z. B. ein gedrehter Knopf, ein betätigter Schalter, ein bewegter Regler.
-
Ein Sprachbefehl durch einen Benutzer in ein Mikrofon, z. B. beim Mischen von mehreren Audiospuren, wobei der Benutzer mündliche Befehle ausgeben kann, wie beispielsweise:
- – ”Play” (Wiedergabe ab aktueller Position)
- – ”Play Again” (Wiedergabe ab letztem Startpunkt)
- – ”Stop”
- – ”Play All” (Wiedergabe der Spur ab dem Start)
- – ”Call Vocal” (bringt den Kanal mit der Stimme in den Fokus)
-
Eine zweidimensionale Geste, z. B. ein Wischer mit drei Fingern eines Touchscreens von rechts nach links zum Löschen.
-
Eine dreidimensionale Geste, z. B.:
- – Ausstrecken und Greifen (Faust machen, startet die dreidimensionale Gestensteuerung)
- – Hand in drei Dimensionen bewegen, um einen virtuellen Gegenstand zu manipulieren
- – Verdrehen, Neigen, Gieren einer Hand für eine fortgeschrittene Manipulierung
- – Ausstrecken und Freigeben (Faust öffnen, beendet die dreidimensionale Gestensteuerung)
-
2: Ereignisanalyse
-
Aufbauend auf die vorherigen Beispiele: Schalter ein oder aus, Drehgeschwindigkeit und/oder -winke) des (Dreh-)Knopfes, Berührung des Reglers.
-
Eine Wörterbuchmaschine, um Sprachbefehle zu analysieren. Siehe zum Beispiel Microsoft Speech API (SAPI) 5.4 (http://msdn.microsoft.com/en-us/library/ee125663(v=vs.85).aspx, letzter Zugriff am 21. Mai 2014)) oder der Dragon Naturally Speaking Software Developer Kit (SDK) (http://www.nuance.com/for-developers/dragon/index.htm, letzter Zugriff am 21. Mai 2014).
-
Eine Gestenmaschine analysiert die zweidimensionalen und/oder dreidimensionalen Gesten. Siehe zum Beispiel die Skeletal SDK (https://developer.leapmotion.com/, letzter Zugriff am 21. Mai 2014).
-
3: Zuordner (engl. ”translator”)
-
Wendet Logik an, um eine Abfolge von Aktionen basierend auf Ereignisparametern und in Abhängigkeit von vorherrschenden Zuständen in der Anwendung zu bestimmen. Die Logik wird über Algorithmen angewendet, die über die Script-Sprache oder ähnliche Einrichtungen implementiert sind.
-
4: Aktionen
-
Aktionen werden der Softwareanwendung über eine Application Programming Interface (API) kommuniziert, die in die Script-Sprache verlinkt ist.
-
5: Informationen
-
Die Softwareanwendung kommuniziert Parameterveränderungen über die API an den Zuordner.
-
6: Zuordner (engl. ”translator”)
-
Wendet eine Logik an, um zu bestimmen, wie Informationen auf der physischen Schnittstelle angezeigt werden. Die Logik wird über Algorithmen angewendet, die über die Script-Sprache oder ähnliche Einrichtungen implementiert sind.
-
7: Zähler (engl. ”tally”)
-
Zum Beispiel: Licht geht an, Regler bewegt sich, Bildschirm wird aktualisiert, Schalterbeschriftung verändert sich, Text-to-Speech (TTS) kommuniziert hörbar über einen Lautsprecher ein Feedback.
-
Interaktionen höherer Ebene, wie oben dargestellt, erfordern eine Kommunikation von Produktendatenbankinformationen sowohl im Push- als auch im Pull-Modus. In manchen Fällen werden ein oder beide Modi nicht unterstützt, und die Erfindungslösung hat Optionen, um das Möglichste mit jedem Setup zu tun.
-
Falls zum Beispiel Informationen von der Anwendung nicht zurückgegeben werden, kann eine Datenbank des Anwendungsparametersatzes unabhängig von der Anwendung beibehalten und basierend auf einer bekannten Startposition und den Veränderungen, die sie erzeugt hat, aktualisiert werden. Dies kann gut funktionieren, falls die Benutzerschnittstelle gemäß der Erfindung die einzige Steuerung der Anwendung ist. In diesem Fall würden die Schritte 1 bis 3 und 6 bis 7 des obigen Beispiels ausgeführt werden.
-
Die Erfindung kann auch auf niedrigeren Ebenen funktionieren, wenn die Anwendungsschnittstelle nicht hoch entwickelt ist.
-
Zum Beispiel kann ein Produkt einen Satz von Tastatur-Schnelltasten (engl. ”shortcuts”) verwenden, um die Arbeitsgeschwindigkeit zu erhöhen. Typischerweise lernen Operatoren eine kleine Untergruppe der Schnelltasten, weil ihre zur Verfügung stehende Lernzeit begrenzt ist. In diesem Fall wird das Zählen allerdings nicht vorhanden sein, weil die Tastaturschnelltastenschnittstelle unidirektional ist. In diesem Fall würden nur die Schritte 1 bis 3 des obigen Beispiels ausgeführt werden.
-
Bezug nehmend auf 2 ist ein vereinfachtes Flussdiagramm dargestellt, das das Konzept hinter mehreren Layouts von Funktionen gemäß Ausführungsbeispielen der Erfindung veranschaulicht. In Ausführungsbeispielen der Erfindung startet eine als eine Benutzerschnittstelle ausgestaltete Vorrichtung mit einer Hardware-Steuerfläche (enthalten in der Bedeutung des Begriffes ”Steuerung”, der in 2 benutzt wird). 3a bis 3c zeigen Beispiele von Hardware-Steuerflächen, die zur Verwendung mit Ausführungsbeispielen der Erfindung geeignet sind.
-
Eine Hardware-Steuerfläche (oder Steuerung) kann eine Sammlung von Hilfsmitteln enthalten, einschließlich taktiler Steuerelemente. Beispielhafte Arten solcher Hilfsmittel enthalten:
- – Bildtaste (siehe unten)
- – LED-Taste
- – berührungsempfindlicher Kodierer
- – Jogger (engl. ”jogger”)
- – Zähler (engl. ”meter”)
- – EQ-Kurve
- – (Dreh-)Knopf
-
Eine Steuerung kann ein beliebiges anderes geeignetes Stück Hardware sein, das Hilfsmittel aufweist, um auf einen Benutzer zurückgehende Ereignisse zu empfangen. Zum Beispiel kann eine Steuerung einen Touchscreen zum Empfangen zweidimensionaler Gesten und/oder ein Mikrofon zum Empfangen von Sprachbefehlen enthalten.
-
Bindungen werden erzeugt zwischen diesen Hilfsmitteln und Funktionen werden definiert durch eine Script-Sprache und werden als Zuordner bezeichnet.
-
Eine Bindung ist die Zuordnung eines auf einen Benutzer zurückgehenden Ereignisses (empfangen durch ein Hilfsmittel) mit einem Zuordner. Zusätzlich kann die Bindung Metadaten in Form numerischer oder Text-Konstanten enthalten. Zum Beispiel könnte die Bindung zum Erzeugen der Q-Funktion der QWRETY das Folgende enthalten:
- – Bindung an einen generischen Tastastur-Zuordner
- – Name der Bitmap, um in der Taste anzuzeigen: ”q.BMP”
- – Der ASCII(American Standard Code for Information Interchange)-Code, um ihn an das System zu senden: 122
-
Ein Zuordner übersetzt zwischen einem auf einen Benutzer zurückgehenden Ereignis (z. B. eine Betätigung eines Schalters oder ein Sprachbefehl) und einer Anwendung (z. B. Edius® von GVG, Final Cut Pro® von Apple oder MediaComposer® von Avid). Es kann ein Stück C-Code sein, der bestimmte Regeln erfüllt. Er kann während der Laufzeit durch den Tiny-C-Compiler kompiliert werden und unterstützt so sehr schnell den Turnaround von Ideen und Konzepten in reale Tests und Versuche. ”Tiny-C” ist nur ein Beispiel des Script-Mechanismus ”C”, beispielhaft durch einen bestimmten Compiler ”Tiny-C”. Dies könnte ebenso gut zum Beispiel eine Sprache wie beispielswiese Basic, ausgeführt über Visual Basic for Applications (VBA) von Microsoft, sein.
-
Jeder Zuordner implementiert zwei Hauptfunktionen:
- – ein Ereignisprogramm, das als Reaktion auf verschiedene Anregungsformen (auf einen Benutzer zurückgehende Ereignisse) aufgerufen wird
- – eine Aktualisierungsfunktion, die im Zuordner aufgerufen wird, wann immer die zugewiesene Funktion verfügbar ist.
-
Ein beispielhafter Zuordner ist die Play-Taste auf HUI-Basis mit einem MMC-basierten Feedback:
- – ihr Ereignisprogramm überträgt HUI-MIDI-Mitteilungen an eine Zielanwendung entsprechend Ereignissen der Auf/Ab-Tasten
- – ihre Aktualisierungsfunktion empfängt MMC-MIDI-Daten von der Anwendung und aktualisiert das Bild auf der Taste, wann immer der Transportmodus in oder aus dem Play geht
-
Ein Zuordner wird als Reaktion auf ein auf einen Benutzer zurückgehendes Ereignis, mit dem er verbunden ist, implizit aufgerufen. Außerdem kann der Zuordner zusätzliche Trigger bestimmen, wie beispielsweise einen oder mehrere StudioModel-Parameter, Timer, Fokuswechsel, usw.. Zuordner werden implizit ausgelöst, wenn das auf einen Benutzer zurückgehende Ereignis, mit dem sie verbunden sind, stattfindet. Im Fall von Schaltern kann der Auslösewert einer sein aus: Loslassen, einfaches Drücken, doppeltes Drücken, Halten.
-
Ein Beispiel eines funktionierenden Zuordners, der zur Verwendung mit Ausführungsbeispielen der Erfindung geeignet ist, ist in 5 wiedergegeben.
-
Ein Layout ist eine Datei, die eine Anzahl von in Beziehung stehenden Bindungen für einen bestimmten Satz von auf einen Benutzer zurückgehenden Ereignissen definiert. Dies kann zum Beispiel ein Layout sein, um eine NUM-PAD-Funktionalität vorzusehen. Ein Layout kann als ein Basis-Layout realisiert sein oder kann auf andere Layouts gedrückt/gesteckt werden.
-
Um eine große Anzahl von Funktionen auf zum Beispiel einer physisch kleinen Hardware-Steuerfläche effizient darzustellen, unterstützen Ausführungsbeispiele der Erfindung das Schichten von Layouts. Auf diese Weise können Layouts Bindungen auf den Stapel für einen Satz von Hilfsmitteln auf einer Oberfläche drücken. Das Stecken des Layouts entfernt diese Bindungen. Jedes Hilfsmittel hält seinen eigenen Stapel von Bindungen aufrecht, aber es können auch ”Basis-Layouts” geladen werden, welche die Stapel aller in dem Layout enthaltener Hilfsmittel löschen.
-
Insbesondere kann eine Hardware-Steuerfläche wenigstens ein bestimmtes Hilfsmittel, ein Layout-Steuerelement, welches die Form zum Beispiel eines Schalters annehmen kann, enthalten. Ein Layout-Steuerelement kann die Form irgendeines auf einen Benutzer zurückgehenden Ereignisses annehmen, aber es ist vorzugsweise ein taktiles Steuerelement. Wenn zum Beispiel ein Benutzer ein Layout-Steuerelement betätigt, verändert sich das Layout von Funktionen, die einem vorbestimmten Satz von taktilen Steuerelementen (Hilfsmitteln) zugewiesen sind. Ein einfaches Beispiel wäre ein Benutzer, der eine ”CALC”-Taste betätigt, was vorübergehend ein Rechner-Layout auf eine Auswahl von Tasten (taktile Steuerelemente) drückt. Wenn der Benutzer die Rechnerfunktionen beendet hat, wird die ”CALC”-Taste wieder betätigt, und die Tasten werden ”ausgesteckt” (engl. ”popped off”), wodurch wieder freigegeben wird, was zuvor gewesen ist. Eine Sammlung von Layouts kann anwendungsspezifisch und/oder steuerungsspezifisch sein.
-
Um es einem Benutzer zu erlauben, entweder ein ganzes oder ein partielles Layout auf die Steuerung zu drücken, betätigt ein Benutzer in einem beispielhaften Fall, in dem eine Taste mit ”Go tT” gekennzeichnet ist, diese Taste und als Reaktion wird eine numerische Tastatur angezeigt. Dies kann mit dem folgenden beispielhaften Zuordner-Script erfolgen:
void PushLayout(const char *layout)
-
Das Gegenteil, d. h. ein Entfernen eines Layouts, das ein Script zuvor aufgedrückt hat, kann mit dem folgenden beispielhaften Zuordner-Script erfolgen:
void PopLayout(const char *layout)
-
Das folgende beispielhafte Zuordner-Script kann es einem Benutzer erlauben, ein neues Basis-Layout zu setzen; d. h. es entfernt jede Bindung, die auf den verschiedenen zum Beispiel Steuerungen einer Hardware-Steuerfläche gestapelt gewesen ist. Ein gutes Beispiel wäre es, ein QWERTY-Layout als Basis-Layout zu setzen; dies ist der Startpunkt und weitere Layouts können dann auf Befehl darauf gestapelt werden.
void SetBaseLayout(const char *layout)
-
Demgemäß kann eine Laufzeit-Technologie aus den folgenden Komponenten konstruiert sein:
- – Layout-Maschine – grafische Benutzerschnittstellenanwendung, die Layouts lädt und verwaltet
- – Tiny-C – kompiliert die Zuordner (wie oben erwähnt, ist ”Tiny-C” nur ein Beispiel des Script-Mechanismus ”C”, beispielhaft veranschaulicht durch einen speziellen Kompiler ”Tiny-C”. Dies kann gleichermaßen auch zum Beispiel eine Sprache wie beispielswiese Basic sein, ausgeführt über VBA von Microsoft)
- – Geräteverbindung – Netzwerkverbindung mit Steuertafeln
- – APIs – anwendungsspezifische Schnittstellen, z. B. Actions and StudioModel – Schnittstellenfunktionen im Fall von Drylce
-
Bezug nehmend auf 4 ist ein Screenshot einer grafischen Benutzerschnittstellenanwendung wiedergegeben, die ausgestaltet ist, um es einem Benutzer zu ermöglichen, ein vorbestimmtes Layout von Funktionen anzuordnen, die einem oder mehreren taktilen Steuerelementen einer Vorrichtung gemäß Ausführungsbeispielen der Erfindung zugewiesen sind. Die grafische Benutzerschnittstellenanwendung kann ein Drag-and-Drop-Editieren eines Layouts von Funktionen erlauben, die einem oder mehreren taktilen Steuerelementen der Vorrichtung zugewiesen sind. In dem in 4 vorgesehenen Beispiel wird einem Benutzer eine grafische Darstellung der ausgewählten Hardware-Steuerfläche zusammen mit einer Liste aller verfügbaren Zuordner präsentiert. Neue Bindungen können durch Ziehen eines Zuordners auf ein Hilfsmittel erzeugt werden, zwischen Hilfsmitteln bewegt/kopiert werden und die Metadaten editiert werden.
-
Die grafische Benutzerschnittstellenanwendung kann eingebettete Kennsätze in den Zuordnerdefinitionen unterstützen, was ein Sortieren und Filtern der Zuordnerliste erlaubt. Ein beispielhafter Kennsatz wäre TRANSPORT, was die Erzeugung einer Gruppe aller transportbezogenen Zuordner erlaubt.
-
Es kann viele Reiter in der grafischen Benutzerschnittstellenanwendung geben:
- – Layout-Manager: zum Managen der vielfachen Layouts, die typischerweise eine Benutzerschnittstelle ausmachen
- – Layout-Editor: erlaubt ein Drag-and-Drop-Editieren von Layouts
- – Zuordner-Manager: erlaubt ein Editieren der Kennsätze und erklärt Text, der den Zuordnern und Makros zugeordnet ist
-
Die grafische Benutzerschnittstellenanwendung kann auch Makros unterstützen. Dies ist eine Familie von Zuordnern, die identische Codes verwendet, wobei die grafische Benutzerschnittstellenanwendung Metadaten für den Zuordner enthält, um zu laden und zu benutzen. Die Metadaten können Text (bis zu zum Beispiel sechs Felder) oder numerisch (bis zu zum Beispiel vier Felder) sein. Ein Beispiel von Makros könnte ACTIONS sein. In diesem Fall ruft der Zuordner eine Aktionsfunktion auf, deren Textargumente von den Metadaten geliefert werden.
-
Ein Makro ist ein Behälter, der Folgendes (mit Beispielen) in eine Einheit kombiniert, die in einer einfachen Weise für einen Roh-Zuordner verfügbar ist:
- – ein Anzeigename (CR-MUTE)
- – eine Zuordner-Referenz (SimpleStudioModelToggle)
- – Text-Konstanten (”MUTE_ON.bmp”, ”MUTE_OFF.bmp”)
- – numerische Konstanten (MT_CR_MON, 0, MUTE)
-
Eine Anpassung von Layouts und Zuordnern kann unterschiedliche Ebenen der Anpassung enthalten:
- – Benutzerebene: Veränderungen werden vor Ort durch den Benutzer gemacht
- – Kundenebene: Kundenmerkmalssätze, erhalten durch den Benutzerschnittstellen-Provider
- – Firmenebene: ein Basissatz einer Funktionalität für eine Benutzerschnittstelle, die vorbehaltlos installiert werden kann
-
Bildtastentechnik
-
In bevorzugten Ausführungsbeispielen kombiniert die Erfindung Elemente der taktilen Benutzerschnittstelle, die in der internationalen Patentveröffentlichung
WO 2007/134359 beschrieben ist, auf die hierdurch vollinhaltlich Bezug genommen wird (variabel als Bildtasten und Bildtastentechnik bezeichnet).
-
Die Bildtastentechnik bezieht allgemein die Tasten ein, die Hüllen um den Anzeigemechanismus bilden, mit einem transparenten Fenster an der Oberseite, um das Bild zu sehen. Auf diese Weise kann ein Anzeigebereich durch eine transparente Kappe sichtbar sein, zum Anzeigen einer aktuellen Funktion des Schalters. Ein Bildkanal kann zwischen der Anzeige und der transparenten Kappe angeordnet sein. Der Bildkanal kann mehrere parallele Lichtleiter aufweisen, die an einem ersten Ende in festem Kontakt mit dem Anzeigebereich sind.
-
6 ist eine schematische Darstellung eines Bildkanals mit mehreren parallelen Lichtleitern, die an einem ersten Ende in festem Kontakt mit einem Anzeigebereich sind. Die Lichtleiter übertragen ein Bild von einem darunter liegenden Bildschirm zur Oberseite des Blocks. Wie in 6 dargestellt, wird der Buchstabe A von der Schirmoberfläche nach oben gebracht.
-
7 zeigt eine vereinfachte Darstellung eines Schaltermechanismus mit einer transparenten Kappe. Die Lichtleiter sind durch Öffnungen in der Metallplatte (Maskierungselement) und der Leiterplatte (PCB) montiert, so dass sie immer in engem Kontakt mit der Dünnfilmtransistor (TFT) – Oberfläche (Anzeigeschirm) sind. Das Schalterelement kann ein Silikon-Tastaturmattenmechanismus sein, um die leitfähigen Elemente niederzudrücken und Tracks auf der PCB zu überbrücken, wodurch ein Schaltereignis verursacht wird. Das Ansteuern eines einfachen TFT-Schirms sieht so die Basis für ein ergiebiges und unbegrenzt flexibles taktiles Steuerelement vor.
-
Tastaturlayouts können deshalb zum Beispiel innerhalb einer Anwendung verändert werden. Zum Beispiel werden Fremdsprachenversionen vereinfacht, weil die Tastengrafiken von jedem erforderlichen Satz ersetzt werden können. Bezug nehmend auf 8 ist ein Ausschnitt einer Steuerung dargestellt, der drei Layouts auf den unteren Bildtasten in dem Editor-Modus, der englischen Tastatur und der japanischen Tastatur zeigt. Nichtsdestotrotz können in Ausführungsbeispielen der Erfindung die Bildtasten mit festen Tasten und/oder anderen taktilen Steuerelementen kombiniert werden.
-
Die grafische Benutzerschnittstellenanwendung kann es Benutzern auch erlauben, ihre eigenen Kennzeichen für die taktilen Steuerelemente einzusetzen, wobei zum Beispiel Gebrauch gemacht wird von betriebsinterner Mnemotechnik und betriebsinternen Begriffen, was die Benutzer bei Sichtproblemen unterstützt, bei Firmenmarken hilft, alte Bilder von ersetzten Produkten sichert und persönliche Integration mit eigenem Handwerkszeug gibt. Dynamische Bilder können auch in oder nahe taktilen Steuerelementen enthalten sein, zum Beispiel durch Verwenden eines animierten GIF als Bild oder Hinzufügen eines Timer-Auslösers zum Zuordner, und programmatisches Senden von Bildaktualisierungen.
-
Kritische Funktionen können nahe Finger-”Fühlpunkten” wie zum Beispiel Ecken, Schalterlayouts, die mehr Fühlpunkte erzeugen, und die Verwendung von erhobenen Kanten für ”Home-Tasten” gesetzt werden. Ausführungsbeispiele der Erfindung reduzieren deshalb den Bedarf, auf die Hardware-Steuerfläche zu blicken, und verbessern das Muskel-Gedächtnis-Training, das zu einer unbewussten Bedienung und einem effizienten Gebrauch der Anwendungen führt.
-
Ausführungsbeispiele der Erfindung können auch eine Anwendung enthalten, die eine Fernsteuerung ermöglicht. Zum Beispiel kann eine Fernsteueranwendung
- – auf Windows 7 und/oder Mac OS-X und/oder irgendeinem anderen Betriebssystem wie zum Beispiel Linux laufen; und/oder
- – eine Basis-Tastatur- und Maus-Schnittstellenfunktionen vorsehen; und/oder
- – Schnittstellenfähigkeiten haben, die über DLL hinausgehen; und/oder
- – Auto-Boot und Auto-Configure
-
Zuordner, die gemäß Ausführungsbeispielen der Erfindung verwendet werden, können mit verschiedenen Metadaten gekennzeichnet werden, um die Nutzbarkeit des Systems zu verbessern. Zum Beispiel ein einheitlicher Weg, dem Benutzer einen Hilfetext anzuzeigen, wobei ein Zuordner mit dem Hilfetext versehen werden kann, der dem Benutzer als Reaktion auf eine ”Explain xxx”-Tastenfolge angezeigt wird. Der gesamte Hilfetext von allen gebundenen Zuordnern kann in einer durchsuchbaren Datenbank gesammelt sein.
-
Spezielle Kennsätze im Hilfetext können Daten identifizieren, die es dem System ermöglichen, dem Benutzer ein ”Find This Key” anzubieten. Um den aktuellen Hilfetext anzuzeigen, kann das System den Hilfetext in seinem Wörterbuch suchen, wobei der Erklärungskennsatz als Taste benutzt wird. Ein solches Wörterbuch kann auf eine Vielzahl von Sprachen geschaltet sein. Zum Beispiel kann ein Online-Übersetzungsdienst wie beispielsweise Google Translate verwendet werden, um den Hilfetext in verschiedene Sprachen zu übersetzen.
-
In der Praxis kann eine Benutzerschnittstelle zum Beispiel ein Merkmal enthalten, um eine Datei zu öffnen. Deshalb kann ein Zuordner entsprechend dieser Funktion ”OpenFile” genannt werden. Der Zuordner kann einen Erklärungskennsatz mit dem Wert ”explain OpenFile” haben. Das Wörterbuch enthält den englischen Erklärungstext für diese Taste: ”Press this key to open a file”. Das Wörterbuch enthält auch Übersetzungen dieses Textes, wie zum Beispiel ”tryk paa denne knap for at aabne en fil” (in der dänischen Sprache).
-
Das System kann auch einen Lehrmechanismus unterstützen. Der Lehrplan kann in Überschriften aufgeteilt werden. Überschriften ihrerseits können in Unterüberschriften aufgespaltet sein. Zum Beispiel:
Überschrift ”How to – do my filing”
Unterüberschrift: ”How to – open a file”
-
Wenn ein Benutzer auf ein Lehrmodul zugreift, kann dem Benutzer eine Liste aller Überschriften präsentiert werden. Der Benutzer kann eine Überschrift auswählen, und ihm kann dann eine Liste der relevanten Unterüberschriften präsentiert werden. Der Benutzer kann eine Unterüberschrift auswählen, und das System kann dann den Benutzer schrittweise durch die gewünschte Operation führen. Für jeden Schritt kann das System einen Erklärungstext präsentieren, wie zum Beispiel ”To open a file, press the OpenFile Key”, und das System beleuchtet gleichzeitig die Steuerung zur Aktivierung. Alle Überschriften und Unterüberschriften können durch das Wörterbuch verwaltet werden, so können sie in wechselnde Sprachen geschaltet werden.
-
Wie aus der obigen Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung ersichtlich, ist es offensichtlich, dass die Erfindung einen oder mehrere der folgenden Vorteile enthalten kann:
- – eine anpassbare Benutzerschnittstelle, die über einen Bereich von Softwareanwendungen betreibbar ist
- – ein Benutzer kann die üblichsten oder logisch-gruppierten Funktionen (für ihn oder sie) in einem gewünschten Bereich anordnen
- – Anpassung von Kennzeichen für bestimmte Funktionen
- – Vorsehen einer großen Anzahl von Funktionen kombiniert mit einer Benutzerumgebung, die das ”Rauschen” irrelevanter Auswahlen reduziert
- – effiziente Benutzung des physischen Raums
-
Obwohl bevorzugte Formen der Erfindung unter spezieller Bezugnahme auf Anwendungen in Bezug auf das Gebiet der Medienproduktion beschrieben worden sind, ist es für den Fachmann offensichtlich, dass an den oben beschriebenen bevorzugten Ausführungsbeispielen Modifikationen vorgenommen werden können oder dass die Erfindung in anderen Formen realisiert oder in alternativen Anwendungen benutzt werden kann.
-
In dieser Beschreibung und in den nachfolgenden Ansprüchen sollen, sofern nicht der Kontext anderes fordert, das Wort ”aufweisen” und Variationen wie beispielsweise ”aufweist” und ”aufweisend” so verstanden werden, dass sie das Enthalten einer angegebenen ganzen Zahl oder Stufe oder einer Gruppe von ganzen Zahlen oder Stufen, aber nicht den Ausschluss irgendeiner anderen ganzen Zahl oder Stufe oder Gruppe von ganzen Zahlen oder Stufen beinhalten.
-
Die Bezugnahme in dieser Beschreibung auf Stand der Technik (oder daraus abgeleitete Informationen) oder auf irgendeine andere bekannte Sache ist und sollte nicht genommen werden als Anerkennung oder Zugeständnis oder irgendeine Form von Vermutung, dass dieser Stand der Technik (oder daraus abgeleitete Information) oder diese bekannte Sache einen Teil des allgemeinen Fachwissens im Gebiet der Bemühungen bildet, auf den sich diese Beschreibung bezieht.
