-
Die Erfindung betrifft ein Verfahren zur Eingabe von Befehlen für eine elektronische Einrichtung mit einer berührungsempfindlichen Anzeigeeinheit, auf der ein Bild anzeigbar und ein Bedienzeiger über zumindest einen Teilbereich des angezeigten Bildes bewegbar und eine Segmentierung dadurch zielgerichtet durchführbar ist, und mit einer Spracherkennungseinheit oder akustischen Empfangseinheit, durch die akustische Eingaben an die elektronische Einrichtung erkennbar sind
-
Es ist grundsätzlich bekannt, dass bei elektronischen Datenverarbeitungsgeräten die Befehlseingabe über eine Tastatur oder über eine Bildschirmtastatur erfolgt. Auch ist es bekannt, dass die Befehlseingabe über einen auf der Anzeigeeinheit dargestellten Bedienzeiger, beispielsweise den „Maus“-Zeiger, erfolgt. Insbesondere bei der Verwendung einer Computer-„Maus“ erfolgt die Befehlseingabe häufig so, dass zunächst ein dargestellter Bereich mit dem „Maus“- zeiger ausgewählt wird. Die Ausführung erfolgt dann durch das Anklicken des so ausgewählten Bereichs. Weiterhin ist es bekannt, Befehle an elektronische Datenverarbeitungsgeräte mittels Sprachsteuerung zu übertragen. Die Datenverarbeitungsanlage ist hierfür mit einem Mikrofon und einer Spracherkennungseinheit ausgerüstet, durch die der gesprochene Befehl analysiert und die betreffende Aktion durchgeführt wird.
-
Diese Arten von Befehlseingaben sind bei Standgeräten ohne weiteres durchführbar. Bei mobilen Datenverarbeitungsgeräten, wie Smart-Phones, Tablet-Computer oder dergleichen fehlt es jedoch in der Regel an einem Bedienzeiger, mit dem ein Befehl oder eine Aktion ausgelöst oder durchgeführt werden kann.
-
Solche mobile Geräte werden über eine berührungsempfindliche Anzeigeeinheit mittels eines Fingers oder eines Stifts des Benutzers bedient. Es ist bei einer solchen Eingabe von Befehlen mit einem Bedienzeiger erforderlich, dass das auf der Anzeigeeinrichtung dargestellte Bild überhaupt Bereiche vorsieht, in denen der Bedienzeiger, beispielsweise durch Anklicken, aktiv werden kann. Das dargestellte Bild muss daher vorher aktivierbare Bereiche aufweisen, in denen der Bedienzeiger aktiv werden kann, um einen Befehl auszuführen. Ansonsten kann das Bild nur betrachtet werden.
-
Die Auswahl von auf einem dargestellten Bild gezeigten Bereichen ist mit dem Finger des Nutzers nur relativ ungenau möglich. Auch ein Anklicken ist mit dem Finger schwer möglich, da elektronisch unterschieden werden muss zwischen einem Darüberstreichen und einem Auswählen. Auch muss derselbe Bereich zweimal mit dem Finger getroffen werden. Diese Ungenauigkeit wird noch dadurch verstärkt, dass insbesondere Smart-Phones nur relativ kleine Bildschirme aufweisen, auf der eine Vielzahl von auswählbaren Bereichen dargestellt sind und mit einem Finger häufig mehrere Bereiche gleichzeitig berührt werden. Es kommt daher vermehrt zu Fehlbedienungen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs geschilderten Art so auszubilden, dass eine weitere Nutzung und eine andere Bedienung des Datenverarbeitungsgeräts mit einer berührungsempfindlichen Anzeigeeinheit möglich sind. Insbesondere soll es möglich sein, dass ein beliebiges Bild als Ausgangspunkt für die Erzeugung eines Befehls verwendet werden kann.
-
Die Aufgabe wird gemäß der Erfindung dadurch gelöst, dass durch den Benutzer der elektronischen Einrichtung mit dem Bedienzeiger zumindest ein Teilbereich eines angezeigten Bildes ausgewählt wird, der durch eine akustische Eingabe einer Bildanalyse zur Erzeugung eines Befehls für die elektronische Einrichtung unterzogen wird. Durch die Kombination der Berührung des ausgewählten Bereichs und der akustischen Eingabe können andere Befehle sicher für die elektronische Einrichtung erzeugt werden. Auch können die Eingabeschwierigkeiten bei mobilen Geräten mit sogenannten Touchscreens überwunden werden. Insbesondere ist vorgesehen, dass der Bedienzeiger ein Finger des Benutzers ist.
-
Durch die Bildanalyse des berührten oder ausgewählten Bereichs ist es möglich, zu erkennen, was in diesem Bereich bildlich dargestellt ist. Daraufhin kann der Bereich nach möglichen und/oder für den Nutzer sinnvollen Befehlen, die die elektronische Einrichtung oder das Datenverarbeitungsgerät durchführen soll, analysiert werden. Auch können dem Nutzer eine Auswahl von Befehlen oder Aktionen angeboten werden.
-
Es ist beispielsweise möglich, dass der Nutzer auf einen auf dem angezeigten Bild dargestellten Gegenstand zeigt oder diesen berührt. Dieser Gegenstand wird erkannt, und es werden weitere Informationen zu diesem Gegenstand nach der akustischen Eingabe, die ein gesprochenes Wort sein kann, angezeigt. Es erfolgt dadurch eine manuelle Segmentierung des gesamten Bildes und somit eine schnelle Auswahl des interessierenden Bereichs oder Produkts. Der Nutzer gelangt somit sehr schnell zu einem gewünschten Ergebnis. Auch sind andere Auswertungen möglich, beispielsweise die separate Darstellung eines Eingabefeldes mit Eingabemöglichkeit, sofern mit dem Bedienzeiger oder dem Finger ein dargestelltes Eingabefeld berührt worden ist, das auf dem angezeigten Bild noch keine Funktion hat.
-
Der Vorteil ist, dass das auf der Anzeigeeinheit dargestellte Bild vorher nicht segmentiert oder bearbeitet werden muss, um aktive und somit auswählbare Bereiche zu definieren. Das hinterlegte Programm zur akustischen und berührungsempfindlichen Eingabe analysiert nur den bildlich dargestellten Bereich und führt die dort angezeigten oder symbolisierten Befehle oder andere, durch den bildlichen Inhalt naheliegende Aktionen aus. Es kann sich dabei auch um eine beliebige Fotografie ohne festgelegte aktive Bereiche handeln.
-
Der Nutzer kann mit seinem Finger als Bedienzeiger nur einen relativ großen Bereich berühren. Durch die akustische Eingabe in das Mikrofon, dass bei den meisten mobilen Datenverarbeitungsgeräten und insbesondere bei Smart-Phones vorhanden ist, kann der berührte Bereich durch die Bildanalyse ausgewertet und mit der Spracherkennung näher spezifiziert werden, so dass eine exakte Eingabe eines Befehls mit einfachen Mitteln möglich ist. Insbesondere wird ein versehentliches Auslösen eines Befehls beim Überstreichen des Befehlsbereichs vermieden.
-
Als Ergebnis der Bildanalyse kann demnach ein Befehl für die elektronische Einrichtung generiert werden, der auf der Anzeigeeinheit dargestellt oder symbolisiert ist. Dadurch ist es möglich, das elektronische Datenverarbeitungsgerät zu steuern und zu bedienen.
-
Es ist aber auch möglich, dass aufgrund des erkannten Bereichs ein Programm des Datenverarbeitungsgeräts aufgerufen wird, das dann abläuft. So kann vorgesehen werden, dass als Ergebnis der Bildanalyse weitere Informationen zu dem ausgewählten Bildbereich auf der Anzeigeeinheit angezeigt werden. Damit ist es möglich, auch auf einer berührungsempfindlichen Anzeigeeinheit beispielsweise schnell zu Angeboten oder Informationen zu dem dargestellten und ausgewählten Objekt zu gelangen.
-
In Abhängigkeit von der Größe der auf der Anzeigeeinheit dargestellten Objekte und Symbole kann vorgesehen werden, dass als Ergebnis der Bildanalyse der ausgewählte Bereich segmentiert und die erkannten Objekte auf der Anzeigeeinheit angezeigt werden. Dann ist es möglich, die erkannten Objekte im anschließend angezeigten Bild vergrößert und gegebenenfalls mit weiteren Informationen anzuzeigen, so dass sie besser durch den groben Bedienzeiger, wie der Fingerspitze des Nutzes, ausgewählt werden können.
-
Es kann zweckmäßig sein, wenn die Spracherkennungseinheit auf eine Auswahl von vorgebbaren oder anlernbaren Befehlen reagiert. Dadurch wird ein spezifischer akustischer Befehl nur dann ausgeführt, wenn gleichzeitig der oder ein entsprechender Bereich auf der Anzeigeeinheit berührt wird. Die Bediensicherheit wird dadurch deutlich erhöht. Es kann daher auch vorgesehen werden, dass bestimmten auswählbaren Bereichen vorbestimmbare akustische Eingaben zugeordnet sind und dass die mit diesem Bereich verknüpfte Aktion nur nach Erhalt der vorbestimmten akustischen Eingabe ausgeführt wird. Unter einer akustischen Eingabe soll jede Art eines akustischen Signals verstanden werden, also ein gesprochenes Wort, ein Laut oder anderes Geräusch oder mittels Körperschall übertragene Schalwellen.
-
Grundsätzlich ist es zweckmäßig, wenn ein auswählbarer oder der ausgewählte Bereich sich beim Überstreichen mit dem Bedienzeiger optisch verändert. Dadurch erhält der Nutzer einen Hinweis, welchen Bereich er gerade ausgewählt hat, der durch einen zusätzlichen akustischen Befehl aktivierbar ist. Allerdings ist dies nur bei vorher präparierten Bildern möglich.
-
Es kann weiterhin vorgesehen werden, dass ein Befehl für die elektronische Einrichtung nur dann generiert wird, wenn sich der Bedienzeiger auf dem ausgewählten Bereich befindet und eine akustische Eingabe gleichzeitig oder innerhalb einer vorgebbaren Zeitspanne erfolgt. Hierdurch wird eine versehentliche Fehlbedienung der elektronischen Einrichtung weitgehend vermieden. Der Nutzer zeigt beispielsweise mit seinem Finger auf einen Gegenstand und sagt gleichzeitig ein Aktivierungswort. Dann wird genau dieser Bereich analysiert, der zum Zeitpunkt der akustischen Eingabe berührt worden ist.
-
Es kann aber auch vorgesehen werden, dass die akustische Eingabe noch eine kurze Zeitspanne von beispielsweise 0,5 sec bis 2 sec später erfolgen kann, um die gewünschte oder voreingestellte Aktion auszuführen. In jedem Fall wird aber vermieden, dass eine Aktion bei nur einer Eingabe, also nur durch Berührung oder nur durch eine akustische Eingabe, durchgeführt wird. So wird ein versehentliches Auslösen einer Aktion bei einem in einer Tasche getragenen Smart-Phone mit berührungsempfindlichem Display zuverlässig verhindert, da die für das Ausführen einer Aktion oder eines Befehls weiterhin erforderliche Eingabe fehlt.
-
Weiterhin ist es günstig, wenn der ausgewählte Bereich unabhängig von der ausgeführten oder veranlassten Aktion auf der Anzeigeeinheit dargestellt wird oder bleibt. Dies hat den Vorteil, dass der Nutzer die Historie seiner ausgewählten Bereiche nachvollziehen kann.
-
Der Vorteil des erfindungsgemäßen Verfahrens besteht insbesondere darin, dass ein dargestelltes Bild für eine konkrete Eingabe an das Datenverarbeitungsgerät benutzt werden kann. Das Bild kann entweder von dem Datenverarbeitungsgerät als Benutzeroberfläche generiert worden sein oder aber ein beliebiges Bild oder eine Fotografie sein, das beziehungsweise die auf der Anzeigeeinheit angezeigt wird. Durch den Finger des Nutzers wird der gewünschte Bereich berührt. Es ist dabei häufig unvermeidlich, dass mehrere Bereiche berührt werden, so dass kein eindeutiger Befehl erkennbar ist oder aber eine falsche Aktion ausgelöst wird. Zusammen mit der akustischen Eingabe wird der tatsächlich gewünschte Befehl durchgeführt oder die tatsächlich gewünschte Aktion ausgelöst.
-
Auch kann die Bildanalyse des berührten Bereichs in einfacher Weise zu einem Shop führen, der das dargestellte Objekt anbietet oder zumindest weitere Informationen zu diesem Objekt bereitstellt. Der Nutzer erhält beispielsweise auf seinem Smart-Phone eine Bild von einem Schaufenster mit einer Vielzahl von Produkten. Er interessiert sich für ein Objekt und möchte hierzu weitere Informationen erhalten. Er tippt auf den Bereich der Anzeigeeinheit, auf dem das Objekt dargestellt ist. Durch einen akustischen Befehl, beispielsweise ein Kennwort für ein bestimmtes auf dem Datenverarbeitungsgerät vorhanden Programm, wird der berührte Bildbereich einer Bildanalyse unterzogen, und das Objekt und eventuell weitere versehentlich berührte Objekte werden erkannt. Diese erkannten Objekte werden auf der Anzeigeeinheit dargestellt in einer Weise, dass der Nutzer sie besser sehen und auswählen kann.
-
Sofern nur ein Objekt erkannt wird, kann vorgesehen werden, dass das Programm unmittelbar weitere Informationen oder Bezugsquellen und Bezugspreise zu dem berührten Objekt anzeigt. Die Bedienung wird somit eindeutig und Fehler werden vermieden. Insbesondere bei Smart-Phones mit relativ kleinem berührungsempfindlichem Display kann diese Art der Befehlseingabe günstig sein. Der Nutzer braucht nicht mehr das Bild zu vergrößern, bis der gewünschte Bereich ausreichend groß für eine eindeutige Berührung mit seinem Finger ist. Vielmehr reicht es aus, den Bereich „grob“ zu berühren und mit einem entsprechenden akustischen Befehl oder Kennwort die gewünschte Aktion auszuführen.
-
Weiterhin werden Fehleingaben weitestgehend ausgeschlossen, da die hinterlegt Aktion nur bei gleichzeitigem akustischen Befehl und Berührung ausgeführt wird. Dies ist insbesondere bei voreingestellten Bedienflächen auf der Anzeigeeinheit zweckmäßig. Bei einem beliebigen angezeigten Bild kann sich die erste Aktion in einer Bildanalyse des berührten oder gekennzeichneten Bereichs erschöpfen, deren Ergebnis für weitere Aktionen benutzt werden kann.
-
Es kann auch vorgesehen werden, dass bei größerer Darstellung eines Objekts dieses von dem Bedienzeiger, beispielsweise dem Finger des Nutzers, eingekreist oder überstrichen und somit markiert wird. Hierdurch wird ein Bereich gekennzeichnet, der nach dem Erhalt des entsprechenden akustischen Befehls einer Bildanalyse unterzogen wird. Damit können auch ohne einen auf der Anzeigeeinrichtung dargestellten Bedienzeiger vorgebbare Programme oder Aktionen oder Befehle schnell und problemlos anhand einer bildlichen Darstellung ausgelöst oder aktiviert werden.
-
Die Erfindung wird im Folgenden anhand der schematischen Zeichnung näher erläutert. In der einzigen Figur ist ein Smart-Phone 11 dargestellt, das ein berührungsempfindliches Display 12 aufweist, auf dem eine Vielzahl von Befehlsfeldern 1, 2, 3, 4, 5, 6, 7, 8, 9 dargestellt ist. Weiterhin kann auf dem Display 12 wenigstens ein Bild 13 dargestellt sein. Weiterhin weist das Smart-Phone 11 Eingabeknöpfe 14 auf, mit denen vorgegebene Funktionen sofort abrufbar sind. Auch sind ein Mikrophon 15 und ein Lautsprecher 16 vorhanden. Insofern entspricht das Smart-Phone einem herkömmlichen Smart-Phone und bedarf daher keiner weiteren Erläuterung.
-
Für die Befehlseingabe wird in der Regel der Finger 17 des Nutzers verwendet, der das gewünschte Befehlsfeld 1, ..., 9 mit der Fingerspitze 18 berührt, um den damit verknüpften Befahl auszuführen. Die Befehlsfelder 1, ..., 9 sind häufig jedoch relativ klein auf dem ohnehin kleinem Display 12 des Smart-Phones dargestellt, so dass die Fingerspritze 18 einen größeren Bereich 19 und somit häufig mehrere Befehlsfelder 1, 2, 4, 5 gleichzeitig berührt und somit auswählt. Dies führt zu Fehlern bei der Eingabe.
-
Das Smart-Phone 11 ist mit einer akustischen Spracherkennungseinheit ausgestattet, die als Programm ausgebildet sein kann. Wählt der Nutzer das von ihm gewünschte Bedienfeld 5 mit seiner Fingerspritze 18 aus, erfolgt zunächst keine Reaktion. Es läuft eine Bildanalyse ab, die das Vorhandensein von vier Bedienfeldern 1, 2, 4, 5 in dem berührten Bereich 19 erkennt. Daraufhin wartet das Smart-Phone auf eine akustische Eingabe 21, beispielsweise das Wort „FÜNF“, das mit dem Bedienfeld 5 verknüpft ist.
-
Damit wird eindeutig erkannt, dass von den berührten Bedienfeldern 1, 2, 4, 5 tatsächlich nur das Bedienfeld 5 gemeint ist. Der entsprechende hinterlegte Befehl kann dann ausgeführt werden. Der Befehl wird tatsächlich nur bei gleichzeitigem Berühren des Bedienfelds 5 und dem passenden akustischen Befehl „FÜNF“ ausgeführt, so dass Fehlbedienungen verhindert werden.
-
Es können auf diese Weise auch andere Aktionen oder Programme des Datenverarbeitungsgeräts 11 ausgeführt werden. Auf dem Display 12 wird beispielsweise ein Bild 13 mit einer Vielzahl von Elementen dargestellt. Der Nutzer interessiert sich für das Element X und berührt dieses und eventuell auch den umliegenden Bereich 20 mit seiner Fingerspitze 18. Durch einen vorbestimmbaren akustischen Befehl wird dieser berührte Bereich 20 eine Bildanalyse unterzogen und die gewünschte Aktion ausgeführt. Soll das Bildelement X als Ausgangspunkt für einen Shop verwendet werden, kann der Nutzer durch eine akustische Eingabe 21, beispielsweise „SHOP“, sofort zu einer Angebotsseite für dieses Objekt X gelangen. Auch können andere, ähnliche Produkte angezeigt werden. Als akustische Eingabe können auch Töne oder andere Wörter oder Wortkombinationen verwendet werden. Die Wörter können auch das berührte Objekt beschreiben. Weiterhin kann als akustische Eingabe auch ein mit Körperschall übertragenes Signal dienen. Der Finger berührt den gewünschten Bereich und durch ein Klopfen oder dergleichen wird dieses Körperschallsignal an die Spracherkennungseinheit weitergeleitet, die dann als akustischer Empfänger arbeitet.
-
Bei dem dargestellten Ausführungsbeispiel befindet sich in dem berührten Bereich 20 nur ein Objekt X. Sofern mehrere erkennbare Objekte beispielsweise versehentlich berührt werden, führt die Bildanalyse zunächst zu einer Segmentierung des berührten oder überstrichenen oder naheliegenden Bereichs und die einzelnen Objekte werden getrennt voneinander vorzugsweise vergrößert angezeigt. Anschließend kann der Nutzer das von ihm tatsächlich gewünschte Objekt besser auswählen. Es erfolgt demnach eine zweistufige Segmentierung des Bilds. Zuerst wird das Gesamtbild manuell durch den Benutzer segmentiert, indem er auf einen gewünschten Bereich tippt oder anders markiert. Dann erfolgt die weitere Segmentierung durch die Bildanalyse, durch die der berührte Bereich weiter nach separierbaren Objekten aufgeteilt wird. Diese Objekte können dann getrennt angezeigt und vom Nutzer bequem ausgewählt werden.
-
Die derartige kombinierte Eingabe eines Auswählens eines Objekts mit dem Bedienzeiger oder dem Finger und der gelichzeitigen akustischen Befehlseingabe zu dem berührten Bereich kann mit dem ohnehin vorhanden Mitteln eines Smart-Phones, Tablet-Computers oder Navigationssystem im Kraftfahrzeug (Mikrophon, berührungsempfindliches Display) erfolgen. Die Bedienung wird dadurch eindeutig und sicherer.
