DE102016125068B4 - Verfahren und Vorrichtung zum Handhaben von Audioausgaben - Google Patents

Verfahren und Vorrichtung zum Handhaben von Audioausgaben Download PDF

Info

Publication number
DE102016125068B4
DE102016125068B4 DE102016125068.6A DE102016125068A DE102016125068B4 DE 102016125068 B4 DE102016125068 B4 DE 102016125068B4 DE 102016125068 A DE102016125068 A DE 102016125068A DE 102016125068 B4 DE102016125068 B4 DE 102016125068B4
Authority
DE
Germany
Prior art keywords
user
state
module
audio output
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016125068.6A
Other languages
English (en)
Other versions
DE102016125068A1 (de
Inventor
Amit Kumar Agrawal
Satyabrata Rout
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of DE102016125068A1 publication Critical patent/DE102016125068A1/de
Application granted granted Critical
Publication of DE102016125068B4 publication Critical patent/DE102016125068B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Abstract

Verfahren, umfassend:das Präsentieren einer Audioausgabe einem Nutzer eines elektronischen Geräts, wobei die Audioausgabe ein gesprochener Text aus einer empfangenen Benachrichtigung ist;das Bestimmen eines Aufmerksamkeitszustands des Nutzers; unddas Präsentieren eines visuellen Cue in einer visuellen Benachrichtigung in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, wobei die visuelle Benachrichtigung Text der empfangenen Benachrichtigung darstellt, wobei der visuelle Cue einen Bereich des Texts in der visuellen Benachrichtigung anzeigt, der einem Bereich des aktuell durch die Audioausgabe präsentierten gesprochenen Texts entspricht.

Description

  • GEBIET DER ERFINDUNG
  • Die Erfindung betrifft Audioausgaben und insbesondere die Handhabung von Audioausgaben und visuellen Benachrichtigungen auf einem elektronischen Gerät.
  • HINTERGRUND
  • Zum Stand der Technik wird auf die folgenden Literaturstellen verwiesen:
  • Die Literaturstelle [1] betrifft ein Verfahren zum Anzeigen elektronischer Informationen in einem mobilen elektronischen Gerät, bei dem das Anzeigen der elektronischen Informationen bei Erkennen eines Sprachübertragungskommando durch eine Stimme unter Verdunkeln einer Bildschirmanzeige oder Schließen des Bildschirms des mobilen elektronischen Geräts erfolgt und beim Erfassen eines Anzeigewiederherstellungsbefehls während des Sprachübertragungsprozesses ein Unterbrechen der aktuellen Sprachübertragung und Aufhellen des Bildschirms erfolgt, um die Anzeige von elektronischen Informationsinhalten wiederherzustellen, wobei die elektronische Informationen an eine Stelle gerollt wird, an der die Sprachübertragung unterbrochen ist oder eine Unterbrechungspositionsmarkierung an der Stelle, an der die Sprachübertragung unterbrochen wird angezeigt wird.
  • Die Literaturstelle [2] offenbart, Gerätebenachrichtigungen basierend auf Umgebungsbedingungen zu erzeugen, die mit einem Mobilgerät verbunden sind. Zu diesem Zweck wird eine Anforderung zum Generieren einer Gerätebenachrichtigung von einer Benutzeranwendung erhalten. Der Benachrichtigungsinhalt wird aus der Anforderung extrahiert und eine eskalierte oder deeskalierte Benachrichtigungsebene wird angewendet, die zumindest teilweise auf den Umgebungsbedingungen des Mobilgeräts und Eigenschaften über die Umgebungsbedingungen, die identifiziert werden können, basiert.
  • Die Literaturstelle [3] offenbart ein Lesegerät für elektronische Bücher umfassend eine Anzeige, ein Audioausgabegerät, ein Textgewinnungsmodul, ein Speichermodul, ein Textanzeigemodul, ein Textanalysemodul, ein Texthervorhebungsmodul, ein Sprachsynthesemodul, ein Abspielmodul und ein Synchronisationssteuerungs-Modul. Das Texterlangungsmodul erhält einen Text von einer Textquelle. Das Speichermodul speichert den Text. Das Textanzeigemodul zeigt den Text auf dem Display an. Das Textanalysemodul teilt den Text gemäß den Satzzeichen des Textes in mehrere Segmente und liest ein ausgewähltes Segment. Das Sprachsynthesemodul wandelt das ausgewählte Segment in Sprache um. Das Synchronisationssteuermodul sendet einen Befehl zum Lesen des Segments an das Textanalysemodul und sendet das Segment synchron an das Texthervorhebungsmodul und das Sprachsynthesemodul.
  • Die Literaturstelle [4] ein mobiles Endgerät bereitgestellt, das Feldunterbrechungspositionen entsprechend der Situation automatisch einstellt, einen Sprungbetrieb und einen Rücksprungbetrieb durch spezifische Operationen realisiert und eine Auslesefunktion nutzt. Das Endgerät hat eine Bedieneinheit zum Anweisen einer Auslesefunktion, einen Speicher zum Speichern von Text, eine Text-in-Sprache-Einheit zum Umwandeln von im Speicher gespeicherten Textdaten in Sprachdaten zum Zeitpunkt des Auslesens, eine Audioausgabeeinheit für Ausgeben der Sprachdaten, und eine Steuereinheit zum Erkennen vorbestimmter Unterbrechungen aus dem auszulesenden Text, wenn die Sprachdaten an der Audioausgabeeinheit ausgegeben werden, und zum Durchführen einer Steuerung, um die Wörter entweder von einer Unterbrechungsposition vor oder nach dem Zieltext zum Zeitpunkt der Eingabe der Anweisung als Sprachdaten durch die Audioausgabeeinheit auslesen, wenn eine vorbestimmte Anweisung durch die Bedieneinheit vorliegt.
  • Mit dem Fortschritt der Sprachsynthese und Spracherkennung bei Computersystemen ist es einem Nutzer möglich, allein durch Spracheingaben und Audioausgaben mit einem Mobilgerät wie beispielweise einem Smartphone zu interagieren. Während ein menschliches Wesen weiß, wann eine Konversation zu unterbrechen ist, können Computer nicht erkennen, wann Audioausgaben präsentiert werden sollen und wann nicht. Audioausgaben können sich in die Länge ziehen und sind für den Nutzer umständlich und bisweilen unpassend. Bei ausführlichen oder langen Audioausgaben hat der Nutzer nicht die Möglichkeit, diese zu unterbrechen.
  • ÜBERSICHT
  • Es wird ein Verfahren zum Handhaben von Audioausgaben und visuellen Ausgaben gemäß Anspruch 1 angegeben. Ebenso wird eine Vorrichtung gemäß Anspruch 16 angegeben, die die Funktionen des Verfahrens ausführen kann.
  • Das Verfahren kann umfassen, dass dem Nutzer eines elektronischen Geräts eine Audioausgabe präsentiert wird. Das Verfahren kann auch die Bestimmung des Aufmerksamkeitszustands eines Nutzers umfassen. Ferner kann das Verfahren umfassen, dass dem Nutzer in Reaktion darauf, dass der Aufmerksamkeitszustand eines Nutzers einem interessierten Zustand des Nutzers entspricht, in einer visuellen Benachrichtigung ein visueller Cue bzw. Startpunkt präsentiert wird.
  • In einer Ausführungsform zeigt der visuelle Cue in der visuellen Benachrichtigung eine Stelle an, die einer aktuellen Position der Audioausgabe entspricht. In einigen Ausführungsformen umfasst das Bestimmen des Aufmerksamkeitszustands den Empfang von Bilddaten des Nutzers. Das Bestimmen des Aufmerksamkeitszustands des Nutzers kann auch umfassen, dass basierend auf den Bilddaten festgestellt wird, ob der Nutzer auf das elektronische Gerät blickt. Das Bestimmen des Aufmerksamkeitszustands des Nutzers kann ferner umfassen, dass in Reaktion auf den Blick des Nutzers auf das elektronische Gerät bestimmt wird, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist.
  • In bestimmten Ausführungsformen umfasst die Präsentation eines visuellen Cue bzw. Startpunkts in der visuellen Benachrichtigung das Anzeigen der visuellen Benachrichtigung auf einem externen Gerät, das mit dem elektronischen Gerät kommunizierend verbunden ist, und das Präsentieren des visuellen Cue in der visuellen Benachrichtigung, die auf dem externen Gerät angezeigt wird. In einigen Ausführungsformen umfasst das Bestimmen des Aufmerksamkeitszustands des Nutzers das Empfangen von Sensordaten und basierend auf den Sensordaten das Bestimmen bzw. Ermitteln, ob ein Nutzer das elektronische Gerät hält. Das Bestimmen des Aufmerksamkeitszustands des Nutzers kann auch umfassen, dass in Reaktion darauf, dass der Nutzer das elektronische Gerät hält, der Aufmerksamkeitszustand des Nutzers als interessierter Zustand des Nutzers bestimmt wird.
  • In bestimmten Ausführungsformen umfasst das Verfahren das Empfangen von Bilddaten in Reaktion auf die Bestimmung, dass der Nutzer das elektronische Gerät hält, und basierend auf den Bilddaten das Bestimmen, ob der das Gerät haltende Nutzer ein autorisierter Nutzer ist. Das Verfahren kann ferner umfassen, dass die Audioausgabe in Reaktion auf die Feststellung, dass der das elektronische Gerät haltende Nutzer kein autorisierter Empfänger der Audioausgabe ist, unterbrochen wird und dass in Reaktion darauf, dass der das elektronische Gerät haltende Nutzer kein autorisierter Nutzer des elektronischen Geräts ist, der Zugriff auf das elektronische Gerät eingeschränkt wird.
  • In bestimmten Ausführungsformen umfasst das Verfahren das Empfangen von Bilddaten in Reaktion darauf, dass bestimmt bzw. erkannt wird, dass ein Nutzer das elektronische Gerät hält, und basierend auf den Bilddaten das Bestimmen bzw. Feststellen, ob der Nutzer auf das elektronische Gerät blickt. Das Verfahren kann ferner umfassen, dass in Reaktion darauf, dass der Nutzer auf das elektronische Gerät blickt, eine der Audioausgabe entsprechende visuelle Benachrichtigung präsentiert wird, wobei das Präsentieren eines visuellen Cue in einer visuellen Benachrichtigung umfasst, dass der visuelle Cue in der visuellen Benachrichtigung in Reaktion darauf erfolgt, dass der Nutzer auf das elektronische Gerät blickt.
  • In einigen Ausführungsformen umfasst das Verfahren das Unterbrechen der Audioausgabe in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand ist, und umfasst das erneute Bestimmen des Aufmerksamkeitszustands des Nutzers in Reaktion auf die Unterbrechung der Audioausgabe und die Fortsetzung der Audioausgabe in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger ein Ablenkungszustand ist. In bestimmten Ausführungsformen umfasst die Wiederaufnahme der Audioausgabe das Erwirken einer Zusammenfassung eines dem Nutzer vorher präsentierten Teils der Audioausgabe, die Anfrage an den Nutzer, ob die Zusammenfassung präsentiert werden soll, und das Präsentieren der Zusammenfassung in Reaktion auf eine bejahende Antwort des Nutzers.
  • In bestimmten Ausführungsformen umfasst das Bestimmen des Aufmerksamkeitszustands des Nutzers das Messen eines Umgebungsgeräuschpegels an dem elektronischen Gerät und das Vergleichen des Umgebungsgeräuschpegels mit einem Schwellenwert des unhörbaren Zustands. Das Bestimmen des Aufmerksamkeitszustands des Nutzers kann auch umfassen, dass in Reaktion auf einen Umgebungsgeräuschpegel, der über dem Schwellenwert des unhörbaren Zustands liegt, der Aufmerksamkeitszustand des Nutzers als Ablenkungszustand des Nutzers bewertet wird. In bestimmten Ausführungsformen umfasst das erneute Bestimmen des Aufmerksamkeitszustands des Nutzers das Messen eines Umgebungsgeräuschpegels an dem elektronischen Gerät, das Vergleichen des Umgebungsgeräuschpegels mit einem Schwellenwert des hörbaren Zustands und in Reaktion darauf, dass der Umgebungsgeräuschpegel für die Dauer eines Zeitschwellenwerts zu einem Wert unterhalb des Schwellenwerts des hörbaren Zustands zurückgekehrt ist, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der Ablenkungszustand ist.
  • In einigen Ausführungsformen umfasst das Verfahren das Bestimmen, ob der Umgebungsgeräuschpegel über die Dauer eines vorgegebenen Zeitrahmens über einem Schwellenwert des hörbaren Zustands bleibt, und in Reaktion darauf, dass der Umgebungsgeräuschpegel über die Dauer des vorgegebenen Zeitrahmens über dem Schwellenwert des hörbaren Zustands bleibt, das Präsentieren der visuellen Benachrichtigung und des visuellen Cue, wobei der visuelle Cue in der visuellen Benachrichtigung eine Stelle angibt, die der aktuellen Position der Audioausgabe entspricht. Das Verfahren kann ferner das Empfangen einer Benachrichtigung und das Empfangen eines Nutzerbefehls zum Lesen der Benachrichtigung umfassen, wobei das Präsentieren der Audioausgabe umfasst, dass dem Nutzer in Reaktion auf den Nutzerbefehl eine Audioausgabe präsentiert wird, die der empfangenen Benachrichtigung entspricht.
  • In einigen Ausführungsformen umfasst das Verfahren das Bestimmen einer Länge der Benachrichtigung und die Anfrage an den Nutzer, ob in Reaktion darauf, dass die Länge der Benachrichtigung eine vorgegebene Länge überschreitet, eine zusammengefasste Ausgabe der Benachrichtigung präsentiert werden soll, wobei das Präsentieren der Audioausgabe das Präsentieren der Zusammenfassung als Ausgabe in Reaktion auf die positive Antwort des Nutzers auf die Anfrage umfasst. In weiteren Ausführungsformen umfasst das Verfahren das Bestimmen einer Länge der Benachrichtigung, wobei das Präsentieren der Audioausgabe umfasst, dass in Reaktion darauf, dass die Länge eine vorgegebene Länge überschreitet, eine Zusammenfassung der Mitteilung als Ausgabe präsentiert wird, und umfasst, dass bei dem Nutzer angefragt wird, ob die komplette Benachrichtigung präsentiert werden soll, wobei das Präsentieren der Audioausgabe ferner umfasst, dass bei einer positiven Antwort auf die Anfrage eine der kompletten Benachrichtigung entsprechende vollständige Ausgabe präsentiert wird.
  • Das Gerät umfasst eine Audioausgabevorrichtung, eine Displayvorrichtung, einen Prozessor und einen Speicher, der einen von dem Prozessor ausführbaren Code speichert. Beim Ausführen des Codes präsentiert der Prozessor dem Nutzer des Geräts über die Audioausgabevorrichtung eine Audioausgabe, bestimmt einen Aufmerksamkeitszustand des Nutzers und präsentiert in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, über die Displayvorrichtung einen visuellen Cue in einer visuellen Benachrichtigung, die der Audioausgabe entspricht.
  • In bestimmten Ausführungsformen enthält das Gerät einen Bildsensor, der für die Erfassung von Bilddaten geeignet ist. Das Bestimmen des Aufmerksamkeitszustands des Nutzers kann das Empfangen von Bilddaten des Nutzers umfassen, basierend auf den Bilddaten das Bestimmen, ob der Nutzer auf die Displayvorrichtung blickt, und in Reaktion auf den Blick des Nutzers auf die Displayvorrichtung das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, wobei der visuelle Cue in der visuellen Benachrichtigung eine Stelle anzeigt, die einer aktuellen Position der Audioausgabe entspricht.
  • In einigen Ausführungsformen enthält der Speicher ferner einen Code, der von einem Prozessor ausgeführt werden kann, um in Reaktion auf die Präsentation des visuellen Cue die Audioausgabe zu beenden. In bestimmten Ausführungsformen umfasst das Bestimmen des Aufmerksamkeitszustands des Nutzers das Empfangen von Sensordaten, basierend auf den Sensordaten das Bestimmen, ob der Nutzer das Gerät hält, und in Reaktion darauf, dass der Nutzer das Gerät hält, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist.
  • In bestimmten Ausführungsformen enthält das Gerät einen Umgebungsgeräuschsensor, wobei der Speicher ferner einen Code enthält, der von dem Prozessor ausgeführt werden kann, um: einen Umgebungsgeräuschpegel an dem Gerät zu messen, den Umgebungsgeräuschpegel mit einem Schwellenwert des unhörbaren Zustands zu vergleichen, die Audioausgabe in Reaktion auf einen über dem Schwellenwert des unhörbaren Zustands liegenden Umgebungsgeräuschpegel zu unterbrechen, in Reaktion auf die Unterbrechung der Audioausgabe einen Umgebungsgeräuschpegel an dem Nutzergerät erneut zu messen, den erneut gemessenen Umgebungsgeräuschpegel mit einem Schwellenwert des hörbaren Zustands zu vergleichen, in Reaktion darauf, dass der erneut gemessene Umgebungsgeräuschpegel über die Dauer eines Zeitschwellenwerts unter dem Schwellenwert des hörbaren Zustands liegt, die Audioausgabe fortzusetzen und in Reaktion darauf, dass der Umgebungsgeräuschpegel über die Dauer eines vorgegebenen Zeitrahmens über dem Schwellenwert des hörbaren Zustands bleibt, die visuelle Benachrichtigung und den visuellen Cuee zu präsentieren.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Ausführungsformen der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die anliegenden Zeichnungen näher erläutert. Es versteht sich, dass in den Zeichnungen nur einige der Ausführungsformen dargestellt sind und dass die Erfindung nicht auf diese Ausführungsformen beschränkt ist.
    • 1 zeigt in einem schematischen Blockdiagramm eine Ausführungsform eines Systems zum Handhaben von Audioausgaben und visuellen Benachrichtigungen;
    • 2 zeigt in einem schematischen Blockdiagramm eine Ausführungsform einer Vorrichtung zum Handhaben von Audioausgaben und visuellen Benachrichtigungen;
    • 3 zeigt in einem schematischen Blockdiagramm eine weitere Ausführungsform einer Vorrichtung zum Handhaben von Audioausgaben und visuellen Benachrichtigungen;
    • 4 zeigt ein schematisches Flussdiagramm zur Darstellung einer Ausführungsform eines Verfahrens zum Handhaben von Audioausgaben und visuellen Benachrichtigungen;
    • 5 zeigt ein schematisches Flussdiagramm zur Darstellung einer Ausführungsform eines Verfahrens zum Handhaben von Audioausgaben und visuellen Benachrichtigungen basierend auf Umgebungsgeräuschpegeln; und
    • 6 zeigt ein schematisches Flussdiagramm zur Darstellung einer Ausführungsform eines Verfahrens zum Handhaben von Audioausgaben und visuellen Benachrichtigungen basierend auf Sensordaten.
  • DETAILBESCHREIBUNG
  • Wie der Fachmann erkennen wird, können Aspekte der Ausführungsformen als System, als Verfahren oder als Programmprodukt ausgeführt sein. Dementsprechend können Ausführungsformen komplett in Form von Hardware, komplett in Form von Software (einschließlich Firmware, residente Software, Mikrocode etc.) oder als Kombination von Software und Hardware vorgesehen sein, die vorliegend allgemein als „Schaltung/Schaltkreis“, „Modul“ oder „System“ bezeichnet sind. Ferner können Ausführungsformen als Programmprodukt vorgesehen sein, das in einem oder in mehreren computerlesbaren Speichervorrichtungen enthalten ist, die einen maschinenlesbaren Code, einen computerlesbaren Code und/oder einen Programmcode speichern, die nachstehend als Code bezeichnet werden. Die Speichervorrichtungen können materielle Speicher, nichttransitorische Speicher und/oder Nichtübertragungs-Speicher sein. Die Speichervorrichtungen enthalten gegebenenfalls keine Signale. In einer bestimmten Ausführungsform verwenden die Speichervorrichtungen Signale lediglich für einen Zugriffscode.
  • Viele der vorliegend beschriebenen Funktionseinheiten sind als Module bezeichnet, um die Unabhängigkeit ihrer Implementierung noch deutlicher hervorzuheben. Ein Modul kann zum Beispiel als Hardware-Schaltung ausgeführt sein, umfassend anwendungsspezifische VLSI-Schaltungen oder Gate Arrays, serienmäßige Halbleiter wie Logikbausteine, Transistoren oder andere diskrete Bauteile. Ein Modul kann auch in Form von programmierbaren Hardwaregeräten ausgeführt sein, zum Beispiel in Form von programmierbaren Gate Arrays, einer programmierbaren Array Logik, programmierbaren Logikbausteinen oder dergleichen.
  • Module können auch als Code oder Software implementiert sein, so dass sie von verschiedenen Arten von Prozessoren ausgeführt werden können. Ein bezeichnetes Code-Modul kann zum Beispiel einen oder mehrere physische oder logische Blöcke eines ausführbaren Codes umfassen, die zum Beispiel als Objekt, Prozess oder Funktion organisiert sein können. Dennoch müssen ausführbare Programme eines bezeichneten Moduls nicht physisch zusammen angesiedelt sein, sondern können heterogene Befehle umfassen, die an verschiedenen Stellen gespeichert sind und die, wenn sie logisch zusammengefasst werden, das Modul beinhalten und den genannten Zweck für das Modul erreichen.
  • Tatsächlich kann ein Modulcode ein einzelner Befehl sein oder kann aus vielen Befehlen bestehen und kann sogar auf mehrere verschiedene Codesegmente in verschiedenen Programmen und auf verschiedene Speichervorrichtungen verteilt sein. Ähnlich können Betriebsdaten vorliegend innerhalb von Modulen angegeben und dargestellt sein und können in einer beliebigen geeigneten Form innerhalb eines beliebigen geeigneten Datenstrukturtyps ausgeführt und organisiert sein. Die Betriebsdaten können in einem einzelnen Datensatz zusammengefasst sein oder können auf verschiedene Orte verteilt sein, unter anderem auf verschiedene computerlesbare Speichervorrichtungen. Wenn ein Modul oder Teile davon als Software ausgeführt sind, können die Softwareteile in einem oder in mehreren computerlesbaren Speichervorrichtungen gespeichert sein.
  • Es kann eine Kombination von einem oder mehreren computerlesbaren Medien verwendet werden. Das computerlesbare Medium kann ein computerlesbares Speichermedium sein. Das computerlesbare Speichermedium kann ein den Code speicherndes Speichermedium sein. Zum Beispiel kann das computerlesbare Speichermedium unter anderem ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot, holographisches, mikromechanisches oder Halbleiter-System oder eine solche Vorrichtung oder ein solches Gerät oder eine Kombination der vorgenannten Systeme, Vorrichtungen oder Geräte sein, ohne Beschränkung hierauf.
  • Mehr spezifische (jedoch nicht erschöpfende) Beispiele von Speichergeräten umfassen folgende: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen tragbaren Kompaktdisketten-Festspeicher (CD-ROM), eine optische Speichervorrichtung, eine Magnetspeichervorrichtung oder eine geeignete Kombination der vorstehenden Speichervorrichtungen. Im Zusammenhang mit dem vorliegenden Dokument kann ein computerlesbares Speichermedium jedes greifbare Speichermedium sein, das ein Programm zur Verwendung durch ein oder in Verbindung mit einem System, einer Vorrichtung oder einem Gerät zur Ausführung von Befehlen enthalten oder speichern kann.
  • Der Code zum Durchführen von Operationen für Ausführungsformen kann in einer beliebigen Programmiersprache oder in einer beliebigen Kombination von mehreren Programmiersprachen geschrieben sein, unter anderem in einer objektorientierten Programmiersprache wie Python, Ruby, Java, Smalltalk, C++ oder dergleichen und in üblichen prozeduralen Programmiersprachen wie „C“ oder dergleichen und/oder in Maschinensprachen wie Assemblersprachen. Der Code kann komplett auf dem Computer des Nutzers, teilweise auf dem Computer des Nutzers, als eigenständiges Softwarepaket, zum Teil auf dem Computer des Nutzers und zum Teil auf einem Remote-Computer oder komplett auf einem Remote-Computer oder Server ausgeführt werden. Im letztgenannten Fall kann der Remote-Computer über ein beliebiges Netzwerk, unter anderem durch ein Local Area Network (LAN) oder ein Wide Area Network (WAN), mit dem Computer des Nutzers verbunden werden, oder die Verbindung kann zu einem externen Computer hergestellt werden (z.B. über das Internet durch einer Internet Service Provider).
  • Wenn in der Beschreibung auf „eine (Zahladverb) Ausführungsform“ oder „eine (unbestimmter Artikel) Ausführungsform“ Bezug genommen wird oder ein ähnlicher Ausdruck verwendet wird, bedeutet das, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik, die in Verbindung mit der Ausführungsform beschrieben werden, in mindestens einer Ausführungsform enthalten sind. Die Wendungen „in einer (Zahladverb) Ausführungsform“ oder „in einer (unbestimmter Artikel) Ausführungsform“ und ähnliche Wendungen in der vorliegenden Beschreibung können sich auf dieselbe Ausführungsform beziehen, müssen dies jedoch nicht notwendigerweise. Damit gemeint sind „eine oder mehrere, jedoch nicht sämtliche Ausführungsformen“, sofern nicht ausdrücklich anders angegeben. Die Begriffe „enthaltend“, „umfassend“, „aufweisen“ und Varianten derselben bedeuten „enthaltend, jedoch nicht beschränkt auf“, sofern nicht ausdrücklich anders angegeben. Eine Aufzählung von Elementen bedeutet nicht, dass sich einige oder sämtliche dieser Elemente gegenseitig ausschließen, wenn nicht ausdrücklich anders angegeben. Die Begriffe „ein/e/r/s“ und „der/die/das“ beziehen sich auf „ein oder mehrere“, sofern nicht ausdrücklich anders angegeben.
  • Ferner können die beschriebenen Merkmale, Strukturen oder Charakteristiken der Ausführungsformen in einer beliebig geeigneten Weise kombiniert werden. In der folgenden Beschreibung sind zahlreiche spezielle Details angegeben wie Beispiele der Programmierung, Beispiele von Softwaremodulen, Nutzerauswahl, Netzwerktransaktionen, Datenbankabfragen, Datenbankstrukturen, Hardwaremodule, Hardwareschaltungen, Hardwarebausteine etc., die zum umfassenden Verständnis der Ausführungsformen beitragen sollen. Der Fachmann wird jedoch erkennen, dass Ausführungsformen ohne eines oder mehrere dieser bestimmten Details oder mit anderen Vorgehensweisen, Komponenten, Materialien usw. praktisch umgesetzt werden können. In anderen Fällen sind hinreichend bekannte Strukturen, Materialien oder Abläufe nicht im Detail erläutert, um die Aspekte einer Ausführungsform nicht zu verunklaren.
  • Aspekte der vorliegenden Erfindung werden nachstehend mit Bezug auf schematische Flussdiagramme und/oder schematische Blockdiagramme von Verfahren, Vorrichtungen, Systemen und Programmprodukten entsprechend den Ausführungsformen beschrieben. Es versteht sich, dass jeder Block der schematischen Flussdiagramme und/oder der schematischen Blockdiagramme und Kombinationen von Blöcken in den schematischen Flussdiagrammen und/oder in den schematischen Blockdiagrammen durch einen Code implementiert werden können. Dieser Code kann für einen Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung zum Produzieren einer Maschine bereitgestellt werden, so dass die Befehle und Anweisungen, die über den Prozessor des Computers oder eine andere programmierbare Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zum Implementieren der Funktionen/Handlungen schaffen, die in den schematischen Flussdiagrammen und/oder in den schematischen Blockdiagrammen oder Blöcken angegeben sind.
  • Der Code kann auch in einer Speichervorrichtung gespeichert sein, die einen Computer, andere Datenverarbeitungsvorrichtungen oder andere Geräte derart anweist, dass diese in einer bestimmten Weise arbeiten, so dass die in der Speichervorrichtung gespeicherten Befehle und Anweisungen einen Herstellungsgegenstand liefern, der Befehle und Anweisungen enthält, die die Funktion/den Vorgang ausführen, der in dem schematischen Blockdiagramm und/oder in dem schematischen Blockdiagrammblock oder den Blöcken angegeben ist.
  • Der Code kann auch in einen Computer oder in eine andere programmierbare Datenverarbeitungsvorrichtung oder in andere Geräte geladen werden, um eine Abfolge von operativen Maßnahmen zu veranlassen, die auf dem Computer, einer anderen programmierbaren Verarbeitungsvorrichtung oder einem anderen Gerät durchgeführt werden, um einen computer-implementieren Prozess zu schaffen, so dass der auf dem Computer oder einer anderen programmierbaren Verarbeitungsvorrichtung ausgeführte Code Abläufe zum Durchführen der Funktionen/Aktionen liefert, die in dem Flussdiagramm und/oder in dem Blockdiagrammblock oder Blöcken angegeben sind.
  • Die schematischen Flussdiagramme und/oder schematischen Blockdiagramme in den Zeichnungen zeigen die Architektur, die Funktionalität und den Betrieb von möglichen Implementierungen von Vorrichtungen, Systemen, Verfahren und Programmprodukten gemäß den verschiedenen Ausführungsformen. Diesbezüglich kann jeder Block in den schematischen Flussdiagrammen und/oder in den schematischen Blockdiagrammen ein Modul, ein Segment oder einen Codeabschnitt darstellen, der einen oder mehrere ausführbare Befehle und Anweisungen für die Implementierung der angegebenen logischen Funktion(en) enthält.
  • Es sollte auch beachtet werden, dass in einigen alternativen Implementierungen die in dem Block angegebenen Funktionen außerhalb der in den Figuren angegebenen Reihenfolge stattfinden können. Zum Beispiel können zwei aufeinanderfolgend dargestellte Blöcke im Wesentlichen parallel abgearbeitet werden oder abhängig von den beteiligten Funktionen manchmal auch in der umgekehrten Folge. Es können andere oder weitere Schritte und Verfahren erwogen werden, die bezüglich Funktion, Logik und Wirkung zu einem oder mehreren Blöcken oder Abschnitten der Blöcke in den dargestellten Figuren äquivalent sind.
  • In den Flussdiagrammen und/oder Blockdiagrammen sind verschiedene Arten von Pfeilen und Linien verwendet, die jedoch den Schutzumfang der entsprechenden Ausführungsformen nicht einschränken sollen. Einige Pfeile und Verbindungselemente werden gegebenenfalls verwendet, um lediglich den logischen Ablauf der gezeigten Ausführungsform darzustellen. Zum Beispiel kann ein Pfeil einen Warte- oder Überwachungszeitraum unbestimmter Dauer zwischen aufgezählten Schritten der gezeigten Ausführungsform angeben. Es sollte ebenfalls beachtet werden, dass jeder Block der Blockdiagramme und/oder der Flussdiagramme und Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammen durch spezielle Hardwaresysteme abgearbeitet werden können, die bestimmte Funktionen oder Abläufe durchführen, oder durch Kombinationen von spezieller Hardware und Code.
  • Die Beschreibung von Elementen in den jeweiligen Figuren erfolgt gegebenenfalls unter Bezugnahme auf Elemente in vorhergehenden Figuren, so dass gleiche oder ähnliche Elemente in sämtlichen Figuren und auch jene in alternativen Ausführungsform gleich oder ähnlich gekennzeichnet sind.
  • 1 zeigt in einem schematischen Blockdiagramm ein System 100 zum Handhaben von Audioausgaben und visuellen Mitteilungen gemäß Ausführungsformen der vorliegenden Erfindung. Das System 100 umfasst ein elektronisches Gerät 105. Das elektronische Gerät 105 enthält in einer Ausführungsform einen Prozessor 110, einen Speicher 115, ein Benachrichtigungsmodul 120, eine Eingabevorrichtung 125, eine Audioausgabevorrichtung 130 und eine Anzeigevorrichtung 135, die über einen Computerbus 140 kommunizierend verbunden sind.
  • Das elektronische Gerät 105 kann ein beliebiges Digitalgerät sein, das sowohl Audioausgaben als auch visuelle Mitteilungen präsentieren kann, unter anderem zum Beispiel ein Universalcomputer, eine spezielle (dedizierte) Computervorrichtung und dergleichen, ohne Beschränkung hierauf. In einigen Ausführungsformen kann das elektronische Gerät 105 ein Personal Computer sein, unter anderem zum Beispiel ein Mobiltelefon, ein Smartphone, ein Tablet Computer, ein Laptop Computer, ein Handheld Computer, ein tragbarer Computer, ein Desktop Computer, eine Spielkonsole oder dergleichen, ohne Beschränkung hierauf.
  • Der Prozessor 110 kann in einer Ausführungsform eine beliebige Steuereinheit bekannter Art umfassen, die geeignet ist für die Ausführung von computerlesbaren Befehlen/Anweisungen und/oder die geeignet ist für die Durchführung von logischen Operationen. Der Prozessor 110 kann zum Beispiel eine Mikrosteuereinheit, eine zentrale Steuereinheit (CPU), eine Graphikprozessoreinheit (GPU), eine Hilfsprozessoreinheit, ein FPGA oder eine ähnliche Steuereinheit sein. In bestimmten Ausführungsformen kann der Prozessor 110 eine Mehrzahl von Verarbeitungseinheiten wie beispielsweise eine Mehrzahl von Verarbeitungskernen, eine Mehrzahl von CPUs, eine Mehrzahl von Mikrosteuereinheiten oder dergleichen umfassen. In einigen Ausführungsformen führt der Prozessor 110 in dem Speicher 115 gespeicherte Befehle aus, um die vorliegend beschriebenen Verfahren und Routinen durchzuführen bzw. abzuarbeiten. Der Prozessor 110 ist mit dem Speicher 115, dem Benachrichtigungsmodul 120, der Eingabevorrichtung 125, der Audioausgabevorrichtung 130 und der Anzeigevorrichtung 135 kommunizierend verbunden.
  • Der Speicher 115 ist in einer Ausführungsform ein computerlesbares Speichermedium. In einigen Ausführungsformen umfasst der Speicher 115 ein flüchtiges Computerspeichermedium. Zum Beispiel kann der Speicher 115 einen Speicher mit wahlfreiem Zugriff (RAM) einschließlich eines dynamischen RAM (DRAM), eines synchrones dynamischen RAM (SDRAM) und/oder eines statischen RAM (SRAM) umfassen. In einigen Ausführungsformen umfasst der Speicher 115 nichtflüchtige Computerspeichermedien. Zum Beispiel kann der Speicher 115 eine Festplatte, einen Flash-Speicher oder eine andere geeignete nichtflüchtige Computerspeichervorrichtung umfassen. In einigen Ausführungsformen umfasst der Speicher 115 sowohl flüchtige als auch nichtflüchtige Speichermedien.
  • Das Benachrichtigungsmodul 120 ist in einer Ausführungsform derart konfiguriert, dass es dem Nutzer eine Audioausgabe präsentiert. Zum Beispiel kann das Benachrichtigungsmodul 120 die Audioausgabevorrichtung 130 derart steuern, dass diese eine Audioausgabe präsentiert. Das Benachrichtigungsmodul 120 kann ferner derart konfiguriert sein, dass es einen Aufmerksamkeitszustand eines Nutzers bestimmt bzw. ermittelt, zum Beispiel einen interessierten Zustand, einen Ablenkungszustand oder einen Neutralzustand, d.h. weder einen interessierten noch einen Ablenkungszustand. Basierend auf dem bestimmten bzw. ermittelten Aufmerksamkeitszustand des Nutzers kann das Benachrichtigungsmodul 120 mit dem Präsentieren der Audioausgabe fortfahren, kann die Audioausgabe unterbrechen und/oder kann einen visuellen Cue bzw. Startpunkt an einer visuellen Benachrichtigung liefern, die der Audioausgabe entspricht.
  • In einer Ausführungsform präsentiert das Benachrichtigungsmodul 120 in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers der interessierte Zustand ist, einen visuellen Cue in einer visuellen Benachrichtigung, die der Audioausgabe entspricht. Das Benachrichtigungsmodul 120 kann zum Beispiel die Anzeigevorrichtung 135 dahingehend steuern, dass diese den visuellen Cue und die visuelle Benachrichtigung anzeigt. Der interessierte Zustand des Nutzers kann anhand dessen bestimmt bzw. ermittelt werden, dass der Nutzer das elektronische Gerät 105 hält und/oder auf die Anzeigevorrichtung 135 blickt. In einer Ausführungsform kann der visuelle Cue in der visuellen Benachrichtigung die Stelle anzeigen, die der aktuellen Position der Audioausgabe entspricht. In einer weiteren Ausführungsform kann der visuelle Cue in der visuellen Benachrichtigung eine Stelle anzeigen, die dem zuletzt präsentierten Teil der Audioausgabe entspricht.
  • In einigen Ausführungsformen kann das Benachrichtigungsmodul 120 die Audioausgabe in Reaktion darauf unterbrechen, dass der Aufmerksamkeitszustand des Nutzers als Ablenkungszustand bestimmt wird. Wenn zum Beispiel ein Umgebungsgeräuschpegel einen bestimmten Schwellenwert übersteigt, kann das Benachrichtigungsmodul 120 die Audioausgabe unterbrechen, weil der Nutzer durch das Umgebungsgeräusch entweder abgelenkt wird und/oder durch das Umgebungsgeräusch nicht in der Lage ist, die Audioausgabe zu hören. In weiteren Ausführungsformen kann das Benachrichtigungsmodul 120 die Audioausgabe in Reaktion darauf fortsetzen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der Ablenkungszustand ist. Wenn der Umgebungsgeräuschpegel zum Beispiel über eine Zeitschwellendauer unter den Schwellenwert der Hörbarkeit gesunken ist, kann das Benachrichtigungsmodul 120 die Audioausgabe wiederaufnehmen bzw. fortsetzen. In solchen Ausführungsformen verhindert das Benachrichtigungsmodul 120, dass die Audioausgabe verfrüht fortgesetzt wird, wenn der Geräuschpegel schwankt, indem die Fortsetzung der Audioausgabe nur dann erfolgt, wenn der Geräuschpegel für eine Zeitdauer von beispielsweise 2 bis 3 Sekunden anhaltend unter den hörbaren Geräuschpegel gesunken ist.
  • In bestimmten Ausführungsformen kann das Benachrichtigungsmodul 120 bestimmen, ob der Nutzer das elektronische Gerät 105 hält, und kann dann bestimmen, ob der Nutzer auf die Anzeigevorrichtung 135 blickt. In Reaktion darauf, dass der Nutzer das elektronische Gerät 105 hält und auf die Anzeigevorrichtung 135 blickt, kann das Benachrichtigungsmodul 120 den visuellen Cue und die visuelle Benachrichtigung präsentieren und kann auch die Präsentation der Audioausgabe übernehmen. Weitere Details und Möglichkeiten des Benachrichtigungsmoduls 120 werden nachstehend insbesondere mit Bezug auf die 2 und 3 erläutert. Das Benachrichtigungsmodul 120 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Die Eingabevorrichtung 125 kann in einer Ausführungsform eine bekannte Computereingabevorrichtung umfassen, unter anderem ein Touchpanel, eine Taste, eine Tastatur oder dergleichen. Ferner kann die Eingabevorrichtung 125 ein Mikrophon oder eine andere Vorrichtung für den Empfang von akustischen Eingaben umfassen. In einigen Ausführungsformen kann die Eingabevorrichtung 125 verschiedene Sensoren für den Empfang von Druckdaten, Temperaturdaten, Beschleunigungsdaten, Näherungsdaten, Bilddaten und dergleichen umfassen. Zum Beispiel kann die Eingabevorrichtung 125 einen Näherungssensor (z.B. einen Photosensor oder einen kapazitiven Sensor), einen Temperatursensor (z.B. ein Thermoelement oder einen Infrarotsensor), einen Drucksensor, einen Beschleunigungsmesser, eine Kamera und dergleichen oder mehrere dieser Einrichtungen umfassen.
  • In einigen Ausführungsformen kann die Eingabevorrichtung 125 in die Anzeigevorrichtung 135 integriert sein. Zum Beispiel können die Eingabevorrichtung 125 und die Anzeigevorrichtung 135 in einem Touchscreen oder einem ähnlichen berührungsempfindlichen Display kombiniert sein. In einigen Ausführungsformen umfasst die Eingabevorrichtung 125 zwei weitere verschiedene Vorrichtungen, zum Beispiel ein Touchpanel und eine Kamera (oder einen anderen Sensor).
  • Die Audioausgabevorrichtung 130 kann in einer Ausführungsform eine beliebige bekannte Vorrichtung umfassen, die geeignet ist für die Ausgabe von hörbaren Tönen an den Nutzer. Insbesondere kann die Audioausgabevorrichtung 130 einen Lautsprecher, einen Stimmsynthesizer oder dergleichen umfassen. Die Audioausgabevorrichtung 130 kann eine Audioausgabe empfangen, zum Beispiel von dem Prozessor 110, dem Speicher 115 und/oder dem Benachrichtigungsmodul 120, wobei die Audioausgabevorrichtung 130 die Audioausgabe als hörbaren Ton präsentiert.
  • Die Anzeigevorrichtung 135 kann in einer Ausführungsform ein beliebiges bekanntes elektronisches Display umfassen, das für die Ausgabe von visuellen Daten an den Nutzer geeignet ist. Zum Beispiel kann die Anzeigevorrichtung 135 ein LCD-Display, ein LED-Display, eine OLED-Display, ein Projektor oder eine ähnliche Anzeigevorrichtung sein, die für eine Bild-, Text- oder anderweitige visuelle Datenausgabe an den Nutzer geeignet ist. In einigen Ausführungsformen kann die Anzeigevorrichtung 135 in die Eingabevorrichtung 125 integriert sein, zum Beispiel als Touchscreen oder ähnliches berührungsempfindliches Display.
  • In einer Ausführungsform kann die Anzeigevorrichtung 135 ein externes Display umfassen, das mit dem Rest des elektronischen Geräts 105 zwar kommunizierend verbunden, jedoch physisch von diesem Rest des Geräts getrennt ist. Zum Beispiel kann die Anzeigevorrichtung 135 eine Smartwatch, ein Smartphone, einen Tablet Computer, ein Fernsehgerät, eine intelligente Brille, eine Virtual-Reality-Brille, ein tragbares Display oder ein anderes Display umfassen, das mit dem elektronischen Gerät 105 kommunizierend verbunden ist. Die Anzeigevorrichtung 135 kann für die Anzeige Daten von dem Prozessor 110 und/oder von dem Benachrichtigungsmodul 120 empfangen.
  • 2 zeigt eine Benachrichtigungsvorrichtung 200 mit einem Benachrichtigungsmodul 120 gemäß einer Ausführungsform der vorliegenden Erfindung. Das Benachrichtigungsmodul 120 kann im Wesentlichen jenem entsprechend, das vorstehend im Zusammenhang mit 1 beschrieben wurde. Ferner kann das Benachrichtigungsmodul 120 ein Ausgabemodul 205, ein Aufmerksamkeitszustand-Modul 210 und ein Modul 215 für einen visuellen Cue wie dargestellt umfassen. Die Module 205-215 und 305-355 können miteinander kommunizierend verbunden sein. Das Benachrichtigungsmodul 120 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • In einer Ausführungsform präsentiert das Ausgabemodul 205 dem Nutzer über das elektronische Gerät 105 eine Audioausgabe. Insbesondere kann das Ausgabemodul 205 die Audioausgabevorrichtung 130 dahingehend steuern, dass diese eine Audioausgabe präsentiert. In einer Ausführungsform entspricht die Audioausgabe einer Benachrichtigung. Zum Beispiel kann das elektronische Gerät 105 eine Benachrichtigung wie eine eingehende Mitteilung, eine Antwort auf eine Anfrage oder dergleichen empfangen, wobei die Audioausgabe der empfangenen Benachrichtigung entspricht. Diese Benachrichtigung kann von einer Anwendung empfangen werden, die an dem elektronischen Gerät 105 ausgeführt wird.
  • In bestimmten Ausführungsformen kann das Ausgabemodul 205 die Audioausgabe in Reaktion auf einen Befehl des Nutzers präsentieren. Zum Beispiel kann das elektronische Gerät 105 bei dem Nutzer anfragen, ob eine empfangene Benachrichtigung ausgegeben werden soll, wobei das Ausgabemodul 205 die Audioausgabe in Reaktion auf eine positive Antwort auf die Anfrage präsentieren kann. In anderen Ausführungsformen kann das Ausgabemodul 205 die Audioausgabe in Reaktion darauf, dass sich das elektronische Gerät 105 in einem Audioausgabemodus befindet, automatisch präsentieren (d.h. ohne auf einen Befehl des Nutzers zu warten). Zum Beispiel kann der Nutzer das elektronische Gerät 105 in einen Freisprechmodus schalten, und das Ausgabemodul 205 kann in Reaktion auf den Empfang der Benachrichtigung automatisch eine der eingehenden Benachrichtigung entsprechende Audioausgabe vornehmen, während sich das Gerät in einem Audioausgabemodus befindet.
  • In einer Ausführungsform kann das Ausgabemodul 205 die Audioausgabe in Reaktion auf einen Hinweis von dem Aufmerksamkeitszustand-Modul 210 unterbrechen. Das Nutzer-Aufmerksamkeitszustand-Modul 210 kann zum Beispiel bestimmen bzw. ermitteln, dass der Nutzer abgelenkt ist, wie das nachstehend im Detail ausgeführt wird, und das Ausgabemodul 205 kann die Audioausgabe anhalten, während der Nutzer abgelenkt ist. In Reaktion darauf, dass das Nutzer-Aufmerksamkeitszustand-Modul 210 bestimmt bzw. ermittelt, dass der Nutzer nicht mehr abgelenkt ist, kann das Ausgabemodul 205 die Audioausgabe fortsetzen.
  • In einer weiteren Ausführungsform kann das Ausgabemodul 205 die Audioausgabe in Reaktion darauf beenden, dass das Modul 215 für den visuellen Cue den visuellen Cue präsentiert. Zum Beispiel kann das Modul 215 für den visuellen Cue das Verlassen des Audioausgabemodus in Reaktion auf die Präsentation des visuellen Cue erwirken, wobei das Ausgabemodul 205 die Präsentation der Audioausgabe in Reaktion auf dieses Erwirken beendet. Das Ausgabemodul 205 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Aufmerksamkeitszustand-Modul 210 bestimmt in einer Ausführungsform einen Aufmerksamkeitszustand des Nutzers. Der vorliegend verwendete Begriff „Aufmerksamkeitszustand des Nutzers“ bezieht sich auf einen geschätzten interessierten Zustand oder Aufmerksamkeitszustand des Nutzers bezüglich einer Benachrichtigung. Zum Beispiel kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand ein interessierter Zustand (z.B. ein Zustand, in dem der Nutzer Interesse zeigt) oder ein Ablenkungszustand (z.B. ein Zustand, in der Nutzer abgelenkt ist) ist. Als weiteres Beispiel kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein Neutralzustand ist, d.h. weder ein interessierter Zustand noch ein Ablenkungszustand. In bestimmten Ausführungsformen bestimmt das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers, indem eine Sensoreingabe erfasst und die Sensoreingabe mit einer oder mehreren Schwellwerten des Aufmerksamkeitszustands verglichen wird.
  • In einer Ausführungsform empfängt das Aufmerksamkeitszustand-Modul 210 Sensordaten, die Aufschluss darüber geben, ob der Nutzer das elektronische Gerät hält. Nach Empfang der Sensordaten, die anzeigen, ob der Benutzer das elektronische Gerät hält, wertet das Aufmerksamkeitszustand-Modul 210 in einer Ausführungsform in Reaktion darauf, dass der Nutzer das elektronische Gerät hält, den Aufmerksamkeitszustand des Nutzers als einen interessierten Zustand des Nutzers. Die Sensordaten, die Aufschluss darüber geben, ob der Nutzer das elektronische Gerät hält, können von einem oder mehreren der folgenden Sensoren empfangen werden: einem Näherungssensor (z.B. einem Photosensor oder einem kapazitiven Sensor), einem Temperatursensor (z.B. einem Thermoelement oder einem Infrarotsensor), einem Drucksensor, einem Beschleunigungsmesser, einer Kamera oder dergleichen.
  • Das Aufmerksamkeitszustand-Modul 210 kann zum Beispiel Temperaturdaten und/oder Druckdaten von der Oberfläche des Körpers des elektronischen Geräts 105 empfangen und in Abhängigkeit von den einen Schwellenwert übersteigenden Temperaturdaten und/oder Druckdaten bestimmen, dass das elektronische Gerät 105 gehalten wird. Als weiteres Beispiel kann das Aufmerksamkeitszustand-Modul 210 Gyroskopdaten und/oder Beschleunigungsdaten empfangen, die Aufschluss darüber geben, ob ein Nutzer das elektronische Gerät 105 hält. In einem noch weiteren Beispiel kann das Aufmerksamkeitszustand-Modul 210 Näherungsdaten empfangen, wie beispielweise solche von einem kapazitiven Sensor, die Aufschluss darüber geben, ob ein Nutzer das elektronische Gerät 105 hält. Weiterhin kann das Aufmerksamkeitszustand-Modul 210 eine Kombination von verschiedenen Arten von Daten (z.B. Druckdaten, Temperaturdaten, Beschleunigungsdaten, Näherungsdaten etc.) empfangen und kann basierend auf den kombinierten Daten bestimmen, ob der Nutzer das elektronische Gerät 105 hält.
  • In einer weiteren Ausführungsform kann das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers in Reaktion auf eine Einstellung des Aufmerksamkeitszustands des Nutzers als interessierten Zustand des Nutzers auf Änderungen überwachen. Zum Beispiel wirft der Nutzer gegebenenfalls einen Blick auf eine visuelle Benachrichtigung, die dem Nutzer in Reaktion auf sein Interesse (z.B. in Reaktion auf die Bestimmung bzw. Feststellung des Aufmerksamkeitszustand-Moduls 210, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist) präsentiert wird. Jedoch kann es sein, dass der Nutzer seinen Blick bald wieder abwendet. Dementsprechend kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der interessierte Zustand ist, sondern vielmehr ein Ablenkungszustand oder ein Neutralzustand (z.B. weder Interesse noch Ablenkung) ist. In einer Ausführungsform kann das Aufmerksamkeitszustand-Modul 210 dem Modul 215 für den visuellen Cue signalisieren, dass dieses den visuellen Cue und/oder die visuelle Benachrichtigung in Reaktion darauf löscht, dass der Nutzer seinen Blick von dem elektronischen Gerät 105 abwendet (z.B. Desinteresse zeigt), nachdem der Nutzer das elektronische Gerät 105 vorher gehalten oder auf dieses geblickt hat. Wenn die Audioausgabe in Reaktion darauf unterbrochen wurde, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand war (z.B. in Reaktion auf den Blick des Nutzers auf das elektronische Gerät 105), kann das Ausgabemodul 205 in einer weiteren Ausführungsform die Audioausgabe fortsetzen, nachdem der Nutzer optional angefragt wurde, ob die Audioausgabe fortgesetzt werden soll.
  • In einigen Ausführungsformen empfängt das Aufmerksamkeitszustand-Modul 210 Sensordaten, die auf Umgebungsgeräuschpegel an dem elektronischen Gerät 105 hinweisen. Zum Beispiel kann das Aufmerksamkeitszustand-Modul 210 eine Audioeingabe von einem Mikrophon empfangen. Als weiteres Beispiel kann das Aufmerksamkeitszustand-Modul 210 mit der Eingabevorrichtung 125 Geräuschpegel messen, wobei die Eingabevorrichtung 125 ein Mikrophon, einen Geräuschmesser oder anderen Einrichtungen zum Messen der Umgebungsgeräuschpegel umfasst. Nachdem das Aufmerksamkeitszustand-Modul 210 Daten empfangen hat, die auf einen Umgebungsgeräuschpegel des elektronischen Geräts 105 hinweisen, kann das Aufmerksamkeitszustand-Modul 210 die empfangenen Daten mit einem oder mehreren Geräuschpegel-Schwellenwerten vergleichen.
  • In einer Ausführungsform vergleicht das Aufmerksamkeitszustand-Modul 210 die gemessen Umgebungsgeräuschpegel mit dem Geräuschpegel eines nicht hörbaren Zustands, wobei der Schwellenwert des nicht hörbaren Zustands einem Geräuschpegel entspricht, beim welchem eine normale Konversation (d.h. eine Konversation mit normal lauter Stimme) für einen Nutzer unhörbar wird. Der Schwellenwert des unhörbaren Zustands kann voreingestellt sein und/oder kann von dem Nutzer eingestellt werden. In Reaktion auf den Umgebungsgeräuschpegel, der den Schwellenwert der Unhörbarkeit übersteigt, kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist.
  • In einer weiteren Ausführungsform vergleicht das Aufmerksamkeits-Einstellmodul 210 den gemessenen Umgebungsgeräuschpegel mit einem Schwellenwert eines hörbaren Zustands, wobei der Schwellenwert des hörbaren Zustands niedriger ist als der Schwellenwert des unhörbaren Zustands. Der Schwellenwert des hörbaren Zustands entspricht einem Geräuschpegel, bei welchem eine Konversation (z.B. eine normale Stimmlautstärke) für einen Nutzer verständlich ist. Der Schwellenwert des hörbaren Zustands kann um einen Grad, der eine Konversation ohne weiteres zulässt, niedriger sein als der Schwellenwert des nichthörbaren Zustands. Der Schwellenwert des hörbaren Zustands kann auch voreingestellt sein und/oder von dem Benutzer einstellbar sein. In Reaktion auf einen Umgebungsgeräuschpegel, der sich unter den Schwellenwert des hörbaren Zustands bewegt, kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der Ablenkungszustand ist. Zum Beispiel kann das Aufmerksamkeitszustand-Modul 210 in Reaktion auf den unter den Schwellenwert des hörbaren Zustands sinkenden Umgebungsgeräuschpegel (z.B. nachdem der Schwellenwert des unhörbaren Zustands zuerst überschritten worden war) bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein Neutralzustand ist.
  • In weiteren Ausführungsformen kann das Aufmerksamkeitszustand-Modul 210 Bilddaten des Nutzers empfangen, die Aufschluss darüber geben, ob der Nutzer auf das elektronische Gerät 105 blickt. Zum Beispiel kann das Aufmerksamkeits-Einstellmodul 210 Bilddaten von einer Kamera empfangen, zum Beispiel von einer Kamera in der Eingabevorrichtung 125. Basierend auf den Bilddaten kann das Aufmerksamkeitszustand-Modul 210 bestimmen, ob der Nutzer auf das elektronische Gerät 105 blickt. Die Kamera kann zum Beispiel eine Frontkamera sein, und das Aufmerksamkeitszustand-Modul 210 kann eine Augenverfolgung und/oder eine Blickerfassung durchführen, um zu bestimmen, ob der Nutzer auf das elektronische Gerät 105 blickt. In Reaktion darauf, dass der Nutzer auf das elektronische Gerät 105 blickt, kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers der interessierte Zustand ist.
  • Nachdem der Aufmerksamkeitszustand bestimmt wurde, zeigt das Aufmerksamkeitszustand-Modul 210 dem Ausgabemodul 205 und/oder dem Modul 215 für den visuellen Cue den Aufmerksamkeitszustand des Nutzers an, der bestimmt wurde. Das Ausgabemodul 205 und/oder das Modul 215 für den visuellen Cue können in Reaktion auf den Empfang des Nutzer-Aufmerksamkeitszustands bestimmte Aktionen durchführen. Zum Beispiel kann das Ausgabemodul 205 die Präsentation der Audioausgabe in Reaktion darauf, dass das Aufmerksamkeitszustand-Modul 210 anzeigt, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand ist, beenden. Als weiteres Beispiel kann das Modul 215 für den visuellen Cue in Reaktion darauf, dass das Aufmerksamkeitszustand-Modul 210 anzeigt, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, auf der Anzeigevorrichtung 135 einen visuellen Cue präsentieren.
  • In einer Ausführungsform überträgt das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers, der bestimmt wurde, zu dem Ausgabemodul 205 und zu dem Modul 215 für den visuellen Cue. In einer weiteren Ausführungsform kann das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers an einem Ort in dem Speicher 115 speichern, wobei das Ausgabemodul 205 und/oder das Modul 215 für den visuellen Cue den Aufmerksamkeitszustand des Nutzers von diesem Ort in dem Speicher 115 abrufen können. In einer noch weiteren Ausführungsform kann das Aufmerksamkeitszustand-Modul 210 ein oder mehrere Flags setzen, um den bestimmten Nutzer-Aufmerksamkeitszustand anzuzeigen. Das Aufmerksamkeitszustand-Modul 210 kann Hardwareschaltungen, einen Programmcode, der auf einer Verarbeitungsvorrichtung läuft, oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Modul 215 für den visuellen Cue präsentiert in einer Ausführungsform einen visuellen Cue in einer visuellen Benachrichtigung in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, wobei die visuelle Benachrichtigung der Audioausgabe entspricht. In einer Ausführungsform ist die Audioausgabe eine hörbare Ausführungsform einer Benachrichtigung, und die visuelle Benachrichtigung ist eine anzeigbare Ausführungsform derselben Benachrichtigung. Zum Beispiel kann die Benachrichtigung eine eingehende Mitteilung sein, wobei die visuelle Benachrichtigung die visuelle Komponente der Mitteilung ist (z.B. ein Text und optional Bilder) und wobei die Audioausgabe die Umwandlung der Mitteilung von Text in Sprache ist (d.h. eine computergenerierte Stimme, die die Benachrichtigung vorliest).
  • Wenn die Benachrichtigung von einer bestimmten Anwendung empfangen wird, die auf dem elektronischen Gerät 105 läuft, kann das Modul 215 für den visuellen Cue ein Fenster für diese Anwendung öffnen, wobei in dem Fenster die von der bestimmten Anwendung empfangene Nachricht angezeigt wird. Das Modul 215 für den visuellen Cue kann dann in dem Fenster einen visuellen Cue anzeigen, wobei der visuelle Hinweis die von der bestimmten Anwendung empfangene Benachrichtigung markiert. In einem Beispiel zeigt der visuelle Cue eine aktuelle Position der Audioausgabe an, wobei die Audioausgabe der Benachrichtigung entspricht, die von der bestimmten Anwendung empfangen wurde.
  • In bestimmten Ausführungsformen zeigt der visuelle Hinweis eine Stelle in der visuellen Benachrichtigung an, die einer aktuellen Position der Audioausgabe entspricht. Zum Beispiel kann die Benachrichtigung eine Mehrzahl von Wörtern, Zeichen, Zeilen, Sätzen, Absätzen oder dergleichen umfassen, wobei der visuelle Cue ein Wort, ein Zeichen, eine Zeile, einen Satz, einen Absatz etc., die in der Audioausgabe aktuell vorgelesen werden, anzeigt. In einigen Ausführungsformen wandert der visuelle Cue mit der fortgesetzten Präsentation (z.B. dem Vorlesen) der Audioausgabe mit.
  • Die visuelle Cue kann ein beliebig konfigurierter Hinweis sein, der die Aufmerksamkeit des Nutzers auf die Stelle in der visuellen Benachrichtigung lenkt, die einer aktuellen Position der Audioausgabe entspricht. In einem die Erfindung nicht einschränkenden Beispiel kann der visuelle Cue ein hervorgehobenes Wort, ein hervorgehobenes Zeichen, eine hervorgehobene Zeile, ein hervorgehobener Satz, ein hervorgehobener Absatz etc. sein, der einem aktuell präsentierten Abschnitt der Audioausgabe entspricht. Als ein die Erfindung nicht einschränkendes weiteres Beispiel kann ein bereits gelesener Teil der visuellen Benachrichtigung verblassen oder ausgeblendet werden, während ein noch nicht gelesener Teil der visuellen Benachrichtigung eine normale Schriftfarbe (d.h. nicht verblasst) sein kann. Die vorstehenden Beispiele dienen lediglich dem Zweck der Erläuterung und Darstellung, ohne den Umfang des visuellen Cue einzuschränken.
  • In einigen Ausführungsformen präsentiert das Modul 215 für den visuellen Cue die visuelle Benachrichtigung in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers der interessierte Zustand ist. Zum Beispiel kann die Benachrichtigung eine eingehende Mitteilung sein, die empfangen wird, während sich das elektronische Gerät 105 in einem Audioausgabemodus befindet. Dadurch kann das elektronische Gerät 105 die Mitteilung ausgeben (z.B. die der Mitteilung entsprechende Audioausgabe präsentieren), ohne die visuelle Komponente der Mitteilung anzuzeigen. Alternativ kann die elektronische Vorrichtung 105 die Mitteilung ausgeben, während die visuelle Komponente im Hintergrund einer Benutzerschnittstelle oder in einem verkleinerten Fenster innerhalb der Benutzerschnittstelle angezeigt wird.
  • In Reaktion darauf, dass das Aufmerksamkeitszustand-Modul bestimmt, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist (weil der Nutzer das elektronische Gerät 105 zum Beispiel in die Hand nimmt, auf das elektronische Gerät 105 blickt oder dergleichen), kann das Modul 215 für den visuellen Cue die visuelle Komponente der Mitteilung anzeigen, kann die visuelle Komponente in einem Vordergrundfenster anzeigen und/oder kann ein die visuelle Komponente (z.B. die visuelle Benachrichtigung) anzeigendes Fenster vergrößern. Ferner zeigt das Modul 215 für den visuellen Cue einen visuellen Cue in der visuellen Komponente der Mitteilung an, wobei der visuelle Cue eine Stelle anzeigt, die der aktuellen Stelle der Audioausgabe entspricht. Das Modul 215 für den visuellen Cue kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder eine Kombination von Hardwareschaltungen und Programmcode umfassen.
  • In einigen Ausführungsformen kann das Modul 215 für den visuellen Cue die visuelle Benachrichtigung auf einem externen Gerät anzeigen, das mit dem elektronischen Gerät 105 kommunizierend verbunden ist. Das elektronische Gerät 105 kann beispielsweise ein Smartphone sein, ein Tablet Computer, ein Laptop Computer oder dergleichen, der (z.B. drahtgebunden oder drahtlos) mit dem externen Gerät verbunden ist. Das externe Gerät kann ein beliebiges externes Gerät zu dem elektronischen Gerät 105 sein, das ein elektronisches Display hat. Beispiele von externen Geräten sind unter anderem eine Smartwatch, ein tragbares Display, ein Fernsehgerät und dergleichen, ohne Beschränkung hierauf. In weiteren Ausführungsformen kann das Modul 215 für den visuellen Cue den visuellen Cue an der visuellen Benachrichtigung präsentieren, die auf dem externen Gerät angezeigt wird.
  • In einer Ausführungsform kann das Modul 215 für den visuellen Cue den visuellen Cue an der visuellen Benachrichtigung präsentieren, die in Reaktion darauf, dass der Nutzer dem externen Gerät Aufmerksamkeit schenkt (z.B. auf die Smartwatch blickt, die mit dem externen Gerät 105 drahtlos verbunden ist). In einer weiteren Ausführungsform kann das Modul 215 für den visuellen Cue die visuelle Benachrichtigung und/oder den visuellen Cue auf dem externen Gerät als Standardaktion präsentieren, wenn der Aufmerksamkeitszustand des Nutzers ein neutraler Zustand ist.
  • Die Module 205-215 ermöglichen dem Benachrichtigungsmodul 120, dem Nutzer eine Audioausgabe zu präsentieren, um einen Aufmerksamkeitszustand des Nutzers zu bestimmen und um in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, in einer visuellen Benachrichtigung, die der Audioausgabe entspricht, einen visuellen Cue zu präsentieren. Zum Beispiel kann das Aufmerksamkeitszustand-Modul 210 in Reaktion auf bestimmte vorgegebene Hinweise wie beispielsweise die Tatsache, dass der Nutzer das elektronische Gerät 105 hält und/oder auf das elektronische Gerät 105 blickt, bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist. In Reaktion auf das Interesse des Nutzers präsentiert das Modul 215 für den visuellen Cue den visuellen Cue an der visuellen Benachrichtigung. In einigen Ausführungsformen kann das Audioausgabemodul 205 die Audioausgabe in Reaktion darauf beenden, dass das Modul 215 für den visuellen Cue den visuellen Cue präsentiert. In weiteren Ausführungsformen kann das Audioausgabemodul 205 die Audioausgabe fortsetzen, während das Modul 215 für den visuellen Cue den visuellen Cue präsentiert. Zum Beispiel kann das Modul 215 für den visuellen Cue die Position des visuellen Cue derart einstellen, dass der visuelle Cue einer aktuellen Position der Audioausgabe folgt, während die Audioausgabe fortschreitet.
  • 3 zeigt eine Benachrichtigungsvorrichtung 300 mit einem Benachrichtigungsmodul 120 gemäß einer Ausführungsform der Erfindung. Das Benachrichtigungsmodul 120 kann im Wesentlichen ein Benachrichtigungsmodul sein, das vorstehend mit Bezug auf die 1 und 2 beschrieben wurde. Wie dargestellt ist, kann das Benachrichtigungsmodul 120 ein Ausgabemodul 205, ein Aufmerksamkeitszustand-Modul 210 und ein Modul 215 für den visuellen Cue umfassen. Das Benachrichtigungsmodul 120 kann ferner ein Zusammenfassungsmodul 305, ein Aufforderungsmodul 310, ein Sicherheitsmodul 315, ein Ausgabemodusmodul 320, ein Sprachsynthesemodul 325, ein Wiedergabemodul 330, ein Modul 335 für das Aufgreifen des Geräts durch den Nutzer (Nutzergriff-Modul), ein Modul 340 für den Blick des Nutzers auf das Gerät (Nutzerblick-Modul), ein Geräuschmodul 345, ein Modul 350 für die visuelle Positionsangabe und ein Modul 355 für die visuelle Benachrichtigung umfassen. Die Module 205-215 und 305-355 können miteinander kommunizierend verbunden sein. Das Benachrichtigungsmodul 120 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Zusammenfassungsmodul 305 ist in einer Ausführungsform konfiguriert für die Generierung einer zusammengefassten Ausgabe einer empfangenen Benachrichtigung. In einigen Ausführungsformen kann eine empfangene Benachrichtigung länger sein als eine Schwellenlänge. Das Zusammenfassungsmodul 305 kann ferner konfiguriert sein für das Bestimmen der Länge der empfangenen Benachrichtigung. In Reaktion darauf, dass die Benachrichtigung die Schwellenlänge überschreitet, kann dass Zusammenfassungsmodul 305 eine zusammengefasste Ausgabe der empfangenen Benachrichtigung generieren.
  • In einer Ausführungsform steuert das Zusammenfassungsmodul 305 das Aufforderungsmodul 310 dahingehend, dass dieses den Nutzer auffordert anzugeben, ob in Reaktion darauf, dass die empfangene Nachricht eine Schwellenlänge überschreitet, eine zusammengefasst Ausgabe der empfangenen Benachrichtigung bereitgestellt werden soll. Wenn der Nutzer positiv auf diese Aufforderung bzw. Anfrage antwortet (z.B. erkennen lässt, dass er eine zusammengefasst Ausgabe wünscht), kann das Zusammenfassungsmodul 305 eine zusammengefasste Ausgabe der empfangenen Benachrichtigung generieren, wobei dann das Ausgabemodul 205 dem Nutzer diese zusammengefasste Ausgabe präsentiert.
  • In einer weiteren Ausführungsform kann das Zusammenfassungsmodul 305 in Reaktion darauf, dass die empfangene Benachrichtigung die Schwellenlänge überschreitet, die zusammengefasste Ausgabe automatisch generieren. Ferner kann das Zusammenfassungsmodul 305 dem Ausgabemodul 205 automatisch signalisieren, die zusammengefasste Ausgabe zu präsentieren. Nachdem das Ausgabemodul 205 die zusammengefasste Ausgabe fertig präsentiert hat, kann das Aufforderungsmodul 310 den Nutzer auffordern anzugeben, ob die gesamte Benachrichtigung (z.B. eine Vollversion der empfangenen Nachricht) präsentiert werden soll.
  • In einigen Ausführungsformen ist das Zusammenfassungsmodul 305 ferner konfiguriert für die Generierung einer Zusammenfassung eines Teils der Audioausgabe, der dem Nutzer vorhergehend präsentiert worden war. Wenn das Ausgabemodul 205 die Audioausgabe zum Beispiel unterbrechen muss (weil beispielsweise der Umgebungsgeräuschpegel einen Schwellenwert überschreitet oder weil eine Benachrichtigung mit höherer Priorität eingeht oder in Reaktion auf einen Befehl des Nutzers), kann das Zusammenfassungsmodul 305 eine Zusammenfassung des bereits präsentierten Teils der Audioausgabe generieren. Das Modul für die Zusammenfassung des Teils der Audioausgabe, der bereits präsentiert wurde, ist derart ausgelegt, dass dem Nutzer der Kontext angeboten wird, wodurch die Erinnerung des Nutzers an den bereits präsentierten Teil der Nachricht aufgefrischt wird. Das Zusammenfassungsmodul 305 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Aufforderungsmodul 310 ist in einer Ausführungsform konfiguriert für die Aufforderung des Nutzers zur Angabe, ob eine Audioausgabe einer Benachrichtigung oder Nachricht erfolgen soll. Das Aufforderungsmodul 310 kann ferner auf eine Antwort des Nutzers warten. In einer Ausführungsform kann der Nutzer bejahend oder verneinend antworten. In einer weiteren Ausführungsform kann das Aufforderungsmodul auf den Befehl des Nutzers reagieren, zum Beispiel auf den Befehl zum Präsentieren der Audioausgabe. Basierend auf der Antwort des Nutzers kann das Aufforderungsmodul 310 das Ausgabemodul 205 zum Präsentieren der Audioausgabe ansteuern.
  • In einigen Ausführungsformen kann das Aufforderungsmodul 310 den Nutzer auffordern anzugeben, ob eine Zusammenfassung der empfangenen Benachrichtigung oder Nachricht präsentiert werden soll. Wenn die Nachricht lang ist (z.B. länger als eine Schwellenlänge), kann das Aufforderungsmodul 310 bei dem Nutzer anfragen, ob eine zusammengefasste Version der empfangenen Nachricht oder eine Vollversion der empfangenen Nachricht präsentiert werden soll. In Reaktion darauf, dass der Nutzer eine zusammengefasste Version wünscht und dies anzeigt, kann das Aufforderungsmodul 310 das Zusammenfassungsmodul 305 zum Generieren einer Zusammenfassung der empfangenen Nachricht ansteuern und kann anschließend das Ausgabemodul 205 zum Präsentieren einer Audioausgabe ansteuern, die der zusammengefassten Version der empfangen Benachrichtigung oder Nachricht entspricht. Anderenfalls kann das Aufforderungsmodul 310 in Reaktion auf eine von dem Nutzer gewünschte Vollversion das Ausgabemodul 205 zum Präsentieren einer Audioausgabe ansteuern, die der Vollversion der empfangenen Benachrichtigung entspricht.
  • In einer weiteren Ausführungsform kann das Aufforderungsmodul 310 in Reaktion darauf, dass das Ausgabemodul 205 eine zusammengefasste Ausgabe der Benachrichtigung oder Nachricht präsentiert, den Nutzer auffordern anzugeben, ob eine Vollversion der empfangenen Benachrichtigung empfangen werden soll. Wenn die empfangene Benachrichtigung eine Schwellenlänge überschreitet, kann das Zusammenfassungsmodul 305 automatisch eine zusammengefasste Ausgabe generieren (die einer zusammengefassten Version der empfangenen Nachricht entspricht), und das Ausgabemodul 205 kann die zusammengefasste Ausgabe präsentieren.
  • Nachdem das Ausgabemodul 205 die zusammengefasste Ausgabe präsentiert hat, kann das Aufforderungsmodul 310 den Nutzer auffordern anzugeben, ob eine Vollversion der empfangenen Nachricht präsentiert werden soll. In Reaktion auf eine bejahende Antwort auf die Aufforderung (z.B. eine Antwort, die anzeigt, dass der Nutzer eine Vollversion wünscht), kann das Aufforderungsmodul 310 das Ausgabemodul 205 zum Präsentieren einer Audioausgabe ansteuern, die der Vollversion der empfangenen Nachricht entspricht.
  • In bestimmten Ausführungsformen kann das Aufforderungsmodul 310 in Reaktion auf eine Fortsetzung der Audioausgabe durch das Ausgabemodul 205 den Nutzer auffordern anzugeben, ob eine Zusammenfassung eines bereits ausgegebenen Teils der Audioausgabe präsentiert werden soll. Zum Beispiel kann das Ausgabemodul 205 die Audioausgabe unterbrechen und zu einem späteren Zeitpunkt fortsetzen, wobei das Aufforderungsmodul 310 den Nutzer auffordern kann anzugeben, ob eine Zusammenfassung des bereits ausgegebenen Teils der Audioausgabe präsentiert werden soll. Wenn der Nutzer zustimmend antwortet, kann das Aufforderungsmodul 310 das Zusammenfassungsmodul 305 dahingehend ansteuern, dass dieses eine Zusammenfassung des bereits ausgegebenen Teils der Audioausgabe generiert, und kann dann das Ausgabemodul 205 dahingehend ansteuern, dass dieses die Zusammenfassung präsentiert, bevor die Ausgabe an der Stelle fortgesetzt wird, an der sie vorher unterbrochen wurde.
  • In einer Ausführungsform kann das Aufforderungsmodul 310 den Nutzer auffordern anzugeben, ob in den Audioausgabemodus gewechselt werden soll. In Reaktion auf eine bejahende Antwort des Nutzers kann das Aufforderungsmodul 310 das Ausgabemodus-Steuermodul 320 derart steuern, dass dieses einen Ausgabemodus startet. Das Aufforderungsmodul 310 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Sicherheitsmodul 315 steuert in einer Ausführungsform den Zugang zu dem elektronischen Gerät 105. In einer Ausführungsform ist das Sicherheitsmodul 315 konfiguriert für die Einschränkung des Zugangs zu dem elektronischen Gerät 105 in Reaktion darauf, das ein nicht autorisierter Nutzer das elektronische Gerät 105 hält und/oder auf die Anzeigevorrichtung 130 blickt. Das Sicherheitsmodul 315 kann zum Beispiel von einer Frontkamera Bilddaten empfangen und kann die Bilddaten zur Identifizierung des Nutzers, der das elektronische Gerät hält, analysieren. In einer Ausführungsform kann das Sicherheitsmodul 315 eine Gesichtserkennungsroutine nutzen, um zu bestimmen, ob der Nutzer, der das elektronische Gerät 105 hält, ein autorisierter Nutzer des elektronischen Geräts 105 ist.
  • In Reaktion darauf, dass der Nutzer, der das elektronische Gerät 105 hält, ein autorisierter Nutzer ist, kann das Sicherheitsmodul 315 den Zugang zu dem elektronischen Gerät 105 gewähren. Zum Beispiel kann das Sicherheitsmodul 315 zulassen, dass das Ausgabemodul 205 mit dem Präsentieren der Audioausgabe fortfährt. In einem weiteren Beispiel kann das Sicherheitsmodul 315 zulassen, dass die Anzeigevorrichtung 135 eine visuelle Benachrichtigung oder Nachricht anzeigt, die der Audioausgabe entspricht, und/oder kann zulassen, dass das Modul 215 für den visuellen Cue den visuellen Cue in der visuellen Benachrichtigung oder Nachricht präsentiert.
  • Das Sicherheitsmodul 315 kann den Zugang zu dem elektronischen Gerät in Reaktion darauf einschränken, dass der Nutzer, der das elektronische Gerät hält, kein autorisierter Nutzer ist. Zum Beispiel kann das Sicherheitsmodul 315 das Ausgabemodul 205 veranlassen, die Audioausgabe zu unterbrechen und/oder zu beenden, wenn der Nutzer, der das elektronische Gerät 105 hält, kein autorisierter Nutzer ist. In einem weiteren Bespiel kann das Sicherheitsmodul 315 auch den Bildschirm des elektronischen Geräts 105 sperren, um auf diese Weise zu verhindern, dass der nicht autorisierte Nutzer die visuelle Nachricht sieht. In einigen Ausführungsformen kann das Sicherheitsmodul 315 in Reaktion darauf, dass der Nutzer, der das elektronische Gerät 105 hält, kein autorisierter Nutzer ist, sowohl die Anzeige der visuellen Nachricht als auch die Präsentation des visuellen Cue innerhalb der visuellen Nachricht unterbinden.
  • In einigen Ausführungsformen schränkt das Sicherheitsmodul 315 den Zugang zu dem elektronischen Gerät 105 durch den unautorisierten Nutzer in Reaktion darauf ein, dass der unautorisierte Nutzer das elektronische Gerät 105 aufgreift. In weiteren Ausführungsformen schränkt das Sicherheitsmodul 315 den Zugang zu dem elektronischen Gerät 105 durch den unautorisierten Nutzer in Reaktion darauf ein, dass der unautorisierte Nutzer das elektronische Gerät 105 aufgreift und auf die Displayvorrichtung 130 blickt. Das Sicherheitsmodul 315 kann Hardwareschaltungen und einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcode umfassen.
  • Das Ausgabemodul 320 steuert in einer Ausführungsform einen Ausgabemodus des elektronischen Geräts 105. In einer Ausführungsform setzt das Ausgabemodul 320 das elektronische Gerät 105 in einen Ausgabemodus. Dies geschieht in Reaktion auf einen Nutzerbefehl. In einer weiteren Ausführungsform kann das Ausgabemodul 320 das elektronische Gerät 105 in einen Ausgabemodus setzen. Dies geschieht in Reaktion darauf, dass sich das elektronische Gerät 105 an einem bestimmten Ort befindet (z.B. zuhause, in der Arbeit oder in einem Fahrzeug etc.), und/oder abhängig von der Tageszeit. Das Ausgabemodul 320 umfasst Hardwareschaltungen, Programmcodes, die auf einer Verarbeitungsvorrichtung laufen, oder eine Kombination einer Hardwareschaltung und eines Programmcodes.
  • Der in der vorliegenden Beschreibung verwendete Begriff „Ausgabemodus“ bezieht sich auf einen Freisprechmodus des elektronischen Geräts 105, wenn das elektronische Gerät dem Nutzer Informationen in einem hörbaren Format liefert (z.B. als Audioausgabe) oder wenn der Nutzer über einen Sprachbefehl mit dem elektronischen Gerät 105 interagiert. Daher wird das Display 130 für eine Interaktion zwischen Maschine und Mensch nicht benötigt, während sich das elektronische Gerät 105 im Ausgabemodus befindet. In einigen Ausführungsformen kann das elektronische Gerät 105 die Displayvorrichtung 130 jedoch nutzen, um dem Nutzer passiv zusätzliche Informationen anzubieten (z.B. die Tageszeit, eine Batterieanzeige, einen Signalstärkemesser etc.), während sich das Gerät im Ausgabemodus befindet.
  • In einer Ausführungsform kann das Ausgabemodul 320 das elektronische Gerät 105 in den Ausgabemodus setzen, wobei das Ausgabemodul 205 dem Nutzer neue Benachrichtigungen automatisch über eine Audioausgabe präsentiert, wenn sich das elektronische Gerät 105 im Ausgabemodus befindet. Zum Beispiel kann das Ausgabemodul 205 eine Audioausgabe generieren und präsentieren, die einer neu empfangenen Benachrichtigung wie beispielsweise einer Email-Nachricht, einer Textnachricht einer SMS-Nachricht etc. entspricht. Als weiteres Beispiel kann der Nutzer das elektronische Gerät 105 abfragen, und das elektronische Gerät 105 kann auf die Abfrage des Nutzers antworten, wobei das Ausgabemodul 205 automatisch eine Audioausgabe generieren und präsentieren kann, die der Antwort auf die Abfrage durch den Nutzer entspricht.
  • In bestimmten Ausführungsformen kann das Ausgabemodul 320 in Reaktion darauf, dass der Nutzer das Gerät hält und auf die Anzeigevorrichtung 130 blickt, das elektronische Gerät 105 veranlassen, den Ausgabemodus zu verlassen. Zum Beispiel kann sich der Nutzer für eine Benachrichtigung interessieren, die über eine Audioausgabe präsentiert wird, während sich das elektronische Gerät 105 im Ausgabemodus befindet. Der Nutzer kann also das elektronische Gerät 105 aufgreifen und seinen Blick auf das elektronische Gerät 105 richten. Diese Aktionen können von dem Aufmerksamkeitszustand-Modul 210 dahingehend interpretiert und erkannt werden, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, wobei das Modul 215 für den visuellen Cue den visuellen Cue präsentieren kann. Ferner kann das Ausgabemodusmodul 320 veranlassen, dass das elektronische Gerät 105 in Reaktion darauf, dass das Aufmerksamkeitszustand-Modul 210 bestimmt, dass der Aufmerksamkeitszustand des Nutzers der interessierte Zustand ist, den Ausgabemodus verlässt. In einer Ausführungsform kann das Ausgabemodusmodul 320 das elektronische Gerät 105 in dem Ausgabemodus halten, während der Nutzer das elektronische Gerät 105 zwar hält, jedoch nicht auf dasselbe blickt.
  • In bestimmten Ausführungsformen kann das Ausgabemodusmodul 320 veranlassen, dass das elektronische Gerät 105 in Reaktion auf einen Umgebungsgeräuschpegel, der über die Dauer eines vorgegebenen Zeitrahmens über einem Schwellenwert liegt, den Ausgabemodus verlässt. Zum Beispiel kann das Geräuschmodul 345 die Umgebungsgeräuschpegel überwachen und bestimmen, dass der Umgebungsgeräuschpegel den Schwellenpegel über die Dauer eines vorgegebenen Zeitfenstera überschritten hat, was darauf hinweist, dass das Umgebungsgeräusch den Nutzer daran hindert, die Audioausgabe zu hören und/oder zu verstehen. Als Antwort kann das Geräuschmodul 345 dem Ausgabemodusmodul 320 signalisieren, den Ausgabemodus zu verlassen, und das Modul 215 für den visuellen Cue kann an einer visuellen Benachrichtigung oder Nachricht, die der Audioausgabe entspricht, einen visuellen Cue präsentieren, wobei der visuelle Cue an einer Stelle präsentiert wird, die der zuletzt präsentierten Position der Audioausgabe entspricht.
  • Das Sprachsynthesemodul 325 generiert in einer Ausführungsform eine Audioausgabe von einer empfangenen Benachrichtigung. Zum Beispiel kann das Sprachsynthesemodul 325 eine Text-in-Sprache-Routine nutzen, um einen Textteil einer empfangenen Nachricht in die Audioausgabe zu konvertieren. In einer Ausführungsform kann das Sprachsynthesemodul 325 eine Audioausgabe einer Zusammenfassung der empfangenen Nachricht generieren. Wenn die empfangene Nachricht eine bestimmte Länge überschreitet, kann das Zusammenfassungsmodul eine Zusammenfassung der empfangenen Nachricht erstellen, und das Sprachsynthesemodul 325 kann eine Audioausgabe der Zusammenfassung generieren.
  • Das Sprachsynthesemodul 325 kann Hardwareschaltungen, einen Programmcode, der auf einer Verarbeitungsvorrichtung läuft, oder eine Kombination einer Hardwareschaltung und eines Programmcodes umfassen. Wie dargestellt ist, kann das Sprachsynthesemodul 325 eine Komponente des Ausgabemoduls 205 sein. Zum Beispiel kann das Sprachsynthesemodul 325 eine Hardwarekomponente des Ausgabemoduls 205 sein. Als weiteres Beispiel kann das Sprachsynthesemodul 325 eine Subroutine des Ausgabemoduls 205 sein. In anderen Ausführungsformen jedoch kann das Sprachsynthesemodul 325 eine unabhängige Komponente sein, die mit dem Ausgabemodul 205 kommunizierend verbunden ist.
  • Das Wiedergabemodul 330 ist in einer Ausführungsform zum Steuern der Wiedergabe der Audioausgabe konfiguriert. Zum Beispiel kann das Wiedergabemodul 330 in Abhängigkeit von einem Nutzerbefehl mit der Wiedergabe der Audioausgabe beginnen. Als weiteres Beispiel kann das Wiedergabemodul 330 in Abhängigkeit von dem Empfang einer Nachricht automatisch mit der Wiedergabe beginnen, wobei die Audioausgabe der empfangenen Nachricht entspricht.
  • In einigen Ausführungsformen steuert das Wiedergabemodul 330 die Wiedergabe der Audioausgabe basierend darauf, ob sich das elektronische Gerät 105 in einem Audioausgabemodus befindet. In einer Ausführungsform kann das Wiedergabemodul 330 die Audioausgabe in Reaktion darauf automatisch tätigen, dass sich das elektronische Gerät 105 in einem Audioausgabemodus befindet. In einer weiteren Ausführungsform kann das Wiedergabemodul 330 die Audioausgabe automatisch in Reaktion darauf stoppen, dass das elektronische Gerät 105 den Audioausgabemodus verlässt.
  • In bestimmten Ausführungsformen kann das Wiedergabemodul 330 die Audioausgabe in Reaktion darauf unterbrechen, dass das Aufmerksamkeitszustand-Modul 210 bestimmt, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand ist. Zum Beispiel kann das Wiedergabemodul 330 die Audioausgabe in Reaktion auf einen Umgebungsgeräuschpegel unterbrechen, der den Schwellenwert eines unhörbaren Zustands überschreitet, wobei der Umgebungsgeräuschpegel darauf hinweist, dass der Nutzer abgelenkt ist und/oder wegen des Umgebungsgeräusches nicht in der Lage ist, der Audioausgabe Aufmerksamkeit zu schenken. In einer Ausführungsform kann das Wiedergabemodul 330 die Audioausgabe in Reaktion darauf fortsetzen, dass das Aufmerksamkeitszustand-Modul 210 bestimmt, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der Ablenkungszustand ist. Zum Beispiel kann das Wiedergabemodul 330 die Audioausgabe in Reaktion auf einen Umgebungsgeräuschpegel fortsetzen, der unter den Schwellwert des hörbaren Zustands sinkt.
  • In einigen Ausführungsformen bestimmt das Wiedergabemodul 330 eine aktuelle Position der Audioausgabe. Zum Beispiel kann das Wiedergabemodul 330 die aktuelle Position der Audioausgabe nachverfolgen, um die Audioausgabe an der Stelle fortzusetzen, an der die Ausgabe gestoppt worden war. Ferner kann das Wiedergabemodul 330 einen bereits präsentierten Teil der Audioausgabe identifizieren, wobei das Zusammenfassungsmodul 305 eine Zusammenfassung des bereits präsentierten Teils der Audioausgabe erstellt, wenn die Audioausgabe fortgesetzt wird.
  • Das Wiedergabemodul 330 kann Hardwareschaltungen, einen Programmcode, der auf einer Verarbeitungsvorrichtung läuft, oder eine Kombination von Hardwareschaltung und Programmcode umfassen. Wie dargestellt ist, kann das Wiedergabemodul 330 eine Komponente des Ausgabemoduls 205 sein. Zum Beispiel kann das Wiedergabemodul 330 eine Hardwarekomponente des Ausgabemoduls 205 sein. Als weiteres Beispiel kann das Wiedergabemodul 330 eine Subroutine des Ausgabemoduls 205 sein. In einer weiteren Ausführungsform kann das Wiedergabemodul 330 jedoch eine unabhängige Komponente sein, die mit dem Ausgabemodul 205 kommunizierend verbunden ist.
  • Das Nutzergriff-Modul 335 bestimmt in einer Ausführungsform, ob der Nutzer das elektronische Gerät 105 hält. Zum Beispiel kann das Nutzergriff-Modul 335 Hardware und/oder Software umfassen, um zu bestimmen, ob das elektronische Gerät 105 von einem Nutzer gegriffen wird. In bestimmten Ausführungsformen empfängt das Nutzergriff-Modul 335 Sensordaten, die anzeigen, ob der Nutzer das elektronische Gerät 105 hält. Zum Beispiel kann das elektronische Gerät 105 einen oder mehrere Sensoren aufweisen, die in einem Körper des elektronischen Geräts 105 eingebettet sind, wobei die Sensoren zum Messen der Temperatur und/oder des Drucks an der Oberfläche des elektronischen Geräts 105 konfiguriert sind. Als weiteres Beispiel kann das elektronische Gerät 105 Beschleunigungsdaten und/oder Näherungsdaten messen. Basierend auf den empfangenen Sensordaten kann das Nutzergriff-Modul 335 bestimmen, ob der Nutzer das elektronische Gerät 105 hält.
  • In einer Ausführungsform sendet das Nutzergriff-Modul 335 ein Signal an das Aufmerksamkeitszustand-Modul 210 in Reaktion darauf, dass der Nutzer das elektronische Gerät 105 hält. Da der Nutzer das elektronische Gerät 105 hält, kann das Aufmerksamkeitszustand-Modul 210 dann bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist. Es kann jedoch sein, dass der Nutzer das elektronische Gerät 105 zwar hält, das Display des elektronischen Geräts 105 allerdings nicht beachtet. Zum Beispiel kann der Nutzer das elektronische Gerät 105 von einem Ort zu einem anderen bewegen. Dementsprechend wünscht der Nutzer gegebenenfalls keine Unterbrechung der Audioausgabe.
  • Daher kann das Nutzergriff-Modul 335 dem Aufmerksamkeitszustand-Modul 210 in einer weiteren Ausführungsform anzeigen, dass der Nutzer das elektronische Gerät 105 hält, wobei das Aufmerksamkeitszustand-Modul 210 das Nutzerblick-Modul 340 auffordert zu bestimmen, ob der Nutzer auf das elektronische Gerät blickt. Wenn der Nutzer das elektronische Gerät 105 hält und auch auf das elektronische Gerät 105 blickt, kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers einer interessierter Zustand des Nutzers ist. Anderenfalls kann das Aufmerksamkeitszustand-Modul 210 bestimmen, dass der Aufmerksamkeitszustand des Nutzers kein interessierter Zustand des Nutzers, sondern ein Neutralzustand ist.
  • In einer Ausführungsform kann das Nutzergriff-Modul 335 in Reaktion auf die Bestimmung bzw. den Nachweis, dass der Nutzer das elektronische Gerät 105 hält, das Sicherheitsmodul 315 ansteuern. Das Sicherheitsmodul 315 kann dann bestimmen, ob der Nutzer, der das elektronische Gerät 105 hält, ein autorisierter Nutzer des elektronischen Geräts 105 ist, und kann in Reaktion darauf, dass ein nicht autorisierter Nutzer das Gerät hält, den Zugang zu dem elektronischen Gerät 105 einschränken. In einer Ausführungsform können das Nutzergriff-Modul 355 und/oder das Sicherheitsmodul 315 ferner das Nutzerblick-Modul 340 ansteuern, um zu bestimmen, ob der Nutzer, der das elektronische Gerät 105 hält, auf das Gerät blickt. In Reaktion auf einen nicht autorisierten Nutzer, der auf das Gerät blickt, kann das Sicherheitsmodul 315 wahlweise den Zugang zu dem elektronischen Gerät 105 einschränken, indem beispielsweise der Bildschirm gesperrt wird, die Audioausgabe unterbrochen/beendet wird, die Darstellung der visuellen Benachrichtigung und des visuellen Cue verhindert wird und dergleichen.
  • Das Nutzergriff-Modul 335 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder eine Kombination von Hardwareschaltung und Programmcode umfassen. Wie dargestellt ist, kann das Nutzergriff-Modul 335 eine Komponente des Aufmerksamkeitszustand-Moduls 210 sein. Zum Beispiel kann das Nutzergriff-Modul 335 eine Hardwarekomponente des Aufmerksamkeitszustand-Moduls 210 sein. Als weiteres Beispiel kann das Nutzergriff-Modul 335 eine Subroutine des Aufmerksamkeitszustand-Moduls 210 sein. In anderen Ausführungsformen jedoch kann das Nutzergriff-Modul 335 eine unabhängige Komponente sein, die mit dem Aufmerksamkeitszustand-Modul 210 kommunizierend verbunden ist.
  • Das Nutzerblick-Modul 340 bestimmt in einer Ausführungsform, ob ein Nutzer auf das elektronische Gerät 105 blickt. Zum Beispiel kann das Nutzerblick-Modul 340 Hardware und/oder Software umfassen, die bezüglich des elektronischen Geräts 105 einen Ort bestimmt, auf den der Nutzer seinen Blick richtet (z.B. bestimmt, wohin der Nutzer schaut). In bestimmten Ausführungsformen empfängt das Nutzerblick-Modul 345 Bilddaten von einer Frontkamera, wobei die Bilddaten eine Abbildung des Gesichts und/oder der Augen des Nutzers enthalten. Basierend auf der Position des Gesichts und/oder der Augen des Nutzers kann dass Nutzerblick-Modul 340 bestimmen, ob der Nutzer auf das elektronische Gerät 105 blickt.
  • In einigen Ausführungsformen erteilt das Nutzerblick-Modul 340 in Reaktion darauf, dass der Nutzer auf das elektronische Gerät 105 blickt, dem Aufmerksamkeitszustand-Modul 210 Meldung. Das Aufmerksamkeitszustand-Modul 210 kann dann anhand des auf das elektronische Gerät 105 gerichteten Blicks des Nutzers bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist. Anschließend kann das Aufmerksamkeitszustand-Modul 210 dem Modul 215 für den visuellen Cue Meldung erteilen, wobei das Modul 215 für den visuellen Cue infolge des auf das elektronische Gerät 105 gerichteten Blicks des Nutzers (worauf z.B. der Aufmerksamkeitszustand des Nutzers schließen lässt) den visuellen Cue präsentieren bzw. darstellen kann.
  • In einer Ausführungsform überwacht das Nutzerblick-Modul 340 kontinuierlich Bilddaten (z.B. Bilddaten, die von der Frontkamera empfangen werden), um zu bestimmen, ob der Nutzer seinen Blick auf das elektronische Gerät 105 richtet. In einer weiteren Ausführungsform kann das Nutzerblick-Modul 340 jedoch nur bei Auslösung Bilddaten erfassen (z.B. Bilddaten von der Frontkamera anfordern). In einer Ausführungsform kann der Auslöser ein Näherungssensor sein, der bestimmt, dass sich der Nutzer in einer vorgegebenen Nähe zu dem elektronischen Gerät 105 befindet. In einer weiteren Ausführungsform kann der Auslöser das Nutzergriff-Modul 335 sein, das bestimmt bzw. feststellt, dass der Nutzer das elektronische Gerät 105 hält.
  • Das Nutzerblick-Modul 340 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder eine Kombination von Hardwareschaltung und Programmcode umfassen. Wie dargestellt ist, kann das Nutzerblick-Modul 340 eine Komponente des Aufmerksamkeitszustand-Moduls 210 sein. Zum Beispiel kann das Nutzerblick-Modul 340 eine Hardwarekomponente des Aufmerksamkeitszustand-Moduls 210 sein. Als weiteres Beispiel kann das Nutzerblick-Modul 340 eine Subroutine des Aufmerksamkeitszustand-Moduls 210 sein. In einer weiteren Ausführungsform jedoch kann das Geräuschmodul 345 eine unabhängige Komponente sein, die mit dem Aufmerksamkeitszustand-Modul 210 kommunizierend verbunden ist.
  • Das Geräuschmodul 345 bestimmt in einer Ausführungsform einen Aufmerksamkeitszustand des Nutzers auf der Basis eines Umgebungsgeräuschpegels. In bestimmten Ausführungsformen misst das Geräuschmodul 345 den Umgebungsgeräuschpegel und vergleicht den gemessenen Umgebungsgeräuschpegel mit einem oder mehreren Schwellenwerten. Basierend auf dem Vergleich kann das Geräuschmodul 345 bestimmen, ob der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand ist. Nachdem der Aufmerksamkeitszustand des Nutzers als Ablenkungszustand erkannt wurde, kann das Geräuschmodul 345 die Überwachung der Umgebungsgeräuschpegel fortsetzen und kann die Umgebungsgeräuschpegel mit einem oder mehreren Schwellenwerten vergleichen, um zu bestimmen, ob der Aufmerksamkeitszustand des Nutzers wieder einem nicht abgelenkten Zustand entspricht.
  • Das Geräuschmodul 345 kann in einer Ausführungsform mit einem Umgebungsgeräuschsensor wie beispielsweise einem Mikrophon oder Geräuschmesser kommunizierend verbunden sein. In einer Ausführungsform misst das Geräuschmodul 345 Geräuschpegel mittels des Umgebungsgeräuschsensors. In einer weiteren Ausführungsform empfängt das Geräuschmodul 345 von dem Umgebungsgeräuschsensor gemessene Geräuschpegel. Das Geräuschmodul 345 kann die empfangenen Geräuschdaten analysieren, um einen Umgebungsgeräuschpegel zu identifizieren.
  • In einigen Ausführungsformen vergleicht das Geräuschmodul 345 den Umgebungsgeräuschpegel mit einem Schwellenwert eines unhörbaren Zustands. Der Schwellenwert des unhörbaren Zustands kann ein bedienerdefinierter und/oder ein benutzerdefinierter Schwellenwert sein, der einem Geräuschpegel entspricht, bei welchem eine Konversationen, die mit normaler Lautstärke geführt wird, unhörbar und/oder unverständlich ist. In Reaktion auf einen Umgebungsgeräuschpegel, der den Schwellenwert des nicht hörbaren Zustands überschreitet, kann das Geräuschmodul 345 bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist. Das Aufmerksamkeitszustand-Modul 210 kann dann dem Ausgabemodul 205 einen Ablenkungszustand des Nutzers anzeigen, wobei das Ausgabemodul 205 die Audioausgabe unterbricht, während der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist.
  • In bestimmten Ausführungsformen kann das Geräuschmodul 345 den Umgebungsgeräuschpegel mit einem Schwellenwert eines hörbaren Zustands vergleichen. Das Geräuschmodul 345 kann infolge der Unterbrechung der Audioausgabe aufgrund des Umgebungsgeräuschpegels (z.B. infolge eines Umgebungsgeräuschpegels, der den Schwellenwert des unhörbaren Zustands überschreitet) den Umgebungsgeräuschpegel mit dem Schwellenwert des hörbaren Zustands vergleichen. Das Geräuschmodul 345 kann den Schwellenwert des hörbaren Zustands somit nutzen, um zu bestimmen, wann der Umgebungsgeräuschpegel ausreichend verringert wurde, so dass die Audioausgabe fortgesetzt und/oder neu gestartet wird. In einigen Ausführungsformen ist der Schwellenwert des hörbaren Zustand der gleiche Wert wie der Schwellenwert des unhörbaren Zustands, während in anderen Ausführungsformen der Schwellenwert des hörbaren Zustands ein Geräuschschwellenwert sein kann, dessen Wert niedriger ist als der Schwellenwert des unhörbaren Zustands. In einer Ausführungsform ist der Schwellenwert des hörbaren Zustands ein vorgegebener Wert, der niedriger ist als Schwellenwert des unhörbaren Zustands. In einer weiteren Ausführungsform kann der Schwellenwert des hörbaren Zustands ein benutzerdefinierter Wert sein, der niedriger ist als der Schwellenwert des unhörbaren Zustands.
  • In einer Ausführungsform kann das Geräuschmodul 345 in Reaktion auf einen Umgebungsgeräuschpegel, der unter den Schwellenwert des hörbaren Zustands sinkt, bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger ein Ablenkungszustand ist (z.B. ein Neutralzustand ist). In einer weiteren Ausführungsform kann das Geräuschmodul 345 in Reaktion auf einen Umgebungsgeräuschpegel, der für die Dauer eine bestimmten Schwellenzeit unter den hörbaren Zustand sinkt, bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der Ablenkungszustand des Nutzers ist. Die Schwellenzeit, über deren Dauer der Umgebungsgeräuschpegel unterhalb des Schwellenwerts des hörbaren Zustands liegen muss, kann bediener- und/der benutzerdefiniert sein.
  • Ein Beispiel ist, wenn der Nutzer sich auf einem Bahnhof befindet und ein Zug vorbeifährt, wodurch der Umgebungsgeräuschpegel ansteigt. Der Umgebungsgeräuschpegel durch den vorbeifahrenden Zug kann so laut sein, dass der Nutzer beim Abhören der Audioausgabe beeinträchtigt wird und/oder am Verstehend gehindert wird, wie das durch den Umgebungsgeräuschpegel angezeigt wird, der den Schwellenwert des unhörbaren Zustands übersteigt. Dementsprechend kann das Geräuschmodul 345 bestimmen, dass der Aufmerksamkeitszustand des Nutzers wegen des Geräusches des vorbeifahrenden Zuges ein Ablenkungszustand ist, und das Ausgabemodul 205 kann die Audioausgabe unterbrechen.
  • Das Geräuschmodul 345 kann die Überwachung der Umgebungsgeräuschpegel (z.B. das Messen (die Abtastung) der Umgebungsgeräuschpegel in regelmäßigen Abständen von beispielsweise zwei Sekunden oder einem Bruchteil davon) fortsetzen. In einer Ausführungsform bestimmt das Geräuschmodul 345, dass der Zustand des Nutzers nicht mehr der Ablenkungszustand ist (wodurch die Fortsetzung der Audioausgabe ausgelöst wird), sobald der Umgebungsgeräuschpegel unter den Schwellenwert des hörbaren Zustands sinkt. Wenn der Zug jedoch mehrere Wagons hat, kann es sein, dass der Geräuschpegel bei jedem vorbeifahrenden Wagon schwankt. Dadurch wartet das Geräuschmodul 345 in weiteren Ausführungsformen gegebenenfalls ab, bis der Umgebungsgeräuschpegel über die Dauer der Schwellenzeit unter den Schwellenwert des hörbaren Zustands sinkt, bevor bestimmt wird, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger der (durch den vorbeifahrenden Zug bedingte) Ablenkungszustand ist.
  • In einigen Ausführungsformen kann das Geräuschmodul 345 das Verstreichen der Zeit überwachen, nachdem der Umgebungsgeräuschpegel den Schwellenwert des unhörbaren Zustands überschritten hat. Das Geräuschmodul 345 kann zum Beispiel verfolgen, wie lange es dauert, bis der Umgebungsgeräuschpegel unter den Schwellenwert des hörbaren Zustands sinkt. In Reaktion auf einen Umgebungsgeräuschpegel, der über die Dauer eines vorgegebenen Zeitrahmens über dem Schwellenwert des hörbaren Zustands bleibt, kann das Geräuschmodul 345 dem elektronischen Gerät 105 signalisieren, den Audioausgabemodus zu verlassen, wobei das Audioausgabemodul 205 die Audioausgabe stoppt und das Modul 215 für den visuellen Cue den visuellen Cue und die visuelle Benachrichtigung präsentiert.
  • In einigen Ausführungsformen kann der dem Verlassen des Audioausgabemodus zugeordnete vorgegebene Zeitrahmen die gleiche Zeitdauer sein wie die Dauer der Schwellenzeit, die der Fortsetzung der Audioausgabe zugeordnet ist, wie vorstehend erläutert. In anderen Ausführungsformen jedoch kann der dem Verlassen des Audioausgabemodus zugeordnete vorgegebene Zeitrahmen von anderer Dauer sein als die Dauer der Schwellenzeit, die der Fortsetzung der Audioausgabe zugeordnet ist. Zum Beispiel kann das Ausgabemodul 205 die Audioausgabe fortsetzen, wenn der Umgebungsgeräuschpegel für 2 Sekunden unter einem Schwellenwert des hörbaren Zustands bleibt, während das Geräuschmodul 345 dem elektronischen Gerät 105 signalisieren kann, den Audioausgabemodus zu verlassen, wenn der Umgebungsgeräuschpegel für 5 Sekunden über dem Schwellenwert des hörbaren Zustands bleibt. Die jeweilige Zeitdauer in diesem Beispiel dient lediglich Darstellungszwecken und stellt keine Einschränkung dar. In weiteren oder anderen Ausführungsformen können die Zeitdauern kürzer und/oder länger sein.
  • Das Geräuschmodul 345 kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder eine Kombination von Hardwareschaltung und Programmcode umfassen. Wie dargestellt ist, kann das Geräuschmodul 345 eine Komponente des Aufmerksamkeitszustand-Moduls 210 sein. Zum Beispiel kann das Geräuschmodul 345 eine Hardwarekomponente des Aufmerksamkeitszustand-Moduls 210 sein. Als weiteres Beispiel kann das Geräuschmodul 345 eine Subroutine des Aufmerksamkeitszustand-Moduls 210 sein. In weiteren Ausführungsformen jedoch kann das Geräuschmodul 345 eine unabhängige Komponente sein, die mit dem Aufmerksamkeitszustand-Modul 210 kommunizierend verbunden ist.
  • Das Modul 350 für die visuelle Positionsangabe ordnet in bestimmten Ausführungsformen die aktuelle Position der Audioausgabe einer Stelle in der visuellen Benachrichtigung zu. Zum Beispiel kann das Modul 350 für die visuelle Positionsangabe die aktuelle Position der Audioausgabe verfolgen und kann die entsprechende Stelle in der visuellen Benachrichtigung identifizieren. Als weiteres Beispiel kann das Modul 350 für die visuelle Positionsangabe die aktuelle Position der Audioausgabe in Reaktion auf eine Auslösung (z.B. in Reaktion darauf, dass das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers als interessierten Zustand ermittelt hat) identifizieren und kann eine entsprechende Stelle in der visuellen Benachrichtigung identifizieren.
  • Nachdem das Modul 350 für die visuelle Positionsangabe in der visuellen Benachrichtigung eine Stelle identifiziert hat, die der aktuellen Position der Audioausgabe entspricht, kann das Modul 350 für die visuelle Positionsangabe die identifizierte Stelle in der visuellen Benachrichtigung an das Modul 215 für den visuellen Cue kommunizieren, wobei das Modul 215 für den visuellen Cue an der identifizierten Stelle einen visuellen Cue präsentiert. Das Modul 350 für die visuelle Positionsangabe kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder eine Kombination von Hardwareschaltung und Programmcode umfassen. Wie dargestellt ist, kann das Modul 350 für die visuelle Positionsangabe eine Komponente des Moduls 215 für den visuellen Cue sein. Zum Beispiel kann das Modul 350 für die visuelle Positionsangabe eine Hardwarekomponente des Moduls 215 für den visuellen Cue sein. Als weiteres Beispiel kann das Modul 350 für die visuelle Positionsangabe eine Subroutine des Moduls 215 für den visuellen Cue sein. In einer weiteren oder anderen Ausführungsform jedoch kann das Modul 350 für die visuelle Positionsangabe eine unabhängige Komponente sein, die mit dem Modul 215 für den visuellen Cue kommunizierend verbunden ist.
  • Das Modul 355 für die visuelle Benachrichtigung präsentiert in bestimmten Ausführungsformen in Reaktion auf den interessierten Zustand des Nutzers, der von dem Aufmerksamkeitszustand-Modul 210 als Aufmerksamkeitszustand des Nutzers bestimmt wurde, auf der Anzeigevorrichtung 135 eine visuelle Benachrichtigung. Wie vorstehend bereits ausgeführt wurde, entspricht die visuelle Benachrichtigung der Audioausgabe. In einer Ausführungsform basieren die visuelle Benachrichtigung und auch die Audioausgabe auf derselben Benachrichtigung, zum Beispiel auf einer eingehenden Mitteilung, einer Antwort auf eine Anfrage oder dergleichen. In einigen Ausführungsformen umfasst das Präsentieren der visuellen Benachrichtigung das Generieren eines Fensters und das Anzeigen der visuellen Benachrichtigung in dem Fenster, das Bewegen eines Fensters, das die visuelle Benachrichtigung enthält, in den Vordergrund einer Benutzerschnittstelle und/oder das Vergrößern eines Fensters, das die visuelle Benachrichtigung enthält.
  • In einer Ausführungsform wird der Aufmerksamkeitszustand des Nutzers in Reaktion darauf, dass der Nutzer das elektronische Gerät 105 hält, als interessierter Zustand des Nutzers bestimmt, wobei das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung in Reaktion darauf, dass der Nutzer das elektronisches Gerät 105 hält, auf der Displayvorrichtung 135 präsentiert. In einer weiteren Ausführungsform wird in Reaktion darauf, dass der Nutzer seinen Blick auf die elektronische Vorrichtung 105 richtet, der Aufmerksamkeitszustand des Nutzers als interessierter Zustand bestimmt, wobei das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung in Reaktion darauf, dass der Nutzer seinen Blick auf das elektronische Gerät 105 richtet, auf der Anzeigevorrichtung 135 präsentiert. In einer weiteren Ausführungsform präsentiert das Modul 355 für die visuelle Benachrichtigung in Reaktion darauf, dass der Nutzer das elektronische Gerät 105 hält und seinen Blick auf das elektronische Gerät 105 richtet, die visuelle Benachrichtigung und einen Ort auf der Anzeigevorrichtung 135.
  • In einigen Ausführungsformen präsentiert das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung auf der Anzeigevorrichtung 135 in Reaktion auf einen Umgebungsgeräuschpegel, der für mehr als die Dauer eines vorgegebenen Zeitrahmens über einem Schwellenwert des unhörbaren Zustands liegt. Wenn der Umgebungsgeräuschpegel zum Beispiel den Schwellenwert des unhörbaren Zustands überschreitet und innerhalb der Dauer eines vorgegebenen Zeitrahmens nicht unter einen Schwellenwert des hörbaren Zustands sinkt, kann das elektronische Gerät 105 den Ausgabemodus gegebenenfalls verlassen und das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung auf der Anzeigevorrichtung 135 präsentieren. Ferner kann das Modul 215 für den visuellen Cue in Reaktion auf einen Umgebungsgeräuschpegel, der über eine längere Dauer als die des vorgegebenen Zeitrahmens über dem Schwellenwert des unhörbaren Zustands liegt, in der visuellen Benachrichtigung einen visuellen Cue präsentieren, wobei der visuelle Cue in der visuellen Benachrichtigung eine Stelle anzeigt, die einer aktuellen Stelle der Audioausgabe zum Zeitpunkt der Unterbrechung der Audioausgabe entspricht.
  • In einigen Ausführungsformen kann das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung auf einem externen Gerät präsentieren, das mit dem elektronischen Gerät 105 kommunizierend verbunden ist. Zum Beispiel kann das elektronische Gerät 105 ein Smartphone, ein Tablet Computer, ein Laptop Computer oder dergleichen sein, der (z.B. drahtgebunden oder drahtlos) mit dem externen Gerät verbunden ist. Das externe Gerät kann ein zu dem elektronischen Gerät 105 externes Gerät sein, das ein elektronisches Display aufweist. Beispiele externer Geräte sind unter anderem eine Smartwatch, ein tragbares Display, ein Fernsehgerät und dergleichen, ohne Beschränkung hierauf.
  • In einer Ausführungsform kann das Modul 355 für die visuelle Benachrichtigung in Reaktion darauf, dass der Nutzer dem externen Gerät Aufmerksamkeit schenkt (z.B. auf eine Smartwatch blickt, die mit dem externen Gerät 105 drahtlos verbunden ist), die visuelle Benachrichtigung auf dem externen Gerät präsentieren. In einer weiteren Ausführungsform kann das Modul 355 für die visuelle Benachrichtigung die visuelle Benachrichtigung auf dem externen Gerät als Standardaktion präsentieren, wenn der Aufmerksamkeitszustand des Nutzers ein Neutralzustand ist.
  • Das Modul 355 für die visuelle Benachrichtigung kann Hardwareschaltungen, einen auf einer Verarbeitungsvorrichtung laufenden Programmcode oder Kombinationen von Hardwareschaltungen und Programmcodes umfassen. Wie dargestellt ist, kann das Modul 355 für die visuelle Benachrichtigung eine Komponente des Moduls 215 für den visuellen Cue sein. Zum Beispiel kann das Modul 355 für die visuelle Benachrichtigung eine Hardwarekomponente des Moduls 215 für den visuellen Cue sein. Als weiteres Beispiel kann das Modul 355 für die visuelle Benachrichtigung eine Subroutine des Moduls 215 für den visuellen Cue sein. In anderen Ausführungsformen kann das Modul 355 für die visuelle Benachrichtigung jedoch auch eine unabhängige Komponente sein, die mit dem Modul 215 für den visuellen Cue kommunizierend verbunden ist.
  • 4 zeigt schematisch ein Flussdiagramm, in welchem ein Verfahren 400 zum Handhaben von Audioausgaben und visuellen Benachrichtigungen gemäß Ausführungsformen der vorliegenden Erfindung dargestellt ist. In einer Ausführungsform wird das Verfahren 400 von dem elektronischen Gerät 105 durchgeführt. In einer weiteren Ausführungsform kann das Verfahren 400 von den Benachrichtigungsvorrichtungen 200 und/oder 300 durchgeführt werden. Alternativ kann das Verfahren von einem Prozessor 110 und einem computerlesbaren Speichermedium wie beispielsweise dem Speicher 115 durchgeführt werden. Das computerlesbare Speichermedium kann einen Code speichern, der auf dem Prozessor 110 ausgeführt wird, um die Funktionen des Verfahrens 400 auszuführen.
  • Das Verfahren 400 beginnt und präsentiert, 405, dem Nutzer des elektronischen Geräts eine Audioausgabe. Das elektronische Gerät kann das elektronische Gerät 105 sein, das vorstehend mit Bezug auf die 1 bis 4 beschrieben wurde. In einer Ausführungsform präsentiert, 405, das Ausgabemodul 205 dem Nutzer die Audioausgabe. In bestimmten Ausführungsformen umfasst das Präsentieren, 405, der Audioausgabe für den Nutzer das Steuern der Audioausgabevorrichtung 125 zum Wiedergeben der Audioausgabe.
  • Das Verfahren 400 bestimmt, 410, einen Aufmerksamkeitszustand des Nutzers. In einer Ausführungsform bestimmt, 410, das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers. Zum Beispiel kann das Aufmerksamkeitszustand-Modul 210 eine Sensoreingabe nutzen, um den Aufmerksamkeitszustand des Nutzers zu bestimmen. In bestimmten Ausführungsformen umfasst das Bestimmen, 410, des Aufmerksamkeitszustands des Nutzers das Verarbeiten von Sensordaten von einer Mehrzahl von Sensoren, um den Aufmerksamkeitszustand des Nutzers zu bestimmen, unter anderem von Druckdaten, Temperaturdaten, Näherungsdaten, Bilddaten und/oder Geräuschpegeldaten. In einigen Ausführungsformen kann der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand, ein Ablenkungszustand oder ein Neutralzustand, d.h. weder ein interessierter noch ein Ablenkungszustand, sein.
  • Das Verfahren 400 präsentiert, 415, in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, den visuellen Cue. Dann endet das Verfahren 400. In einer Ausführungsform präsentiert, 415, das Modul 215 für den visuellen Cue den visuellen Cue in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist. Der visuelle Cue wird innerhalb einer visuellen Benachrichtigung präsentiert, die der Audioausgabe entspricht. In einigen Ausführungsformen zeigt der visuelle Cue eine Stelle in der visuellen Benachrichtigung an, die einer aktuellen Position der Audioausgabe entspricht. In weiteren Ausführungsformen zeigt der visuelle Cue in der visuellen Benachrichtigung eine Stelle an, die der zuletzt präsentierten Position der Audioausgabe entspricht.
  • In einigen Ausführungsformen umfasst das Präsentieren, 415, des visuellen Cue das Verifizieren, dass der Nutzer, der das elektronische Gerät hält (oder auf dieses blickt), ein autorisierter Nutzer des elektronischen Geräts ist. Zum Beispiel kann das Sicherheitsmodul 315 verifizieren, dass der Nutzer ein autorisierter Nutzer ist und kann dem Modul 215 für den visuellen Cue in Reaktion darauf, dass der Nutzer ein autorisierter Nutzer ist, erlauben, den visuellen Cue zu präsentieren, 415. Das Verifizieren, dass der Nutzer ein autorisierter Nutzer ist, kann das Erfassen von Bilddaten von dem Nutzer und das Durchführen einer Gesichtserkennung umfassen, um zu bestimmen, ob der Nutzer ein autorisierter Nutzer ist.
  • 5 ist ein schematisches Flussdiagramm zur Darstellung eines Verfahrens 500 zum Handhaben von Audioausgaben und visuellen Benachrichtigungen gemäß Ausführungsformen der vorliegenden Erfindung. In einer Ausführungsform wird das Verfahren 500 von dem elektronischen Gerät 105 durchgeführt. In einer weiteren Ausführungsform kann das Verfahren 500 von der Benachrichtigungsvorrichtung 200 und/oder 300 durchgeführt werden. Alternativ kann das Verfahren 500 von einem Prozessor und einem computerlesbaren Speichermedium wie dem Speicher 115 durchgeführt werden. Das computerlesbare Speichermedium kann einen Code speichern, der auf dem Prozessor 110 ausgeführt wird, um die Funktionen des Verfahrens 500 auszuführen.
  • Das Verfahren 500 beginnt und präsentiert, 505, dem Nutzer des elektronischen Geräts eine Audioausgabe. Das elektronische Gerät kann das elektronische Gerät 105 sein, das vorstehend mit Bezug auf die 1 bis 4 beschrieben wurde. In einer Ausführungsform präsentiert, 505, das Ausgabemodul 205 dem Nutzer die Audioausgabe. In bestimmten Ausführungsformen umfasst das Präsentieren, 505, der Audioausgabe für den Nutzer das Steuern der Audioausgabevorrichtung 125 zum Wiedergeben der Audioausgabe.
  • Das Verfahren 500 misst, 510, einen Umgebungsgeräuschpegel an dem elektronischen Gerät. In einer Ausführungsform misst, 510, das Geräuschmodul 345 den Umgebungsgeräuschpegel. In einigen Ausführungsformen umfasst das Messen, 510, des Umgebungsgeräuschpegels das Empfangen von Daten von einem Mikrophon, einem Geräuschmesser oder einer anderen Vorrichtung zum Messen von Umgebungsgeräuschen. Anschließend bestimmt, 515, das Verfahren 500, ob der Umgebungsgeräuschpegel einen Schwellenwert eines unhörbaren Zustands überschreitet. In einer Ausführungsform bestimmt, 515, das Geräuschmodul 345, ob der Umgebungsgeräuschpegel den Schwellenwert des unhörbaren Zustands überschreitet.
  • In Reaktion darauf, dass der Umgebungsgeräuschpegel den Schwellenwert des unhörbaren Zustands überschreitet, stellt das Verfahren 500 den Aufmerksamkeitszustand des Nutzers auf ein Ablenkungszustand des Nutzers ein, 520. In einer Ausführungsform stellt das Aufmerksamkeitszustands-Modul 210 den Aufmerksamkeitszustand des Nutzers auf einen Ablenkungszustand ein, 520. Andernfalls kehrt das Verfahren 500 in Reaktion auf einen Umgebungsgeräuschpegel, der den unhörbaren Schwellenwert nicht überschreitet, zum Messen, 510, des Umgebungsgeräuschpegels an dem elektronischen Gerät zurück.
  • Das Verfahren 500 überwacht, 525, den Umgebungsgeräuschpegel in Reaktion auf das Einstellen, 520, des Aufmerksamkeitszustands des Nutzers (wegen des den unhörbaren Schwellenwert übersteigenden Umgebungsgeräuschpegels) auf einen Ablenkungszustand des Nutzers. In einer Ausführungsform überwacht, 525, das Geräuschmodul 345 den Umgebungsgeräuschpegel in Reaktion auf das Einstellen, 520, des Aufmerksamkeitszustands des Nutzers auf den Ablenkungszustand. In einigen Ausführungsformen umfasst das Überwachen, 525, des Umgebungsgeräuschpegels das Abtasten eines Umgebungsgeräuschpegels an dem elektronischen Gerät in regelmäßigen Abständen, zum Beispiel ein Mal pro Sekunde oder pro Bruchteil einer Sekunde.
  • Außerdem setzt, 530, das Verfahren 500 einen Timer in Reaktion auf die Einstellung des Aufmerksamkeitszustands des Nutzers auf einen Ablenkungszustand des Nutzers. In einer Ausführungsform setzt, 530, das Geräuschmodul 345 den Timer. In bestimmten Ausführungsformen umfasst das Setzen, 530, des Timers das Setzen des Timers für eine vorgegebene Zeitdauer (z.B. gleich einem vorgegebenen Zeitrahmen, wie vorstehend im Zusammenhang mit 3 erläutert).
  • Das Verfahren 500 bestimmt, 535, ob der Umgebungsgeräuschpegel über eine Zeitdauer eines Schwellenwerts unter einen hörbaren Schwellenwert sinkt. In einer Ausführungsform bestimmt, 535, das Geräuschmodul 345, ob der Umgebungsgeräuschpegel für die Dauer des Schwellenwerts unter den hörbaren Schwellenwert sinkt. In bestimmten Ausführungsformen ist der hörbare Schwellenwert niedriger als der unhörbare Schwellenwert. In weiteren Ausführungsformen kann der hörbare Schwellenwert ein benutzerdefinierter Wert sein, der niedriger ist als der unhörbare Schwellenwert. In einer Ausführungsform umfasst das Bestimmen, 535, ob der Umgebungsgeräuschpegel über die Dauer des Zeitschwellenwerts unter den hörbaren Schwellenwert sinkt, das Setzen eines zweiten Timers und das Bestimmen, ob der Umgebungsgeräuschpegel unter dem Schwellenwert des hörbaren Zustands bleibt, bis der zweite Timer abgelaufen ist. In einer weiteren Ausführungsform kann der zweite Timer in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist, auf eine kürzere Zeit eingestellt werden als der erste Timer.
  • In Reaktion auf einem Umgebungsgeräuschpegel, der über die Dauer eines Zeitschwellenwerts unter den Schwellenwert des hörbaren Zustands gesunken ist, setzt das Verfahren 500 die Audioausgabe fort, 540. In einer Ausführungsform setzt das Ausgabemodul 205 die Audioausgabe in Reaktion darauf fort, 540, dass der Umgebungsgeräuschpegel unter den Schwellenwert des hörbaren Zustands sinkt, und das Verfahren 500 endet. Anderenfalls bestimmt, 545, das Verfahren 500 in Reaktion auf einen Umgebungsgeräuschpegel der nicht unter den Schwellenwert des hörbaren Zustands sinkt, ob die vorgegebene Zeitdauer verstrichen ist (z.B. oder der Timer abgelaufen ist). In einer Ausführungsform bestimmt, 545, das Geräuschmodul 345, ob die vorgegebene Zeitdauer verstrichen ist.
  • In Reaktion darauf, dass die vorgegebene Zeitdauer verstrichen ist (z.B. in Reaktion darauf, dass der Umgebungsgeräuschpegel über die Dauer des vorgegebenen Zeitrahmens über dem Schwellenwert des hörbaren Zustands bleibt), präsentiert, 550, das Verfahren 500 einen visuellen Cue in einer visuellen Benachrichtigung, die der Audioausgabe entspricht, und das Verfahren 500 endet. In einer Ausführungsform präsentiert, 550, das Modul 215 für den visuellen Cue den visuellen Cue in der visuellen Benachrichtigung in Reaktion darauf, dass der Umgebungsgeräuschpegel über eine vorgegebene Dauer über dem Schwellenwert des hörbaren Zustands bleibt. Anderenfalls kehrt das Verfahren 500 zurück zu der Bestimmung, 535, ob der Umgebungsgeräuschpegel über die Dauer des Zeitschwellenwerts unter den Schwellenwert des hörbaren Zustands sinkt.
  • 6 zeigt in einem schematischen Flussdiagramm ein Verfahren 600 zum Handhaben von Audioausgaben und visuellen Benachrichtigungen gemäß Ausführungsformen der vorliegenden Erfindung. In einer Ausführungsform wird das Verfahren 600 von dem elektronischen Gerät 105 durchgeführt. In einer weiteren Ausführungsform kann das Verfahren 600 von Benachrichtigungsvorrichtungen 200 und/oder 300 durchgeführt werden. Alternativ kann das Verfahren von einem Prozessor 110 und einem computerlesbaren Speichermedium wie dem Speicher 115 durchgeführt werden. Das computerlesbare Speichermedium kann einen Code Speichern, der auf dem Prozessor ausgeführt wird, um die Funktionen des Verfahrens 600 auszuführen.
  • Das Verfahren 600 beginnt und präsentiert, 605, dem Nutzer des elektronischen Geräts eine Audioausgabe. Das elektronische Gerät kann das elektronische Gerät 105 sein, das vorstehend mit Bezug auf die 1 bis 4 beschrieben wurde. In einer Ausführungsform präsentiert, 605, das Ausgabemodul 205 dem Nutzer die Audioausgabe. In bestimmten Ausführungsformen umfasst das Präsentieren, 605, der Audioausgabe für den Nutzer das Steuern der Audioausgabevorrichtung 125 zum Wiedergeben der Audioausgabe.
  • Das Verfahren 600 empfängt, 610, Sensordaten, die anzeigen, ob der Nutzer das elektronische Gerät hält. In einigen Ausführungsformen können die Sensordaten Druckdaten, Temperaturdaten, Beschleunigungsdaten, Näherungsdaten oder dergleichen umfassen. In einer Ausführungsform empfängt, 610, das Nutzergriff-Modul 335 die Sensordaten.
  • Das Verfahren 600 bestimmt, 615, auf der Basis der empfangenen Sensordaten, ob der Nutzer das elektronische Gerät hält. In einer Ausführungsform bestimmt, 615, das Nutzergriff-Modul 335 basierend auf den empfangenen Sensordaten, ob der Nutzer das elektronische Gerät hält. In einer Ausführungsform umfasst das auf der Basis der empfangenen Sensordaten erfolgende Bestimmen, 615, ob der Nutzer das elektronische Gerät hält, das Vergleichen der empfangenen Sensordaten mit einem oder mehreren Schwellenwerten.
  • In Reaktion darauf, dass der Nutzer das Gerät hält, stellt das Verfahren 600 den Aufmerksamkeitszustand des Nutzers auf einen interessierten Zustand des Nutzers ein, 620. In einer Ausführungsform stellt das Aufmerksamkeitszustand-Modul 210 den Aufmerksamkeitszustand des Nutzers in Reaktion darauf, dass der Nutzer das Gerät hält, auf einen interessierten Zustand des Nutzers ein, 620. Anderenfalls setzt das Verfahren 600 das Präsentieren, 655, der Audioausgabe in Reaktion darauf fort, dass der Nutzer das elektronische Gerät nicht hält.
  • Das Verfahren 600 präsentiert, 625, in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand ist, in der visuellen Benachrichtigung einen visuellen Cue. In einer Ausführungsform präsentiert, 625, das Modul 210 für den visuellen Cue den visuellen Cue in der visuellen Benachrichtigung. In einigen Ausführungsformen umfasst das Präsentieren, 625, des visuellen Cue das Präsentieren der visuellen Benachrichtigung auf der Anzeigevorrichtung 135 und das visuelle Anzeigen der Stelle innerhalb der visuellen Benachrichtigung, die der aktuellen Position der Audioausgabe entspricht.
  • Das Verfahren 600 empfängt, 630, Bilddaten. In einer Ausführungsform empfängt, 630, ein Nutzerblick-Modul 340 die Bilddaten beispielsweise von einer Frontkamera. Das Verfahren 600 bestimmt, 635, ob der Nutzer, der das elektronische Gerät hält, ein autorisierter Nutzer ist. In einer Ausführungsform bestimmt, 635, das Sicherheitsmodul 315, ob ein autorisierter Nutzer das elektronische Gerät hält. In bestimmten Ausführungsformen umfasst das Bestimmen, 635, ob der das elektronische Gerät haltende Nutzer ein autorisierter Nutzer ist, das Analysieren der Bilddaten, um zu bestimmen, ob ein autorisierter Nutzer das elektronische Gerät hält.
  • In Reaktion auf die Bestimmung, 635, dass der das Gerät haltende Nutzer ein autorisierter Nutzer des elektronischen Geräts ist, bestimmt, 640, das Verfahren 600, ob der Nutzer seinen Blick auf das elektronische Gerät richtet. Anderenfalls schränkt, 655, das Verfahren 600 den Zugang zu dem elektronischen Gerät in Reaktion darauf ein, dass der das elektronische Gerät haltende Nutzer kein autorisierter Nutzer des elektronischen Geräts ist, und das Verfahren 600 endet. In einer Ausführungsform schränkt das Sicherheitsmodul 315 den Zugang zu dem elektronischen Gerät ein, 655. In einigen Ausführungsformen umfasst das Einschränken, 655, des Zugangs zu dem elektronischen Gerät das Sperren des elektronischen Geräts.
  • In einer Ausführungsform umfasst in dem Verfahren 600 das Bestimmen, 640, ob der Nutzer seinen Blick auf das elektronische Gerät richtet, dass das Nutzerblick-Modul 340 bestimmt, 640, ob der Nutzer auf das elektronische Gerät (z.B. auf den Anzeigebildschirm des elektronischen Geräts) blickt. In einigen Ausführungsformen umfasst das Bestimmen, 640, ob der Nutzer auf das elektronische Gerät blickt, das Bestimmen einer Gesichts- und/oder Augenposition bezüglich des elektronischen Geräts.
  • In Reaktion auf die Bestimmung, 640, dass der Nutzer auf das elektronische Gerät blickt, stoppt, 650, das Verfahren 600 die Audioausgabe, und das Verfahren 600 endet. In einer Ausführungsform stoppt, 650, das Ausgabemodul 205 die Audioausgabe in Reaktion auf den Blick des Nutzers auf das elektronische Gerät. Anderenfalls fährt das Verfahren 600 in Reaktion auf die Bestimmung, 640, dass der Nutzer nicht auf das elektronische Gerät blickt, mit der Präsentation der Audioausgabe fort, 655, und das Verfahren 600 endet.
  • Ausführungsformen der Erfindung können auch in anderer Weise praktisch umgesetzt werden. Die beschriebenen Ausführungsformen sind in jeder Hinsicht illustrativ und stellen keine Einschränkung dar. Der Schutzumfang der Erfindung wird durch die anliegenden Ansprüche angegeben. Änderungen innerhalb des Bedeutungs- und Äquivalenzbereichs der Ansprüche fallen in deren Schutzbereich.

Claims (20)

  1. Verfahren, umfassend: das Präsentieren einer Audioausgabe einem Nutzer eines elektronischen Geräts, wobei die Audioausgabe ein gesprochener Text aus einer empfangenen Benachrichtigung ist; das Bestimmen eines Aufmerksamkeitszustands des Nutzers; und das Präsentieren eines visuellen Cue in einer visuellen Benachrichtigung in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, wobei die visuelle Benachrichtigung Text der empfangenen Benachrichtigung darstellt, wobei der visuelle Cue einen Bereich des Texts in der visuellen Benachrichtigung anzeigt, der einem Bereich des aktuell durch die Audioausgabe präsentierten gesprochenen Texts entspricht.
  2. Verfahren nach Anspruch 1, wobei der visuelle Cue mit der visuellen Benachrichtigung so mitwandert, wie die Audioausgabe fortgesetzt wird.
  3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei das Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Empfangen von Bilddaten des Nutzers; basierend auf den Bilddaten das Bestimmen, ob der Nutzer auf das elektronische Gerät blickt; und in Reaktion darauf, dass der Nutzer auf des elektronische Gerät blickt, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei das Präsentieren des visuellen Cue in der visuellen Benachrichtigung umfasst: das Anzeigen der visuellen Benachrichtigung auf einem externen Gerät, das mit dem elektronischen Gerät kommunizierend verbunden ist; und das Präsentieren des visuellen Cue an der visuellen Benachrichtigung, die auf dem externen Gerät angezeigt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Empfangen von Sensordaten; das Bestimmen auf der Basis der Sensordaten, ob ein Nutzer das elektronische Gerät hält; und in Reaktion darauf, dass ein Nutzer das elektronische Gerät hält, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist.
  6. Verfahren nach Anspruch 5, ferner umfassend: das Empfangen von Bilddaten in Reaktion auf die Bestimmung, dass ein Nutzer das elektronische Gerät hält; das Bestimmen auf der Basis der Bilddaten, ob ein das Gerät haltender Nutzer ein autorisierter Nutzer des elektronischen Geräts ist; und das Unterbrechen der Audioausgabe in Reaktion auf einen das Gerät haltenden Nutzer, der kein autorisierter Nutzer des elektronischen Geräts ist; und das Einschränken des Zugangs zu dem elektronischen Gerät.
  7. Verfahren nach Anspruch 5 oder 6, ferner umfassend: das Empfangen von Bilddaten in Reaktion auf die Bestimmung, dass ein Nutzer das elektronische Gerät hält; basierend auf den Bilddaten das Bestimmen, ob der Nutzer auf das elektronische Gerät blickt; und in Reaktion auf den Blick des Nutzers auf das elektronische Gerät das Präsentieren einer visuellen Benachrichtigung, die der Audioausgabe entspricht, wobei das Präsentieren eines visuellen Cue in der visuellen Benachrichtigung das Präsentieren des visuellen Cue in der visuellen Benachrichtigung in Reaktion auf den Blick des Nutzers auf das elektronische Gerät umfasst.
  8. Verfahren nach einem der Ansprüche 1 bis 7, ferner umfassend: das Unterbrechen der Audioausgabe in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist; das erneute Bestimmen des Aufmerksamkeitszustands des Nutzers in Reaktion auf die Unterbrechung der Audioausgabe; und das Fortsetzen der Audioausgabe in Reaktion darauf, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger ein Ablenkungszustand ist.
  9. Verfahren nach Anspruch 8, wobei das Fortsetzen der Audioausgabe umfasst: das Erwirken einer Zusammenfassung eines Teils der Audioausgabe, der dem Nutzer vorher präsentiert worden war; das Auffordern des Benutzers anzugeben, ob die Zusammenfassung präsentiert werden soll; und und das Präsentieren der Zusammenfassung in Reaktion auf eine bejahende Antwort des Nutzers auf die Anfrage.
  10. Verfahren nach Anspruch 8 oder 9, wobei das Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Messen eines Umgebungsgeräuschpegels an dem elektronischen Gerät; das Vergleichen des Umgebungsgeräuschpegels mit einem Schwellenwert eines unhörbaren Zustands; und in Reaktion darauf, dass der Umgebungsgeräuschpegel über dem Schwellenwert des unhörbaren Zustands liegt, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein Ablenkungszustand des Nutzers ist.
  11. Verfahren nach einem der Ansprüche 8 bis 10, wobei das erneute Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Messen eines Umgebungsgeräuschpegels an dem elektronischen Gerät; das Vergleichen des Umgebungsgeräuschpegels mit einem Schwellenwert eines hörbaren Zustands; und in Reaktion darauf, dass der Umgebungsgeräuschpegel für die Dauer eines Zeitschwellenwerts unter den Schwellenwert des hörbaren Zustands zurückkehrt, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers nicht mehr länger ein Ablenkungszustand ist.
  12. Verfahren nach Anspruch 10 oder Anspruch 11, ferner umfassend: das Bestimmen, ob der Umgebungsgeräuschpegel für die Dauer eines vorgegebenen Zeitrahmens über einem Schwellenwert des hörbaren Zustands bleibt; und das Präsentieren der visuellen Benachrichtigung und des visuellen Cue in Reaktion darauf, dass der Umgebungsgeräuschpegel für die Dauer des vorgegebenen Zeitrahmens über dem Schwellenwert des hörbaren Zustands bleibt, wobei der visuelle Cue in der visuellen Benachrichtigung eine Stelle anzeigt, die einer aktuellen Position der Audioausgabe entspricht.
  13. Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend: das Empfangen einer Benachrichtigung; und das Empfangen eines Nutzerbefehls zum Lesen der Benachrichtigung, wobei die Audioausgabe umfasst, dass dem Nutzer in Reaktion auf den Nutzerbefehl eine Audioausgabe präsentiert wird.
  14. Verfahren nach Anspruch 13, ferner umfassend: das Bestimmen einer Länge der Benachrichtigung; und in Reaktion darauf, dass die Länge eine vorgegebene Länge überschreitet, das Auffordern des Nutzers anzugeben, ob eine zusammengefasste Ausgabe der Benachrichtigung präsentiert werden soll, wobei das Präsentieren der Audioausgabe das Präsentieren der zusammengefassten Ausgabe in Reaktion auf eine bejahende Antwort des Nutzers auf die Anfrage umfasst.
  15. Verfahren nach Anspruch 13 oder 14, ferner umfassend: das Bestimmen einer Länge der Benachrichtigung, wobei das Präsentieren der Audioausgabe in Reaktion auf die eine vorgegebene Länge überschreitende Länge das Präsentieren einer zusammengefassten Ausgabe der Benachrichtigung umfasst; und das Auffordern des Nutzers anzugeben, ob die gesamte Benachrichtigung präsentiert werden soll, wobei das Präsentieren der Audioausgabe ferner umfasst, dass in Reaktion auf eine bejahende Antwort auf die Anfrage eine komplette Ausgabe präsentiert wird, die der vollständigen Benachrichtigung entspricht.
  16. Vorrichtung, umfassend: eine Audioausgabevorrichtung; eine Anzeigevorrichtung; einen Prozessor; und einen Speicher, der einen von dem Prozessor ausführbaren Code speichert, um: einem Benutzer der Vorrichtung über die Audioausgabevorrichtung eine Audioausgabe zu präsentieren, wobei die Audioausgabe ein gesprochener Text aus einer empfangenen Benachrichtigung ist; einen Aufmerksamkeitszustand eines Nutzers zu bestimmen; und über die Anzeigevorrichtung in einer visuellen Benachrichtigung einen visuellen Cue in Reaktion darauf zu präsentieren, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, wobei die visuelle Benachrichtigung Text der empfangenen Benachrichtigung darstellt, wobei der visuelle Cue einen Bereich des Texts in der visuellen Benachrichtigung anzeigt, der einem Bereich des aktuell durch die Audioausgabe präsentierten gesprochenen Texts entspricht.
  17. Vorrichtung nach Anspruch 16, ferner umfassend einen für die Erfassung von Bilddaten konfigurierten Bildsensor, wobei das Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Empfangen der Bilddaten des Nutzers; basierend auf den Bilddaten das Bestimmen, ob der Nutzer auf die Anzeigevorrichtung blickt; und in Reaktion darauf, dass der Nutzer auf die Anzeigevorrichtung blickt, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist, wobei der visuelle Cue in der visuellen Benachrichtigung eine Stelle angibt, die einer aktuellen Position der Audioausgabe entspricht.
  18. Vorrichtung nach Anspruch 16 oder 17, wobei der Speicher ferner einen Code enthält, der von dem Prozessor ausgeführt werden kann, um die Audioausgabe in Reaktion auf die Präsentation des visuellen Cue zu beenden.
  19. Vorrichtung nach einem der Ansprüche 16 bis 18, wobei das Bestimmen des Aufmerksamkeitszustands des Nutzers umfasst: das Empfangen von Sensordaten; basierend auf den Sensordaten das Bestimmen, ob ein Nutzer die Vorrichtung hält; und in Reaktion darauf, dass ein Nutzer die Vorrichtung hält, das Bestimmen, dass der Aufmerksamkeitszustand des Nutzers ein interessierter Zustand des Nutzers ist.
  20. Vorrichtung nach einem der Ansprüche 16 bis 19, ferner umfassend einen Umgebungsgeräuschsensor, wobei der Speicher ferner einen Code enthält, der von dem Prozessor ausgeführt werden kann, um: einen Umgebungsgeräuschpegel an der Vorrichtung zu messen; den Umgebungsgeräuschpegel mit einem Schwellenwert des unhörbaren Zustands zu vergleichen; die Audioausgabe in Reaktion darauf zu unterbrechen, dass der Umgebungsgeräuschpegel über dem Schwellenwert des unhörbaren Zustands liegt; den Umgebungsgeräuschpegel an der Vorrichtung in Reaktion auf die Unterbrechung der Audioausgabe erneut zu messen; den erneut gemessen Umgebungsgeräuschpegel mit einem Schwellenwert eines hörbaren Zustands zu vergleichen die Audioausgabe in Reaktion darauf fortzusetzen, dass der erneut gemessene Umgebungsgeräuschpegel für die Dauer eines Zeitschwellenwerts unter dem Schwellenwert des hörbaren Zustands liegt; und die visuelle Benachrichtigung und den visuellen Cue in Reaktion darauf zu präsentieren, dass der Umgebungsgeräuschpegel für die Dauer eines vorgegebenen Zeitrahmens über einem Schwellenwert des hörbaren Zustands bleibt.
DE102016125068.6A 2016-01-05 2016-12-21 Verfahren und Vorrichtung zum Handhaben von Audioausgaben Active DE102016125068B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/987,903 US9875734B2 (en) 2016-01-05 2016-01-05 Method and apparatus for managing audio readouts
US14/987,903 2016-01-05

Publications (2)

Publication Number Publication Date
DE102016125068A1 DE102016125068A1 (de) 2017-07-06
DE102016125068B4 true DE102016125068B4 (de) 2024-04-04

Family

ID=59069108

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016125068.6A Active DE102016125068B4 (de) 2016-01-05 2016-12-21 Verfahren und Vorrichtung zum Handhaben von Audioausgaben

Country Status (3)

Country Link
US (1) US9875734B2 (de)
CN (1) CN107066084A (de)
DE (1) DE102016125068B4 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
CN110945473A (zh) * 2017-07-31 2020-03-31 索尼公司 信息处理装置和信息处理方法
US10511806B2 (en) * 2017-09-30 2019-12-17 International Business Machines Corporation Mitigating effects of distracting sounds in an audio transmission of a conversation between participants
US11443646B2 (en) * 2017-12-22 2022-09-13 Fathom Technologies, LLC E-Reader interface system with audio and highlighting synchronization for digital books
US10826862B1 (en) * 2018-02-27 2020-11-03 Amazon Technologies, Inc. Generation and transmission of hierarchical notifications to networked devices
JP7163625B2 (ja) * 2018-06-06 2022-11-01 日本電信電話株式会社 移動支援情報提示制御装置、方法およびプログラム
US11180158B1 (en) * 2018-07-31 2021-11-23 United Services Automobile Association (Usaa) Routing or driving systems and methods based on sleep pattern information
US20200168317A1 (en) 2018-08-22 2020-05-28 Centre For Addiction And Mental Health Tool for assisting individuals experiencing auditory hallucinations to differentiate between hallucinations and ambient sounds
US20200066406A1 (en) * 2018-08-22 2020-02-27 Centre For Addiction And Mental Health Tool for identifying occurrence of acute incident symptomatic of mental condition or disorder
US11443060B2 (en) 2019-10-29 2022-09-13 Motorola Mobility Llc Note taking at a device based on whether the user is a known user, unknown user, or owner
DE102020102591A1 (de) 2020-02-03 2021-08-05 Ford Global Technologies, Llc Verfahren zum Betrieb eines Bordnetzes eines Kraftfahrzeugs
CN111526245A (zh) * 2020-04-03 2020-08-11 维沃移动通信有限公司 一种信息显示方法、电子设备及存储介质
US11783805B1 (en) * 2020-09-21 2023-10-10 Amazon Technologies, Inc. Voice user interface notification ordering

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1109151A1 (de) 1999-06-30 2001-06-20 Sony Corporation Elektronisches dokumenten-verarbeitungsprogramm
US20110124362A1 (en) 2004-06-29 2011-05-26 Kyocera Corporation Mobile Terminal Device
US20110196519A1 (en) 2010-02-09 2011-08-11 Microsoft Corporation Control of audio system via context sensor
US20110320205A1 (en) 2010-06-29 2011-12-29 Hon Hai Precision Industry Co., Ltd. Electronic book reader
CN102629955A (zh) 2012-03-30 2012-08-08 上海华勤通讯技术有限公司 人脸识别手机及其实现方法
US9008629B1 (en) 2012-08-28 2015-04-14 Amazon Technologies, Inc. Mobile notifications based upon sensor data
CN104754126A (zh) 2015-03-21 2015-07-01 苏州乐聚一堂电子科技有限公司 在移动电子装置中展现电子信息的方法
CN104808946A (zh) 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
US20150332666A1 (en) 2012-12-10 2015-11-19 Wibbitz Ltd. Method for Automatically Transforming Text Into Video

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4990482B2 (ja) * 2004-06-29 2012-08-01 京セラ株式会社 携帯端末装置
CN203606632U (zh) * 2013-06-25 2014-05-21 潍坊歌尔电子有限公司 一种智能手表
CN103685762B (zh) * 2013-12-30 2016-01-06 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN104796525A (zh) * 2014-01-20 2015-07-22 中国科学院深圳先进技术研究院 一种短信显示的方法及装置
CN104731327A (zh) * 2015-03-21 2015-06-24 苏州乐聚一堂电子科技有限公司 手持智能电子设备信息表现方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1109151A1 (de) 1999-06-30 2001-06-20 Sony Corporation Elektronisches dokumenten-verarbeitungsprogramm
US20110124362A1 (en) 2004-06-29 2011-05-26 Kyocera Corporation Mobile Terminal Device
US20160049145A1 (en) 2004-06-29 2016-02-18 Kyocera Corporation Mobile terminal device
US20110196519A1 (en) 2010-02-09 2011-08-11 Microsoft Corporation Control of audio system via context sensor
US20110320205A1 (en) 2010-06-29 2011-12-29 Hon Hai Precision Industry Co., Ltd. Electronic book reader
CN102629955A (zh) 2012-03-30 2012-08-08 上海华勤通讯技术有限公司 人脸识别手机及其实现方法
US9008629B1 (en) 2012-08-28 2015-04-14 Amazon Technologies, Inc. Mobile notifications based upon sensor data
US20150332666A1 (en) 2012-12-10 2015-11-19 Wibbitz Ltd. Method for Automatically Transforming Text Into Video
CN104754126A (zh) 2015-03-21 2015-07-01 苏州乐聚一堂电子科技有限公司 在移动电子装置中展现电子信息的方法
CN104808946A (zh) 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置

Also Published As

Publication number Publication date
US9875734B2 (en) 2018-01-23
US20170193982A1 (en) 2017-07-06
DE102016125068A1 (de) 2017-07-06
CN107066084A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
DE102016125068B4 (de) Verfahren und Vorrichtung zum Handhaben von Audioausgaben
DE102015110621B4 (de) Intelligente Untertitel
DE112011105171B4 (de) Blockieren von Benutzerinhalten basierend auf der Position
DE112007003024B4 (de) Fahrzeugmontierte Spracherkennungsvorrichtung
DE69737987T2 (de) Verfahren und System zum Puffern erkannter Wörter während der Spracherkennung
DE60225933T2 (de) Tragbare virtuelle realität
DE112013006353T5 (de) Textlesevorrichtung und Textleseverfahren
EP1282112B1 (de) Verfahren zur Unterstützung des Korrekturlesens eines spracherkannten Textes mit an die Erkennungszuverlässigkeit angepasstem Wiedergabegeschwindigkeitsverlauf
DE102015210430A1 (de) Verfahren zum Erkennen eines Sprachkontexts für eine Sprachsteuerung, Verfahren zum Ermitteln eines Sprachsteuersignals für eine Sprachsteuerung und Vorrichtung zum Ausführen der Verfahren
US10250925B2 (en) Determining a playback rate of media for a requester
DE102014017384B4 (de) Kraftfahrzeug-Bedienvorrichtung mit Korrekturstrategie für Spracherkennung
DE102017125196A1 (de) Proaktive Aufnahme von nicht angefordertem Inhalt in Mensch-Computer-Dialoge
DE102013205970A1 (de) Näherungsweises Berechnen der letzten Leseposition in elektronischen Dokumenten
DE102017122427A1 (de) Automatische Anpassung einer Lautstärke eines Lautsprechers eines Gerätes basierend auf einer Amplitude einer Spracheingabe in das Gerät
DE202017105901U1 (de) Erleichtern der Erzeugung und Wiedergabe von durch den Anwender aufgezeichneten Audiosignalen
DE112014007015T5 (de) Spracherkennungssystem
DE102018210633A1 (de) Verfahren und Vorrichtungen zum Erkennen von dem Benutzer zugewandten Bildschirmen bei Vorrichtungen mit mehreren Bildschirmen
DE102018111900A1 (de) Systeme und Verfahren zum Bestimmen eines Reaktionshinweises für einen digitalen Assistenten basierend auf einem Kontext
DE102017115936A1 (de) Systeme und Verfahren zum Aktivieren eines Sprachassistenten und Bereitstellen eines Indikators, dass der Sprachassistent Hilfe zu leisten hat
DE102014107028B4 (de) Verbesserte biometrische Passwortsicherheit
DE112017008097T5 (de) Überwachungsbild-übertragungsvorrichtung für aufzüge
DE112019007274T5 (de) Automatisches untertiteln hörbarer teile von inhalten auf einem computergerät
Kim et al. Familiarization effects on word intelligibility in dysarthric speech
EP2952661A1 (de) Verfahren anordnung zum berührungslosen öffnen eines zugangs und/oder ausgangs an einem fahrzeug zur personenbeförderung sowie mit dieser anordnung ausgerüstetes fahrzeug zur personenbeförderung
DE102018111896A1 (de) Bereitstellen einer Ausgabe, die mit einem Dialekt verknüpft ist

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division