DE112017006882T5 - Kontextabhängige, umgebungsbasierte nutzerschnittstelle - Google Patents

Kontextabhängige, umgebungsbasierte nutzerschnittstelle Download PDF

Info

Publication number
DE112017006882T5
DE112017006882T5 DE112017006882.7T DE112017006882T DE112017006882T5 DE 112017006882 T5 DE112017006882 T5 DE 112017006882T5 DE 112017006882 T DE112017006882 T DE 112017006882T DE 112017006882 T5 DE112017006882 T5 DE 112017006882T5
Authority
DE
Germany
Prior art keywords
language
context
user
environment
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017006882.7T
Other languages
English (en)
Inventor
Manuel Roman
Mara Clair Segal
Dwipal Desai
Andrew E. Rubin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Essential Products Inc
Original Assignee
Essential Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Essential Products Inc filed Critical Essential Products Inc
Publication of DE112017006882T5 publication Critical patent/DE112017006882T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111Location-sensitive, e.g. geographical location, GPS
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Es wird eine auf einer Umgebung beruhende kontextabhängige Nutzerschnittstelle beschrieben. Ein Assistenzgerät kann ermitteln, dass Sprache gesprochen wurde, und kann den Kontext einer Umgebung dieser Sprache ermitteln. Eine Nutzerschnittstelle kann anschließend auf der Basis des Kontexts der Umgebung und des Inhalts der Sprache erzeugt werden. Unterschiedlicher Kontext kann dazu führen, dass unterschiedliche Nutzerschnittstellen erzeugt werden.

Description

  • BEANSPRUCHUNG DER PRIORITÄT
  • Die vorliegende Anmeldung beansprucht die Priorität der nicht-provisorischen US-Patentanmeldung Nr. 15/587,201 mit dem Titel: „Contextual User Interface Based on Environment“ von Roman et al., die am 4. Mai 2017 eingereicht wurde. Die vorliegende Anmeldung beansprucht ferner die Priorität der provisorischen US-Patentanmeldung Nr. 62/448,912 mit dem Titel „Contextual User Interface Based on Environment“ von Roman et al., die am 20. Januar 2017 eingereicht wurde. Die vorliegende Anmeldung beansprucht ferner die Priorität der provisorischen US-Patentanmeldung Nr. 62/486,359 mit dem Titel „Contextual User Interface Based on Environment“ von Roman et al., die am 17. April 2017 eingereicht wurde. Die vorliegende Anmeldung beansprucht ferner die Priorität der provisorischen US-Patentanmeldung Nr. 62/486,365 mit dem Titel „Contextual User Interface Based on Changes in Environment“ von Roman et al., die am 17. April 2017 eingereicht wurde. Der Inhalt der oben angegebenen Anmeldungen wird hiermit durch Bezugnahme in seiner Gesamtheit in das vorliegende Dokument aufgenommen.
  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf Nutzerschnittstellen und insbesondere auf eine Nutzerschnittstelle (NS), die auf der Basis des Kontexts der Umgebung adaptiv ist.
  • HINTERGRUND
  • Das Internet der Dinge (loT, Internet of Things) ermöglicht den netzüberschreitenden Betrieb von Geräten, um untereinander Daten auszutauschen, um eine hochkomplexe Funktionalität zu ermöglichen. Beispielsweise können Geräte, die für die Heimautomatisierung ausgelegt sind, Daten austauschen, um die Steuerung und Automatisierung von Beleuchtung, Klimaanlagen, Sicherheit usw. zu ermöglichen. In der intelligenten Heimumgebung kann dies auch Heimassistenzgeräte umfassen, die einen intelligenten persönlichen Assistenten bereitstellen, der auf Sprache reagiert. Beispielsweise kann ein Heimassistenzgerät ein Mikrofonarray umfassen, um Spracheingabe zu empfangen und die entsprechenden Sprachdaten einem Server zur Analyse bereitzustellen, um eine Antwort auf eine seitens eines Nutzers gestellte Frage zu liefern. Der Server kann diese Antwort dem Heimassistenzgerät bereitstellen, das die Antwort unter Verwendung eines Lautsprechers als Sprachausgabe bereitstellen kann. Als weiteres Beispiel kann der Nutzer dem Heimassistenzgerät einen Sprachbefehl erteilen, ein anderes Gerät in seinem Zuhause zu steuern, beispielsweise einen Befehl, eine Lampe ein- oder auszuschalten. Als solches können der Nutzer und das Heimassistenzgerät unter Verwendung von Sprache miteinander interagieren, und die Interaktion kann durch einen außerhalb des Zuhauses befindlichen Server, der die Antworten liefert, ergänzt werden. Jedoch können Haushalte unterschiedliche Nutzer haben, die in unterschiedlichen kontextabhängigen Umgebungen (z. B. von unterschiedlichen Örtlichkeiten aus und zu unterschiedlichen Zeiten) in dem Haushalt mit dem Heimassistenzgerät interagieren.
  • KURZDARSTELLUNG
  • Ein Teil des hierin beschriebenen Gegenstands umfasst ein Heimassistenzgerät, das folgende Merkmale umfasst: einen Anzeigebildschirm; ein Mikrofon; einen oder mehrere Prozessoren; und Speicherspeicherungsanweisungen, wobei der eine oder die mehreren Prozessoren dazu konfiguriert sind, die Anweisungen derart auszuführen, dass der eine oder die mehreren Prozessoren und der Speicher dazu konfiguriert sind: zu ermitteln, dass in einer Nähe des Heimassistenzgeräts unter Verwendung des Mikrofons erste Sprache gesprochen wurde; einen ersten Kontext einer Umgebung des Heimassistenzgeräts zu ermitteln, wobei der erste Kontext der Umgebung eine oder mehrere einer Örtlichkeit eines die erste Sprache bereitstellenden Nutzers, eines Zeitpunkts der ersten Sprache, einer Nutzeridentität, die dem die erste Sprache bereitstellenden Nutzer entspricht, eines Grades der Fertigkeiten des die erste Sprache bereitstellenden Nutzers bezüglich des Interagierens mit dem Heimassistenzgerät, eines Zeitplans des die erste Sprache bereitstellenden Nutzers oder von Charakteristika der ersten Sprache umfasst; eine erste graphische Nutzerschnittstelle (GUI) für das Assistenzgerät auf dem Anzeigebildschirm anzuzeigen, um eine Antwort bezüglich der ersten Sprache bereitzustellen, wobei die erste GUI auf dem ersten Kontext der Umgebung und dem Inhalt der ersten Sprache beruht; zu ermitteln, dass in der Nähe das Heimassistenzgerät unter Verwendung des Mikrofons zweite Sprache gesprochen wurde, wobei die erste Sprache und die zweite Sprache denselben Inhalt umfassen; einen zweiten Kontext einer Umgebung des Heimassistenzgeräts zu ermitteln, wobei der zweite Kontext der Umgebung zumindest entweder eine Örtlichkeit eines die zweite Sprache bereitstellenden Nutzers und/oder einen Zeitpunkt der zweiten Sprache und/oder eine Nutzeridentität, die dem die zweite Sprache bereitstellenden Nutzer entspricht, und/oder einen Grad der Fertigkeiten des die zweite Sprache bereitstellenden Nutzers bezüglich des Interagierens mit dem Heimassistenzgerät und/oder einen Zeitplan des die zweite Sprache bereitstellenden Nutzers und/oder Charakteristika der zweiten Sprache umfasst, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite GUI für das Assistenzgerät auf dem Anzeigebildschirm anzuzeigen, um eine Antwort bezüglich der zweiten Sprache bereitzustellen, wobei die zweite GUI auf dem zweiten Kontext der Umgebung und dem Inhalt der zweiten Sprache beruht, wobei der erste GUI und die zweite GUI unterschiedlichen Inhalt bereitstellen.
  • Ein Teil des hierin beschriebenen Gegenstands umfasst ferner ein Verfahren zum Bereitstellen einer kontextabhängigen Nutzerschnittstelle, das folgende Schritte umfasst: Ermitteln, seitens eines Prozessors, dass eine erste Sprache gesprochen wurde; Ermitteln, seitens des Prozessors, eines ersten Kontexts einer Umgebung, der der ersten Sprache entspricht; Bereitstellen, seitens des Prozessors, einer ersten Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache; Ermitteln, seitens des Prozessors, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; Ermitteln, seitens des Prozessors, eines zweiten Kontexts der Umgebung, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und Bereitstellen, seitens des Prozessors, einer zweiten Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  • Bei manchen Implementierungen beruht der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind.
  • Bei manchen Implementierungen umfasst der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, umfasst der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  • Bei manchen Implementierungen umfasst der erste Kontext, dass ein erster Nutzer die erste Sprache bereitstellt, umfasst der zweite Kontext, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  • Bei manchen Implementierungen ist der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet, ist der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet, sind der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich, beruht der erste Kontext auf dem ersten Grad der Fertigkeiten und beruht der zweite Kontext auf dem zweiten Grad der Fertigkeiten.
  • Bei manchen Implementierungen umfassen der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers.
  • Bei manchen Implementierungen umfasst das Verfahren folgende Schritte: Ermitteln, seitens des Prozessors, einer Veränderung der Umgebung; und Erzeugen, seitens des Prozessors, einer dritten Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts als Reaktion auf die Veränderung der Umgebung, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
  • Ein Teil des hierin beschriebenen Gegenstands umfasst ferner ein elektronisches Gerät, das folgende Merkmale umfasst: einen oder mehrere Prozessoren; und Speicherspeicherungsanweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: zu ermitteln, dass eine erste Sprache gesprochen wurde; einen ersten Kontext einer Umgebung zu ermitteln, der der ersten Sprache entspricht, eine erste Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache zu erzeugen; zu ermitteln, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; einen zweiten Kontext der Umgebung zu ermitteln, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache zu erzeugen, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  • Bei manchen Implementierungen beruht der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind.
  • Bei manchen Implementierungen umfasst der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, wobei der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, umfasst, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  • Bei manchen Implementierungen umfasst der erste Kontext, dass ein erster Nutzer die erste Sprache bereitstellt, umfasst zweite Kontext, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  • Bei manchen Implementierungen ist der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet, ist der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet, der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich sind, der erste Kontext auf dem ersten Grad der Fertigkeiten beruht und der zweite Kontext auf dem zweiten Grad der Fertigkeiten beruht.
  • Bei manchen Implementierungen umfassen der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers.
  • Bei manchen Implementierungen ist der Prozessor dazu konfiguriert, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: eine Veränderung der Umgebung zu ermitteln; und als Reaktion auf die Veränderung der Umgebung eine dritte Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts zu erzeugen, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
  • Ein Teil des hierin beschriebenen Gegenstands umfasst ferner ein Computerprogrammprodukt, das ein oder mehrere nicht-flüchtige computerlesbare Medien aufweist, in denen Computerprogrammanweisungen gespeichert sind, wobei die Computerprogrammanweisungen derart konfiguriert sind, dass, wenn sie durch eine oder mehrere Rechenvorrichtungen ausgeführt werden, die Computerprogrammanweisungen die eine oder die mehreren Rechenvorrichtungen dazu veranlassen: zu ermitteln, dass eine erste Sprache gesprochen wurde; einen ersten Kontext einer Umgebung zu ermitteln, der der ersten Sprache entspricht; eine erste Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache zu erzeugen; zu ermitteln, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; einen zweiten Kontext der Umgebung zu ermitteln, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache zu erzeugen, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  • Bei manchen Implementierungen beruht der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind.
  • Bei manchen Implementierungen umfasst der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, wobei der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, umfasst, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  • Bei manchen Implementierungen umfasst der erste Kontext, dass ein erster Nutzer die erste Sprache bereitstellt, umfasst zweite Kontext, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  • Bei manchen Implementierungen ist der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet, ist der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet, der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich sind, der erste Kontext auf dem ersten Grad der Fertigkeiten beruht und der zweite Kontext auf dem zweiten Grad der Fertigkeiten beruht.
  • Bei manchen Implementierungen umfassen der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers.
  • Bei manchen Implementierungen veranlassen die Computerprogrammanweisungen die eine oder die mehreren Rechenvorrichtungen dazu: eine Veränderung der Umgebung zu ermitteln; und als Reaktion auf die Veränderung der Umgebung eine dritte Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts zu erzeugen, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
  • Ein Teil des hierin beschriebenen Gegenstands umfasst ferner ein elektronisches Gerät, das folgende Merkmale umfasst: einen Anzeigebildschirm; einen oder mehrere Prozessoren; und Speicherspeicherungsanweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: ein erstes Auftreten einer ersten Aktivität in einer Umgebung des elektronischen Geräts zu ermitteln; einen ersten Kontext der Umgebung des elektronischen Geräts zu ermitteln; und auf der Basis des ersten Kontexts der Umgebung und der ersten Aktivität eine erste graphische Nutzerschnittstelle (GUI) auf dem Anzeigebildschirm anzuzeigen.
  • Bei manchen Implementierungen ist die erste Aktivität entweder eine in der Umgebung gesprochene Sprache und/oder ein durch ein Objekt in der Umgebung erzeugtes Geräusch.
  • Bei manchen Implementierungen ist der Prozessor dazu konfiguriert, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: ein zweites Auftreten einer zweiten Aktivität in der Umgebung des elektronischen Geräts zu ermitteln; einen zweiten Kontext der Umgebung des elektronischen Geräts zu ermitteln, wobei der erste und der zweite Kontext unterschiedlich sind; und auf der Basis des zweiten Kontexts der Umgebung und der zweiten Aktivität eine zweite graphische Nutzerschnittstelle (GUI) auf dem Anzeigebildschirm anzuzeigen, wobei sich der erste Inhalt der ersten GUI von dem zweiten Inhalt der zweiten GUI unterscheidet.
  • Bei manchen Implementierungen sind die erste Aktivität und die zweite Aktivität ähnlich, und der erste Inhalt der ersten GUI unterscheidet sich von dem zweiten Inhalt der zweiten GUI auf der Basis von Unterschieden zwischen dem ersten Kontext der Umgebung und dem zweiten Kontext der Umgebung.
  • Bei manchen Implementierungen umfasst der erste Inhalt eine erste Anzahl graphischer Darstellungen von Informationen oder einen Zugriff auf eine durch das elektronische Gerät bereitgestellte Funktionalität, der zweite Inhalt umfasst eine zweite Anzahl graphischer Darstellungen von Informationen oder einen Zugriff auf eine durch das elektronische Gerät bereitgestellte Funktionalität, wobei die erste Anzahl und die zweite Anzahl unterschiedlich sind.
  • Bei manchen Implementierungen umfasst der erste Inhalt eine erste graphische Darstellung eines Postens, der Informationen oder einen Zugriff auf eine durch das elektronische Gerät bereitgestellte Funktionalität bereitstellt, in einer ersten Größe, der zweite Inhalt umfasst eine zweite graphische Darstellung des Postens in einer zweiten Größe, wobei sich die erste Größe und die zweite Größe unterscheiden.
  • Bei manchen Implementierungen ist die erste Aktivität Sprache, die in der Umgebung des elektronischen Geräts gesprochen wird, wobei der erste Kontext der Umgebung zumindest entweder eine Örtlichkeit eines die Sprache bereitstellenden Nutzers und/oder einen Zeitpunkt der Sprache und/oder eine Nutzeridentität, die dem die Sprache bereitstellenden Nutzer entspricht und/oder einen Grad der Fertigkeiten des die Sprache bereitstellenden Nutzers bezüglich des Interagierens mit dem Heimassistenzgerät seitens, einen Zeitplan des die Sprache bereitstellenden Nutzers und/oder Charakteristika der Sprache umfasst.
  • Bei manchen Implementierungen umfasst die erste GUI einen Inhalt, der auf die erste Aktivität auf der Basis des ersten Kontexts anspricht.
  • Figurenliste
    • 1 veranschaulicht ein Beispiel eines Assistenzgeräts, das auf der Basis des Kontexts der Umgebung eine Nutzerschnittstelle bereitstellt.
    • 2 veranschaulicht ein Beispiel eines Blockdiagramms, das auf der Basis des Kontexts der Umgebung eine Nutzerschnittstelle bereitstellt.
    • 3 veranschaulicht ein Beispiel eines Blockdiagramms, das den Kontext der Umgebung eines Assistenzgeräts ermittelt.
    • 4 veranschaulicht ein weiteres Beispiel eines Assistenzgeräts, das auf der Basis des Kontexts der Umgebung eine Nutzerschnittstelle bereitstellt.
    • 5 veranschaulicht ein Beispiel eines Assistenzgeräts.
    • 6 veranschaulicht ein Beispiel eines Blockdiagramms zum Anpassen einer Nutzerschnittstelle dahin gehend, Erwartungen an die Geheimhaltung zu wahren.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die vorliegende Offenbarung beschreibt Geräte und Techniken zum Bereitstellen einer Nutzerschnittstelle für ein Heimassistenzgerät auf der Basis des Kontexts oder Charakteristika der umliegenden Umgebung. Bei einem Beispiel kann die Nutzerschnittstelle des Heimassistenzgeräts (z. B. eine graphische Nutzerschnittstelle (GUI), die zum Zweck einer Anzeige auf einem Anzeigebildschirm des Heimassistenzgeräts erzeugt wurde) auf der Basis einer Kombination kontextabhängiger Faktoren der umliegenden Umgebung, einschließlich der mit dem Heimassistenzgerät interagierenden Person, der Menschen in der umliegenden Umgebung, des Zeitpunkts, der Örtlichkeit des Heimassistenzgeräts in dem Haushalt, der Örtlichkeit der mit dem Heimassistenzgerät interagierenden Person, der Gegenwart Fremder, Interessen der Nutzer usw., unterschiedlich sein. Folglich können durch das Heimassistenzgerät auf der Basis der kontextabhängigen Faktoren unterschiedliche Inhalte (z. B. Informationen, graphische Symbole, die Zugriff auf eine Funktionalität des Heimassistenzgeräts gewähren, usw.) angezeigt werden.
  • Außerdem kann derselbe Inhalt unterschiedlich angezeigt werden. Beispielsweise können auf der Basis des Kontexts der Umgebung verschiedene Sprachen, visuelle Effekte usw. bereitgestellt werden. Bei einem anderen Beispiel stellen vielleicht zwei verschiedene Nutzer (oder sogar derselbe Nutzer zu unterschiedlichen Zeiten) dem Heimassistenzgerät dieselbe Frage. Auf der Basis von Unterschieden bezüglich des Kontexts der Umgebung, wenn die Frage gestellt wird, kann die Nutzerschnittstelle dieselbe Frage auf unterschiedliche Art und Weise beantworten.
  • Genauer gesagt veranschaulicht 1 ein Beispiel eines Assistenzgeräts, das auf der Basis des Kontexts der Umgebung eine Nutzerschnittstelle bereitstellt. In 1 kann das Heimassistenzgerät 110 ein Mikrofon (z. B. ein Mikrofonarray) zum Empfangen einer Stimmeingabe von Nutzern und einen Lautsprecher zum Bereitstellen einer Audioausgabe in Form einer Stimme (oder anderer Arten von Audio), um den Nutzer zu antworten, umfassen. Außerdem kann das Heimassistenzgerät 110 einen Anzeigebildschirm umfassen, um Nutzern eine visuelle Rückmeldung zu geben, indem es eine graphische Nutzerschnittstelle (GUI) erzeugt, die Inhalte zur Anzeige bereitstellt. Beispielsweise kann ein Nutzer dem Heimassistenzgerät 110 eine Frage stellen, und eine Antwort auf diese Frage kann auf dem Anzeigebildschirm erscheinen. Zusätzliche visuelle Komponenten wie beispielsweise lichtemittierende Dioden (LEDs) können ebenfalls vorhanden sein. Folglich kann die Nutzerschnittstelle Audio, Stimme, Anzeigebildschirme, Beleuchtung und andere Audio- oder visuelle Komponenten umfassen. Bei manchen Implementierungen kann auch eine Kamera 115 enthalten sein, damit das Heimassistenzgerät 110 eine visuelle Eingabe seiner umliegenden Umgebung empfangen kann. Die Kamera 115 kann physisch in das Heimassistenzgerät 110 integriert sein (z. B. physisch mit demselben gekoppelt sein), oder die Kamera 115 kann eine separate Komponente eines drahtlosen Netzwerks eines Hauses bzw. einer Wohnung sein, die dem Heimassistenzgerät 110 Videodaten bereitstellen kann.
  • In 1 kann sich das Heimassistenzgerät 110 an einer bestimmten Stelle des Hauses bzw. der Wohnung, zum Beispiel in der Küche, befinden. Es könnten unterschiedliche Nutzer von unterschiedlichen Örtlichkeiten in dem Haushalt aus (z. B. der Küche oder dem Wohnzimmer) und zu unterschiedlichen Zeiten mit dem Heimassistenzgerät interagieren. Außerdem könnten die unterschiedlichen Nutzer an unterschiedlichen Merkmalen, Funktionalitäten oder Informationen, die durch das Heimassistenzgerät 110 bereitgestellt werden, interessiert sein. Diese unterschiedlichen kontextabhängigen Faktoren der Umgebung des Heimassistenzgeräts 110 können dazu führen, dass die Nutzerschnittstelle des Heimassistenzgeräts 110 verändert wird. Da die Nutzerschnittstelle Inhalte wie beispielsweise Merkmale, Funktionalitäten, Information usw. bereitstellen kann, kann dies dazu führen, dass auf dem Ansagebildschirm unterschiedliche Inhalte angezeigt werden. Das heißt, unterschiedliche Kombinationen von kontextabhängigen Faktoren der Umgebung können zu einer unterschiedlichen Nutzerschnittstelle des Heimassistenzgeräts 110 führen, was zu einer adaptiven Nutzerschnittstelle führt, die auf dem Kontext der Umgebung beruht. Die kontextabhängigen Faktoren können auch demografische Gegebenheiten der Nutzer umfassen. Falls beispielsweise ein Kind das Heimassistenzgerät 110 benutzt, können die bereitgestellten Inhalte anders sein als wenn ein Erwachsener das Heimassistenzgerät 110 benutzt (z. B. können kinderfreundliche Inhalte bereitgestellt werden).
  • Beispielsweise kann in 1 ein Nutzer 130a abends um 23.39 Uhr in der Küche sein (z. B. im selben Raum wie das oder in unmittelbarer Nähe zu dem Heimassistenzgerät 110). Das Heimassistenzgerät 110 kann den Nutzer 130a beispielsweise erkennen, indem es eine Videoeingabe von der Kamera 115 verwendet, um den Nutzer 130a visuell zu verifizieren. Bei einem anderen Beispiel kann das Heimassistenzgerät 110 den Nutzer 130a durch eine Spracherkennung erkennen, wenn der Nutzer 130a entweder mit dem Heimassistenzgerät 110 oder mit anderen Menschen oder sogar mit sich selbst spricht. Der Nutzer 130a kann auch schon frühere Interaktionen mit dem Heimassistenzgerät 110 gehabt haben, und deshalb kann das Heimassistenzgerät 110 sich an die Vorlieben, Erwartungen, den Zeitplan usw. des Nutzers 130a erinnern. Folglich kann auf der Basis des aktuellen Kontexts der Umgebung, der den Nutzer, den Zeitpunkt und die örtlichkeit, von der der Nutzer gerade spricht, angibt, eine Nutzerschnittstelle 120a erzeugt werden, damit der Nutzer 130a mit dem Heimassistenzgerät 110 interagiert.
  • Im Gegensatz dazu kann sich der Nutzer 130b morgens um 8.30 Uhr im Wohnzimmer desselben Hauses bzw. derselben Wohnung befinden wie das Heimassistenzgerät 110. Da der Nutzer, der Zeitpunkt und die Örtlichkeit des Nutzers anders sind, kann das Heimassistenzgerät 110 eine andere Nutzerschnittstelle 120b erzeugen, die eine andere GUI bereitstellt, die andere Inhalte aufweist, wie in 1 gezeigt ist. Folglich kann sich die Nutzerschnittstelle 120b von der Nutzerschnittstelle 120a unterscheiden, da sie ansprechend auf unterschiedliche kontextabhängige Umgebungen, wenn die Nutzer 130a und 130b sprechen, bereitgestellt oder erzeugt werden. Dies kann sogar dann auftreten, wenn der Inhalt der durch die Nutzer 130a und 130b bereitgestellten Sprache ähnlich oder sogar identisch ist. Falls beispielsweise beide Nutzer 130a und 130b dieselbe oder eine ähnliche Frage stellen (z. B. ihre Sprache einen ähnlichen oder identischen Inhalt umfasst, beispielsweise eine Frage nach einer Liste neuer Restaurants, die in der Nähe eröffnet haben), kann die durch das Heimassistenzgerät 110 bereitgestellte Nutzerschnittstelle (zum Beantworten der Frage) aufgrund des unterschiedlichen Kontexts der jeweiligen Umgebung, als die Sprache geäußert wurde, unterschiedlich sein. Außerdem könnten die Nutzer unterschiedliche Interessen haben (wie z.B. durch ein Profil angegeben ist), die ebenfalls dazu führen, dass unterschiedliche Inhalte unterschiedliche Dienstleistungen, Funktionalitäten usw. bereitstellen.
  • Bei einem anderen Beispiel kann die Nutzerschnittstelle 120a, da sie am Abend erzeugt wurde, andere Farben, eine andere Helligkeit oder andere visuelle Charakteristika aufweisen als die Anzeige 120b. Dies könnte deshalb erfolgen, weil die Nutzerschnittstelle in unterschiedlichen Beleuchtungssituationen nicht zu sehr stören sollte. Beispielsweise kann ein Lichtsensor (z. B. eine Photodiode) dazu verwendet werden, zu ermitteln, dass ein Raum dunkel ist. Das Heimassistenzgerät 110 kann dann die Helligkeit des Anzeigebildschirms auf der Basis der ermittelten Beleuchtungssituation in der Umgebung anpassen.
  • Da sich die Nutzer 130a und 130b außerdem in unterschiedlichen Räumen und somit in unterschiedlicher Entfernung von dem Heimassistenzgerät 110 befinden, können die Nutzerschnittstellen 120a und 120b unterschiedlich sein, um dies zu berücksichtigen. Da sich der Nutzer 130a in 1 beispielsweise in der Küche befindet, ist er dem Heimassistenzgerät 110 eventuell relativ nahe, und deshalb kann die Größe eines Teils der Inhalte (z. B. der Posten A-G, der Tasten, Symbole, des Text usw. sein) einer als Nutzerschnittstelle 120a bereitgestellten GUI relativ gering sein. Im Gegensatz dazu kann, da sich der Nutzer 130b im Wohnzimmer befindet (d. h. weiter entfernt von dem Heimassistenzgerät 110 als der Nutzer 130a), ein Teil des Inhalts der Nutzerschnittstelle 120b größer sein, so dass er aus einer Entfernung besser sichtbar ist. Beispielsweise weisen in 1 die Symbole A und F bei den verschiedenen Nutzerschnittstellen 120a und 120b unterschiedliche Größen auf. Das heißt, Inhalte wie beispielsweise die Posten der Nutzerschnittstellen, die Zugriff auf dieselbe Funktionalität bereitstellen oder eine Angabe derselben Art von Informationen bereitstellen, können unterschiedliche Größen aufweisen, da die kontextabhängigen Umgebungen unterschiedlich sind. Falls beispielsweise die Nutzer 130a und 130b eine Auflistung neuer, nahegelegener Restaurants anfordern, könnten die Symbole A-G eine Liste einiger der identifizierten Restaurants präsentieren. Außerdem kann die Audiowiedergabe auf der Basis der Entfernung eines Nutzers von dem Heimassistenzgerät 110 eine bestimmte Lautstärke aufweisen. Beispielsweise kann eine größere Entfernung eines Nutzers zu einer lauteren Audiowiedergabe führen als wenn sich ein Nutzer näher an dem Heimassistenzgerät 110 befindet.
  • Die Nutzerschnittstellen 120a und 120b können sich auch auf andere Art und Weise unterscheiden. Beispielsweise kann aufgrund der unterschiedlichen kontextabhängigen Umgebungen auch die Örtlichkeit der Inhalte, die Anzahl der Inhalte usw., wie sie in 1 dargestellt sind, unterschiedlich sein.
  • 2 veranschaulicht ein Beispiel eines Blockdiagramms, das auf der Basis des Kontexts der Umgebung eine Nutzerschnittstelle bereitstellt. In 2 kann bei Block 203 ermittelt werden, dass Sprache gesprochen wurde. Beispielsweise kann ein Mikrofon des Heimassistenzgeräts 110 Sprache, die in der Umgebung gesprochen wurde, erfassen. Diese Sprache kann in Sprachdaten umgewandelt und durch einen Prozessor des Heimassistenzgeräts 110 analysiert werden, um zu ermitteln, dass Sprache empfangen wurde. Bei Block 205 kann der Kontext der umliegenden Umgebung oder der unmittelbaren Umgebung um das Heimassistenzgerät 110 herum ermittelt werden. Beispielsweise kann das Heimassistenzgerät 110 beliebige der zuvor erwähnten Einzelheiten bezüglich der Umgebung in dem physischen Raum um das Heimassistenzgerät 110 herum, einschließlich Zeitpunkt, Nutzer, vorheriger Interaktionen mit dem Nutzer, Position des Nutzers und des Heimassistenzgeräts 110 usw. ermitteln. Jegliche der nachstehend erörterten Einzelheiten können ebenfalls ermittelt werden. Bei Block 210 kann die Nutzerschnittstelle auf der Basis des ermittelten Kontexts und Inhalts der Sprache bereitgestellt oder erzeugt werden. Dies kann beispielsweise ein Erzeugen einer GUI mit einem Inhalt, der auf den Inhalt der Sprache bezogen ist und in verschiedenen Größen, Farben usw. auf einem Anzeigebildschirm des Heimassistenzgeräts 110 bereitgestellt wird, auf der Basis des Kontexts umfassen. Bei manchen Implementierungen kann die Nutzerschnittstelle auch eine Audiowiedergabe (z. B. eine Tonwiedergabe), ein Einschalten verschiedener Beleuchtungseffekte (z. B. LEDs) usw. umfassen. Beispielsweise können unterschiedliche GUIs mit unterschiedlichen Audioeffekten bereitgestellt werden.
  • Als Nächstes kann das Heimassistenzgerät 110 zu einem anderen Zeitpunkt mehr Sprache erfassen. Falls der Kontext der Umgebung jedoch anders ist, kann eine andere Nutzerschnittstelle als die bei Block 210 erzeugte erzeugt werden. Sogar dann, wenn der Inhalt der Sprache zu den zwei verschiedenen Zeitpunkten derselbe war, können sich also die erzeugten Nutzerschnittstellen unterscheiden, falls sich der Kontext der Umgebung unterschied.
  • 3 veranschaulicht ein Beispiel eines Blockdiagramms, das den Kontext der Umgebung eines Assistenzgeräts ermittelt. Wie zuvor erörtert wurde, kann in 3 die Örtlichkeit der Sprache bei Block 305 ermittelt werden, kann der Zeitpunkt der Sprache bei Block 310 ermittelt werden und kann der Nutzer, der Sprache bereitstellt, bei Block 315 ermittelt werden, um den Kontext der Umgebung zu ermitteln.
  • Andere Einzelheiten können den Grad der Fertigkeiten des Nutzers bei Block 320 umfassen. Beispielsweise kann das Heimassistenzgerät 110 den Grad der Fertigkeiten eines Nutzers ermitteln, wenn dieser mehr mit der Nutzerschnittstelle interagiert. Falls der Nutzer mehr Funktionalität oder kompliziertere Funktionalität verwendet, ein beträchtliches Maß an Einzelheiten bezüglich der Funktionalität usw. abfragt usw., kann der Nutzer seitens des Heimassistenzgeräts 110 als fortgeschrittener Nutzer identifiziert werden. Falls im Gegensatz dazu ein anderer Nutzer tendenziell dieselben, sich wiederholenden Aufgaben von dem Heimassistenzgerät fordert oder dieselben, sich wiederholenden Fragen an das Heimassistenzgerät 110 richtet, kann der Nutzer als weniger fortgeschrittener Nutzer identifiziert werden. Falls der Nutzer tendenziell weniger komplizierte Funktionalität oder weniger Funktionalität verwendet oder keine besonderen Einzelheiten abfragt, kann der Nutzer ebenfalls als weniger fortgeschritten identifiziert werden. In 1 kann der Nutzer 130a ein fortgeschrittener Nutzer sein, was darauf hinweist, dass der Nutzer einen relativ hohen Grad der Fertigkeiten beim Verwenden des Heimassistenzgeräts 110 hat und dass deshalb mehr Funktionalität (oder mehr Inhalt) auf der Nutzerschnittstelle 120a bereitgestellt werden kann (d.h. Posten A-G werden bereitgestellt). Im Gegensatz dazu kann der Nutzer 130b ein weniger fortgeschrittener Nutzer sein, was darauf hinweist, dass der Nutzer einen relativ niedrigeren Grad an Fertigkeiten (als der Nutzer 130a) aufweist, und deshalb kann auf der Nutzerschnittstelle 120b weniger Inhalt bereitgestellt werden (d. h. es werden weniger Posten A, C, D und F bereitgestellt). Bei manchen Implementierungen könnte dieselbe Anzahl an Inhalten von Nutzerschnittstellen bereitgestellt werden, jedoch könnten auf der Basis des Grades der Fertigkeiten des Nutzers unterschiedliche Inhalte angezeigt werden, die unterschiedlichen Funktionalitäten oder Merkmalen entsprechen. Somit können bei einer Nutzerschnittstelle des Heimassistenzgeräts 110 unterschiedliche Inhalte bereitgestellt werden.
  • Wie zuvor erörtert wurde, kann die Nutzerschnittstelle andere visuelle Komponenten als ein Anzeigen von Inhalt als Teil einer GUI auf einem Anzeigebildschirm umfassen. In 1 kann dies Beleuchtung umfassen, beispielsweise LEDs oder andere Arten von Lichtern, die aktiviert werden können, indem sie eingeschaltet werden, die leuchten, flackern, eine bestimmte Farbe anzeigen usw., um einem Nutzer einen Hinweis auf eine Situation zu geben. Beispielsweise kann das Heimassistenzgerät 110 den Zeitplan eines Nutzers bei Block 325 ermitteln und eine Angabe bezüglich dessen bereitstellen, wann der Nutzer das Haus verlassen sollte, so dass er seinen Zeitplan ohne Verspätung einhalten kann. In 1 kann dies zu einem Ring um den Anzeigebildschirm herum führen, der andere Farben aufweisen kann (z. B. mit LEDs oder sonstigen Arten von Beleuchtung implementiert ist); jedoch kann der Ring bei anderen Implementierungen Bestandteil des Anzeigebildschirms selbst sein.
  • Bei einem Beispiel kann der Ring eine Farbe aufweisen, die dem Verkehrs- oder Pendelstatus bezüglich dessen entspricht, dass sich der Nutzer zu seiner nächsten erwarteten Örtlichkeit begibt, beispielsweise am Morgen zum Arbeitsplatz oder zu einem auf seinem Kalender eingetragenen Treffen auf einen Kaffee. Falls der Ring auf eine grüne Farbe eingestellt ist, kann dies dem Nutzer anzeigen, dass der Verkehr relativ schwach ist. Im Gegensatz dazu kann eine rote Farbe darauf hinweisen, dass der Verkehr relativ dicht ist. Diese Art von Nutzerschnittstelle kann einen Nutzer mit Informationen versorgen, während er sich weit weg von dem Heimassistenzgerät 110 befindet, da die Farben aus einer Entfernung leicht zu sehen sind. Bei manchen Implementierungen kann der Ring auch angeben, ob der Nutzer bald oder sofort das Haus verlassen muss, falls er pünktlich zur nächsten Verabredung auf seinem Zeitplan kommen möchte. Beispielsweise kann die Intensität oder Helligkeit der Farbe erhöht werden, der Ring kann blinken usw. Dies kann einem Nutzer aus der Entfernung weitere Einzelheiten vermitteln. Bei manchen Implementierungen kann die Nutzerschnittstelle auf dem Anzeigebildschirm auch eine Route zur Örtlichkeit des nächsten Ereignisses auf dem Zeitplan des Nutzers anzeigen, eine Zeitschätzung abgeben usw. Falls der Nutzer also entscheidet, dass er mehr Einzelheiten möchte und näher auf das Heimassistenzgerät 110 zugeht, können Informationen ohne Weiteres angezeigt werden und verfügbar sein. Bei manchen Implementierungen kann das Heimassistenzgerät 105 ermitteln, dass der Nutzer auf es zugeht, nachdem der Ring aktiviert wurde, und kann anschließend Informationen verarbeiten und die zusätzlichen Informationen auf dem Anzeigebildschirm anzeigen, so dass Informationen verfügbar sind, wenn der Nutzer näher da ist. Bei manchen Implementierungen kann die Farbe des Rings andere Feststellungen angeben, beispielsweise eine unerwartete Situation wie z. B. ein offenes Fenster oder eine offene Tür, eine erfasste Überflutung, oder dass die Temperatur in einem Temperaturbereich liegt, der einer Anomalie entspricht.
  • Die Nutzerschnittstelle kann auch Audiotöne zur Wiedergabe umfassen. Beispielsweise könnte die Nutzerschnittstelle 120a in 1 eine Art von Audioton wiedergeben, wenn der Nutzer 130a mit ihr interagiert, beispielsweise einen der Posten A-G auswählt, die Nutzerschnittstelle 120a zu einer Veränderung (z. B. zum Bereitstellen eines neuen Inhalts) auffordert, usw. Im Gegensatz dazu könnte die Nutzerschnittstelle 120b aufgrund des unterschiedlichen Kontexts der Umgebung unterschiedliche Töne für dieselben Interaktionen seitens des Nutzers 130b wiedergeben.
  • Charakteristika bezüglich der seitens des Heimassistenzgeräts 110 empfangenen Sprache können ebenfalls bei Block 330 ermittelt werden. Beispielsweise kann das Heimassistenzgerät 110 die Lautstärke, die Geschwindigkeit, den Akzent, die Sprache, den Ton usw. des Gesprochenen Ermitteln und dies als kontextabhängigen Faktor beim Bereitstellen einer Nutzerschnittstelle verwenden. Bei einem Beispiel kann, falls ein Nutzer schnell spricht (z. B. mit einer Geschwindigkeit oder Rate, von der festgestellt wird, dass sie in einem Bereich von Wörtern pro Minute liegt, der einem schnellen Sprechen entspricht), der Inhalt der Nutzerschnittstelle schneller aktualisiert werden als wenn der Nutzer langsam sprechen würde, beispielsweise indem die GUI der Nutzerschnittstelle rascher aktualisiert wird. Bei einem anderen Beispiel könnte in dem Fall, dass festgestellt wird, dass die Sprache des Nutzers Stress oder Frustration ausdrückt, die Nutzerschnittstelle einen Inhalt anders bereitstellen als wenn festgestellt wird, dass die Sprache des Nutzers relativ frei von Stress oder Frustration ist. Falls der Nutzer beispielsweise gestresst oder frustriert ist, kann die Menge an auf der Nutzerschnittstelle bereitgestelltem Inhalt im Vergleich dazu verringert werden, wenn der Nutzer nicht gestresst oder frustriert ist.
  • Bei manchen Implementierungen kann die Nutzerschnittstelle in dem Fall, dass ermittelt wird, dass der Nutzer gestresst oder frustriert ist, die Wiedergabe von Musik umfassen. Beispielsweise kann unter Verwendung des Lautsprechers des Heimassistenzgeräts 110 beruhigende Musik abgespielt werden.
  • Bei manchen Implementierungen kann die Beleuchtung des Heimassistenzgeräts 110 auf der Basis dessen, was auf der Nutzerschnittstelle bereitgestellt wird, unterschiedlich sein. Beispielsweise können verschiedene Arten von Inhalt zu unterschiedlicher Helligkeit, verschiedenen Farben usw. führen.
  • Die Nutzerschnittelle kann auch dahin gehend verändert werden, Geheimhaltungserwartungen eines Nutzers zu berücksichtigen, wenn sich der Kontext der Umgebung verändert (d. h. die Bedingungen oder Charakteristika der Umgebung sich verändern). 4 veranschaulicht ein weiteres Beispiel eines Assistenzgeräts, das eine auf dem Kontext der Umgebung beruhende Nutzerschnittstelle bereitstellt. In 4 befinden sich die Nutzer 130a, 130b und 130c in der häuslichen Umgebung des Heimassistenzgeräts 110. Diese verschiedenen Nutzer können identifiziert werden, und die Nutzerschnittstelle 120c in 4 kann dahin gehend erzeugt werden, Bedenken der verschiedenen Nutzer bezüglich des Schutzes ihrer Privatsphäre zu berücksichtigen.
  • Beispielsweise möchte der Nutzer 130a vielleicht, dass ein gewisser Inhalt auf einer Nutzerschnittstelle bereitgestellt wird, wenn er alleine ist, möchte jedoch eventuell nicht, dass dieser Inhalt angezeigt wird, wenn andere ebenfalls zu Hause sind. Desgleichen möchte der Nutzer 130b eventuell nicht, dass ein bestimmter Inhalt bereitgestellt wird. Bei manchen Implementierungen könnte der Nutzer 130a es akzeptabel finden, dass der Inhalt auf der Nutzerschnittstelle auch dann bereitgestellt wird, wenn die Gegenwart des Nutzers 130b erfasst wird, da der Nutzer 130b demselben Haushalt angehört. Jedoch möchte der Nutzer 130a vielleicht, dass dieser Inhalt nicht angezeigt wird, falls sich Fremde oder Gäste im Haus befinden. Der Nutzer 130c kann ein Fremder oder Neuankömmling in der häuslichen Umgebung sein und hat noch nie zuvor mit dem Heimassistenzgerät 110 interagiert und wird deshalb von dem Heimassistenzgerät 110 nicht erkannt.
  • Das Heimassistenzgerät 110 kann die verschiedenen Nutzer oder Personen in dem Haushalt erkennen und auf der Basis der Nutzer 130a-c die Nutzerschnittstelle 120c erzeugen. Beispielsweise kann das Heimassistenzgerät 110 einige Einzelheiten der Nutzerschnittstellen 120a und 120b (z. B. Nutzerschnittstellen, die normalerweise für die Nutzer 130a bzw. 130b sind) nehmen und auf der Basis dieser anderen Nutzerschnittstellen die Nutzerschnittstelle 120c in 4 erzeugen. Das heißt, die Nutzerschnittstelle 120c kann auf der Basis dessen erzeugt werden, wie Nutzerschnittstellen für die Nutzer 130a und 130b erzeugt würden. In 4 führt dies dazu, dass ein bestimmter Inhalt der Nutzerschnittstelle 120b eine relativ große Größe aufweist (z. B. wie bei der Nutzerschnittstelle 120b), jedoch weniger Inhalt aufweist als eine der beiden Nutzerschnittstellen 120a oder 120b. Bei manchen Implementierungen kann Inhalt, der in den Nutzerschnittstellen 120a und 120b vorhanden wäre, in der Nutzerschnittstelle 120c bereitgestellt werden, jedoch könnte ein Inhalt, der auf lediglich einer der Nutzerschnittstellen 120a oder 120b vorliegt, eventuell nicht bereitgestellt werden, da er eventuell lediglich einen einzigen Nutzer anspricht oder diese Nutzer unterschiedliche Geheimhaltungserwartungen haben könnten. Beispielsweise würde der Posten B, wie er in der Nutzerschnittstelle 120a in 1 gezeigt ist, eventuell nicht erscheinen, da er nicht in der Nutzerschnittstelle 120b in 1 bereitgestellt wird.
  • Bei manchen Implementierungen kann auf eine Erfassung des Nutzers 130c (d. h. eines Fremden oder Gasts in der Umgebung) hin die Nutzerschnittstelle auch dazu angepasst sein, einen unerkannten Nutzer zu berücksichtigen. Beispielsweise könnte auf eine Erfassung eines unerkannten Nutzers hin ein gewisser Inhalt von einer Nutzerschnittstelle entfernt werden. Wenn der unerkannte Nutzer das Haus verlässt, kann dies erfasst werden, und deshalb kann das Heimassistenzgerät 110 dann den entfernten Inhalt wieder mit der Nutzerschnittstelle bereitstellen. Folglich können die Geheimhaltungserwartungen des Nutzers aufrechterhalten werden, wenn sich Gäste in der Nähe befinden.
  • Andere Arten von Änderungen des Kontexts der Umgebung als eine Erfassung von Fremden oder Gästen kann ein Ermitteln von zeitlichen Unterschieden umfassen. Beispielsweise könnte es ein Nutzer akzeptabel finden, einen gewissen Inhalt spät nachts oder früh morgens auf der GUI anzuzeigen, möchte jedoch eventuell nicht, dass dieser Inhalt während des Tages angezeigt wird, da die Wahrscheinlichkeit, dass andere diesen Inhalt sehen, höher sein könnte. Ein weiteres Beispiel kann Aktivitäten von Personen in der Umgebung umfassen. Falls beispielsweise mehrere Menschen in der Umgebung ein bestimmtes Thema diskutieren, ein gesellschaftliches Zusammentreffen stattfindet usw., können vielleicht die Geheimhaltungserwartungen eines Nutzers erhöht sein, und deshalb kann ein Teil des Inhalts, der andernfalls angezeigt würde, entfernt werden.
  • Bei manchen Implementierungen können die Geheimhaltungserwartungen eines Nutzers durch diesen Nutzer eingestellt oder von dem Heimassistenzgerät 110 mit der Zeit erlernt werden, oder es ist eine Kombination aus beidem möglich. Beispielsweise kann der Nutzer angeben, dass ein gewisser Inhalt nicht angezeigt werden sollte, wenn sich unerkannte Personen in der Umgebung befinden. Als weiteres Beispiel könnte der Nutzer Inhalte von der GUI beseitigen, und das Heimassistenzgerät 110 kann den Kontext in der Umgebung identifizieren, als der Nutzer den Inhalt beseitigt hat, um die Geheimhaltungserwartungen des Nutzers zu ermitteln.
  • 6 veranschaulicht ein Beispiel eines Blockdiagramms zum Anpassen einer Nutzerschnittstelle, um Geheimhaltungserwartungen zu wahren. In 6 kann bei Block 605 der Kontext der Umgebung ermittelt werden. Beispielsweise können die Gegenwart von Personen, einschließlich erkannter Nutzer und/oder Fremder, die Zeit, in der Umgebung durchgeführte Aktivitäten usw. ermittelt werden. Bei Block 607 können Geheimhaltungserwartungen für einen Nutzer auf der Basis des Kontexts ermittelt werden. Falls ein Nutzer sich beispielsweise in der Umgebung befindet, kann eine GUI bereitgestellt werden, die unterschiedliche Inhalte bereitstellt. Falls in der Umgebung jedoch Fremde oder Gäste erfasst werden, möchte der Nutzer aufgrund stärkerer Bedenken bezüglich des Schutzes seiner Privatsphäre eventuell nicht, dass bestimmte Inhalte auf der GUI angezeigt werden, was zu höheren Geheimhaltungserwartungen für diese Inhalte führt. Somit kann die GUI bei Block 610 auf der Basis der Geheimhaltungserwartungen angepasst oder modifiziert werden. Beispielsweise können aufgrund der höheren Geheimhaltungserwartungen, während sich der Fremde oder der Gast in der Umgebung befindet, die Inhalte beseitigt werden.
  • Wenn der Fremde oder der Gast das Haus verlässt, kann dies als Veränderung des Kontexts der Umgebung und somit auch als Veränderung der Geheimhaltungserwartungen für die Nutzer ermittelt werden. Da der Nutzer die einzige Person in der Umgebung sein könnte, kann die GUI wiederum dahin gehend modifiziert werden, die Inhalte, die zuvor beseitigt wurden, zu umfassen. Falls sich der Kontext der Umgebung verändert deshalb bei dem Nutzer, für den die GUI bereitgestellt wird, eine Veränderung der Geheimhaltungserwartungen eintritt, kann die GUI angepasst werden.
  • Viele der hierin offenbarten Beispiele erörtern visuelle Anpassungen für die Nutzerschnittstelle. Jedoch können auf der Basis der oben beschriebenen Kontextsituationen auch Audioanpassungen vorgenommen werden. Beispielsweise können auch die Art der Stimme, der Akzent, die Lautstärke usw. für verschiedene Nutzerschnittstellen unter Verwendung der hierin beschriebenen Techniken angepasst werden.
  • Viele der hierin offenbarten Beispiele erörtern eine Erkennung von Sprache. Jedoch können mit den Techniken auch andere Arten von Audio verwendet werden. Beispielsweise können auch Geräusche von Objekten wie beispielsweise Fernseher oder Radio, das Klingeln einer Türglocke, das Öffnen einer Tür, das Zerbrechen von Glas usw. erfasste Auftretensfälle einer anderen Aktivität als Sprache sein.
  • Bei manchen Implementierungen kann der Inhalt der Nutzerschnittstelle auch auf der Basis dessen verändert werden, ob ermittelt wird, dass ein Nutzer das Heimassistenzgerät 110 ansieht oder mit dem Heimassistenzgerät 110 spricht. Beispielsweise könnte der Anzeigebildschirm des Heimassistenzgeräts 110 ausgeschaltet sein, kann sich jedoch einschalten, wenn ermittelt wird, dass ein Nutzer es ansieht.
  • Bei manchen Implementierungen kann die Lautstärke der Wiedergabe eines durch das Heimassistenzgerät 119 bereitgestellten Audio auf Erfassung eines eingehenden Telefonanrufs oder Funkrufs (z. B. über ein Mobiltelefon in der häuslichen Umgebung) hin angepasst werden. Bei einem anderen Beispiel kann der angezeigte Inhalt auf der Basis des Status eines anderen Geräts angepasst werden. Beispielsweise kann ein auf dem Anzeigebildschirm des Heimassistenzgeräts 110 angezeigtes Kochrezept auf der Basis eines ermittelten Status eines Küchengeräts (z. B. Herd, Zeituhr usw.), das für das Kochrezept verwendet wird, verändert werden.
  • Bei manchen Implementierungen kann der über die Nutzerschnittstelle bereitgestellte Inhalt darauf basieren, wie ein Nutzer ein anderes Gerät in der häuslichen Umgebung verwendet. Beispielsweise können die Infrarotsignale eines Fernsehers und/oder einer Fernsteuerung des Fernsehers erfasst werden, um anzuzeigen, zwischen welchen Kanälen gerade umgeschaltet wird. Diese Informationen können seitens des Heimassistenzgeräts 110 einem Cloud-Server bereitgestellt werden, der das Heimassistenzgerät 110 mit Informationen bezüglich des Inhalts auf diesen Kanälen, die gerade angeschaut werden, versorgen kann. Beispielsweise kann der über die Nutzerschnittstelle bereitzustellende Inhalt „heiße Tasten“ umfassen, die Informationen bezüglich der Kanäle (z. B. Zeitplan, aktuelle Sendungen, Beliebtheitsbewertungen für das, was derzeit auf dem Kanal gezeigt wird usw.) zeigen können. Falls, bei einem anderen Beispiel, ermittelt wird, dass ein Kanal gerade ein Sportmatch zeigt, dann können die Punktezahl, Teaminformationen (z. B. Teamnamenslisten) angezeigt werden. Bei manchen Implementierungen können in dem Fall, dass ermittelt wird, dass der Nutzer innerhalb eines kurzen Zeitraums zwischen drei Kanälen hin- und herschaltet und manche der Kanäle während dieses kurzen Zeitraums wiederholt (z. B. wird jeder Kanal innerhalb eines Zeitraums von fünf Minuten zumindest zweimal besucht), heiße Tasten für jeden dieser Kanäle erzeugt werden. Die heißen Tasten können in verschiedenen Teilen des Anzeigebildschirms angezeigt werden, und jede Taste kann einen Inhalt umfassen, der Informationen darstellt, die dem Kanal entsprechen. Beispielsweise kann der Nutzer zwischen drei Kanälen wechseln, die drei verschiedene Basketballspiele zeigen. Jede der heißen Tasten kann die Punktzahlen und die Zeit (z. B. 3:23 Minuten verbleiben noch im vierten Viertel) des auf diesem Kanal gezeigten Spiels umfassen. Somit kann das Umschalten zwischen den verschiedenen Kanälen ermittelt werden, und Inhalt für die Kanäle, die gerade nicht einmal angeschaut werden, kann über die heißen Tasten angezeigt werden. Der Nutzer kann dann eine dieser Tasten auswählen, und der Fernseher kann zu dem Kanal, der der ausgewählten Taste entspricht, umschalten. Dies kann geschehen, indem das Heimassistenzgerät 110 entweder über das drahtlose Netzwerk mit dem Fernseher kommuniziert oder indem es Infrarotsignale erzeugt, um eine Fernsteuerung zu simulieren.
  • Viele der oben erwähnten Beispiele erörtern eine häusliche Umgebung. Bei anderen Beispielen können die hierin erörterten Geräte und Techniken auch in einem Büro, einer öffentlichen Einrichtung usw. installiert sein.
  • 5 veranschaulicht ein Beispiel eines Assistenzgeräts. Bei 5 kann das Heimassistenzgerät 110 ein elektronisches Gerät mit einem oder mehreren Prozessoren 605 (z. B. Schaltungen) und einem Speicher 610 zum Speichern von Anweisungen sein, die durch die Prozessoren 605 ausgeführt werden können, um eine kontextabhängige Nutzerschnittstelle 630 zu implementieren, die die hierin beschriebenen Techniken bereitstellt. Das Heimassistenzgerät 105 kann auch ein Mikrofon 620 (z. B. ein oder mehrere Mikrofone, die ein Mikrofonarray implementieren können) umfassen, um Töne in elektrische Signale und somit Sprache in Daten umzuwandeln, die unter Verwendung der Prozessoren 605 verarbeitet und in dem Speicher 610 gespeichert werden können. Ein Lautsprecher 615 kann zum Bereitstellen einer Audioausgabe verwendet werden. Außerdem kann eine Anzeige 625 eine GUI anzeigen, die durch die Prozessoren 605 und den Speicher 610 dazu implementiert ist, eine visuelle Rückmeldung bereitzustellen. Der Speicher 610 kann nicht-flüchtige computerlesbare Speichermedien sein. Das Heimassistenzgerät 110 kann auch verschiedene sonstige Hardware wie beispielsweise Kameras, Antennen usw. umfassen, um die hierin offenbarten Techniken zu implementieren. Somit können die hierin beschriebenen Beispiele mit einer programmierbaren Schaltungsanordnung (z. B. einem oder mehreren Mikroprozessoren), die mit Software und/oder Firmware programmiert ist, oder gänzlich in einer speziell für diesen Zweck vorgesehenen festverdrahteten (nicht-programmierbaren) Schaltungsanordnung oder in einer Kombination derartiger Formen implementiert werden. Speziell für diesen Zweck vorgesehene festverdrahtete Schaltungsanordnungen können in Form z. B. einer oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs - application specific intergrated circuits), von komplexen programmierbaren logischen Bauelementen (CPLDs - complex programmable logic devices), feldprogrammierbaren Gatearrays (FPGAs - field programmable gate arrays), strukturierten ASICs usw. vorliegen.
  • Fachleuten wird einleuchten, dass die in den hierin erörterten verschiedenen Flussdiagrammen veranschaulichte(n) Logik und Prozessschritte auf unterschiedliche Weise verändert werden können. Beispielsweise kann die Reihenfolge der Logik umarrangiert werden, es können Teilschritte parallel durchgeführt werden, es kann eine veranschaulichte Logik weggelassen oder eine andere Logik aufgenommen werden usw. Man wird erkennen, dass gewisse Schritte zu einem einzigen Schritt konsolidiert werden können und dass Handlungen, die durch einen einzigen Schritt dargestellt sind, alternativ als eine Sammlung von Teilschritten dargestellt werden können. Die Figuren sind dahin gehend entworfen, die offenbarten Konzepte für einen Leser verständlicher zu machen. Fachleuten wird einleuchten, dass tatsächliche Datenstrukturen, die zum Speichern dieser Informationen verwendet werden, von den gezeigten Figuren und/oder Tabellen abweichen können, indem sie beispielsweise auf andere Art und Weise organisiert sein können; mehr oder weniger Informationen als gezeigt enthalten können; komprimiert, verscrambelt und/oder verschlüsselt sein können; usw.
  • Aus dem Vorstehenden wird man erkennen, dass spezifische Ausführungsbeispiele der Erfindung hierin zu Veranschaulichungszwecken beschrieben wurden, dass jedoch diverse Modifikationen vorgenommen werden können, ohne von dem Schutzumfang der Erfindung abzuweichen. Demgemäß wird die Erfindung lediglich durch die angehängten Ansprüche eingeschränkt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 15587201 [0001]
    • US 62448912 [0001]
    • US 62486359 [0001]
    • US 62486365 [0001]

Claims (22)

  1. Ein Heimassistenzgerät, das folgende Merkmale aufweist: einen Anzeigebildschirm; ein Mikrofon; einen oder mehrere Prozessoren; und Speicherspeicherungsanweisungen, wobei der eine oder die mehreren Prozessoren dazu konfiguriert sind, die Anweisungen derart auszuführen, dass der eine oder die mehreren Prozessoren und der Speicher dazu konfiguriert sind: zu ermitteln, dass in einer Umgebung des Heimassistenzgeräts unter Verwendung des Mikrofons erste Sprache gesprochen wurde; einen ersten Kontext der Umgebung des Heimassistenzgeräts zu ermitteln, wobei der erste Kontext der Umgebung eine oder mehrere einer Örtlichkeit eines die erste Sprache bereitstellenden Nutzers, eines Zeitpunkts der ersten Sprache, einer Nutzeridentität, die dem die erste Sprache bereitstellenden Nutzer entspricht, eines Grades der Fertigkeiten des die erste Sprache bereitstellenden Nutzers bezüglich des Interagierens mit dem Heimassistenzgerät, eines Zeitplans des die erste Sprache bereitstellenden Nutzers oder von Charakteristika der ersten Sprache umfasst; eine erste graphische Nutzerschnittstelle (GUI) für das Assistenzgerät auf dem Anzeigebildschirm anzuzeigen, um eine Antwort bezüglich der ersten Sprache bereitzustellen, wobei die erste GUI auf dem ersten Kontext der Umgebung und dem Inhalt der ersten Sprache beruht; zu ermitteln, dass in der Umgebung das Heimassistenzgerät unter Verwendung des Mikrofons zweite Sprache gesprochen wurde, wobei die erste Sprache und die zweite Sprache denselben Inhalt umfassen; einen zweiten Kontext der Umgebung des Heimassistenzgeräts zu ermitteln, wobei der zweite Kontext der Umgebung eine oder mehrere einer Örtlichkeit eines die zweite Sprache bereitstellenden Nutzers, eines Zeitpunkts der zweiten Sprache, einer Nutzeridentität, die dem die zweite Sprache bereitstellenden Nutzer entspricht, eines Grades der Fertigkeiten des die zweite Sprache bereitstellenden Nutzers bezüglich des Interagierens mit dem Heimassistenzgerät, eines Zeitplans des die zweite Sprache bereitstellenden Nutzers oder von Charakteristika der zweiten Sprache umfasst, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite GUI für das Assistenzgerät auf dem Anzeigebildschirm anzuzeigen, um eine Antwort bezüglich der zweiten Sprache bereitzustellen, wobei die zweite GUI auf dem zweiten Kontext der Umgebung und dem Inhalt der zweiten Sprache beruht, wobei der erste GUI und die zweite GUI unterschiedlichen Inhalt bereitstellen.
  2. Ein Verfahren zum Bereitstellen einer kontextabhängigen Nutzerschnittstelle, das folgende Schritte aufweist: Ermitteln, seitens eines Prozessors, dass eine erste Sprache gesprochen wurde; Ermitteln, seitens des Prozessors, eines ersten Kontexts einer Umgebung, der der ersten Sprache entspricht; Bereitstellen, seitens des Prozessors, einer ersten Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache; Ermitteln, seitens des Prozessors, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; Ermitteln, seitens des Prozessors, eines zweiten Kontexts der Umgebung, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und Bereitstellen, seitens des Prozessors, einer zweiten Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  3. Das Verfahren gemäß Anspruch 2, bei dem der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind, beruht.
  4. Das Verfahren gemäß Anspruch 2, bei dem der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, umfasst, bei dem der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, umfasst, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  5. Das Verfahren gemäß Anspruch 2, bei dem der erste Kontext umfasst, dass ein erster Nutzer die erste Sprache bereitstellt, der zweite Kontext umfasst, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  6. Das Verfahren gemäß Anspruch 5, bei dem der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet ist, der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet ist, der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich sind, der erste Kontext auf dem ersten Grad der Fertigkeiten beruht und der zweite Kontext auf dem zweiten Grad der Fertigkeiten beruht.
  7. Das Verfahren gemäß Anspruch 2, bei dem der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers umfassen.
  8. Das Verfahren gemäß Anspruch 2, das ferner folgende Schritte aufweist: Ermitteln, seitens des Prozessors, einer Veränderung der Umgebung; und Erzeugen, seitens des Prozessors, einer dritten Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts als Reaktion auf die Veränderung der Umgebung, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
  9. Ein elektronisches Gerät, das folgende Merkmale aufweist: einen oder mehrere Prozessoren; und Speicherspeicherungsanweisungen, wobei der Prozessor dazu konfiguriert ist, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: zu ermitteln, dass eine erste Sprache gesprochen wurde; einen ersten Kontext einer Umgebung zu ermitteln, der der ersten Sprache entspricht, eine erste Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache zu erzeugen; zu ermitteln, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; einen zweiten Kontext der Umgebung zu ermitteln, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache zu erzeugen, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  10. Das elektronische Gerät gemäß Anspruch 9, bei dem der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind, beruht.
  11. Das elektronische Gerät gemäß Anspruch 9, bei dem der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, umfasst, bei dem der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, umfasst, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  12. Das elektronische Gerät gemäß Anspruch 9, bei dem der erste Kontext umfasst, dass ein erster Nutzer die erste Sprache bereitstellt, der zweite Kontext umfasst, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  13. Das elektronische Gerät gemäß Anspruch 12, bei dem der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet ist, der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet ist, der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich sind, der erste Kontext auf dem ersten Grad der Fertigkeiten beruht und der zweite Kontext auf dem zweiten Grad der Fertigkeiten beruht.
  14. Das elektronische Gerät gemäß Anspruch 9, bei dem der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers umfassen.
  15. Das elektronische Gerät gemäß Anspruch 9, bei dem der Prozessor dazu konfiguriert ist, die Anweisungen derart auszuführen, dass der Prozessor und der Speicher dazu konfiguriert sind: eine Veränderung der Umgebung zu ermitteln; und als Reaktion auf die Veränderung der Umgebung eine dritte Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts zu erzeugen, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
  16. Ein Computerprogrammprodukt, das ein oder mehrere nicht-flüchtige computerlesbare Medien aufweist, in denen Computerprogrammanweisungen gespeichert sind, wobei die Computerprogrammanweisungen derart konfiguriert sind, dass, wenn sie durch eine oder mehrere Rechenvorrichtungen ausgeführt werden, die Computerprogrammanweisungen die eine oder die mehreren Rechenvorrichtungen dazu veranlassen: zu ermitteln, dass eine erste Sprache gesprochen wurde; einen ersten Kontext einer Umgebung zu ermitteln, der der ersten Sprache entspricht; eine erste Nutzerschnittstelle auf der Basis des ersten Kontexts der Umgebung und des Inhalts der ersten Sprache zu erzeugen; zu ermitteln, dass eine zweite Sprache gesprochen wurde, wobei die zweite Sprache zu einem anderen Zeitpunkt gesprochen wurde als die erste Sprache; einen zweiten Kontext der Umgebung zu ermitteln, der der zweiten Sprache entspricht, wobei der erste Kontext und der zweite Kontext unterschiedlich sind; und eine zweite Nutzerschnittstelle auf der Basis des zweiten Kontexts der Umgebung und des Inhalts der zweiten Sprache zu erzeugen, wobei der Inhalt der ersten Sprache und der zweiten Sprache ähnlich sind, wobei die erste Nutzerschnittstelle und die zweite Nutzerschnittstelle unterschiedlich sind.
  17. Das Computerprogrammprodukt gemäß Anspruch 16, bei dem der erste Kontext auf Audio- und/oder visuellen Feststellungen einer umliegenden Umgebung eines Assistenzgeräts, dass die erste Sprache und die zweite Sprache gerichtet sind, beruht.
  18. Das Computerprogrammprodukt gemäß Anspruch 16, bei dem der erste Kontext eine erste Interaktion, die der ersten Sprache in einer ersten Entfernung entspricht, umfasst, bei dem der zweite Kontext eine zweite Interaktion, die der zweiten Sprache in einer zweiten Entfernung entspricht, umfasst, wobei die erste Entfernung und die zweite Entfernung unterschiedlich sind.
  19. Das Computerprogrammprodukt gemäß Anspruch 16, bei dem der erste Kontext umfasst, dass ein erster Nutzer die erste Sprache bereitstellt, der zweite Kontext umfasst, dass ein zweiter Nutzer die zweite Sprache bereitstellt, wobei der erste Nutzer und der zweite Nutzer unterschiedlich sind.
  20. Das Computerprogrammprodukt gemäß Anspruch 19, bei dem der erste Nutzer einem ersten Grad der Fertigkeiten bezüglich des Interagierens mit einem Assistenzgerät zugeordnet ist, der zweite Nutzer einem zweiten Grad der Fertigkeiten bezüglich des Interagierens mit dem Assistenzgerät zugeordnet ist, der erste Grad der Fertigkeiten und der zweite Grad der Fertigkeiten unterschiedlich sind, der erste Kontext auf dem ersten Grad der Fertigkeiten beruht und der zweite Kontext auf dem zweiten Grad der Fertigkeiten beruht.
  21. Das Computerprogrammprodukt gemäß Anspruch 16, bei dem der erste Kontext und der zweite Kontext einen mit einem Assistenzgerät interagierenden Nutzer und/oder Menschen in der Umgebung um das Assistenzgerät herum und/oder einen Zeitpunkt einer Interaktion mit dem Assistenzgerät und/oder eine Örtlichkeit eines mit dem Assistenzgerät interagierenden Nutzers und/oder einen Grad der Fertigkeiten eines mit dem Assistenzgerät interagierenden Nutzers umfassen.
  22. Das Computerprogrammprodukt gemäß Anspruch 16, bei dem die Computerprogrammanweisungen die eine oder die mehreren Rechenvorrichtungen dazu veranlassen: eine Veränderung der Umgebung zu ermitteln; und als Reaktion auf die Veränderung der Umgebung eine dritte Nutzerschnittstelle auf der Basis des ersten und/oder des zweiten Kontexts zu erzeugen, um Geheimhaltungserwartungen eines oder mehrerer Nutzer, die in der Umgebung zugegen sind, zu wahren.
DE112017006882.7T 2017-01-20 2017-06-01 Kontextabhängige, umgebungsbasierte nutzerschnittstelle Withdrawn DE112017006882T5 (de)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762448912P 2017-01-20 2017-01-20
US62/448,912 2017-01-20
US201762486359P 2017-04-17 2017-04-17
US201762486365P 2017-04-17 2017-04-17
US62/486,359 2017-04-17
US62/486,365 2017-04-17
US15/587,201 2017-05-04
US15/587,201 US10359993B2 (en) 2017-01-20 2017-05-04 Contextual user interface based on environment
PCT/US2017/035545 WO2018136109A1 (en) 2017-01-20 2017-06-01 Contextual user interface based on environment

Publications (1)

Publication Number Publication Date
DE112017006882T5 true DE112017006882T5 (de) 2019-10-24

Family

ID=62906430

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017006882.7T Withdrawn DE112017006882T5 (de) 2017-01-20 2017-06-01 Kontextabhängige, umgebungsbasierte nutzerschnittstelle

Country Status (4)

Country Link
US (2) US10359993B2 (de)
DE (1) DE112017006882T5 (de)
TW (1) TW201828025A (de)
WO (1) WO2018136109A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102447381B1 (ko) * 2017-12-08 2022-09-27 삼성전자주식회사 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2019163255A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
US11226833B2 (en) * 2018-11-12 2022-01-18 International Business Machines Corporation Determination and initiation of a computing interface for computer-initiated task response
WO2020117296A1 (en) * 2018-12-07 2020-06-11 Google Llc Conditionally assigning various automated assistant function(s) to interaction with a peripheral assistant control device
US11171901B2 (en) * 2019-04-17 2021-11-09 Jvckenwood Corporation Chat server, chat system, and non-transitory computer readable storage medium for supplying images and chat data
US11657811B2 (en) * 2020-09-21 2023-05-23 International Business Machines Corporation Modification of voice commands based on sensitivity

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052556A (en) 1996-09-27 2000-04-18 Sharp Laboratories Of America Interactivity enhancement apparatus for consumer electronics products
US6141003A (en) 1997-03-18 2000-10-31 Microsoft Corporation Channel bar user interface for an entertainment system
US7080322B2 (en) 1998-12-18 2006-07-18 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6332163B1 (en) 1999-09-01 2001-12-18 Accenture, Llp Method for providing communication services over a computer network system
WO2001045004A1 (en) 1999-12-17 2001-06-21 Promo Vu Interactive promotional information communicating system
US6754904B1 (en) 1999-12-30 2004-06-22 America Online, Inc. Informing network users of television programming viewed by other network users
US7620703B1 (en) 2000-08-10 2009-11-17 Koninklijke Philips Electronics N.V. Topical service provides context information for a home network
CA2421775C (en) 2000-09-08 2013-03-12 Kargo Inc. Video interaction
US20020078453A1 (en) 2000-12-15 2002-06-20 Hanchang Kuo Hub pages for set top box startup screen
US7676822B2 (en) 2001-01-11 2010-03-09 Thomson Licensing Automatic on-screen display of auxiliary information
US20020162120A1 (en) 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
US6968334B2 (en) 2001-05-15 2005-11-22 Nokia Corporation Method and business process to maintain privacy in distributed recommendation systems
US6714778B2 (en) 2001-05-15 2004-03-30 Nokia Corporation Context sensitive web services
US7340438B2 (en) 2001-05-21 2008-03-04 Nokia Corporation Method and apparatus for managing and enforcing user privacy
AU2002366902A1 (en) 2001-12-21 2003-07-09 Nokia Corporation Location-based novelty index value and recommendation system and method
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7987491B2 (en) 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US7069259B2 (en) 2002-06-28 2006-06-27 Microsoft Corporation Multi-attribute specification of preferences about people, priorities and privacy for guiding messaging and communications
WO2004034210A2 (en) 2002-10-11 2004-04-22 Solutions For Progress Benefits qualification analysis and application method and computer readable code
US20050043095A1 (en) 2003-08-20 2005-02-24 Larson Lee A. Apparatus and method for games requiring display of individual player information
US7458093B2 (en) 2003-08-29 2008-11-25 Yahoo! Inc. System and method for presenting fantasy sports content with broadcast content
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
US7349758B2 (en) 2003-12-18 2008-03-25 Matsushita Electric Industrial Co., Ltd. Interactive personalized robot for home use
US7942743B2 (en) 2004-01-20 2011-05-17 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
US10417298B2 (en) 2004-12-02 2019-09-17 Insignio Technologies, Inc. Personalized content processing and delivery system and media
KR100763900B1 (ko) 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
US7461343B2 (en) 2004-11-08 2008-12-02 Lawrence Kates Touch-screen remote control for multimedia equipment
US20060184800A1 (en) * 2005-02-16 2006-08-17 Outland Research, Llc Method and apparatus for using age and/or gender recognition techniques to customize a user interface
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20070015580A1 (en) 2005-07-18 2007-01-18 Hunter Wesley K Mobile terminals for supplementing game module resources and methods and computer program products for operating the same
US9614964B2 (en) 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
US9177338B2 (en) 2005-12-29 2015-11-03 Oncircle, Inc. Software, systems, and methods for processing digital bearer instruments
DE102006002265B4 (de) 2006-01-17 2010-01-21 Palm, Inc. (n.d.Ges. d. Staates Delaware), Sunnyvale Verfahren und System zum Rundfunk-basierten Ausstrahlen eines Videosignals
US7970899B2 (en) * 2006-03-03 2011-06-28 Barracuda Networks Inc Integrated data flow packet admission and traffic management apparatus
US7898393B2 (en) 2006-07-14 2011-03-01 Skybox Scoreboards Inc. Wall-mounted scoreboard
EP2475166A1 (de) 2006-07-31 2012-07-11 United Video Properties, Inc. Systeme und Verfahren zur Bereitstellung von Medienführungsplanern
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8154583B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US9848157B2 (en) 2007-08-28 2017-12-19 Cable Television Laboratories, Inc. Method of automatically switching television channels
US9351048B1 (en) 2007-08-29 2016-05-24 The Directv Group, Inc. Method and system for assigning a channel to data in a data stream
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7950030B2 (en) 2007-11-28 2011-05-24 Sony Corporation TV remote control signal log
US20090150340A1 (en) 2007-12-05 2009-06-11 Motorola, Inc. Method and apparatus for content item recommendation
US7930343B2 (en) * 2008-05-16 2011-04-19 Honeywell International Inc. Scalable user interface system
JP4712911B2 (ja) 2008-05-30 2011-06-29 株式会社カプコン ゲームプログラムおよびゲーム装置
US20100006684A1 (en) 2008-07-10 2010-01-14 Robert Edward Burton Spiral shear wood cutter
US8626863B2 (en) 2008-10-28 2014-01-07 Trion Worlds, Inc. Persistent synthetic environment message notification
US8469819B2 (en) 2009-06-04 2013-06-25 Michael Parker McMain Game apparatus and game control method for controlling and representing magical ability and power of a player character in an action power control program
US20100313239A1 (en) 2009-06-09 2010-12-09 International Business Machines Corporation Automated access control for rendered output
US20110137727A1 (en) 2009-12-07 2011-06-09 Rovi Technologies Corporation Systems and methods for determining proximity of media objects in a 3d media environment
US20150304605A1 (en) 2009-12-07 2015-10-22 Anthony Hartman Interactive video system
US8358383B2 (en) 2009-12-09 2013-01-22 Wills Christopher R Dynamic television menu creation
US8754931B2 (en) 2010-01-08 2014-06-17 Kopin Corporation Video eyewear for smart phone games
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2011094940A1 (en) 2010-02-04 2011-08-11 Nokia Corporation Method and apparatus for characterizing user behavior patterns from user interaction history
US8863008B2 (en) 2010-02-17 2014-10-14 International Business Machines Corporation Automatic removal of sensitive information from a computer screen
US8724639B2 (en) 2010-02-26 2014-05-13 Mohamed K. Mahmoud Smart home hub
US8826322B2 (en) 2010-05-17 2014-09-02 Amazon Technologies, Inc. Selective content presentation engine
US8591334B2 (en) 2010-06-03 2013-11-26 Ol2, Inc. Graphical user interface, system and method for implementing a game controller on a touch-screen device
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
WO2012051283A2 (en) 2010-10-14 2012-04-19 Fourthwall Media, Inc. Systems and methods for providing companion services to customer premises equipment using an ip-based infrastructure
US8776121B2 (en) 2010-11-03 2014-07-08 Google Inc. Social aspects of media guides
US20120117593A1 (en) 2010-11-08 2012-05-10 Yang Pan System and Method of Delivering Advertisements to a Mobile Communication Device
EP2638663A1 (de) 2010-11-10 2013-09-18 Thomson Licensing Gateway-fernsteuerungssystem und betriebsverfahren
JP5193275B2 (ja) 2010-12-01 2013-05-08 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US8782269B2 (en) 2010-12-22 2014-07-15 Verizon Patent And Licensing Inc. Auto-discovery of home and out-of-franchise networks
EP2497552A3 (de) 2011-03-09 2013-08-21 Sony Computer Entertainment Inc. Informationsverarbeitungsvorrichtung
US8847777B2 (en) 2011-03-25 2014-09-30 Apple Inc. Voltage supply droop detector
WO2012131939A1 (ja) * 2011-03-30 2012-10-04 株式会社インプランタイノベーションズ 果実特異的プロモーター
US8882595B2 (en) 2011-04-29 2014-11-11 2343127 Ontartio Inc. Systems and methods of importing virtual objects using barcodes
US20120284618A1 (en) 2011-05-06 2012-11-08 Microsoft Corporation Document based contextual communication
US20140168277A1 (en) 2011-05-10 2014-06-19 Cisco Technology Inc. Adaptive Presentation of Content
US8668588B2 (en) 2011-05-27 2014-03-11 Zynga Inc. Target map area of an online social game
JP5755943B2 (ja) 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5890969B2 (ja) 2011-06-03 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5911221B2 (ja) 2011-07-01 2016-04-27 株式会社スクウェア・エニックス コンテンツ関連情報表示システム
CA2883979A1 (en) 2011-08-15 2013-02-21 Comigo Ltd. Methods and systems for creating and managing multi participant sessions
US10142121B2 (en) 2011-12-07 2018-11-27 Comcast Cable Communications, Llc Providing synchronous content and supplemental experiences
CA2860833C (en) 2012-01-08 2018-05-29 Teknision Inc. Method and system for dynamically assignable user interface
US20150160788A1 (en) 2012-02-27 2015-06-11 Nokia Corporaiton Apparatus and associated methods
WO2013157015A2 (en) 2012-04-16 2013-10-24 Chunilal Rathod Yogesh A method and system for display dynamic & accessible actions with unique identifiers and activities.
JP6050023B2 (ja) 2012-04-26 2016-12-21 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置
US9547425B2 (en) * 2012-05-09 2017-01-17 Apple Inc. Context-specific user interfaces
TWI594186B (zh) 2012-05-16 2017-08-01 緯創資通股份有限公司 虛擬頻道之管理方法、擷取數位內容之方法及具有虛擬頻道之網路多媒體重現系統
US9946887B2 (en) 2012-06-04 2018-04-17 Nokia Technologies Oy Method and apparatus for determining privacy policy based on data and associated values
US9697502B2 (en) 2012-06-27 2017-07-04 International Business Machines Corporation Enforcing e-Meeting attendee guidelines
US20140038708A1 (en) 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
US20140049487A1 (en) 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9424840B1 (en) 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
US20140120961A1 (en) 2012-10-26 2014-05-01 Lookout, Inc. System and method for secure message composition of security messages
KR101533064B1 (ko) 2012-11-01 2015-07-01 주식회사 케이티 콘텐츠 맞춤형 인터페이스를 표시하는 모바일 디바이스 및 모바일 디바이스 사용 방법
US9589149B2 (en) 2012-11-30 2017-03-07 Microsoft Technology Licensing, Llc Combining personalization and privacy locally on devices
US9542060B1 (en) 2012-12-13 2017-01-10 Amazon Technologies, Inc. User interface for access of content
US20140170979A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Contextual power saving in bluetooth audio
US20140181715A1 (en) 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
US9654358B2 (en) * 2013-01-15 2017-05-16 International Business Machines Corporation Managing user privileges for computer resources in a networked computing environment
US9721587B2 (en) 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US9460715B2 (en) 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
GB2526495B (en) 2013-03-15 2021-12-01 Ernest Troxler Robert Systems and methods for identifying and separately presenting different portions of multimedia content
US20140282746A1 (en) 2013-03-15 2014-09-18 Miiicasa Taiwan Inc. Method and system for managing channel indexed content and electronic device implemented with said system
US9721086B2 (en) 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
US20140354531A1 (en) 2013-05-31 2014-12-04 Hewlett-Packard Development Company, L.P. Graphical user interface
KR101959188B1 (ko) * 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10137363B2 (en) 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US9104886B1 (en) * 2013-06-26 2015-08-11 Amazon Technologies, Inc. Automated privacy control
JP5657751B1 (ja) * 2013-07-04 2015-01-21 ファナック株式会社 対象物を吸引して搬送する搬送装置
US9989154B2 (en) * 2013-07-30 2018-06-05 Hayward Industries, Inc. Butterfly valve handle
WO2015015251A1 (en) 2013-08-01 2015-02-05 Yogesh Chunilal Rathod Presenting plurality types of interfaces and functions for conducting various activities
US20150046425A1 (en) * 2013-08-06 2015-02-12 Hsiu-Ping Lin Methods and systems for searching software applications
US9853934B2 (en) 2013-08-23 2017-12-26 Facebook, Inc. Platform show pages
FR3011141B1 (fr) 2013-09-24 2017-04-28 Voltalis Gestion de commandes d'un equipement electrique apte a etre commande par des signaux de commande infrarouges
US9594890B2 (en) 2013-09-25 2017-03-14 Intel Corporation Identity-based content access control
US9536106B2 (en) 2013-10-08 2017-01-03 D.R. Systems, Inc. System and method for the display of restricted information on private displays
US20150150140A1 (en) 2013-11-26 2015-05-28 Nokia Corporation Method and apparatus for determining shapes for devices based on privacy policy
US9225688B2 (en) 2013-12-03 2015-12-29 Nokia Technologies Oy Method and apparatus for providing privacy adaptation based on receiver context
US10534623B2 (en) * 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9823811B2 (en) * 2013-12-31 2017-11-21 Next It Corporation Virtual assistant team identification
US9986296B2 (en) 2014-01-07 2018-05-29 Oath Inc. Interaction with multiple connected devices
JP2017508188A (ja) * 2014-01-28 2017-03-23 シンプル エモーション, インコーポレイテッドSimple Emotion, Inc. 適応型音声対話のための方法
JP2017104145A (ja) 2014-03-07 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント ゲームシステム、表示制御方法、表示制御プログラム及び記録媒体
CN104918122B (zh) 2014-03-14 2018-09-07 北京四达时代软件技术股份有限公司 在家庭网络分享和控制多种设备的方法及装置
US9946985B2 (en) * 2014-04-15 2018-04-17 Kofax, Inc. Touchless mobile applications and context-sensitive workflows
WO2015178707A1 (en) * 2014-05-22 2015-11-26 Samsung Electronics Co., Ltd. Display device and method for controlling the same
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9729591B2 (en) 2014-06-24 2017-08-08 Yahoo Holdings, Inc. Gestures for sharing content between multiple devices
WO2015196451A1 (en) 2014-06-27 2015-12-30 Microsoft Technology Licensing, Llc System for context-based data protection
KR102194923B1 (ko) 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9473803B2 (en) 2014-08-08 2016-10-18 TCL Research America Inc. Personalized channel recommendation method and system
US9548066B2 (en) 2014-08-11 2017-01-17 Amazon Technologies, Inc. Voice application architecture
US20160085430A1 (en) 2014-09-24 2016-03-24 Microsoft Corporation Adapting user interface to interaction criteria and component properties
US9671862B2 (en) 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
US20170011602A1 (en) 2014-12-11 2017-01-12 Elwha Llc Wearable haptic feedback devices and methods of fabricating wearable haptic feedback devices
US10223093B2 (en) 2014-12-12 2019-03-05 Pcms Holdings, Inc. Method and system for context-based control over access to personal data
US9826277B2 (en) 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US9259651B1 (en) 2015-02-13 2016-02-16 Jumo, Inc. System and method for providing relevant notifications via an action figure
WO2016145255A1 (en) 2015-03-10 2016-09-15 LyteShot Inc. Systems and methods for interactive gaming with non-player engagement
US20160277052A1 (en) 2015-03-19 2016-09-22 Kerloss Sadek Modular Portable Power Device
US10068460B2 (en) 2015-06-04 2018-09-04 ESCO Technologies, LLC Interactive media device
DE102016113802A1 (de) * 2015-07-28 2017-02-02 Steering Solutions Ip Holding Corporation Kraftunterstützungssystem mit Spindelmutter, Bremsverstärkungsaktor und Verfahren
US20170031575A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Tailored computing experience based on contextual signals
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10530720B2 (en) 2015-08-27 2020-01-07 Mcafee, Llc Contextual privacy engine for notifications
US9729925B2 (en) 2015-08-31 2017-08-08 Opentv, Inc. Automatically loading user profile to show recently watched channels
WO2017053437A1 (en) 2015-09-25 2017-03-30 Pcms Holdings, Inc. Context module based personal data protection
US9924236B2 (en) 2015-11-05 2018-03-20 Echostar Technologies L.L.C. Informational banner customization and overlay with other channels
KR102423588B1 (ko) * 2015-12-28 2022-07-22 삼성전자주식회사 정보 제공 방법 및 장치
US20170185920A1 (en) * 2015-12-29 2017-06-29 Cognitive Scale, Inc. Method for Monitoring Interactions to Generate a Cognitive Persona
US10341352B2 (en) 2016-02-06 2019-07-02 Maximilian Ralph Peter von Liechtenstein Gaze initiated interaction technique
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US20180054688A1 (en) * 2016-08-22 2018-02-22 Dolby Laboratories Licensing Corporation Personal Audio Lifestyle Analytics and Behavior Modification Feedback

Also Published As

Publication number Publication date
US20180210700A1 (en) 2018-07-26
US20180210738A1 (en) 2018-07-26
TW201828025A (zh) 2018-08-01
WO2018136109A1 (en) 2018-07-26
US10359993B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
DE112017006882T5 (de) Kontextabhängige, umgebungsbasierte nutzerschnittstelle
DE102017129939B4 (de) Gesprächsbewusste proaktive Benachrichtigungen für eine Sprachschnittstellenvorrichtung
US11424947B2 (en) Grouping electronic devices to coordinate action based on context awareness
DE202017105819U1 (de) Mehrfachanwenderpersonalisierung bei einer Sprachschnittstellenvorrichtung
DE102017129920A1 (de) Bauform für kompakten Heimassistenten mit kombiniertem Schallwellenleiter und Kühlkörper
DE102011107992A1 (de) System und Verfahren zum Anmelden zu Ereignissen auf der Grundlage von Schlagwörtern
DE202017105972U1 (de) Sprachaktiviertes elektronisches Gerät als Aufbau mit trennbarer Basis
CN113163269B (zh) 直播间进入方法、装置、电子设备及存储介质
DE102018118349A1 (de) Verfahren und vorrichtung zum auswählen einer audioausgabeschaltung basierend auf prioritätsattributen
DE102018101477A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102017122216A1 (de) Mehrfachanwenderpersonalisierung bei einer Sprachschnittstellenvorrichtung
Michalik INDONESIAN WOMEN FILMMAKERS: Creating a new female identity?
DE102017117569A1 (de) Verfahren, System, Anwendergerät sowie ein Computerprogramm zum Erzeugen eines in einem stationären Wohnraum auszugebenden Audiosignals
WO2018136299A1 (en) Contextual user interface based on shared activities
Osorio Proposal for mass media anthropology
CN106113057A (zh) 基于机器人的音视频宣传方法和系统
Cerf When they’re everywhere
DE60318434T2 (de) Wiedergabe bestimmter informationen mit verwendung von an ein hausnetz verbundenen geräten
Wernecke Gazing into the past: Post-presidential collective memory and political scopophilia at the Jimmy Carter Presidential Museum
DE102017117570A1 (de) Verfahren, System, Anwendergerät sowie Computerprogramm zum Erzeugen einer auditiven Meldung in einem stationären Wohnraum
DE102008056158B4 (de) Verfahren zur Steuerung und Installation eines audiovisuellen Kommunikationsgerätes mit einfacher Handhabung, eine besondere Kamerasteuerungseinrichtung und Verwendung für die Unterstützung einer Person
Hamilton Genet’s ‘Rituals of the Oppressed’and the Main Stage: Benedict Andrews’s The Maids at Sydney Theatre Company
DIBAZAR Leftover space, invisibility, and everyday life: rooftops in Iran
CN106953794A (zh) 多人即时通讯信息交流系统及方法
Kinoe et al. Peripheral telecommunications: Supporting distributed awareness and seamless transitions to the foreground

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee