-
GEBIET
-
Der hierin offenbarte Gegenstand betrifft visuelle Informationen und betrifft genauer gesagt das Präsentieren visueller Informationen auf einem Display.
-
HINTERGRUND
-
ALLGEMEINER STAND DER TECHNIK
-
Ein Sprachassistent antwortet auf hörbare Befehle mit Inhalt.
-
KURZDARSTELLUNG
-
Es wird eine Vorrichtung zum Präsentieren visueller Informationen auf einem Display offenbart. Die Vorrichtung umfasst Kommunikations-Hardware, einen Prozessor und einen Speicher, der Code speichert, der durch den Prozessor ausführbar ist. Der Prozessor bestimmt, dass als Reaktion auf einen hörbaren Befehl von einem Benutzer visuelle Informationen gezeigt werden. Der Prozessor identifiziert ferner ein Display, das der Benutzer betrachten kann und auf das über die Kommunikations-Hardware zugegriffen werden kann. Zudem präsentiert der Prozessor die visuellen Informationen auf dem Display über die Kommunikations-Hardware. Ein Verfahren und ein Computerprogrammprodukt führen ebenfalls die Funktionen der Vorrichtung aus.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Eine genauere Beschreibung der zuvor kurz beschriebenen Ausführungsformen wird mit Bezug auf spezifische Ausführungsformen gegeben, die in den beiliegenden Zeichnungen abgebildet sind. Mit dem Verständnis, dass diese Zeichnungen nur einige Ausführungsformen der Erfindung abbilden und daher nicht als ihren Umfang einschränkend anzusehen sind, werden die Ausführungsformen mit zusätzlicher Spezifizität und zusätzlichem Detail durch die Verwendung der beiliegenden Zeichnungen beschrieben und erklärt. Es zeigen:
-
1A ein schematisches Blockdiagramm, das eine Ausführungsform eines Sprachassistentensystems abbildet;
-
1B eine perspektivische Zeichnung, die eine Ausführungsform eines Sprachassistenten abbildet;
-
1C eine perspektivische Zeichnung, die eine Ausführungsform eines elektronischen Gerätes als Computer mit einem Display abbildet;
-
1D eine Zeichnung in Vorderansicht, die eine Ausführungsform eines elektronischen Gerätes als Mobiltelefon mit einem Display abbildet;
-
2 ein schematisches Blockdiagramm, das eine Ausführungsform von hörbaren Befehlsdaten abbildet;
-
3 ein schematisches Blockdiagramm, das eine Ausführungsform einer Antwort abbildet;
-
4 ein schematisches Blockdiagramm, das eine Ausführungsform eines Sprachassistenten abbildet;
-
5A ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens zum Präsentieren visueller Informationen abbildet;
-
5B ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens zum Bestimmen visueller Informationen abbildet; und
-
5C ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens zum Auswählen visueller Informationen abbildet.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Wie es der Fachmann verstehen wird, können die Aspekte der Ausführungsformen als System, Verfahren oder Programmprodukt ausgebildet sein. Entsprechend können die Ausführungsformen die Form einer Ausführungsform ganz als Hardware, einer Ausführungsform ganz als Software (einschließlich Firmware, residenter Software, Mikrocode usw.) oder einer Ausführungsform, die Software- und Hardware-Aspekte kombiniert, annehmen, die hierin alle allgemein als „Schaltung”, „Modul” oder „System” bezeichnet werden können. Ferner können die Ausführungsformen die Form eines Programmprodukts annehmen, das in einem oder mehreren computerlesbaren Speichergeräten, die maschinenlesbaren Code, computerlesbaren Code und/oder Programmcode speichern, der nachstehend als Code bezeichnet wird, ausgebildet sein. Die Speichergeräte können materiell, nicht transitorisch und/oder nicht übertragend sein. Die Speichergeräte können nicht als Signale ausgebildet sein. Bei einer bestimmten Ausführungsform verwenden die Speichergeräte nur Signale, um auf Code zuzugreifen.
-
Viele der in dieser Beschreibung beschriebenen Funktionseinheiten wurden als Module bezeichnet, um insbesondere ihre Umsetzungsunabhängigkeit hervorzuheben. Ein Modul kann z.B. als Hardware-Schaltung umgesetzt werden, die spezifische VLSI-Schaltungen oder Gate-Arrays, handelsübliche Halbleiter, wie etwa Logikchips, Transistoren oder andere diskrete Bauteile, umfasst. Ein Modul kann auch in programmierbaren Hardware-Geräten, wie etwa Field Programmable Gate-Arrays, programmierbaren Logikbausteinen, programmierbaren logischen Geräten oder dergleichen, umgesetzt werden.
-
Module können auch als Code und/oder Software zur Ausführung durch diverse Arten von Prozessoren umgesetzt werden. Ein identifiziertes Codemodul kann beispielsweise einen oder mehrere physische oder logische Blöcke von ausführbarem Code umfassen, der bzw. die beispielsweise als Objekt, Prozedur oder Funktion organisiert sein kann bzw. können. Dennoch müssen die ausführbaren Elemente eines identifizierten Moduls nicht räumlich zusammenliegen, sondern können disparate Anweisungen umfassen, die an verschiedenen Stellen gespeichert sind, die, wenn sie logisch zusammengefügt werden, das Modul bilden und den angegebenen Zweck für das Modul erfüllen.
-
In der Tat kann ein Codemodul einer einzigen Anweisung oder vielen Anweisungen entsprechen und kann sogar über mehrere verschiedene Codesegmente, über verschiedene Programme und über mehrere Speichergeräte verteilt sein. Ähnlich können Betriebsdaten hierin innerhalb von Modulen identifiziert und abgebildet werden und können in einer beliebigen geeigneten Form ausgebildet sein und innerhalb einer beliebigen geeigneten Art von Datenstruktur organisiert sein. Die Betriebsdaten können als einzelner Datensatz erhoben werden oder können über verschiedene Stellen verteilt sein, einschließlich über verschiedene computerlesbare Speichergeräte. Wenn ein Modul oder Teile eines Moduls als Software umgesetzt wird bzw. werden, werden die Software-Teile auf einem oder mehreren computerlesbaren Speichergeräten gespeichert.
-
Alle Kombinationen von einem oder mehreren computerlesbaren Medien können verwendet werden. Das computerlesbare Medium kann ein computerlesbares Speichermedium sein. Das computerlesbare Speichermedium kann ein Speichergerät sein, welches den Code speichert. Das Speichergerät kann beispielsweise ohne Einschränkung ein elektronisches, magnetisches, optisches, elektromagnetisches, infrarotes, holografisches, mikromechanisches oder Halbleiter-System, -Vorrichtung oder -Gerät oder eine beliebige geeignete Kombination derselben sein.
-
Genauere Beispiele (eine nicht erschöpfende Liste) des Speichergerätes würde Folgendes umfassen: eine elektrische Verbindung, die einen oder mehrere Drähte aufweist, eine tragbare Computerdiskette, eine Festplatte, einen Arbeitsspeicher (RAM), einen Festwertspeicher (ROM), einen löschbaren programmierbaren Festwertspeicher (EPROM oder Flash-Speicher), einen tragbaren Compact Disk Festwertspeicher (CD-ROM), ein optisches Speichergerät, ein magnetisches Speichergerät oder eine beliebige geeignete Kombination derselben. Im Kontext der vorliegenden Druckschrift kann ein computerlesbares Speichermedium ein beliebiges materielles Medium sein, das ein Programm zur Verwendung durch ein System, eine Vorrichtung oder ein Gerät zum Ausführen von Anweisungen oder in Verbindung damit enthalten oder speichern kann.
-
Code zum Ausführen von Vorgängen für Ausführungsformen kann in einer beliebigen Kombination von einer oder mehreren Programmiersprachen verfasst sein, wozu eine objektorientierte Programmiersprache, wie etwa Python, Ruby, Java, Smalltalk, C++ oder dergleichen, und herkömmliche prozedurale Programmiersprachen, wie etwa die Programmiersprache „C” oder dergleichen, und/oder Maschinensprachen, wie etwa Assemblersprachen, gehören. Der Code kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als selbstständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem Remote-Computer oder vollständig auf dem Remote-Computer oder Server ausgeführt werden. In letzterem Fall kann der Remote-Computer an den Computer des Benutzers über eine beliebige Art von Netzwerk, wozu ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN) gehören, angeschlossen sein, oder kann die Verbindung mit einem externen Computer (z.B. über das Internet unter Verwendung eines Internet Service Providers) hergestellt werden.
-
Eine Bezugnahme in der gesamten vorliegenden Beschreibung auf „eine Ausführungsform” oder ähnliche Ausdrücke bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder ein bestimmtes Kennzeichen, das bzw. die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform enthalten ist. Somit können sich Erscheinungen der Redewendungen „bei einer Ausführungsform” und ähnliche Ausdrücke in der gesamten vorliegenden Beschreibung alle auf die gleiche Ausführungsform beziehen, bedeuten jedoch „eine oder mehrere aber nicht alle Ausführungsformen”, soweit es nicht ausdrücklich anderweitig vorgegeben ist. Die Begriffe „umfassend”, „aufweisend” und ihre Varianten bedeuten „umfassend jedoch ohne Einschränkung”, soweit es nicht ausdrücklich anderweitig vorgegeben ist. Eine aufgeführte Liste von Elementen bedingt nicht, dass eines oder alle der Elemente gegenseitig ausschließlich sind, soweit es nicht ausdrücklich anderweitig vorgegeben ist. Die Begriffe „ein”, „eine” und „der, die, das” beziehen sich auch auf „ein oder mehrere”, soweit nicht ausdrücklich anderweitig vorgegeben.
-
Ferner können die beschriebenen Merkmale, Strukturen oder Kennzeichen der Ausführungsformen in einer beliebigen geeigneten Art kombiniert werden. In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten bereitgestellt, wie etwa Programmierbeispiele, Softwaremodule, Benutzerauswahlen, Netzwerktransaktionen, Datenbankabfragen, Datenbankstrukturen, Hardware-Module, Hardware-Schaltungen, Hardware-Chips, usw., um ein umfassendes Verständnis der Ausführungsformen bereitzustellen. Der Fachmann auf diesem Gebiet wird jedoch erkennen, dass die Ausführungsformen ohne eine oder mehrere der spezifischen Einzelheiten oder mit anderen Verfahren, Bauteilen, Materialien und so weiter in die Praxis umgesetzt werden können. In anderen Fällen werden hinlänglich bekannte Strukturen, Materialien oder Vorgänge nicht gezeigt oder ausführlich beschrieben, um eine Verschleierung der Aspekte einer Ausführungsform zu vermeiden.
-
Nachstehend werden die Aspekte der Ausführungsformen mit Bezug auf schematische Ablaufschemata und/oder schematische Blockdiagramme von Verfahren, Vorrichtungen, Systemen und Programmprodukten gemäß den Ausführungsformen beschrieben. Es versteht sich, dass jeder Block der schematischen Ablaufschemata und/oder der schematischen Blockdiagramme und Kombinationen von Blöcken in den schematischen Ablaufschemata und/oder schematischen Blockdiagrammen durch Code umgesetzt werden kann. Dieser Code kann einem Prozessor eines universellen Computers, eines spezifischen Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu ergeben, so dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel erstellen, um die Funktionen/Aktionen umzusetzen, die in dem Block oder den Blöcken der Ablaufschemata und/oder der schematischen Blockdiagramme vorgegeben sind.
-
Der Code kann auch in einem Speichergerät gespeichert werden, welches einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Geräte anweisen kann, auf eine bestimmte Art und Weise zu funktionieren, so dass die Anweisungen, die in dem Speichergerät gespeichert sind, ein Produkt ergeben, das Anweisungen umfasst, welche die Funktion/Aktion umsetzen, die in dem Block oder den Blöcken der schematischen Ablaufschemata und/oder der schematischen Blockdiagramme vorgegeben ist.
-
Der Code kann auch auf einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Geräte geladen werden, um zu bewirken, dass eine Reihe von Betriebsschritten auf dem Computer, der anderen programmierbaren Vorrichtung oder anderen Geräten ausgeführt werden, um einen computerumgesetzten Prozess zu ergeben, so dass der Code, der auf dem Computer oder der anderen programmierbaren Vorrichtung ausgeführt wird, Prozesse bereitstellt, um die Funktionen/Aktionen umzusetzen, die in dem Block oder den Blöcken des Ablaufschemas und/oder des Blockdiagramms vorgegeben sind.
-
Die schematischen Ablaufschemata und/oder schematischen Blockdiagramme in den Figuren bilden die Architektur, die Funktionalität und die Betätigung möglicher Umsetzungen von Vorrichtungen, Systemen, Verfahren und Programmprodukten gemäß diversen Ausführungsformen ab. In dieser Hinsicht kann jeder Block in den schematischen Ablaufschemata und/oder den schematischen Blockdiagrammen ein Modul, ein Segment oder einen Codeabschnitt darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen des Codes zum Umsetzen der vorgegebenen logischen Funktion(en) umfasst.
-
Es sei ebenfalls zu beachten, dass bei einigen alternativen Umsetzungen die in dem Block erwähnten Funktionen in einer anderen Reihenfolge als in den Figuren erwähnt erfolgen können. Beispielsweise können zwei Blöcke, die nacheinander gezeigt sind, eigentlich im Wesentlichen gleichzeitig ausgeführt werden, oder können die Blöcke, je nach der betroffenen Funktionalität, manchmal in umgekehrter Reihenfolge ausgeführt werden. Es können andere Schritte und Verfahren erdacht werden, deren Funktion, Logik oder Auswirkung mit einem oder mehreren Blöcken, oder Teilen davon, der abgebildeten Figuren gleichwertig sind.
-
Obwohl diverse Pfeilarten und Linienarten in dem Ablaufschema und/oder den Blockdiagrammen verwendet werden können, versteht es sich, dass diese den Umfang der entsprechenden Ausführungsformen nicht einschränken. Einige Pfeile oder andere Verbindungselemente können nämlich verwendet werden, um nur den logischen Ablauf der abgebildeten Ausführungsform anzugeben. Ein Pfeil kann z.B. einen Warte- oder Überwachungszeitraum unbestimmter Dauer zwischen den aufgeführten Schritten der abgebildeten Ausführungsform angeben. Es sei ebenfalls zu beachten, dass jeder Block der Blockdiagramme und/oder der Ablaufschemata und Kombinationen von Blöcken in den Blockdiagrammen und/oder den Ablaufschemata mit speziellen Systemen auf Hardware-Basis, welche die vorgegebenen Funktionen oder Aktionen ausführen, oder mit Kombinationen von spezieller Hardware und Code umgesetzt werden kann bzw. können.
-
Die Beschreibung von Elementen in jeder Figur kann sich auf Elemente der vorhergehenden Figuren beziehen. Die gleichen Zahlen beziehen sich auf die gleichen Elemente in allen Figuren, einschließlich alternativer Ausführungsformen gleicher Elemente.
-
1A ist ein schematisches Blockdiagramm, das eine Ausführungsform eines Sprachassistentensystems 100 abbildet. Das Sprachassistentensystem 100 kann hörbare Befehle von einem Benutzer empfangen und auf jeden hörbaren Befehl antworten. Bei der abgebildeten Ausführungsform umfasst das Sprachassistentensystem 100 einen Server 105, ein Netzwerk 115, einen Sprachassistenten 110 und mindestens ein elektronisches Gerät 125.
-
Der Sprachassistent 110 kann einen hörbaren Befehl von dem Benutzer empfangen. Der Sprachassistent 110 kann den hörbaren Befehl verarbeiten und darauf antworten. Zudem kann der Sprachassistent 110 dem Server 105 den hörbaren Befehl über das Netzwerk 115 mitteilen. Das Netzwerk 115 kann eines oder mehrere von Internet, einem lokalen Netzwerk, einem WiFi-Netzwerk, einem Mobilfunknetzwerk, einem Bluetooth-Netzwerk oder Kombinationen davon umfassen. Der Server 105 kann den hörbaren Befehl verarbeiten und eine Antwort auf den hörbaren Befehl generieren. Der Server 105 kann dem Sprachassistenten 110 die Antwort über das Netzwerk 115 mitteilen, und der Sprachassistent 110 kann dem Benutzer die Antwort hörbar mitteilen.
-
Das elektronische Gerät 125 kann von dem Sprachassistenten 110 getrennt und eigenständig sein. Es kann sein, dass das elektronische Gerät 125 und der Sprachassistent 110 keine Bauteile gemeinsam haben. Zudem kann es sein, dass das elektronische Gerät 125 nicht zum integrierten Betrieb mit dem Sprachassistenten 110 ausgelegt ist. Beispielsweise kann das elektronische Gerät 125 ein Computer, ein Handy, ein Fernseher, ein Kühlschrank oder dergleichen sein. Das elektronische Gerät 125 umfasst ein Display 120. Das Display 120 kann von dem Sprachassistenten 110 und/oder dem Server 105 getrennt und eigenständig sein.
-
Der Sprachassistent 110 antwortet typischerweise auf hörbare Befehle mit hörbarem Inhalt. Beispielsweise kann der Sprachassistent 110 als Reaktion auf den hörbaren Befehl hörbare Informationen präsentieren, wie etwa Nachrichten, eine Wettervorhersage, einen Lieferstatus und dergleichen. Zudem kann der Sprachassistent 110 eine Steuerfunktion ausführen, wie etwa das Anschalten von Licht. Der Sprachassistent 110 kann ferner als Reaktion auf den hörbaren Befehl Unterhaltungsinhalt, wie etwa Musik, präsentieren.
-
Leider kann eine geeignete Antwort auf den hörbaren Befehl visuelle Informationen umfassen. Zudem kann es sein, dass der hörbare Inhalt keine geeignete Antwort auf den hörbaren Befehl umfasst. Die hierin beschriebenen Ausführungsformen bestimmen, dass als Reaktion auf den hörbaren Befehl von dem Benutzer visuelle Informationen gezeigt werden. Die Ausführungsformen identifizieren ferner ein Display, wie etwa das Display 120 des elektronischen Gerätes 125, das der Benutzer betrachten kann und auf das über Kommunikations-Hardware zugegriffen werden kann. Die Ausführungsformen können die visuellen Informationen an dem Display über die Kommunikations-Hardware präsentieren, wie es nachstehend beschrieben wird.
-
1B ist eine perspektivische Zeichnung, die eine Ausführungsform des Sprachassistenten 110 abbildet. Bei der abgebildeten Ausführungsform ist der Sprachassistent 110 ein Zylinder mit einem Mikrofon 135. Der Sprachassistent 110 kann in anderen Ausführungsformen und Konfigurationen organisiert sein. Der Sprachassistent 110 umfasst kein systemeigenes Display. Dadurch kann der Sprachassistent 110 nicht eigenständig visuelle Informationen präsentieren.
-
1C ist eine perspektivische Zeichnung, die eine Ausführungsform eines elektronischen Gerätes 125 als Computer abbildet. Das elektronische Computer-Gerät 125 umfasst ein Display 120. Das elektronische Computer-Gerät 125 kann mit dem Netzwerk 115 kommunizieren. Bei einer Ausführungsform umfasst das elektronische Computer-Gerät 125 eine Kamera 145.
-
1D ist eine Zeichnung in Vorderansicht, die eine Ausführungsform eines elektronischen Gerätes 125 als Mobiltelefon abbildet. Das elektronische Mobiltelefon-Gerät 125 umfasst ein Display 120. Das elektronische Mobiltelefon-Gerät 125 kann mit dem Netzwerk 115 kommunizieren. Bei einer Ausführungsform umfasst das elektronische Mobiltelefon-Gerät 125 eine Kamera 145.
-
2 ist ein schematisches Blockdiagramm, das eine Ausführungsform von hörbaren Befehlsdaten 200 abbildet. Die hörbaren Befehlsdaten 200 können einen hörbaren Befehl 205 und diesbezügliche Informationen speichern. Die hörbaren Befehlsdaten 200 können als Datenstruktur in einem Speicher organisiert sein. Bei der abgebildeten Ausführungsform umfassen die hörbaren Befehlsdaten 200 den hörbaren Befehl 205, einen visuellen Anfrageaufruf 210, eine Vielzahl von Antworten 215, eine Display-Adresse 220 und ein Display-Größe 225.
-
Der hörbare Befehl 205 kann ein analoges Signal von dem Mikrofon 135 aufzeichnen. Zudem kann der hörbare Befehl 205 ein digitalisiertes Signal des Analogsignals speichern. Bei einer gewissen Ausführungsform speichert der hörbare Befehl 205 eine Textversion des analogen Signals und/oder des digitalisierten Signals.
-
Der visuelle Anfrageaufruf
210 kann ein Wort oder eine Redewendung aufzeichnen, die angeben, dass der Benutzer möchte, dass eine Antwort auf den hörbaren Befehl
205 visuelle Informationen umfasst. Die Tabelle 1 zeigt Beispiele von visuellen Anfrageaufrufen
210, wobei die Beispiele nicht einschränkend sind. Tabelle 1
| Zeige |
| Zeig es mir |
| Zeige an |
| Präsentiere |
| Lass mich sehen |
| Zeige mir |
| Bilde ab |
-
Die Antwort 215 kann jeweils eine Antwort umfassen, die für den hörbaren Befehl 205 generiert wird. Die Antwort 215 kann hörbaren Inhalt, visuellen Inhalt oder Kombinationen davon umfassen. Die Antwort 215 wird in 3 ausführlicher beschrieben.
-
Die Display-Adresse 220 kann eine Adresse eines Displays 120 und/oder eines elektronischen Gerätes 125, welches das Display 120 einschließt, umfassen. Die Display-Adresse 220 kann eines oder mehrere von einer logischen Adresse, einer Anschlussadresse, einer elektronischen Gerätekennung, eines Berechtigungsnachweises eines elektronischen Gerätes und dergleichen umfassen. Bei einer Ausführungsform umfasst die Display-Adresse 220 eine Gerätekennung für das elektronische Gerät 125 und/oder das Display 120, welches an dem elektronischen Gerät 125 gehostet wird. Beispielsweise kann die Gerätekennung „Telefon” ein elektronisches Mobiltelefon-Gerät 125 angeben. Die Display-Adresse 220 kann Displays 120 und/oder elektronische Geräte 125 aufzeichnen, die in der Vergangenheit verwendet wurden, um visuelle Informationen zu präsentieren.
-
Die Display-Größe 225 kann die Abmessungen des Displays 120 aufzeichnen. Zudem kann die Display-Größe 225 eine Auflösung des Displays 120, die Helligkeits-, Farb- und Kontrastparameter für das Display 120 und/oder eine Bildwiederholrate für das Display 120 angeben.
-
3 ist ein schematisches Blockdiagramm, das eine Ausführungsform der Antwort 215 aus 2 abbildet. Die Antwort 215 kann als Datenstruktur in einem Speicher organisiert sein. Die Antwort 215 kann als eine mögliche geeignete Antwort auf einen hörbaren Befehl 205 generiert werden. Bei der abgebildeten Ausführungsform umfasst die Antwort 215 eine Antwortquelle 250, eine Antworteinstufung 255, visuelle Informationen 260 und hörbare Informationen 265.
-
Die Antwortquelle 250 kann einen Weg zu einer möglichen Antwort auf den hörbaren Befehl 205 aufzeichnen. Der Weg kann ein Index auf eine Datenbank sein, die auf dem Server 105 gespeichert ist. Alternativ kann der Weg eine Uniform Resource Locator (URL) zu einem Suchergebnis sein, das als mögliche Antwort auf den hörbaren Befehl 205 identifiziert wird.
-
Die Antworteinstufung 255 kann eine absolute Einstufung der Antwort in Bezug auf den hörbaren Befehl 205 angeben. Beispielsweise kann eine Antwort, die den hörbaren Befehl 205 vollständig erfüllt, eine absolute Einstufung von 100 % aufweisen. Ähnlich kann eine Antwort, die den hörbaren Befehl 205 nur teilweise erfüllt, eine absolute Einstufung von 10 % aufweisen.
-
Alternativ kann die Antworteinstufung 255 eine absolute Einstufung der Antwort im Vergleich zu anderen Antworten auf den hörbaren Befehl 205 angeben. Beispielsweise kann die Antworteinstufung 255 für eine erste Antwort eine 1 sein, was eine beste und/oder am besten geeignete Antwort angibt, während die Antworteinstufung 255 für eine zweite Antwort 2 sein kann, was eine zweitbeste und/oder am zweitbesten geeignete Antwort angibt.
-
Die visuellen Informationen 260 können eines oder mehrere von einem Bild, einem Video, einer Tabelle oder einer Grafik umfassen. Die visuellen Informationen 260 können eine mögliche geeignete Antwort auf den hörbaren Befehl 205 sein. Die hörbaren Informationen 265 können eine mögliche geeignete Antwort auf den hörbaren Befehl 205 umfassen. Eine Antwort 215 kann die visuellen Informationen 260, die hörbaren Informationen 265 oder Kombinationen davon umfassen.
-
4 ist ein schematisches Blockdiagramm, das eine Ausführungsform des Sprachassistenten 110 abbildet. Bei der abgebildeten Ausführungsform umfasst der Sprachassistent 110 einen Prozessor 405, einen Speicher 410, Kommunikations-Hardware 415, das Mikrofon 135 und einen Lautsprecher 140. Der Prozessor 405, der Speicher 410 und die Kommunikations-Hardware 415 können in dem Sprachassistenten 110 und/oder dem Server 105 ausgebildet sein.
-
Der Speicher 410 kann ein Halbleiter-Speichergerät, ein Festplattenlaufwerk, ein optisches Speichergerät, ein mikromechanisches Speichergerät oder eine Kombination davon umfassen. Der Speicher 410 kann Code speichern. Der Prozessor 405 kann den Code ausführen.
-
Die Kommunikations-Hardware 415 kann mit anderen Geräten kommunizieren. Bei einer Ausführungsform kommuniziert die Kommunikations-Hardware 415 mit dem Netzwerk 115. Beispielsweise kann der Sprachassistent 110 über die Kommunikations-Hardware 415 und das Netzwerk 115 mit dem elektronischen Gerät 125 kommunizieren. Die Kommunikations-Hardware 415 kann eine drahtlose Netzwerkschnittstelle, eine drahtgebundene Netzwerkschnittstelle und eine Infrarot-Netzwerkschnittstelle oder Kombinationen davon umfassen.
-
Das Mikrofon 135 kann den hörbaren Befehl 205 von dem Benutzer empfangen. Der Lautsprecher 140 kann dem Benutzer hörbare Informationen 265 mitteilen. Der Sprachassistent 110 ist jedoch nicht in der Lage, dem Benutzer die visuellen Informationen 260 direkt mitzuteilen. Der Sprachassistent 110 kann das Display 120 identifizieren, das der Benutzer betrachten kann und auf das über die Kommunikations-Hardware 415 zugegriffen werden kann, und die visuellen Informationen auf dem Display 120 über die Kommunikations-Hardware 415 präsentieren, wie es nachstehend beschrieben wird.
-
5A ist ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens 500 zum Präsentieren visueller Informationen abbildet. Das Verfahren 500 kann dem Benutzer die visuellen Informationen 260 auf dem Display 120 präsentieren. Das Verfahren 500 kann durch den Sprachassistenten 110, den Server 105 und/oder das elektronische Gerät 125 ausgeführt werden. Zudem kann das Verfahren 500 durch die Prozessoren des Sprachassistenten 110 und/oder des Servers 105 ausgeführt werden.
-
Das Verfahren 500 beginnt, und bei einer Ausführungsform empfängt 505 der Prozessor 405 den hörbaren Befehl 205 von dem Mikrofon 135. Der Prozessor 405 und/oder die dazugehörige Hardware kann bzw. können ein hörbares Signal, das den hörbaren Befehl 205 umfasst, in ein digitales Signal und/oder die Textdarstellung des hörbaren Befehls 205 umwandeln.
-
Der Prozessor 405 kann ferner eine oder mehrere Antworten 215 berechnen 510, die für den hörbaren Befehl 205 geeignet ist bzw. sind. Bei einer Ausführungsform verwendet der Prozessor 405 den hörbaren Befehl 205 als einen Index, um auf die eine oder die mehreren Antworten 215 aus einer Datenbank auf dem Server 105 zuzugreifen. Alternativ kann der Prozessor 405 den hörbaren Befehl 205 als Suchbegriff verwenden und die eine oder die mehreren Antworten 215 aus einer Suche basierend auf dem Suchbegriff wiederherstellen.
-
Der Prozessor 405 kann bestimmen 515, ob die visuellen Informationen 260 zu zeigen sind. Bei einer Ausführungsform bestimmt 515 der Prozessor 405, dass die visuellen Informationen 260 zu zeigen sind, falls eine geeignete Antwort 215 die visuellen Informationen 260 umfasst. Die Bestimmung 515, die visuellen Informationen 260 zu zeigen, wird in 5C ausführlicher beschrieben. Falls der Prozessor 405 bestimmt 515, dass die visuellen Informationen 260 nicht zu zeigen sind, präsentiert der Prozessor 405 die hörbaren Informationen 265 einer geeigneten Antwort 215, und das Verfahren 500 ist beendet.
-
Falls der Prozessor 405 bestimmt 515, dass die visuellen Informationen 260 zu zeigen sind, identifiziert 520 der Prozessor 405 ein Display 120. Das Display 120 kann durch den Benutzer zu betrachten und über die Kommunikations-Hardware 415 zugänglich sein. Bei einer Ausführungsform befragt der Prozessor 405 über das Netzwerk 115lokale elektronische Geräte 125. Der Prozessor 405 kann identifizieren 520, welche elektronischen Geräte 125 ein Display 120 umfassen. Zudem kann der Prozessor 405 identifizieren 520, welche elektronischen Geräte 125 mit Displays 120 den Prozessor 405 auf das entsprechende Display 120 zugreifen lassen. Das Identifizieren 520 des Displays 120 wird in 5B ausführlicher beschrieben.
-
Der Prozessor 405 kann auf das Display 120 zugreifen 525. Der Prozessor 405 kann auf das Display 120 unter Verwendung der Display-Adresse 220 zugreifen 525. Beispielsweise kann der Prozessor 405 auf das Display 120 unter Verwendung einer Standortadresse für das elektronische Gerät 125, einer Anschlussadresse für das elektronische Gerät 125, einer Kennung des elektronischen Gerätes, eines Berechtigungsnachweises des elektronischen Gerätes zugreifen 525. Wenn der Prozessor 405 auf das Display 120 zugegriffen 525 hat, kann der Prozessor 405 dem elektronischen Gerät 125 die visuellen Informationen 260 unter Verwendung der Display-Adresse 220 mitteilen.
-
Bei einer Ausführungsform bearbeitet 530 der Prozessor 405 die visuellen Informationen 260, damit diese auf das Display 120 passen. Der Prozessor 405 kann die Daten über das Display 120 des elektronischen Gerätes 125 abrufen und die Daten in der Display-Größe 225 speichern. Zudem kann der Prozessor 405 die visuellen Informationen 260 bearbeiten 530, damit diese auf das Display 225 passen. Bei einer Ausführungsform umfasst das Bearbeiten 530 der visuellen Informationen 260 eines oder mehrere von Ändern der Größe der visuellen Informationen 260, Zuschneiden der visuellen Informationen 260, Ändern der Größe der Spalten der visuellen Informationen 260, Ändern der Größe der Zeilen der visuellen Informationen 260, Hinzufügen von Spalten zu den visuellen Informationen 260 und Hinzufügen von Zeilen zu den visuellen Informationen 260.
-
Der Prozessor 405 kann die visuellen Informationen 260 auf dem Display 120 über die Kommunikations-Hardware 415 präsentieren 535, und das Verfahren 500 ist beendet. Der Prozessor 405 kann die visuellen Informationen 260 über die Kommunikations-Hardware 415 und das Netzwerk 115 dem elektronischen Gerät 125 an der Display-Adresse 220 mitteilen. Die visuellen Informationen 260 können auch den Berechtigungsnachweis des elektronischen Gerätes umfassen, der angibt, dass das elektronische Gerät 125 die visuellen Informationen 260 anzeigen soll. Das elektronische Gerät 125 kann die visuellen Informationen 260 auf dem Display 120 anzeigen. Bei einer Ausführungsform zeigt das elektronische Gerät 125 die visuellen Informationen 260 als Reaktion auf das Empfangen des Berechtigungsnachweises des elektronischen Gerätes an.
-
5B ist ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens 600 zum Bestimmen visueller Informationen abbildet. Das Verfahren 600 kann bestimmen, ob die visuellen Informationen 260 zu präsentieren sind. Zudem kann das Verfahren 600 den Schritt 520 aus 5A beschreiben. Das Verfahren 600 kann durch den Sprachassistenten 110, den Server 105 und/oder das elektronische Gerät 125 ausgeführt werden. Zudem kann das Verfahren 600 durch die Prozessoren des Sprachassistenten 110 und/oder des Servers 105 ausgeführt werden.
-
Das Verfahren 600 beginnt, und bei einer Ausführungsform fragt 605 der Prozessor 405 den Benutzer nach einem Display 120, an dem er die visuellen Informationen 260 präsentieren soll. Beispielsweise kann der Prozessor 405 fragen 605 „Ich habe visuelle Informationen. Bitte geben Sie ein Display an, um die visuellen Informationen zu empfangen.” Zudem kann der Prozessor 405 Anweisungen zum Angeben des Displays 120 mitteilen. Beispielsweise kann der Prozessor 405 mitteilen, dass der Benutzer eine Kopplungsfunktion an dem elektronischen Gerät 125 aktiviert.
-
Bei einer Ausführungsform kann der Prozessor 405 fragen 605, dass der Benutzer angibt, ob ein Display 120, das in der Vergangenheit von dem Sprachassistenten 110 verwendet wurde, verwendet werden soll, um die visuellen Informationen 260 zu präsentieren. Beispielsweise kann der Prozessor 405 fragen 605 „Ich habe visuelle Informationen. Soll ich die visuellen Informationen auf Ihrem Telefon präsentieren?” Die Display-Adresse 220 kann die logische Adresse, die Anschlussadresse, einen Berechtigungsnachweis des elektronischen Gerätes und andere Informationen für ein Display 120, das in der Vergangenheit verwendet wurde, in der Display-Adresse 220 speichern.
-
Der Prozessor 405 kann den Benutzer fragen 605, ein Display 120 vorzuschlagen, auf dem die visuellen Informationen 260 zu präsentieren sind. Beispielsweise kann der Prozessor 405 fragen 605 „Ich habe visuelle Informationen. Wo soll ich die visuellen Informationen präsentieren?”
-
Der Prozessor 405 kann bestimmen 610, ob eine Display-Angabe des Benutzers von dem Benutzer empfangen wird. Die Display-Angabe des Benutzers kann die Aktivierung einer Kopplungsfunktion an dem elektronischen Gerät 125 sein. Alternativ kann die Display-Angabe des Benutzers ein hörbarer Befehl 205 sein, der ein elektronisches Gerät 125 und/oder ein Display 120 identifiziert. Beispielsweise kann die Display-Angabe des Benutzers der Ausdruck „auf meinem Telefon” sein, der die Gerätekennung „Telefon” umfasst. Der Prozessor 405 kann als Reaktion auf die Gerätekennung „Telefon” ein elektronisches Mobiltelefon-Gerät 125 identifizieren.
-
Zudem kann die Display-Angabe des Benutzers eine positive Antwort auf einen Vorschlag sein, ein Display 120 zu verwenden, welches in der Vergangenheit verwendet wurde. Beispielsweise kann der Benutzer auf die Frage „Ich habe visuelle Informationen. Soll ich die visuellen Informationen auf Ihrem Telefon präsentieren?” mit „Ja” antworten. Der Prozessor 405 kann unter Verwendung der Gerätekennung „Telefon” das elektronische Mobiltelefon-Gerät 125 identifizieren.
-
Falls die Display-Angabe des Benutzers empfangen wird, bestimmt der Prozessor 620, ob das Display 120, das durch die Anzeige-Angabe des Benutzers angegeben wird, zugänglich ist, wie es nachstehend beschrieben wird. Falls keine Display-Angabe des Benutzers empfangen wird, identifiziert 615 der Prozessor 405 ein sichtbares Display 120.
-
Der Prozessor 405 kann ein sichtbares Display 120, identifizieren 615, falls das Display 120 in einem sichtbaren Radius des Benutzers liegt. Bei einer Ausführungsform wird der Standort des Displays 120 aus der Stärke der Kommunikationen zwischen dem elektronischen Gerät 125, welches das Display 120 hostet, und dem Sprachassistenten 110 und/oder dem Netzwerk 115 bestimmt. Zudem kann der Prozessor 405 ein sichtbares Display 120 identifizieren, falls der Benutzer von der Kamera 145 des elektronischen Gerätes 125, welches das Display 120 hostet, identifiziert werden kann.
-
Der Prozessor 405 kann bestimmen 620, ob das Display 120, das durch die Display-Angabe des Benutzers angegeben wird und/oder als sichtbares Display 120 identifiziert wird, zugänglich ist. Bei einer Ausführungsform bestimmt 620 der Prozessor 405, ob die Display-Adresse 220 Informationen zum Zugreifen auf das elektronische Gerät 125, welches das Display 120 hostet, umfasst.
-
Alternativ kann der Prozessor 405 das elektronische Gerät 125, welches das Display hostet, befragen. Der Prozessor 405 kann die Display-Adresse 220 für das elektronische Gerät 125 unter Verwendung von Informationen generieren, die als Reaktion auf die Anfrage empfangen werden. Bei einer Ausführungsform ist das Display 120 zugänglich, falls das elektronische Gerät 125, welches das Display 120 hostet, den Berechtigungsnachweis ds elektronischen Gerätes bereitstellt.
-
Falls das Display 120 nicht zugänglich ist, dann ist das Verfahren 600 beendet. Falls das Display 120 zugänglich ist, kann der Prozessor 405 das zugängliche Display 120 identifizieren, und das Verfahren ist beendet. Bei einer Ausführungsform wird eine Vielzahl von zugänglichen Displays 120 identifiziert und dem Benutzer in dem Menü präsentiert. Der Benutzer kann eines der zugänglichen Displays 120 auswählen, und das ausgewählte Display 120 wird als zugängliches Display 120 identifiziert 625.
-
5C ist ein schematisches Ablaufschema, das eine Ausführungsform eines Verfahrens 700 zum Auswählen visueller Informationen abbildet. Das Verfahren 700 kann bestimmen, ob visuelle Informationen 260 als Reaktion auf den hörbaren Befehl 205 zu zeigen sind. Zudem kann das Verfahren 700 den Schritt 515 aus 5A ausführen. Das Verfahren 700 kann durch den Sprachassistenten 110, den Server 105 und/oder das elektronische Gerät 125 ausgeführt werden. Zudem kann das Verfahren 700 durch die Prozessoren des Sprachassistenten 110 und/oder des Servers 105 ausgeführt werden.
-
Das Verfahren 700 beginnt, und bei einer Ausführungsform bestimmt 705 der Prozessor 405, ob ein visueller Anfrageaufruf 210 durch den Sprachassistenten 110 empfangen wird. Falls der visuelle Anfrageaufruf 210 empfangen wird, kann der Prozessor 405 visuelle Informationen 260 als Reaktion auf den hörbaren Befehl 205 zeigen 725, und das Verfahren 700 ist beendet. Bei einer Ausführungsform berechnet der Prozessor 405 eine Antwort 215 auf den hörbaren Befehl 205, welche visuelle Informationen 260 umfasst.
-
Falls kein visueller Anfrageaufruf 210 empfangen wird, kann der Prozessor 405 eine Vielzahl von Antworten 215 auf den hörbaren Befehl 205 berechnen. Der Prozessor 405 kann die Vielzahl von Antworten 215 berechnen, wie in Schritt 510 aus 5A beschrieben.
-
Der Prozessor 405 kann ferner die Vielzahl von Antworten durch das Berechnen der Antworteinstufungen 255 für jede Antwort 215 einstufen 715. Jede Antworteinstufung 255 kann als Funktion des hörbaren Befehls 205 und/oder der Antwort 215 berechnet werden.
-
Der Prozessor 405 kann bestimmen 720, ob die am höchsten eingestufte Antwort 215 auf den hörbaren Befehl 205 visuelle Informationen 260 umfasst. Falls die am höchsten eingestufte Antwort 215 auf den hörbaren Befehl 205 visuelle Informationen 260 umfasst, kann der Prozessor 405 bestimmen, die am höchsten eingestufte Antwort 215 und die visuellen Informationen 260 zu zeigen, und das Verfahren 700 ist beendet. Falls die am höchsten eingestufte Antwort 215 auf den hörbaren Befehl 205 keine visuellen Informationen 260 umfasst, ist das Verfahren 700 beendet. Zudem kann der Prozessor 405 dem Benutzer die hörbaren Informationen für die am höchsten eingestufte Antwort 215 präsentieren.
-
Die Ausführungsformen bestimmen, visuelle Informationen als Reaktion auf einen hörbaren Befehl 205 von einem Benutzer zu zeigen. Die Ausführungsformen können bestimmen, die visuellen Informationen 260 zu zeigen, falls eine geeignete Antwort 215 die visuellen Informationen 260 umfasst. Die Bestimmung, die visuellen Informationen 260 zu zeigen, kann deshalb erfolgen, weil eine Antwort 215 mit visuellen Informationen 260 am höchsten eingestuft ist. Alternativ kann die Bestimmung, die visuellen Informationen 260 zu zeigen, als Reaktion auf einen visuellen Anfrageaufruf 210 erfolgen.
-
Die Ausführungsformen identifizieren ferner ein Display 120, welches der Benutzer betrachten kann und auf das über die Kommunikations-Hardware 415 des Sprachassistenten 110 zugegriffen werden kann. Dem Sprachassistent 110 fehlt ein systemeigenes Display 120, so dass die Verwendung eines Displays 120 notwendig ist, das von einem anderen elektronischen Gerät 125 gehostet wird. Die Ausführungsformen präsentieren die visuellen Informationen 260 auf dem Display 120 des elektronischen Gerätes 125 über die Kommunikations-Hardware 415, wodurch der Benutzer die visuellen Informationen 216 als Reaktion auf den hörbaren Befehl 205 empfangen kann.
-
Die Ausführungsformen können in anderen spezifischen Formen umgesetzt werden. Die beschriebenen Ausführungsformen sind in jeder Hinsicht als rein exemplarisch und nicht als einschränkend anzusehen. Der Umfang der Erfindung wird daher durch die beiliegenden Ansprüche anstatt durch die vorstehende Beschreibung angegeben. Alle Änderungen, die unter die Bedeutung und in den Bereich der Gleichwertigkeit der Ansprüche fallen, sollen in ihrem Umfang enthalten sein.
