DE112014000709B4 - Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten - Google Patents

Abstract

Verfahren zum Betrieb eines Sprach-Triggers, das in einer elektronischen Vorrichtung (104) durchgeführt wird, die einen oder mehrere Prozessoren (204) und einen Speicher (250) umfasst, der Anweisungen zum Ausführen durch den einen oder die mehreren Prozessoren (104) speichert, das Verfahren umfassend:Bestimmen, basierend auf einem Vergleichen einer durch einen Lichtdetektor erkannten Lichtmenge mit einer Schwellenwert-Lichtmenge, ob der Betrieb des Sprach-Triggers in einem Standby-Modus oder in einem Zuhörmodus (608) erfolgen soll;in Übereinstimmung mit einem Bestimmen, dass der Betrieb des Sprach-Triggers in dem Zuhörmodus (608) erfolgen soll:Empfangen (502) einer Toneingabe;Bestimmen (506), ob wenigstens ein Teil der Toneingabe einem vorbestimmten Tontyp entspricht;auf das Bestimmen, dass wenigstens ein Teil der Toneingabe dem vorbestimmten Tontyp entspricht, Bestimmen (510), ob die Toneingabe einen vorbestimmten Inhalt umfasst; undauf das Bestimmen, dass die Toneingabe den vorbestimmten Inhalt umfasst, Initiieren (514) eines sprachbasierten Dienstes (408); undin Übereinstimmung mit einem Bestimmen, dass der Betrieb des Sprach-Triggers in dem Standby-Modus erfolgen soll, Verzichten auf das Initiieren des sprachbasierten Dienstes (408) basierend auf einer empfangenen Toneingabe.

Description

• Querverweis auf Verwandte Anmeldungen
• Diese Anmeldung beansprucht die Vorteile der am 7. Februar 2013 eingereichten vorläufigen US-Patentanmeldung Nr. 61/762,260 mit dem Titel „VOICE TRIGGER FOR A DIGITAL ASSISTANT“.
• Technischer Bereich
• Die offenbarten Implementierungen betreffen allgemein digitale Assistenten und genauer ein Verfahren und System für einen Sprach-Trigger für einen digitalen Assistenten.
• Hintergrund
• Vor kurzem wurden sprachbasierte digitale Assistenten wie SIRI von Apple auf dem Markt eingeführt, um verschiedene Aufgaben, wie die Suche und Navigation im Internet, zu übernehmen. Ein Vorteil eines solchen sprachbasierten digitalen Assistenten besteht darin, dass Benutzer freihändig mit einer Vorrichtung interagieren können, ohne die Vorrichtung handzuhaben oder sogar ohne auf diese zu blicken. Eine freihändige Bedienung kann besonders nützlich sein, wenn eine Person eine Vorrichtung nicht physisch bedienen kann oder soll, zum Beispiel während des Fahrens. Um den sprachbasierten Assistenten zu initiieren, müssen Benutzer jedoch üblicherweise eine Taste drücken oder ein Symbol auf einem Touchscreen auswählen. Diese taktile Eingabe beeinträchtigt die freihändige Bedienung. Demzufolge wäre es von Vorteil, ein Verfahren und ein System bereitzustellen, über das ein sprachbasierter digitaler Assistent (oder ein anderer sprachbasierter Service) nicht durch eine taktile Eingabe, sondern durch eine Spracheingabe oder ein Stimmsignal aktiviert wird.
• Zur Aktivierung eines sprachbasierten Assistenten durch eine Spracheingabe muss ein Audiokanal überwacht werden, um die Spracheingabe zu erkennen.
• Bei dieser Überwachung wird Strom verbraucht, der bei Handvor-richtungen und tragbaren Vorrichtungen, die mit Akkus betrieben werden und auf denen diese sprachbasierten digitalen Assistenten häufig ausgeführt werden, eine eingeschränkte Ressource darstellt. Es wäre somit nützlich, einen energieeffizienten Sprach-Trigger bereitzustellen, der zur Initiierung von sprach- und/oder stimmbasierten Diensten auf einer Vorrichtung verwendet werden kann.
• Das Dokument US 6 070 140 A ist auf ein System zur Spracherkennung gerichtet. Das dort offenbarte Computersystem verfügt über einen Power-Down-Modus, um Energie zu sparen. Das Computersystem enthält einen Sprachwandler zum Erfassen von Sprache, einen mit dem Sprachwandler gekoppelten energiesparenden Einschaltindikator, wobei der Einschaltindikator Sprache erkennt, die auf den Sprachwandler gerichtet ist und ein Aufwecksignal an einen ausgeschalteten Prozessor abgibt, und einen Spracherkenner, der mit dem Sprachwandler und dem Aufwecksignal gekoppelt ist, wobei der Spracherkenner aus dem Ausschaltmodus aufwacht, wenn das Aufwecksignal abgegeben wird.
• Das Dokument JP H10 - 312 194 A ist ebenfalls auf ein System zur Spracherkennung gerichtet, wobei zur Reduzierung der Stromaufnahme zunächst unterschieden wird, ob es sich bei einem erkannten Geräusch um eine menschliche Stimme handelt, um erst dann den Spracherkennungsprozess zu starten
• Zusammenfassung
• Demzufolge besteht ein Bedarf an einem Sprach-Trigger mit niedrigem Stromverbrauch, der eine kontinuierliche Hörfunktionalität bereitstellt, ohne die eingeschränkten Stromressourcen zu stark in Anspruch zu nehmen. Die nachfolgend beschriebenen Implementierungen stellen Systeme und Verfahren zur Initiierung eines sprachbasierten Assistenten unter Verwendung eines Sprach-Triggers auf einem elektronischen Gerät bereit. Interaktionen mit einem sprachbasierten digitalen Assistenten (oder anderen sprachbasierten Diensten wie einem Dienst zur Übertragung von Sprache in Text) beginnen häufig, wenn ein Benutzer eine Affordanz (z. B. eine Taste oder ein Symbol) auf einem Gerät drückt, um den digitalen Assistenten zu aktivieren, woraufhin das Gerät dem Benutzer zum Beispiel durch ein Licht, einen Ton (z. B. einen Piepton) oder eine Sprachausgabe (z. B.: „Was soll ich tun?“) anzeigt, dass der digitale Assistent aktiv und im Hörmodus ist. Wie hierin beschrieben, können Sprach-Trigger auch so umgesetzt werden, dass sie als Reaktion auf ein bestimmtes, vorher festgelegtes Wort und ohne das Erfordernis der physischen Interaktion durch den Benutzer aktiviert werden. Zum Beispiel kann ein Benutzer einen digitalen Assistenten SIRI auf einem IPHONE (beide bereitgestellt von Apple Inc., dem Anmelder der vorliegenden Anmeldung) aktivieren, indem er den Satz „Hey, SIRI“ sagt. Als Reaktion darauf gibt das Gerät einen Piepton, einen Ton oder eine Sprachausgabe (z. B.: „Was soll ich tun?“) aus, wodurch dem Benutzer angezeigt wird, dass der Hörmodus aktiv ist. Dementsprechend kann der Benutzer eine Interaktion mit dem digitalen Assistenten initiieren, ohne das Gerät, das die Funktionalität des digitalen Assistenten bereitstellt, physisch berühren zu müssen.
• Eine Technik für die Initiierung eines sprachbasierten Dienstes mit einem Sprach-Trigger besteht darin, dass der sprachbasierte Dienst kontinuierlich im Hörmodus ist und auf ein vorher festgelegtes Auslöserwort, einen Auslösersatz oder einen Auslöserton (jedes dieser Elemente kann hier als „Auslöserton“ bezeichnet werden) wartet. Ein kontinuierlicher Betrieb des sprachbasierten Dienstes (z. B. des sprachbasierten digitalen Assistenten) erfordert jedoch eine erhebliche Audioverarbeitungs- und Akkuleistung. Um den durch die Bereitstellung einer Sprach-Triggerfunktionalität verbrauchten Strom zu reduzieren, können verschiedene Techniken angewendet werden. Bei einigen Ausführungen wird der Hauptprozessor einer elektronischen Vorrichtung (d. h. ein „Anwendungsprozessor“) in einem Zustand mit niedrigem oder ohne Stromverbrauch gehalten, während ein oder mehrere Ton-Detektoren, die weniger Strom verwenden (z. B., weil sie nicht vom Anwendungsprozessor abhängen), aktiv bleiben. (Wenn sich ein Anwendungsprozessor oder ein anderer Prozessor oder ein anderes Programm oder Modul in einem Zustand mit niedrigem oder ohne Stromverbrauch befindet, kann er bzw. es als inaktiv oder als in einem Standby-Modus befindlich beschrieben werden.) Zum Beispiel wird ein Ton-Detektor mit niedrigem Stromverbrauch verwendet, um einen Audiokanal auf einen Auslöserton zu überwachen, selbst wenn der Anwendungsprozessor inaktiv ist. Dieser Ton-Detektor wird hierin gelegentlich als AuslöserTon-Detektor bezeichnet. Bei einigen Ausführungen wird dieser so konfiguriert, dass er bestimmte Töne, Phoneme und/oder Wörter erkennt. Der AuslöserTon-Detektor (einschließlich Hardware- und/oder Softwarekomponenten) ist für die Erkennung bestimmter Wörter, Töne oder Sätze ausgelegt, aber er ist allgemein nicht dazu in der Lage oder dafür optimiert, eine vollständige Funktionalität zur Übertragung von Sprache in Text bereitzustellen, weil diese Aufgaben höhere Rechner- und Stromressourcen erfordern. Somit erkennt der AuslöserTon-Detektor bei einigen Ausführungen, ob eine Spracheingabe ein vorher festgelegtes Muster (z. B. ein Schallmuster entsprechend den Wörtern „Hey, SIRI“) einschließt, aber er ist nicht dazu in der Lage (oder nicht dafür konfiguriert), die Spracheingabe in Text umzuwandeln oder eine große Menge anderer Wörter zu erkennen. Nachdem der Auslöserton erkannt wurde, wird der digitale Assistent aus einem Standby-Modus aktiviert, so dass der Benutzer einen Sprachbefehl erteilen kann.
• Bei einigen Implementierungen ist der AuslöserTon-Detektor so konfiguriert, dass er mehrere verschiedene Auslösertöne, wie eine Gruppe von Wörtern, Sätzen, Tönen und/oder Kombinationen davon zu erkennen. Der Benutzer kann dann jeden dieser Töne verwenden, um den sprachbasierten Dienst zu initiieren. In einem Beispiel ist ein Sprach-Trigger vorkonfiguriert, um auf die Sätze „Hey, SIRI“, „Wake up, SIRI“, „Invoke my digital assistant“ oder „Hello, HAL, do you read me, HAL?“ zu antworten. Bei einigen Ausführungen muss der Benutzer einen der vorkonfigurierten Auslösertöne als den alleinigen Auslöserton auswählen. Bei einigen Ausführungen wählt der Benutzer eine Teilmenge der vorkonfigurierten Auslösertöne aus, sodass der Benutzer den sprachbasierten Dienst mit verschiedenen Auslösertönen initiieren kann. Bei einigen Ausführungen bleiben alle der vorkonfigurierten Auslösertöne gültige Auslösertöne.
• Bei einigen Ausführungen wird ein anderer Ton-Detektor verwendet, so dass sogar der AuslöserTon-Detektor lange Zeit in einem Modus mit niedrigem oder ohne Stromverbrauch gehalten werden kann. Zum Beispiel wird ein anderer Typ von Ton-Detektor (z. B. ein Typ, der weniger Strom als der AuslöserTon-Detektor verwendet) zur Überwachung eines Audiokanals verwendet, um zu bestimmen, ob die Toneingabe einem bestimmten Tontyp entspricht. Töne sind basierend auf bestimmten identifizierbaren Eigenschaften der Töne als verschiedene „Typen“ kategorisiert. Zum Beispiel haben Töne des Typs „menschliche Stimme“ bestimmte Spektralinhalte, eine bestimmte Periodizität, bestimmte Grundfrequenzen usw. Andere Tontypen (z. B. Pfiffe oder Händeklatschen) haben andere Eigenschaften. Töne verschiedener Typen werden wie hierin beschrieben, unter Verwendung von Techniken zur Audio- und/oder Signalverarbeitung identifiziert. Dieser Ton-Detektor wird hier gelegentlich als „Schalltypwächter“ bezeichnet. Wenn zum Beispiel ein vorher festgelegter Auslösersatz „Hey, SIRI“ lautet, bestimmt der Schalltypwächter, ob die Eingabe wahrscheinlich menschlicher Sprache entspricht. Wenn der Auslöserton kein Sprachton ist wie ein Pfiff, bestimmt der Schalltypwächter, ob eine Toneingabe wahrscheinlich einem Pfiff entspricht. Wenn der entsprechende Tontyp erkannt wird, initiiert der Schalltypwächter den AuslöserTon-Detektor zur weiteren Verarbeitung und/oder Analyse des Tons. Da der Schalltypwächter weniger Strom als der AuslöserTon-Detektor erfordert (z. B. weil er Schaltungen mit niedrigerem Strombedarf und/oder effizienteren Algorithmen für die Audioverarbeitung als die Schaltungen des AuslöserTon-Detektors verwendet), verbraucht die Sprach-Triggerfunktionalität außerdem sogar weniger Strom, als wenn nur ein AuslöserTon-Detektor verwendet würde.
• Bei einigen Ausführungen wird noch ein anderer Ton-Detektor verwendet, so dass sowohl der oben beschriebene Schalltypwächter als auch der oben beschriebene AuslöserTon-Detektor lange Zeit in einem Modus mit niedrigem oder ohne Stromverbrauch gehalten werden können. Zum Beispiel wird ein Ton-Detektor, der weniger Strom als der Schalltypwächter verwendet, zur Überwachung eines Audiokanals verwendet, um festzulegen, ob eine Toneingabe eine vorher festgelegte Bedingung wie einen Amplitudenschwellenwert (z. B. Volumen) erfüllt. Dieser Ton-Detektor wird hierin möglicherweise als „Geräuschwächter“ bezeichnet. Wenn der Geräuschwächter einen Ton erkennt, der den vorher festgelegten Schwellenwert erfüllt, initiiert der Geräuschwächter den Schalltypwächter zur weiteren Verarbeitung und/oder Analyse des Tons. Da der Geräuschwächter weniger Strom als der Schalltypwächter oder der AuslöserTon-Detektor erfordert (z. B. weil er Schaltungen mit niedrigerem Strombedarf und/oder effizienteren Algorithmen für die Audioverarbeitung verwendet), verbraucht die Sprach-Triggerfunktionalität außerdem sogar weniger Strom, als wenn die Kombination aus dem Schalltypwächter und dem AuslöserTon-Detektor ohne den Geräuschwächter verwendet würde.
• Bei einigen Ausführungen werden ein oder mehrere der oben beschriebenen Ton-Detektoren anhand eines Einschaltzyklus betrieben, in dem sie zwischen dem Status „Ein“ und „Aus“ umgeschaltet werden. Dies trägt weiter zur Reduzierung des Stromverbrauchs des Sprach-Triggers bei. Zum Beispiel ist der Geräuschwächter bei einigen Ausführungen 10 Millisekunden lang „ein“ (d. h. er überwacht einen Audiokanal aktiv) und die nachfolgenden 90 Millisekunden lang „aus“. Auf diese Weise ist der Geräuschwächter 90 % der Zeit „aus“, stellt dabei aber weiterhin effektiv eine kontinuierliche Geräuscherkennungsfunktionalität bereit. Bei einigen Ausführungen werden die Ein- und Ausschaltdauer der Ton-Detektor so ausgewählt, dass alle Wächter aktiviert sind, während der Auslöserton noch eingegeben wird. Zum Beispiel können die Ton-Detektor für einen Auslösersatz „Hey, SIRI“ so konfiguriert sein, dass der AuslöserTon-Detektor unabhängig vom Zeitpunkt innerhalb der Einschaltzyklen, zu dem der Auslösersatz beginnt, rechtzeitig aktiviert wird, um eine ausreichende Eingabemenge analysieren zu können. Zum Beispiel wird der AuslöserTon-Detektor rechtzeitig aktiviert, um die Töne „ay SIRI“ zu empfangen, zu verarbeiten und zu analysieren, was ausreicht, um zu festzustellen, ob die Töne dem Auslösersatz entsprechen. Bei einigen Ausführungen werden Toneingaben im Speicher gespeichert, wenn sie empfangen und zu einem nachgeschalteten Wächter weitergeleitet werden, so dass ein größerer Teil der Toneingabe analysiert werden kann. Dementsprechend kann der AuslöserTon-Detektor selbst dann, wenn er erst initiiert wird, nachdem ein Auslösersatz ausgesprochen wurde, dennoch den vollständigen aufgezeichneten Auslösersatz analysieren.
• Einige Ausführungen stellen ein Verfahren für den Betrieb eines Sprach-Triggers bereit. Das Verfahren wird in einem elektronischen Gerät mit einem oder mehreren Prozessoren und Speicher, auf dem Anweisungen für die Ausführung durch einen oder mehrere Prozessoren gespeichert sind, durchgeführt. Das Verfahren beinhaltet den Empfang einer Toneingabe. Das Verfahren beinhaltet ferner die Festlegung, ob wenigstens ein Teil der Toneingabe einem vorher festgelegten Tontyp entspricht. Das Verfahren beinhaltet ferner die Festlegung, ob die Toneingabe zuvor festgelegte Inhalte einschließt, nachdem festgestellt wurde, dass wenigstens ein Teil der Toneingabe dem zuvor festgelegten Typ entspricht. Das Verfahren beinhaltet ferner die Initiierung eines sprachbasierten Dienstes, nachdem festgelegt wurde, dass die Toneingabe die vorher festgelegten Inhalte einschließt. Bei einigen Ausführungen ist der sprachbasierte Dienst ein sprachbasierter digitaler Assistent. Bei einigen Ausführungen ist der sprachbasierte Dienst ein Diktierdienst.
• Bei einigen Ausführungen wird die Festlegung, ob die Toneingabe einem vorher festgelegten Tontyp entspricht, von einem ersten Ton-Detektor durchgeführt und die Festlegung, ob die Toneingabe zuvor festgelegte Inhalte einschließt, wird von einem zweiten Ton-Detektor durchgeführt. Bei einigen Ausführungen verbraucht der erste Ton-Detektor im Betrieb weniger Strom als der zweite Ton-Detektor. Bei einigen Ausführungen führt der erste Ton-Detektor eine Analyse der Frequenzdomäne der Toneingabe durch. Bei einigen Ausführungen wird die Festlegung, ob die Toneingabe dem zuvor festgelegten Tontyp entspricht, durchgeführt, nachdem festgelegt wurde, dass die Toneingabe eine zuvor festgelegte Bedingung erfüllt (z. B. anhand der Festlegung eines dritten Ton-Detektors, wie weiter unten erörtert).
• Bei einigen Ausführungen überwacht der erste Ton-Detektor periodisch anhand eines Einschaltzyklus einen Audiokanal. Bei einigen Ausführungen beinhaltet der Einschaltzyklus eine Einschaltzeit von etwa 20 Millisekunden und eine Ausschaltzeit von etwa 100 Millisekunden.
• Bei einigen Ausführungen ist der vorher festgelegte Typ eine menschliche Stimme und die zuvor festgelegten Inhalte bestehen aus ein oder mehreren Wörtern. Bei einigen Ausführungen beinhaltet die Festlegung, ob wenigstens ein Teil der Toneingabe dem vorher festgelegten Tontyp entspricht, die Festlegung, ob wenigstens ein Teil der Toneingabe Frequenzen umfasst, die für eine menschliche Stimme charakteristisch sind.
• Bei einigen Ausführungen wird der zweite Ton-Detektor als Reaktion auf eine vom ersten Ton-Detektor durchgeführte Festlegung, dass die Toneingabe dem vorher festgelegten Typ entspricht, initiiert. Bei einigen Ausführungen wird der zweite Ton-Detektor wenigstens für eine vorher festgelegte Dauer betrieben, nachdem vom ersten Ton-Detektor festgelegt wurde, dass die Toneingabe dem vorher festgelegten Typ entspricht. Bei einigen Ausführungen entspricht die vorher festgelegte Dauer einer Dauer der vorher festgelegten Inhalte.
• Bei einigen Ausführungen sind die vorher festgelegten Inhalte ein oder mehrere zuvor festgelegte Phoneme. Bei einigen Ausführungen bilden ein oder mehrere vorher festgelegte Phoneme wenigstens ein Wort.
• Bei einigen Ausführungen beinhaltet das Verfahren eine vor der Festlegung, ob die Toneingabe einem zuvor festgelegten Tontyp entspricht, und bestimmen, ob die Toneingabe eine vorher festgelegte Bedingung erfüllt. Bei einigen Ausführungen ist die vorher festgelegte Bedingung ein Amplitudenschwellenwert. Bei einigen Ausführungen wird die Festlegung, ob die Toneingabe eine vorher festgelegte Bedingung erfüllt, von einem dritten Ton-Detektor durchgeführt, wobei der dritte Ton-Detektor im Betrieb weniger Strom verbraucht als der erste Ton-Detektor. Bei einigen Ausführungen überwacht der dritte Ton-Detektor anhand eines Einschalt-zyklus periodisch einen Audiokanal. Bei einigen Ausführungen beinhaltet der Einschaltzyklus eine Einschaltzeit von etwa 20 Millisekunden und eine Ausschaltzeit von etwa 500 Millisekunden. Bei einigen Ausführungen führt der dritte Ton-Detektor eine Analyse der Frequenzdomäne der Toneingabe durch.
• Bei einigen Ausführungen beinhaltet das Verfahren das Speichern von wenigstens einem Teil der Toneingabe im Speicher und das Bereitstellen des Teils der Toneingabe für den sprachbasierten Dienst, sobald der sprachbasierte Dienst initiiert wird. Bei einigen Ausführungen wird der Teil der Toneingabe mittels direktem Speicherzugriff im Speicher gespeichert.
• Bei einigen Ausführungen beinhaltet das Verfahren die Festlegung, ob die Toneingabe einer Stimme einem bestimmten Benutzer zugeordnet werden kann. Bei einigen Ausführungen wird der sprachbasierte Dienst initiiert, nachdem festgelegt wurde, dass die Toneingabe die vorher festgelegten Inhalte einschließt und die Toneingabe der Stimme eines bestimmten Benutzers zugeordnet werden kann. Bei einigen Ausführungen wird der sprachbasierte Dienst in einem Modus mit eingeschränktem Zugriff initiiert, nachdem festgelegt wurde, dass die Toneingabe die vorher festgelegten Inhalte einschließt und die Toneingabe nicht der Stimme eines bestimmten Benutzers zugeordnet werden kann. Bei einigen Ausführungen beinhaltet das Verfahren die Ausgabe einer Sprachmeldung mit dem Namen des bestimmten Benutzers, nachdem festgelegt wurde, dass die Toneingabe der Stimme eines bestimmten Benutzers zugeordnet werden kann.
• Bei einigen Ausführungen beinhaltet die Festlegung, ob die Toneingabe vorher festgelegte Inhalte einschließt, das Vergleichen einer Wiedergabe der Toneingabe mit einer Referenzwiedergabe sowie die Festlegung, dass die Ton-eingabe die vorher festgelegten Inhalte einschließt, wenn die Wiedergabe der Toneingabe mit der Referenzwiedergabe übereinstimmt. Bei einigen Ausführungen wird eine Übereinstimmung festgelegt, wenn die Wiedergabe der Toneingabe mit einer vorher festgelegten Wahrscheinlichkeit mit der Referenzwiedergabe über-einstimmt. Bei einigen Ausführungen beinhaltet das Verfahren den Empfang einer Vielzahl von Toneingaben, einschließlich der Toneingabe, sowie das iterative Anpassen der Referenzwiedergabe unter Verwendung entsprechender Wieder-gaben aus einer Vielzahl von Toneingaben als Reaktion auf die Festlegung, dass die entsprechenden Toneingaben die vorher festgelegten Inhalte einschließen.
• Bei einigen Ausführungen beinhaltet das Verfahren die Festlegung, ob sich das elektronische Gerät in einer vorher festgelegten Ausrichtung befindet, und nach einer Prüfung, ob sich die elektronische Vorrichtung in der vorher festgelegten Ausrichtung befindet, das Aktivieren eines vorher festgelegten Modus des Sprach-auslösers. Bei einigen Ausführungen entspricht die vorher festgelegte Ausrichtung einem im Wesentlichen horizontal ausgerichteten und nach unten weisenden Bildschirm des Geräts und der vorher festgelegte Modus ist ein Standby-Modus. Bei einigen Ausführungen entspricht die vorher festgelegte Ausrichtung einem im Wesentlichen horizontal ausgerichteten und nach oben weisenden Bildschirm des Geräts, und der vorher festgelegte Modus ist ein Hörmodus.
• Einige Ausführungen stellen ein Verfahren für den Betrieb eines Sprach-Triggers bereit. Das Verfahren wird mit einem elektronischen Gerät mit einem oder mehreren Prozessoren und Speicher, auf dem Anweisungen für die Ausführung durch einen oder mehrere Prozessoren gespeichert sind, durchgeführt. Das Verfahren beinhaltet den Betrieb eines Sprach-Triggers in einem ersten Modus. Das Verfahren beinhaltet ferner die Festlegung, ob sich das elektronische Gerät in einem im Wesentlichen geschlossenen Raum befindet, indem erkannt wird, dass eines oder mehrere der Elemente Mikrofon und Kamera des elektronischen Geräts verschlossen sind. Das Verfahren beinhaltet ferner das Umschalten des Sprach-auslösers in einen zweiten Modus, nachdem festgelegt wurde, dass sich das elektronische Gerät in einem wesentlich geschlossenen Raum befindet. Bei einigen Ausführungen ist der zweite Modus ein Standby-Modus.
• Einige Ausführungen stellen ein Verfahren für den Betrieb eines Sprach-Triggers bereit. Das Verfahren wird in einem elektronischen Gerät mit einem oder mehreren Prozessoren und Speicher, auf dem Anweisungen für die Ausführung durch einen oder mehrere Prozessoren gespeichert sind, durch-geführt. Das Verfahren beinhaltet die Festlegung, ob sich das elektronische Gerät in einer vorher festgelegten Ausrichtung befindet, und nach der Prüfung, ob sich das elektronische Gerät in der vorher festgelegten Ausrichtung befindet, das Aktivieren eines vorher festgelegten Modus eines Sprach-Triggers. Bei einigen Ausführungen entspricht die vorher festgelegte Ausrichtung einem im Wesentlichen horizontal ausgerichteten und nach unten weisenden Bildschirm des Geräts, und der vorher festgelegte Modus ist ein Standby-Modus. Bei einigen Ausführungen entspricht die vorher festgelegte Ausrichtung einem im Wesentlichen horizontal ausgerichteten und nach oben weisenden Bildschirm des Geräts, und der vorher festgelegte Modus ist ein Hörmodus.
• Gemäß einigen Auslegungen beinhaltet ein elektronisches Gerät ein Tonempfangsgerät, das für den Empfang von Toneingaben konfiguriert ist sowie ein an das Tonempfangsgerät gekoppeltes Verarbeitungsgerät. Das Verarbeitungsgerät ist dafür konfiguriert festzulegen, ob wenigstens ein Teil der Toneingabe einem vorher festgelegten Tontyp entspricht; nachdem festgelegt wurde, dass wenigstens ein Teil der Toneingabe einem vorher festgelegten Tontyp entspricht, festzulegen, das die Toneingabe vorher festgelegte Inhalte einschließt; und die Toneingabe vorher festgelegte Inhalte einschließt, um einen sprachbasierten Dienst zu initiieren. Bei einigen Ausführungen ist die Verarbeitungseinheit ferner dafür konfiguriert, vor der Festlegung, ob die Toneingabe einem vorher festgelegten Tontyp entspricht, festzulegen, ob die Toneingabe eine vorher festgelegte Bedingung erfüllt. Bei einigen Ausführungen ist das Verarbeitungsgerät ferner dafür konfiguriert, festzulegen, ob die Toneingabe einer Stimme einem bestimmten Benutzer zugeordnet werden kann.
• Gemäß einigen Ausführungen beinhaltet ein elektronisches Gerät eine Sprach-Triggereinheit, die für den Betrieb eines Sprach-Triggers in einem ersten Modus von einer Vielzahl von Modi konfiguriert ist, sowie ein an die Sprach-Trigger-einheit gekoppeltes Verarbeitungsgerät. Bei einigen Ausführungen ist das Verarbeitungsgerät dafür konfiguriert: festzulegen, ob sich das elektronische Gerät in einem im Wesentlichen geschlossenen Raum befindet, indem erkannt wird, dass eines oder mehrere der Elemente Mikrofon und Kamera des elektronischen Geräts verschlossen sind, und nach Erkennung, dass sich das elektronische Gerät in einem im Wesentlichen geschlossenen Raum befindet, den Sprach-Trigger in einen zweiten Modus umzuschalten. Bei einigen Ausführungen ist das Verarbeitungsgerät dafür konfiguriert, festzulegen, ob sich das elektronische Gerät in einer vorher festgelegten Ausrichtung befindet, um, nachdem erkannt wurde, dass sich das elektronische Gerät in der vorher festgelegten Ausrichtung befindet, einen vorher festgelegten Modus eines Sprach-Triggers zu aktivieren.
• Gemäß einigen Ausführungen wird ein computerlesbares Speichermedium (z. B. ein nicht flüchtiges computerlesbares Speichermedium) bereitgestellt, wobei auf dem computerlesbaren Speichermedium ein oder mehrere Programme für die Ausführung durch einen oder mehrere Prozessoren eines elektronischen Geräts gespeichert sind, wobei ein oder mehrere Programme Anweisungen für die Durchführung eines der hierin beschriebenen Verfahren enthalten.
• Gemäß einigen Ausführungen wird ein elektronisches Gerät (z. B. ein tragbares elektronisches Gerät) bereitgestellt, das die Mittel für die Durchführung eines der hierin beschriebenen Verfahren enthält.
• Gemäß einigen Ausführungen wird ein elektronisches Gerät (z. B. ein tragbares elektronisches Gerät) bereitgestellt, das ein Verarbeitungsgerät umfasst, das für die Durchführung eines der hierin beschriebenen Verfahren konfiguriert ist.
• Gemäß einigen Ausführungen wird ein elektronisches Gerät (z. B. ein tragbares elektronisches Gerät) bereitgestellt, das einen oder mehrere Prozessoren und Speicher, auf dem Anweisungen für die Ausführung durch einen oder mehrere Prozessoren gespeichert sind, umfasst, wobei ein oder mehrere Programme Anweisungen für die Durchführung eines der hierin beschriebenen Verfahren enthalten.
• Gemäß einigen Ausführungen wird ein informationsverarbeitendes Gerät zur Verwendung in einer elektronischen Vorrichtung bereitgestellt, wobei das informationsverarbeitende Gerät Mittel für die Durchführung eines der hierin beschriebenen Verfahren umfasst.
• Figurenliste
• 1 zeigt ein Blockdiagramm, das eine Umgebung veranschaulicht, in der ein digitaler Assistent in Übereinstimmung mit einigen Ausführungen betrieben wird.
• 2 zeigt ein Blockdiagramm, das ein Client-System des digitalen Assistenten gemäß einigen Ausführungen veranschaulicht.
• 3A zeigt ein Blockdiagramm, das ein eigenständiges System des digitalen Assistenten oder ein Serversystem des digitalen Assistenten gemäß einigen Ausführungen veranschaulicht.
• 3B zeigt ein Blockdiagramm, das die in 3A gezeigten Funktionen des digitalen Assistenten gemäß einigen Ausführungen veranschaulicht.
• 3C zeigt ein Netzwerkdiagramm, das einen Teil einer Ontologie gemäß einigen Ausführungen veranschaulicht.
• 4 zeigt ein Blockdiagramm, das Komponenten eines Sprach-Triggersystems gemäß einigen Ausführungen veranschaulicht.
• Die 5-7 zeigen Ablaufpläne, die Verfahren für den Betrieb eines Sprach-Triggersystems gemäß einigen Ausführungen veranschaulichen.
• 8-9 zeigen Funktionsblockdiagramme von elektronischen Geräten gemäß einigen Ausführungsformen.
• Gleiche Positionsnummern beziehen sich in den gesamten Zeichnungen auf entsprechende Teile.
• Beschreibung von Ausführungen
• 1 zeigt ein Blockdiagramm einer Betriebsumgebung 100 eines digitalen Assistenten gemäß einigen Ausführungen. Die Ausdrücke „digitaler Assistent“, „virtueller Assistent“, „intelligenter automatisierter Assistent“, „sprachbasierter digitaler Assistent“ oder „automatischer digitaler Assistent“ beziehen sich auf jedes Informationsverarbeitungssystem, das eine Eingabe in natürlicher Sprache in gesprochener und/oder Textform interpretiert, um eine Benutzerabsicht zu ermitteln (z. B., um einen Aufgabentyp zu identifizieren, der der Eingabe in natürlicher Sprache entspricht), und basierend auf der ermittelten Benutzerabsicht eine Aufgabe (z. B. eine Aufgabe, die dem identifizierten Aufgabentyp entspricht) durchführt. Um auf eine ermittelte Benutzerabsicht zu reagieren, kann das System zum Beispiel eine oder mehrere der folgenden Aktionen durchführen: Identifizieren eines Aufgaben-flusses mit Schritten und Parametern, die auf das Erreichen der ermittelten Benutzerabsicht ausgelegt sind (z. B. Identifizieren eines Aufgabentyps), Eingeben bestimmter Anforderungen aus der ermittelten Benutzerabsicht in den Aufgabenfluss, Ausführen des Aufgabenflusses durch Aufrufen von Programmen, Verfahren, Diensten, APIs oder dergleichen (z. B. Senden einer Anfrage an einen Dienstanbieter) und Generieren von Ausgabeantworten an den Benutzer in einer hörbaren (z. B. Sprache) und/oder visuellen Form.
• Besser gesagt kann ein System des digitalen Assistenten nach der Initiierung eine Benutzeranfrage wenigstens teilweise in der Form eines Befehls, einer Anfrage, einer Aussage, einer Erzählung und/oder einer Abfrage in natürlicher Sprache annehmen. Üblicherweise wird mit der Benutzeranfrage entweder eine informationelle Antwort oder die Durchführung einer Aufgabe durch das System des digitalen Assistenten angestrebt. Eine zufriedenstellende Antwort auf die Benutzeranfrage ist allgemein entweder die Bereitstellung der angeforderten informationellen Antwort, die Durchführung der angeforderten Aufgabe oder eine Kombination aus beiden. Zum Beispiel kann ein Benutzer dem System des digitalen Assistenten eine Frage stellen wie: „13“ Basierend auf dem aktuellen Standort des Benutzers kann der digitale Assistent antworten: „Sie sind in Central Park Nähe der West Gate.“ Der Benutzer kann auch die Durchführung einer Aufgabe anfordern, indem er zum Beispiel sagt: „Bitte lade meine Freunde zu der Geburtstagsfeier meiner Freundin nächste Woche ein“. Als Antwort kann der digitale Assistent die Anfrage durch das Generieren einer Stimmausgabe „Ja, sofort“ bestätigen und dann über die E-Mail-Adresse des Benutzers eine entsprechende Kalendereinladung an alle Freunde des Benutzers senden, die im elektronischen Adressbuch oder in der Kontaktliste des Benutzers angegeben sind. Es gibt zahlreiche andere Wege der Interaktion mit einem digitalen Assistenten, um Informationen oder die Durchführung verschiedener Aufgaben anzufordern. Zusätzlich zur Bereitstellung gesprochener Antworten und zur Durchführung programmierter Aktionen kann der digitale Assistent auch Antworten in anderen visuellen oder hörbaren Formen (z. B. als Text, Warnung, Musik, Video oder Animationen) bereitstellen.
• Wie in 1 gezeigt, wird ein System des digitalen Assistenten bei einigen Ausführungen gemäß einem Client-Server-Modell umgesetzt. Das System des digitalen Assistenten beinhaltet einen Client-seitigen Teil (z. B. 102a und 102b) (nachfolgend „Client des digitalen Assistenten (DA) 102“), der auf einer Benutzervorrichtung (z. B. 104a und 104b) ausgeführt wird und einen Server-seitigen Teil 106 (nachfolgend „Server des digitalen Assistenten (DA) 106“), der auf einem Serversystem 108 ausgeführt wird. Der DA-Client 102 kommuniziert mit dem DA-Server 106 über ein oder mehrere Netzwerke 110. Der DA-Client 102 stellt Client-seitige Funktionalitäten wie eine benutzergerichtete Eingabe- und Ausgabeverarbeitung und die Kommunikation mit dem DA-Server 106 bereit. Der DA-Server 106 stellt Server-seitige Funktionalitäten für eine beliebige Anzahl von DA-Clients 102 bereit, die sich auf einer entsprechenden Benutzervorrichtung 104 (auch als Client-Vorrichtung oder elektronische Vorrichtung bezeichnet) befinden.
• Bei einigen Ausführungen beinhaltet der DA-Server 106 eine Client-gerichtete E/A-Schnittstelle 112, ein oder mehrere Verarbeitungsmodule 114, Daten und Modelle 116, eine E/A-Schnittstelle zu externen Diensten 118, eine Foto- und Kennzeichnungsdatenbank 130 und ein Foto-Kennzeichnungsmodul 132. Die Client-gerichtete E/A-Schnittstelle unterstützt die Client-gerichtete Eingabe- und Ausgabeverarbeitung für den Server des digitalen Assistenten 106. Ein oder mehrere Verarbeitungsmodule 114 nutzen die Daten und Modelle 116, um die Absicht des Benutzers basierend auf einer Eingabe in natürlicher Sprache zu ermitteln und um Aufgaben basierend auf der ermittelten Benutzer-absicht durchzuführen. Die Foto- und Kennzeichnungsdatenbank 130 speichert Fingerabdrücke von digitalen Fotografien und optional digitale Fotografien selbst und die mit den digitalen Fotografien verknüpften Kennzeichnungen. Das Foto-Kennzeichnungsmodul 132 erstellt Kennzeichnungen, speichert Kennzeichnungen unter Verknüpfung mit Fotografien und/oder Fingerabdrücken, kennzeichnet automatisch Fotografien und verbindet Kennzeichnungen mit Stellen innerhalb von Fotografien.
• Bei einigen Ausführungen kommuniziert der DA-Server 106 mit externen Diensten 120 (z. B. Navigationsdienst(en) 122-1, Nachrichtendienst(en) 122-2, Informationsdienst(en) 122-3, Kalenderdienst 122-4, Telefondienst 122-5 oder Fotodienst(en) 122-6) über das/die Netzwerk(e) 110 für die Aufgabendurchführung oder die Informationserfassung. Die E/A-Schnittstelle zu den externen Diensten 118 unterstützt diese Kommunikationen.
• Beispiele für ein Benutzergerät 104 sind unter anderem ein Handheld-Computer, ein PDA (persönlicher digitaler Assistent), ein Tablet-Computer, ein Laptop-Computer, ein Desktop-Computer, ein Mobiltelefon, ein Smartphone, ein EGPRS-Mobiltelefon (Enhanced General Packet Radio Service), ein Mediaplayer, ein Navigationsgerät, eine Spielkonsole, ein Fernsehgerät, eine Fernbedienung oder eine Kombination aus zwei oder mehreren dieser Datenverarbeitungsgeräte oder andere geeignete Datenverarbeitungsgeräte. Mehr Details zum Benutzergerät 104 werden unter Bezugnahme auf ein exemplarisches Benutzergerät 104 bereitgestellt, das in 2 dargestellt ist.
• Beispiele des Kommunikationsnetzwerks/der Kommunikationsnetzwerke 110 sind LANs (Local Area Networks) und WANs (Wide Area Networks) wie das Internet. Die Kommunikationsnetzwerke 110 können unter Verwendung aller bekannten Netzwerkprotokolle, einschließlich verschiedener kabelgebundener oder kabelloser Protokolle wie Ethernet, USB (Universal Serial Bus), FIREWIRE, GSM (Global System for Mobile Communications), EDGE (Enhanced Data GSM Environment), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Wi-Fi, VoIP (Voice over Internet Protocol), Wi-MAX oder aller anderen geeigneten Kommunikationsprotokolle, umgesetzt werden.
• Das Serversystem 108 kann auf mindestens einem Datenverarbeitungs-gerät und/oder in einem verteilten Computernetzwerk umgesetzt werden. Bei einigen Ausführungen setzt das Serversystem 108 auch verschiedene virtuelle Geräte und/oder Dienste von externen Dienstanbietern (z. B. von externen Anbietern von Cloud-Diensten) ein, um die zugrunde liegenden Rechnerressourcen und/oder Infrastrukturressourcen des Serversystems 108 bereitzustellen.
• Auch wenn das in 1 gezeigte System des digitalen Assistenten sowohl einen Client-seitigen Teil (z. B. den DA-Client 102) als auch einen Server-seitigen Teil (z. B. den DA-Server 106) einschließt, bezieht sich das System des digitalen Assistenten bei einigen Ausführungen nur auf den Server-seitigen Teil (z. B. den DA-Server 106). Bei einigen Ausführungen können die Funktionen eines digitalen Assistenten als eigenständige Anwendung umgesetzt werden, die auf einem Benutzergerät installiert ist. Zusätzlich können die Aufteilungen von Funktionalitäten zwischen den Client- und Server-Teilen des digitalen Assistenten bei verschiedenen Ausführungen variieren. Zum Beispiel ist der DA-Client 102 bei einigen Ausführungen ein Thin-Client, der nur benutzergerichtete Funktionen der Eingabe- und Ausgabeverarbeitung bereitstellt und alle anderen Funktionalitäten des digitalen Assistenten auf den DA-Server 106 überträgt. Bei einigen anderen Ausführungen ist der DA-Client 102 dafür konfiguriert, eine oder mehrere Funktionen des DA-Servers 106 durchzuführen oder diese zu unterstützen.
• 2 zeigt ein Blockdiagramm eines Benutzergeräts 104 gemäß einigen Ausführungen. Das Benutzergerät 104 beinhaltet eine Speicherschnittstelle 202, einen oder mehrere Prozessoren 204 und eine Schnittstelle für Peripheriegeräte 206. Die verschiedenen Komponenten im Benutzergerät 104 sind über einen oder mehrere Kommunikationsbusse oder eine oder mehrere Signalleitungen gekoppelt. Dias Benutzergerät 104 beinhaltet verschiedene Sensoren, Subsysteme und Peripherie-geräte, die an die Schnittstelle für Peripheriegeräte 206 gekoppelt sind. Die Sensoren, Subsysteme und Peripheriegeräte sammeln Informationen und/oder unterstützen verschiedene Funktionalitäten des Benutzergeräts 104.
• Zum Beispiel sind bei einigen Ausführungen ein Bewegungssensor 210 (z. B. ein Beschleunigungsmesser), ein Lichtsensor 212, ein GPS-Empfänger 213, ein Temperatursensor und ein Näherungssensor 214 an die Schnittstelle für Peripheriegeräte 206 gekoppelt, um Funktionen für das Messen von Ausrichtung, Licht und Näherung zu unterstützen. Bei einigen Ausführungen sind andere Sensoren 216, wie ein biometrischer Sensor, ein Barometer und dergleichen mit der Schnittstelle für Peripheriegeräte 206 verbunden, um zugehörige Funktionalitäten zu unterstützen.
• Bei einigen Ausführungen beinhaltet das Benutzergerät 104 ein Kamerasubsystem 220, das an die Schnittstelle für Peripheriegeräte 206 gekoppelt ist. Bei einigen Ausführungen unterstützt ein optischer Sensor 222 des Kamerasubsystems 220 Kamerafunktionen, wie das Aufnehmen von Fotografien und das Aufzeichnen von Videoclips. Bei einigen Ausführungen beinhaltet das Benutzergerät 104 ein oder mehrere kabelgebundene und/oder kabellose Kommunikationssubsysteme 224, um Kommunikationsfunktionen bereitzustellen. Die Kommunikationssubsysteme 224 beinhalten üblicherweise verschiedene Kommunikationsanschlüsse, Funkfrequenzempfänger und -sender und/oder optische Empfänger und Sender (z. B. Infrarot). Bei einigen Ausführungen beinhaltet das Benutzergerät 104 ein Audiosubsystem 226, das an einen oder mehrere Lautsprecher 228 und ein oder mehrere Mikrofone 230 gekoppelt ist, um sprachfähige Funktionen, wie Funktionen der Spracherkennung, Sprachreplikation, digitalen Aufzeichnung und Telefonie zu unterstützen. Bei einigen Ausführungen ist das Audiosubsystem 226 an ein Sprach-Triggersystem 400 gekoppelt. Bei einigen Ausführungen beinhalten das Sprach-Triggersystem 400 und/oder das Audiosubsystem 226 Audioschaltungen mit niedrigem Stromverbrauch und/oder Programme (d. h. einschließlich Hardware und/oder Software) für den Empfang und/oder die Analyse von Toneingaben, sowie beispielsweise einen oder mehrere Analog-Digital-Wandler, DSPs (digitale Signalprozessoren), Ton-Detektor, Speicherpuffer, Codecs und dergleichen. Bei einigen Ausführungen stellen die Audioschaltungen mit niedrigem Stromverbrauch (alleine oder zusätzlich zu anderen Komponenten des Benutzergeräts 104) eine Sprach-Triggerfunktionalität (oder Tonauslöserfunktionalität) für einen oder mehrere Aspekte des Benutzergeräts 104, wie einen sprachbasierten digitalen Assistenten oder einen anderen sprachbasierten Dienst bereit. Bei einigen Ausführungen stellen die Audioschaltungen mit niedrigem Stromverbrauch selbst dann eine Sprach-Triggerfunktionalität bereit, wenn andere Komponenten des Benutzergeräts 104, wie die Prozessoren 204, das E/A-Subsystem 240, der Speicher 250 und dergleichen heruntergefahren und/oder in einem Standby-Modus sind. Das Sprach-Triggersystem 400 ist unter Bezugnahme auf 4 detaillierter beschrieben.
• Bei einigen Ausführungen ist auch ein E/A-Subsystem 240 an die Schnittstelle für Peripheriegeräte 206 gekoppelt. Bei einigen Ausführungen beinhaltet das Benutzergerät 104 einen Touchscreen 246, und das E/A-Subsystem 240 beinhaltet einen Touchscreen-Controller 242, der an den Touchscreen 246 gekoppelt ist. Wenn das Benutzergerät 104 den Touchscreen 246 und den Touchscreen-Controller 242 beinhaltet, sind der Touchscreen 246 und der Touchscreen-Controller 242 üblicherweise dafür konfiguriert, um beispielsweise Kontakt und Bewegung oder deren Unterbrechung unter Verwendung einer Vielzahl von Berührungsempfindlichkeitstechnologien wie kapazitive, resistive, akustische oder Infrarot-Oberflächenwellentechnologien, Näherungssensoren und dergleichen zu erkennen. Bei einigen Ausführungen beinhaltet das Benutzergerät 104 ein Display ohne berührungsempfindliche Oberfläche. Bei einigen Ausführungen beinhaltet das Benutzergerät 104 eine separate berührungsempfindliche Oberfläche. Bei einigen Ausführungen beinhaltet das Benutzergerät 104 andere Eingabesteuerungen 244. Wenn das Benutzergerät 104 die anderen Eingabe-steuerungen 244 beinhaltet, sind die anderen Eingabesteuerungen 244 üblicherweise an andere Eingabe-/Steuerungsvorrichtungen 248, wie eine oder mehrere Tasten, Wippschalter, ein Rändelrad, eine Infrarotschnittstelle, einen USB-Anschluss und/oder eine Zeigervorrichtung, z. B. einen Stift, gekoppelt.
• Die Speicherschnittstelle 202 ist an den Speicher 250 gekoppelt. Bei einigen Ausführungen beinhaltet der Speicher 250 ein nicht flüchtiges computerlesbares Medium, wie einen Hochgeschwindigkeitsarbeitsspeicher und/oder nicht flüchtigen Speicher (z. B. eine oder mehrere Magnetdisketten-speichergeräte, eine oder mehrere Flash-Speichergeräte, eine oder mehrere optische Speichergeräte und/oder andere nicht flüchtige Halbleiterspeichergeräte). Bei einigen Ausführungen speichert der Speicher 250 ein Betriebssystem 252, ein Kommunikationsmodul 254, ein Modul der grafischen Benutzeroberfläche 256, ein Sensorverarbeitungsmodul 258, ein Telefonmodul 260 und Anwendungen 262 sowie eine Teilmenge oder eine Übermenge davon. Das Betriebssystem 252 beinhaltet Anweisungen für den Umgang mit grundlegenden Systemdiensten und die Durchführung hardwareabhängiger Aufgaben. Das Kommunikationsmodul 254 unterstützt die Kommunikation mit einer oder mehreren zusätzlichen Geräten, einem oder mehreren Computern und/oder einem oder mehreren Servern. Das Modul der grafischen Benutzeroberfläche 256 unterstützt die Verarbeitung der grafischen Benutzeroberfläche. Das Sensorverarbeitungsmodul 258 unterstützt die sensorbezogene Verarbeitung und zugehörige Funktionen (z. B. die Verarbeitung der Spracheingabe, die mit einem oder mehreren Mikrofonen 228 empfangen wird). Das Telefonmodul 260 unterstützt telefonbezogene Verfahren und Funktionen. Das Anwendungsmodul 262 unterstützt verschiedene Funktionalitäten der Benutzeranwendungen, wie elektronische Nachrichten, Webbrowsen, Medienverarbeitung, Navigation, Bildgebung und/oder andere Verfahren und Funktionen. Bei einigen Ausführungen speichert das Benutzergerät 104 im Speicher 250 eine oder mehrere Software-Anwendungen 270-1 und 270-2, die jeweils mit mindestens einem der externen Dienstanbieter verknüpft sind.
• Wie vorstehend beschrieben, speichert der Speicher 250 bei einigen Ausführungen auch Client-seitige Anweisungen für digitale Assistenten (z. B. in einem Client-Modul des digitalen Assistenten 264) und verschiedene Benutzerdaten 266 (z. B. benutzerspezifische Vokabulardaten, Präferenzdaten und/oder andere Daten, wie elektronisches Adressbuch, Kontaktliste, Aufgabenlisten oder Einkaufslisten des Benutzers), um die Client-seitigen Funktionalitäten des digitalen Assistenten bereitzustellen.
• Bei verschiedenen Ausführungen kann das Client-Modul des digitalen Assistenten 264 Spracheingaben, Texteingaben, Berührungseingaben und/oder gestische Eingaben über verschiedene Benutzerschnittstellen (z. B. das E/A-Subsystem 244) des Benutzergeräts 104 annehmen. Das Client-Modul des digitalen Assistenten 264 kann auch Ausgaben in hörbaren, visuellen und/oder taktilen Formen bereitstellen. Zum Beispiel können Ausgaben als Sprache, Ton, Warnungen, Textnachrichten, Menüs, Grafiken, Videos, Animationen, Vibrationen und/oder Kombinationen von zwei oder mehreren der vorstehenden Elemente bereitgestellt werden. Im Betrieb kommuniziert das Client-Modul des digitalen Assistenten 264 mit dem Server des digitalen Assistenten (z. B. dem Server des digitalen Assistenten 106, 1) unter Verwendung der Kommunikationssubsysteme 224.
• Bei einigen Ausführungen nutzt das Client-Modul des digitalen Assistenten 264 verschiedene Sensoren, Subsysteme und Peripheriegeräte, um zusätzliche Informationen aus der Umgebung des Benutzergeräts 104 zu sammeln und einen mit einer Benutzereingabe verknüpften Kontext festzulegen. Bei einigen Ausführungen stellt das Client-Modul des digitalen Assistenten 264 die Kontextinformationen oder eine Teilmenge davon zusammen mit der Benutzereingabe für den Server des digitalen Assistenten (z. B. den Server des digitalen Assistenten 106, 1) bereit, um die Ermittlung der Benutzerabsicht zu unterstützen.
• Bei einigen Ausführungen beinhalten die Kontextinformationen, die möglicherweise mit der Benutzereingabe bereitgestellt werden, Sensorinformationen, z. B. in Bezug auf Beleuchtung, Umgebungsgeräusche, Umgebungstemperatur oder Bilder und Videos der Umgebung. Bei einigen Ausführungen beinhalten die Kontextinformationen außerdem den physischen Zustand des Geräts, z. B. Geräteausrichtung, Gerätestandort, Gerätetemperatur, Leistungspegel, Geschwindigkeit, Beschleunigung, Bewegungsmuster oder Mobiltelefonsignalstärke. Bei einigen Ausführungen werden auch Informationen über den Softwarestatus des Benutzergeräts 106, z. B. über ausgeführte Prozesse, installierte Programme, frühere und aktuelle Netzwerkaktivitäten, Hintergrunddienste, Fehlerprotokolle oder die Ressourcenauslastung des Benutzergeräts 104 als mit der Benutzereingabe verknüpfte Kontextinformation für den Server des digitalen Assistenten (z. B. den Server des digitalen Assistenten 106, 1) bereitgestellt.
• Bei einigen Ausführungen stellt das DA-Client-Modul 264 selektiv Informationen (z. B. mindestens einen Teil der Benutzerdaten 266), die auf dem Benutzergerät 104 gespeichert sind, als Reaktion auf Anfragen vom Server des digitalen Assistenten bereit. Bei einigen Ausführungen fordert das Client-Modul des digitalen Assistenten 264 auf Anfrage des Servers des digitalen Assistenten 106 außerdem zusätzliche Eingaben vom Benutzer über einen Dialog in natürlicher Sprache oder über andere Benutzerschnittstellen an (1). Das Client-Modul des digitalen Assistenten 264 leitet die zusätzliche Eingabe an den Server des digitalen Assistenten 106 weiter, um den Server des digitalen Assistenten 106 bei der Absichtsermittlung und/oder Erfüllung der in der Benutzeranfrage ausgedrückten Benutzerabsicht zu unterstützen.
• Bei einigen Ausführungen kann der Speicher 250 zusätzliche Anweisungen oder weniger Anweisungen beinhalten. Des Weiteren können verschiedene Funktionen des Benutzergeräts 104 in der Hardware und/oder Firmware, einschließlich in einer oder mehreren integrierten Schaltungen für die Signalverarbeitung und/oder anwendungsspezifischen integrierten Schaltungen, umgesetzt werden, und das Benutzergerät 104 muss daher nicht alle der in 2 gezeigten Module und Anwendungen beinhalten.
• 3A zeigt ein Blockdiagramm eines exemplarischen Systems eines digitalen Assistenten 300 (auch als digitaler Assistent bezeichnet) gemäß einigen Ausführungen. Bei einigen Ausführungen wird das System des digitalen Assistenten 300 auf einem eigenständigen Computersystem umgesetzt. Bei einigen Ausführungen wird das System des digitalen Assistenten 300 auf mehrere Computer verteilt. Bei einigen Ausführungen sind die Module und Funktionen des digitalen Assistenten, wie in 1 gezeigt. in einen Server-Teil und einen Client-Teil aufgeteilt, wobei sich der Client-Teil auf einem Benutzergerät befindet (z. B. dem Benutzergerät 104) und mit dem Server-Teil (z. B. dem Serversystem 108) über eines oder mehrere Netzwerke kommuniziert. Bei einigen Ausführungen ist das System des digitalen Assistenten 300 eine Ausführungsform des in 1 gezeigten Serversystems 108 (und/oder des Servers des digitalen Assistenten 106). Bei einigen Ausführungen wird das System des digitalen Assistenten 300 in einem Benutzergerät (z. B. dem Benutzergerät 104, 1) umgesetzt, wodurch das Erfordernis eines Client-Server-Systems beseitigt wird. Es sei darauf hingewiesen, dass das System des digitalen Assistenten 300 nur ein Beispiel für ein System des digitalen Assistenten ist und dass das System des digitalen Assistenten 300 mehr oder weniger Komponenten als gezeigt aufweisen, zwei oder mehr Komponenten kombinieren oder eine andere Konfiguration oder Anordnung der Komponenten haben kann. Die verschiedenen in 3A gezeigten Komponenten können in Hardware, Software, Firmware, einschließlich in einer oder mehreren integrierten Schaltungen für die Signalverarbeitung und/oder anwendungsspezifischen integrierten Schaltungen oder einer Kombination davon, umgesetzt werden.
• Das System des digitalen Assistenten 300 beinhaltet Speicher 302, einen oder mehrere Prozessoren 304, eine E/A-Schnittstelle (Eingabe/Ausgabe) 306 und eine Netzwerkkommunikationsschnittstelle 308. Diese Komponenten kommunizieren miteinander über einen oder mehrere Kommunikationsbusse oder eine oder mehrere Signalleitungen 310.
• Bei einigen Ausführungen beinhaltet der Speicher 302 ein nicht flüchtiges computerlesbares Medium, wie einen Hochgeschwindigkeitsarbeitsspeicher und/oder ein nicht flüchtiges computerlesbares Speichermedium (z. B. eine oder mehrere Magnetdiskettenspeichergeräte, eine oder mehrere Flash-Speichergeräte, eine oder mehrere optische Speichergeräte und/oder andere nicht flüchtige Halbleiterspeichergeräte).
• Die E/A-Schnittstelle 306 koppelt Eingabe-/Ausgabegeräte 316 des Systems des digitalen Assistenten 300, wie Displays, Tastaturen, Touchscreens und Mikrofone an das Benutzerschnittstellenmodul 322. Die E/A-Schnittstelle 306 empfängt in Verbindung mit dem Benutzerschnittstellenmodul 322 Benutzereingaben (z. B. Spracheingaben, Tastatureingaben oder Berührungseingaben) und verarbeitet diese entsprechend. Wenn der digitale Assistent in einem eigenständigen Benutzergerät umgesetzt wird, beinhaltet das System des digitalen Assistenten 300 bei einigen Ausführungen beliebige der Komponenten und E/A- und Kommunikationsschnittstellen, die in Bezug auf das Benutzergerät 104 in 2 beschrieben sind (z. B. ein oder mehrere Mikrofone 230). Bei einigen Ausführungen stellt das System des digitalen Assistenten 300 den Server-Teil einer Ausführung des digitalen Assistenten dar und interagiert mit dem Benutzer über einen Client-seitigen Teil, der sich auf einem Benutzergerät (z. B. dem in 2 gezeigten Benutzergerät 104) befindet.
• Bei einigen Ausführungen beinhaltet die Netzwerkkommunikations-schnittstelle 308 kabelgebundene Kommunikationsanschlüsse 312 und/oder kabellose Übertragungs- und Empfangsschaltungen 314. Die kabelgebundenen Kommunikationsanschlüsse empfangen und senden Kommunikationssignale über eine oder mehrere kabelgebundene Schnittstellen wie Ethernet, USB (Universal Serial Bus) oder FIREWIRE. Die kabellosen Schaltungen 314 senden HF-Signale und/oder optische Signale üblicherweise an Kommunikationsnetzwerke und andere Kommunikationsgeräte bzw. empfangen sie von diesen. Die kabellose Kommunikation kann beliebige von einer Vielzahl von Kommunikationssstandards, -protokollen und -technologien wie GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX oder jedes andere geeignete Kommunikationsprotokoll verwenden. Die Netzwerkkommunikationsschnittstelle 308 ermöglicht die Kommunikation zwischen dem System des digitalen Assistenten 300 und Netzwerken wie dem Internet, einem Intranet und/oder einem drahtlosen Netzwerk wie einem Mobiltelefonnetzwerk, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Einrichtungen.
• Bei einigen Ausführungen speichert das nicht flüchtige computerlesbare Speichermedium von Speicher 302 Programme, Module, Anweisungen und Datenstrukturen, einschließlich der Gesamtheit oder einer Teilmenge: eines Betriebssystems 318, eines Kommunikationsmoduls 320, eines Benutzerschnittstellenmoduls 322, einer oder mehrerer Anwendungen 324 und eines Moduls des digitalen Assistenten 326. Ein oder mehrere Prozessoren 304 führen diese Programme, Module und Anweisungen aus und lesen von den Datenstrukturen bzw. schreiben auf diese.
• Das Betriebssystem 318 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS oder ein eingebettetes Betriebssystem wie VxWorks) beinhaltet verschiedene Softwarekomponenten und/oder Softwaretreiber zum Steuern und Verwalten allgemeiner Systemaufgaben (z. B. Speicherverwaltung, Speichergeräte-steuerung oder Stromverwaltung) und unterstützt die Kommunikation zwischen verschiedenen Hardware-, Firmware- und Softwarekomponenten.
• Das Kommunikationsmodul 320 unterstützt die Kommunikation zwischen dem System des digitalen Assistenten 300 und anderen Einrichtungen über die Netzwerkkommunikationsschnittstelle 308. Zum Beispiel kann das Kommunikationsmodul 320 mit dem in 2 gezeigten Kommunikationsmodul 254 des Geräts 104 kommunizieren. Das Kommunikationsmodul 320 beinhaltet außerdem verschiedene Softwarekomponenten für die Behandlung von Daten, die von den kabellosen Schaltungen 314 und/oder dem kabelgebundenen Kommunikationsanschluss 312 empfangen werden.
• Bei einigen Ausführungen empfängt das Benutzerschnittstellenmodul 322 Befehle und/oder Eingaben von einem Benutzer über die E/A-Schnittstelle 306 (z. B. von einer Tastatur, einem Touchscreen und/oder einem Mikrofon) und stellt Benutzerschnittstellenobjekte auf einem Display bereit.
• Die Anwendungen 324 beinhalten Programme und/oder Module, die für die Ausführung durch ein oder mehrere Prozessoren 304 konfiguriert sind. Wenn das System des digitalen Assistenten in einem eigenständigen Benutzergerät umgesetzt wird, können die Anwendungen 324 beispielsweise Benutzeranwendungen, wie Spiele, eine Kalenderanwendung, eine Navigationsanwendung oder eine E-Mail-Anwendung beinhalten. Wenn das System des digitalen Assistenten 300 in einer Serverfarm umgesetzt wird, können die Anwendungen 324 zum Beispiel Ressourcenverwaltungsanwendungen, Diagnoseanwendungen oder Planungsanwendungen beinhalten.
• Der Speicher 302 speichert außerdem das Modul des digitalen Assistenten (oder den Server-Teil eines digitalen Assistenten) 326. Bei einigen Ausführungen beinhaltet das Modul des digitalen Assistenten 326 die folgenden Untermodule oder eine Teilmenge oder Übermenge davon: ein Eingabe-/Ausgabeverarbeitungsmodul 328, ein Verarbeitungsmodul für Sprache in Text 330, ein Verarbeitungsmodul für natürliche Sprache 332, ein Verarbeitungsmodul für den Dialogfluss 334, ein Verarbeitungsmodul für den Aufgabenfluss 336, ein Dienstverarbeitungsmodul 338 und ein Fotomodul 132. Jedes dieser Verarbeitungsmodule hat Zugriff auf ein oder mehrere Elemente der folgenden Daten und Modelle des digitalen Assistenten 326 oder eine Teilmenge oder Übermenge davon: Ontologie 360, Vokabularindex 344, Benutzerdaten 348, Kategorisierungsmodul 349, Disambiguierungsmodul 350, Aufgabenflussmodelle 354, Dienstmodelle 356, Fotokennzeichnungsmodul 358, Suchmodul 360 und lokale Kennzeichnungs-/Fotospeicherung 362.
• Bei einigen Ausführungen führt das System des digitalen Assistenten 300 unter Verwendung der Verarbeitungsmodule (z. B. des Eingabe-/Ausgabeverarbeitungsmoduls 328, des Verarbeitungsmoduls für Sprache in Text 330, des Verarbeitungsmoduls für natürliche Sprache 332, des Verarbeitungsmoduls für den Dialogfluss 334, des Verarbeitungsmoduls für den Aufgabenfluss 336 und/oder des Dienstverarbeitungsmoduls 338), der Daten und der Modelle, die im Modul des digitalen Assistenten 326 umgesetzt sind, mindestens einen Teil der folgenden Aufgaben durch: Identifizieren einer Benutzerabsicht, die in einer vom Benutzer empfangenen Eingabe in natürlicher Sprache ausgedrückt ist; aktives Anfordern und Empfangen von Informationen, die erforderlich sind, um die Benutzerabsicht vollständig zu ermitteln (z. B. durch begriffserklärende Wörter, Namen oder Absichten); Bestimmen des Aufgabenflusses zur Erfüllung der ermittelten Absicht und Ausführen des Aufgabenflusses zur Erfüllung der ermittelten Absicht. Bei einigen Ausführungen führt der digitale Assistent außerdem geeignete Aktionen durch, wenn eine zufriedenstellende Antwort vom Benutzer aus verschiedenen Gründen nicht bereitgestellt wurde oder werden konnte.
• Bei einigen Ausführungen identifiziert das System des digitalen Assistenten 300 aus einer Eingabe in natürlicher Sprache eine Benutzerabsicht, eine digitale Fotografie zu kennzeichnen, und verarbeitet die Eingabe in natürlicher Sprache, um die digitale Fotografie mit geeigneten Informationen zu kennzeichnen, wie weiter unten erörtert. Bei einigen Ausführungen führt das System des digitalen Assistenten 300 auch andere Aufgaben im Zusammenhang mit Fotografien aus, z. B. das Suchen nach digitalen Fotografien über Eingaben in natürlicher Sprache, das automatische Kennzeichnen von Fotografien und dergleichen. Wie in 3B gezeigt, interagiert das E/A-Verarbeitungsmodul 328 bei einigen Ausführungen mit dem Benutzer über die E/A-Geräte 316 in 3A oder mit einem Benutzergerät (z. B. einem Benutzergerät 104 in 1) über die Netzwerkkommunikationsschnittstelle 308 in 3A, um eine Benutzereingabe (z. B. eine Spracheingabe) zu empfangen und Antworten auf die Benutzereingabe zu geben. Das E/A-Verarbeitungsmodul 328 erhält optional Kontextinformationen, die mit der Benutzereingabe vom Benutzergerät verknüpft sind, zusammen mit oder kurz nach dem Empfang der Benutzereingabe. Die Kontextinformationen beinhalten benutzerspezifische Daten, Vokabular und/oder Präferenzen, die für die Benutzereingabe relevant sind. Bei einigen Ausführungen beinhalten die Kontextinformationen außerdem den Software- und Hardwarestatus des Geräts (z. B. des Benutzergeräts 104 in 1) zum Zeitpunkt des Empfangs der Benutzeranfrage und/oder Informationen in Bezug auf die Umgebung des Benutzers zum Zeitpunkt des Empfangs der Benutzeranfrage. Bei einigen Ausführungen sendet das E/A-Verarbeitungsmodul 328 außerdem Rückfragen in Bezug auf die Benutzeranfrage an den Benutzer und empfängt Antworten von diesem. Wenn eine Benutzeranfrage vom E/A-Verarbeitungsmodul 328 empfangen wird und die Benutzeranfrage eine Spracheingabe enthält, leitet das E/A-Verarbeitungsmodul 328 die Spracheingabe bei einigen Ausführungen an das Verarbeitungsmodul für Sprache in Text 330 weiter, um Sprache in Text zu übertragen.
• Bei einigen Ausführungen empfängt das Verarbeitungsmodul für Sprache in Text 330 Spracheingaben (z. B. eine Äußerung des Benutzers, die in einer Sprachaufzeichnung erfasst wurde) über das E/A-Verarbeitungsmodul 328. Bei einigen Ausführungen verwendet das Verarbeitungsmodul für Sprache in Text 330 verschiedene Akustik- und Sprachmodelle, um die Spracheingabe als Abfolge von Phonemen und letztlich als Abfolge von Wörtern oder geschriebenen Token in einer oder mehreren Sprachen zu erkennen. Das Verarbeitungsmodul für Sprache in Text 330 wird unter Verwendung beliebiger geeigneter Spracherkennungstechniken, Akustikmodelle und Sprachmodelle wie HMMs (Hidden Markov Models), DTWbasierter Spracherkennung (Dynamic Time Warping) und anderen statistischen und/oder analytischen Techniken umgesetzt. Bei einigen Ausführungen kann die Verarbeitung von Sprache in Text wenigstens teilweise von einem externen Dienst oder auf dem Benutzergerät durchgeführt werden. Sobald das Verarbeitungsmodul für Sprache in Text 330 das Ergebnis der Verarbeitung von Sprache in Text (z. B. eine Abfolge von Wörtern oder Token) erhält, leitet es das Ergebnis an das Verarbeitungsmodul für natürliche Sprache 332 weiter, um die Absicht zu ermitteln. Das Verarbeitungsmodul für natürliche Sprache 332 („Prozessor für natürliche Sprache“) des digitalen Assistenten 326 verwendet die vom Verarbeitungsmodul für Sprache in Text 330 generierte Abfolge von Wörtern oder Token („Token-Abfolge“) und versucht, die Token-Abfolge mit einer oder mehreren „umsetzbaren Absichten“, die vom digitalen Assistenten erkannt wurden, zu verknüpfen. Wie hier verwendet, stellt eine „umsetzbare Absicht“ eine Aufgabe dar, die vom digitalen Assistenten 326 und/oder vom System des digitalen Assistenten 300 (3A) durchgeführt werden kann und für die ein verknüpfter Aufgabenfluss in den Aufgabenflussmodellen 354 umgesetzt wurde. Der verknüpfte Aufgabenfluss besteht aus einer Reihe programmierter Aktionen und Schritte, die das System des digitalen Assistenten 300 durchführt, um die Aufgabe durchzuführen. Der Umfang der Fähigkeiten eines Systems des digitalen Assistenten hängt von der Anzahl und Vielfalt der Aufgabenflüsse ab, die in den Aufgabenflussmodellen 354 umgesetzt und gespeichert wurden, oder anders ausgedrückt, von der Anzahl und Vielfalt von „umsetzbaren Absichten“, die das System des digitalen Assistenten 300 erkennt. Die Effektivität des Systems des digitalen Assistenten 300 hängt jedoch auch von der Fähigkeit des Systems des digitalen Assistenten ab, aus der in natürlicher Sprache ausgedrückten Benutzeranfrage die korrekten „umsetzbaren Absichten“ zu ermitteln.
• Bei einigen Ausführungen empfängt der Prozessor für natürliche Sprache 332 zusätzlich zur Abfolge von Wörtern oder Token, die vom Verarbeitungsmodul für Sprache in Text 330 empfangen werden, auch Kontextinformationen, die mit der Benutzeranfrage verknüpft sind (z. B. vom E/A-Verarbeitungsmodul 328). Der Prozessor für natürliche Sprache 332 verwendet die Kontextinformationen optional, um die in der Token-Abfolge, die vom Verarbeitungsmodul für Sprache in Text 330 empfangen wurde, enthaltenen Informationen zu klären, zu ergänzen und/oder genauer zu definieren. Die Kontextinformationen enthalten zum Beispiel Benutzerpräferenzen, den Hardware- und/oder Softwarestatus des Benutzergeräts, vor, während oder kurz nach der Benutzeranfrage erfasste Sensorinformationen, frühere Interaktionen (z. B. Dialog) zwischen dem digitalen Assistenten und dem Benutzer und dergleichen.
• Bei einigen Ausführungen basiert die natürliche Sprachverarbeitung auf einer Ontologie 360. Die Ontologie 360 ist eine hierarchische Struktur mit einer Vielzahl von Netzknoten, wobei jeder Netzknoten entweder eine „verwertbare Bedeutung“ oder eine „Eigenschaft“ repräsentiert, welche für eine oder mehrere dieser „verwertbaren Bedeutungen“ oder „Eigenschaften“ relevant ist. Wie oben stehend bemerkt, repräsentiert eine „verwertbare Absicht“ eine Aufgabe, welche das digitale Assistenzsystem 300 in der Lage ist auszuführen (z.B. eine Aufgabe, welche „verwertbar“ ist oder auf die reagiert werden kann) Eine „Eigenschaft“ repräsentiert einen Parameter, der mit einer verwertbaren Absicht in Verbindung steht, oder einen Unteraspekt einer anderen Eigenschaft. Eine Verbindung zwischen einem Netzknoten einer verwertbaren Absicht und einem Netzknoten einer Eigenschaft in der Ontologie 360 definiert, wie ein Parameter, der vom Eigenschafts-Netzknoten repräsentiert wird, zur Aufgabe gehört, welche vom Netzknoten der verwertbaren Absicht repräsentiert wird. Bei einigen Ausführungen besteht die Ontologie 360 aus Netzknoten für verwertbare Absichten und Eigenschafts-Knoten. Innerhalb der Ontologie 360 ist jeder Netzknoten für verwertbare Absichten mit einem oder mehreren Netzknoten für eine Eigenschaft entweder direkt oder durch einen oder mehrere dazwischenliegende Eigenschafts-Netzknoten verbunden. In ähnlicher Weise ist jeder Eigenschafts-Netzknoten mit einem oder mehreren Netzknoten für verwertbare Absichten entweder direkt oder mit einem oder mehreren dazwischen liegenden Netzknoten für eine Eigenschaft verbunden. Zum Beispiel beinhaltet die in Darstellung 3C gezeigte Ontologie 360 einen Netzknoten „Restaurantreservierung“, welcher ein Knotenpunkt für verwertbare Absichten ist. Der Eigenschafts-Netzknoten „Restaurant,“ „Datum/ Zeit“ (für die Reservierung) und „Gruppengröße“ sind alle direkt mit dem Netzknoten „Restaurantreservierung“ verbunden (d.h. mit dem Netzknoten für verwertbare Absichten). Zusätzlich sind die Eigenschafts-Netzknoten „Küche“, „Preisbereich“, „Telefonnummer“ und „Ort“ Unternetzknoten des Eigenschafts-Netzknotens „Restaurant“ und jeweils durch den dazwischenliegenden Eigenschafts-Netzknoten „Restaurant“ mit dem Netzknoten „Restaurantreservierung“ verbunden (d.h. mit dem Netzknoten für verwertbare Absichten). Ein anderes Beispiel beinhaltet die in Darstellung 3C gezeigte Ontologie 360 einen Netzknoten „gesetzte Erinnerung“, welcher ein anderer Netzknoten für verwertbare Absichten ist. Die Eigenschafts-Netzknoten „Datum/Zeit“ (zum Setzen der Erinnerung) und „Gegenstand“ (für die Erinnerung) sind jeder mit dem „gesetzte Erinnerung“-Netzknoten verbunden. Weil der Netzknoten „Datum/Zeit“ sowohl für die Aufgabe, ein Restaurant zu reservieren, als auch für die Aufgabe, eine Erinnerung zu setzen, relevant ist, ist der Netzknoten „Datum/Zeit“ mit den Netzknoten „Restaurantreservierung“ und „gesetzte Erinnerung“ in der Ontologie 360 verbunden.
• Ein Netzknoten für verwertbare Absichten kann, zusammen mit seinen verbundenen Konzept-Netzknoten, als „Domäne“ beschrieben werden. In der gegenwärtigen Diskussion ist jede Domäne einem entsprechenden Netzknoten für verwertbare Absichten zugeordnet und bezieht sich auf eine Gruppe von Netzknoten (und ihre Beziehungen zueinander), die mit der speziellen verwertbaren Absicht verbunden ist. Zum Beispiel beinhaltet die in Darstellung 3C gezeigte Ontologie 360 das Beispiel einer Restaurantreservierungs-Domäne 364 innerhalb der Ontologie 360. Die Restaurantreservierungs-Domäne beinhaltet den Netzknoten für verwertbare Absichten „Restaurantreservierung“, die Eigenschafts-Netzknoten „Restaurant“, „Datum/Zeit“ und „Gruppengröße“ und die Eigenschafts-Unternetzknoten „Küche“, „Preisbereich“, „Telefonnummer“ und „Ort“. Die Erinnerungs-Domäne 364 beinhaltet den Netzknoten für verwertbare Absichten „gesetzte Erinnerung“ und die Eigenschafts-Netzknoten „Gegenstand“ und „Datum/Zeit“. Bei einigen Ausführungen besteht die Ontologie 360 aus vielen Domänen. Jede Domäne kann einen oder mehrere Eigenschafts-Netzknoten mit einer oder mehreren anderen Domänen teilen. Zum Beispiel kann der Eigenschafts-Netzknoten „Datum/Zeit“ zusätzlich zur Restaurantreservierungs-Domäne 362 und der Erinnerungs-Domäne 364 mit vielen anderen Domänen verbunden werden (z.B. einer Terminierungs-Domäne, einer Reisereservierungs-Domäne, einer Kinokarten-Domäne etc.). Während die Darstellung 3C zwei beispielhafte Domänen innerhalb der Ontologie 360 zeigt, kann die Ontologie 360 andere Domänen (oder verwertbare Absichten) wie „ein Telefonat einleiten“, „Anweisungen finden“, „ein Meeting terminieren“, „eine Nachricht senden“ und „eine Frage beantworten“, „ein Foto markieren“ usw. enthalten. Als Beispiel ist „eine Nachricht senden“-Domäne einem Netzknoten für verwertbare Bedeutungen „eine Nachricht senden“ zugeordnet und kann des Weiteren Eigenschafts-Netzknoten wie „Empfänger“, „Art der Nachricht“ und „Textkörper“ enthalten. Der Eigenschafts-Netzknoten „Empfänger“ kann weiter definiert werden, zum Beispiel durch Eigenschafts-Unternetzknoten wie „Name des Empfängers“ und „Nachrichtenadresse“.
• Bei einigen Ausführungen enthält die Ontologie 360 alle Domänen (und daher verwertbare Absichten), die der digitale Assistent verstehen und auf die er reagieren kann. Bei einigen Ausführungen kann die Ontologie 360 modifiziert werden, zum Beispiel durch Hinzufügen oder Entfernen von Domänen oder Netzknoten oder durch das Modifizieren von Beziehungen zwischen den Netzknoten innerhalb der Ontologie 360.
• Bei einigen Ausführungen können sich Netzknoten, die vielfach verbundenen verwertbaren Absichten zugeordnet sind, unter einer „Super-Domäne“ in der Ontologie 360 anhäufen. Zum Beispiel kann eine Super-Domäne „Reise“ einen Cluster von Eigenschafts-Netzknoten und Netzknoten von verwertbaren Absichten enthalten, die mit Reisen in Verbindung stehen. Die Netzknoten von verwertbaren Absichten, die mit Reisen in Verbindung stehen, können „Flugzeugreservierung“, „Hotelreservierung“, „Auto anmieten“, „Wegbeschreibung empfangen“, „interessante Punkte finden“ usw. enthalten. Die Netzknoten von verwertbaren Absichten unter der gleichen Domäne (z.B. die Super-Domäne „Reisen“) können viele Eigenschafts-Netzknoten gemeinsam haben. Zum Beispiel können die Netzknoten von verwertbaren Absichten für „Flugzeugreservierung“, „Hotelreservierung“, „Auto anmieten“, „Wegbeschreibung empfangen“, „interessante Punkte finden“ einen oder mehrere der Eigenschafts-Netzknoten „Startpunkt“ „Zielort“, „Abfahrtsdatum/Zeit“, „Ankunftsdatum/Zeit“ und „Gruppengröße“ teilen.
• Bei einigen Ausführungen ist jeder Netzknoten der Ontologie 360 einem Satz von Wörtern und/oder Phrasen zugeordnet, die für die Eigenschaft oder die verwertbare Absicht, die durch den Netzknoten repräsentiert wird, relevant ist. Der jeweilige, jedem Netzknoten zugeordnete Satz von Wörtern und/oder Phrasen ist das sogenannte „Vokabular“, das dem Netzknoten zugeordnet ist. Der jeweilige, jedem Netzknoten zugeordnete Satz von Wörtern und/oder Phrasen kann im Vokabular-Index 344 (Darstellung 3B) in Verbindung mit der Eigenschaft oder der verwertbaren Absicht, die durch den Netzknoten repräsentiert wird, gespeichert werden. Zum Beispiel kann, zu Darstellung 3B zurückkehrend, das Vokabular, das mit dem Eigenschafts-Netzknoten „Restaurant“ verbunden ist, Wörter wie „Essen“, „Trinken“, „Küche“, „hungrig“, „essen“ „Pizza“, „Fast Food“, „Mahl“ usw. enthalten. Als ein anderes Beispiel kann das Vokabular, das dem Netzknoten für die verwertbare Absicht „ein Telefonat einleiten“ zugeordnet ist, Wörter und Phrasen wie „anrufen“, „telefonieren“, „wählen“, „klingeln“, „diese Nummer anrufen“, „Folgende anrufen“ usw. enthalten. Der Vokabular-Index 344 enthält optional Wörter und Phrasen in verschiedenen Sprachen. Bei einigen Ausführungen erhält der in Darstellung 3B gezeigte natürliche Sprachprozessor 332 die Zeichensequenz (z.B. eine Textfolge) vom Sprache-zu-Text-Modul 330 und legt fest, welche Netzknoten durch die Wörter an der Zeichensequenz beteiligt sind. Bei einigen Ausführungen, wenn bei einem Wort oder einer Phrase in der Zeichensequenz herausgefunden wird, dass es einem oder mehreren Netzknoten in der Ontologie 360 (über den Vokabular-Index 344) zugeordnet ist, „triggert“ oder „aktiviert“ dieses Wort oder diese Phrase die genannten Netzknoten. Wenn vielfache Netzknoten auf Grundlage der Menge und/oder der relativen Wichtigkeit „getriggert“ werden, wählt der natürliche Sprachprozessor 332 eine der verwertbaren Absichten als die Aufgabe (oder den Aufgabentyp) aus, welchen der Nutzer durch den digitalen Assistenten ausführen lassen will. Bei einigen Ausführungen wird die Domäne ausgewählt, die die meisten „getriggerten“ Netzknoten hat. Bei einigen Ausführungen wird die Domäne mit dem höchsten Vertrauenswert (z.B. auf Grundlage der relativen Wichtigkeit seiner verschiedenen getriggerten Netzknoten) ausgewählt. Bei einigen Ausführungen wird die Domäne auf der Grundlage einer Kombination aus Anzahl und Wichtigkeit der getriggerten Netzknoten ausgewählt. Bei einigen Ausführungen werden auch zusätzliche Faktoren bei der Auswahl der Netzknoten herangezogen, z. B., ob das digitale Assistenzsystem 300 zuvor eine ähnliche Anfrage eines Nutzers korrekt interpretiert hat.
• Bei einigen Ausführungen speichert das digitale Assistenzsystem 300 auch Namen von spezifischen Entitäten im Vokabular-Index 344, so dass bei Entdeckung eines dieser Namen bei einer Nutzeranfrage der natürliche Sprachprozessor 332 in der Lage ist zu erkennen, ob sich der Name auf eine spezifische Instanz einer Eigenschaft oder Unter-Eigenschaft in der Ontologie bezieht. Bei einigen Ausführungen sind die Namen spezifischer Entitäten die Namen von Firmen, Restaurants, Menschen, Filmen und ähnlichem. Bei einigen Ausführungen kann das digitale Assistenzsystem 300 Namen von spezifischen Entitäten aus anderen Datenquellen suchen und identifizieren, wie aus dem Adressbuch des Nutzers oder seiner Kontaktliste, einer Filmdatenbank, einer Musikerdatenbank und/oder der Datenbank eines Restaurants. Bei einigen Ausführungen wird, wenn der natürliche Sprachprozessor 332 identifiziert, dass ein Wort in der Zeichensequenz der Name einer spezifischen Entität ist (wie ein Name im Adressbuch oder der Kontaktliste des Nutzers), dem Wort bei der Auswahl der verwertbaren Absicht innerhalb der Ontologie für die Nutzeranfrage eine zusätzliche Bedeutung zugemessen. Wenn z.B. die Wörter „Herr Santo“ aus der Nutzeranfrage erkannt werden und der Nachname „Santo“ im Vokabular-Index 344 als einer der Kontakte aus der Kontaktliste des Nutzers gefunden wird, ist es wahrscheinlich, dass die Nutzeranfrage mit einer „Nachricht senden“- oder einer „ein Telefonat einleiten“-Domäne übereinstimmt. Wenn, als ein anderes Beispiel, die Wörter „ABC Cafe“ in der Nutzeranfrage gefunden werden und der Terminus „ABC Cafe“ im Vokabular-Index 344 als Name eines bestimmten Restaurants in der Stadt des Nutzers gefunden wird, ist es wahrscheinlich, dass die Nutzeranfrage mit einer „Restaurantreservierung“-Domäne übereinstimmt.
• Die Nutzerdaten 348 enthalten nutzerspezifische Informationen, wie nutzerspezifisches Vokabular, Nutzerpräferenzen, Nutzeradresse, Benutzervorgaben und Zweitsprachen, die Kontaktliste des Nutzers und andere kurz- und langfristige Informationen für jeden Nutzer. Der natürliche Sprachprozessor 332 kann benutzerspezifische Informationen verwenden, um Informationen zu ergänzen, die in der Benutzereingabe enthalten sind, um die Absicht des Nutzers weitergehend zu definieren. Zum Beispiel ist für eine Nutzeranfrage „meine Freunde zu meiner Geburtstagsparty einladen“ der natürliche Sprachprozessor 332 in der Lage, auf die Nutzerdaten 348 zuzugreifen, um festzulegen, wer die „Freunde“ sind und wann und wo die Geburtstagsparty stattfinden soll, anstatt den Nutzer aufzufordern, solche Informationen ausdrücklich in seiner/ihrer Anfrage zur Verfügung zu stellen.
• In einigen Ausführungen beinhaltet der natürliche Sprachprozessor 332 ein Kategorisierungsmodul 349. In einigen Ausführungen bestimmt das Kategorisierungsmodul 349, ob jeder eines oder mehrerer Begriffe in einer Textfolge (z.B. entsprechend der Eingabe einer Rede, die mit einer digitalen Fotografie verbunden ist) einer aus einer Entität ist, eine Tätigkeit oder ein Ort, wie dies unten stehend detaillierter diskutiert wird. Bei einigen Ausführungen klassifiziert das Kategorisierungsmodul 349 jeden Begriff aus einem oder mehreren Begriffen als einen aus einer Entität, einer Tätigkeit oder einem Ort. Sobald der natürliche Sprachprozessor 332 eine verwertbare Absicht (oder Domäne) auf der Grundlage der Nutzeranfrage identifiziert, generiert der natürliche Sprachprozessor 332 eine strukturierte Abfrage, um die identifizierte verwertbare Absicht darzustellen. Bei einigen Ausführungen beinhaltet die strukturierte Abfrage Parameter für einen oder mehrere Netzknoten innerhalb der Domäne für die verwertbare Absicht, und mindestens einige der Parameter sind mit den spezifischen Informationen und Anforderungen, die in der Nutzeranfrage gestellt wurden, ausgestattet. Zum Beispiel kann der Nutzer sagen: „Führe eine Reservierung um 7.00 in einem Sushi-Restaurant durch.“ In diesem Fall könnte der natürliche Sprachprozessor 332 auf der Grundlage der Nutzereingabe die verwertbare Absicht korrekt als „Restaurantreservierung“ identifizieren. Entsprechend der Ontologie kann eine strukturierte Anfrage einer „Restaurantreservierung“-Domäne Parameter wie {Küche), {Zeit}, {Datum}, {Gruppengröße} und ähnliche enthalten. Auf der Grundlage der Informationen, die in der Äußerung des Nutzers enthalten sind, kann der natürliche Sprachprozessor 332 eine partielle strukturierte Abfrage für die Restaurantreservierungs-Domäne generieren, wobei die partielle strukturierte Abfrage die Parameter {Küche= „Sushi“) und {Zeit = „19.00“) enthält. Dennoch enthält in diesem Beispiel die Äußerung des Nutzers ungenügende Informationen, um die der Domäne zugeordnete strukturierte Abfrage zu Ende zu bringen. Deshalb sind andere notwendige Parameter wie {Gruppengröße} und {Datum} in der strukturierten Abfrage aufgrund der gegenwärtig verfügbaren Informationen nicht festgelegt. Bei einigen Ausführungen stattet der natürliche Sprachprozessor 332 einige Parameter der strukturierten Abfrage mit empfangenen KontextInformationen aus. Wenn zum Beispiel der Nutzer ein Sushi-Restaurant „in der Nähe“ anfragt, kann der natürliche Sprachprozessor 332 einen {Ort}-Parameter in der strukturierten Abfrage mit GPS-Koordinaten vom Nutzergerät 104 ausstatten.
• Bei einigen Ausführungen reicht der natürliche Sprachprozessor 332 die strukturierte Abfrage (inklusive alle vollständigen Parameter) an das Arbeitsablauf-Modul 336 („Arbeitsablaufprozessor“) weiter. Der Arbeitsablaufprozessor 336 ist konfiguriert, um eine oder mehrere der folgenden Funktionen durchzuführen: Empfang einer strukturierten Abfrage vom natürlichen Sprachprozessor 332, Vervollständigung der strukturierten Abfrage und Ausführung der Aktivitäten, die zur Vervollständigung der endgültigen Nutzeranfrage benötigt werden. Bei einigen Ausführungen werden die verschiedenen Vorgänge zur Vervollständigung dieser Aufgaben in Arbeitsablauf-Modulen 354 zur Verfügung gestellt. Bei einigen Ausführungen beinhalten die Arbeitsablauf-Module 354 Vorgänge, um zusätzliche Informationen vom Nutzer zu empfangen, und Arbeitsabläufe zur Durchführung von Aktivitäten, die der verwertbaren Absicht zugeordnet sind. Wie oben stehend beschrieben, muss der Arbeitsablaufprozessor 336, um eine strukturierte Abfrage zu vervollständigen, unter Umständen einen zusätzlichen Dialog mit dem Nutzer initiieren, um zusätzliche Informationen zu erhalten und/oder möglicherweise missverständliche Äußerungen eindeutig zu machen. Wenn solche Interaktionen notwendig sind, ruft der Arbeitsablaufprozessor 336 das Dialog-Ablaufmodul 334 („Dialogprozessor“) auf, um mit dem Nutzer in einen Dialog zu treten. Bei einigen Ausführungen bestimmt das Dialog-Ablaufmodul 334, wie (und/oder wann) der Nutzer nach einer zusätzlichen Information gefragt wird, und erhält und bearbeitet die Antworten des Nutzers. Bei einigen Ausführungen werden die Fragen dem Nutzer zur Verfügung gestellt und Antworten von ihm vom I/O Verarbeitungsmodul 328 entgegengenommen. Zum Beispiel zeigt das Dialog-Ablaufmodul 334 dem Nutzer eine Dialogausgabe über Ton und/oder eine visuelle Ausgabe an und nimmt Eingaben des Nutzers über gesprochene oder physische Eingaben (z.B. Berührungsgesten) entgegen. Bei der Fortführung des oben stehenden Beispiels generiert der Dialogprozessor 334 Fragen wie „Für wie viele Menschen?“ und „An welchem Tag?“, um sie dem Nutzer weiterzugeben, wenn der Arbeitsablaufprozessor 336 den Dialogprozessor 334 aufruft, um die „Gruppengröße“ und die „Datum“-Informationen für die der Domäne „Restaurantreservierung“ zugeordnete strukturierte Abfrage festzulegen. Sobald Antworten vom Nutzer entgegengenommen werden, übernimmt das Dialog-Ablaufmodul 334 die strukturierte Abfrage mit der fehlenden Information oder gibt die Information an den Arbeitsablaufprozessor 336 weiter, um die fehlende Information für die strukturierte Anfrage zu vervollständigen.
• In einigen Fällen kann der Arbeitsablaufprozessor 336 eine strukturierte Abfrage mit einer oder mehreren mehrdeutigen Eigenschaften erhalten. Zum Beispiel kann eine strukturierte Abfrage an die „Nachricht senden“-Domäne anzeigen, dass der vorgesehene Empfänger „Bob“ ist und dass der Nutzer mehrere Kontakte mit dem Namen „Bob“ hat. Der Arbeitsablaufprozessor 336 wird dann anfordern, dass der Dialogprozessor 334 diese Eigenschaft der strukturierten Abfrage eindeutig macht. Im Gegenzug kann der Dialogprozessor 334 den Nutzer fragen: „Welcher Bob?“ und eine Liste von Kontakten namens „Bob“ anzeigen (oder vorlesen), aus der der Nutzer auswählen kann.
• Bei einigen Ausführungen beinhaltet der Dialogprozessor 334 ein Begriffserklärungsmodul 350. Bei einigen Ausführungen macht das Disambiguierungs-modul 350 einen oder mehrere mehrdeutige Begriffe eindeutig (z.B. einer oder mehrere mehrdeutige Begriffe in einer Textfolge, die mit einer Spracheingabe übereinstimmt und einer digitalen Fotografie zugeordnet ist). Bei einigen Ausführungen identifiziert das Disambiguierungsmodul 350, dass ein erster von einem oder mehreren Begriffen verschiedene mögliche Bedeutungen hat, veranlasst den Nutzer zu zusätzlichen Informationen über den ersten Begriff, nimmt die zusätzlichen Informationen vom Nutzer als Antwort auf die Veranlassung entgegen und identifiziert die Entität, Aktivität oder den Ort, der dem ersten Begriff zugeordnet ist, in Übereinstimmung mit den zusätzlichen Informationen.
• Bei einigen Ausführungen macht das Disambiguierungsmodul 350 die Pronomen eindeutig. Bei solchen Ausführungen identifiziert das Disambiguierungsmodul 350 einen von einem oder mehreren Begriffen als Pronomen und bestimmt ein Nomen, auf das sich das Pronomen bezieht. Bei einigen Ausführungen bestimmt das Disambiguierungsmodul 350 ein Nomen, auf das sich das Pronomen bezieht, indem es eine Kontaktliste, die einem Nutzer des elektronischen Geräts zugeordnet ist, nutzt. Alternativ oder zusätzlich bestimmt das Disambiguierungsmodul 350 ein Nomen, auf welches sich das Pronomen als Name, Aktivität oder Ort der Entität bezieht, das bei einer vorherigen Spracheingabe identifiziert und einer zuvor markierten digitalen Fotografie zugeordnet wurde. Alternativ oder zusätzlich bestimmt das Disambiguierungsmodul 350 ein Nomen, auf welches sich das Pronomen als Name einer Person bezieht, die aufgrund einer vorherigen Spracheingabe identifiziert wurde und einer zuvor markierten digitalen Fotografie zugeordnet wurde. Bei einigen Ausführungen greift das Disambiguierungsmodul 350 auf Informationen zu, die es von einem oder mehreren Sensoren (z.B. vom Näherungssensor 214, Lichtsensor 212, vom GPS -Empfänger 213, dem Temperatursensor 215 und dem Bewegungssensor 210) eines elektronischen Handheld-Geräts (z.B. Nutzergerät 104) zur Bestimmung einer Bedeutung von einem oder mehreren Begriffen erhalten hat. Bei einigen Ausführungen identifiziert das Disambiguierungsmodul 350 zwei Begriffe, welche jeder einer Entität, einer Tätigkeit oder einem Ort zugeordnet sind. Zum Beispiel bezieht sich der erste von zwei Begriffen auf eine Person und ein zweiter von zwei Begriffen auf einen Ort. Bei einigen Ausführungen identifiziert das Disambiguierungsmodul 350 drei Begriffe, welche jeder einer Entität, einer Tätigkeit oder einem Ort zugeordnet sind.
• Sobald der Arbeitsablaufprozessor 336 die strukturierte Abfrage für eine verwertbare Absicht vervollständigt hat, fährt der Arbeitsablaufprozessor 336 damit fort, die letzte Aufgabe, die der verwertbaren Absicht zugeordnet ist, auszuführen. Dementsprechend führt der Arbeitsablaufprozessor 336 die Schritte und Instruktionen im Arbeitsablaufmodell entsprechend der spezifischen Parameter durch, die in der strukturierten Abfrage enthalten sind. Zum Beispiel kann das Arbeitsablaufmodell für die verwertbare Absicht von „Restaurantreservierung“ Schritte und Instruktionen zum Kontaktieren eines Restaurants enthalten und tatsächlich eine Reservierung für eine bestimmte Gruppengröße und eine bestimmte Zeit anfragen. Zum Beispiel kann eine strukturierte Abfrage wie folgt genutzt werden: {Restaurantreservierung, Restaurant = ABC Cafe, Datum = 3/12/2012, Zeit = 19.00, Gruppengröße = 5}; der Arbeitsablaufprozessor 336 kann diese Schritte ausführen: (1) Einloggen im Server des ABC Cafes oder in einem Restaurantreservierungs-System, das so konfiguriert ist, dass es Reservierungen für viele Restaurants wie das ABC Cafeakzeptiert, (2) die Eingabe der Informationen Datum, Zeit und Gruppengröße in einem Formular auf der Website, (3) die Übermittlung des Formulars und (4) die Erstellung eines Kalendereintrags für die Reservierung im Kalender des Nutzers. In einem anderen Beispiel, das unten stehend detaillierter beschrieben wird, führt der Arbeitsablaufprozessor 336 Schritte und Instruktionen aus, die der Markierung oder der Suche einer digitalen Fotografie als Antwort auf eine Spracheingabe zugeordnet ist, z.B. in Verknüpfung mit dem Fotomodul 132. Bei einigen Ausführungen setzt der Arbeitsablaufprozessor 336 die Assistenz eines Service-Verarbeitungsmoduls 338 („Serviceprozessor“) ein, um eine Aufgabe zu vervollständigen, die in der Nutzereingabe angefragt wurde, oder um eine informatorische Antwort auf eine Frage, die in der Nutzereingabe gestellt wurde, zu geben. Zum Beispiel kann der Serviceprozessor 338 anstelle des Arbeitsablaufprozessors 336 handeln, um Telefonate auszuführen, einen Kalendereintrag vorzunehmen, eine Kartensuche aufzurufen oder mit anderen Nutzeranwendungen zu interagieren, die auf dem Nutzergerät installiert sind, und Dienste von Dritten aufrufen oder mit ihnen interagieren (z.B. ein Restaurantreservierungs-Portal, die Website oder den Dienst eines sozialen Netzwerks, ein Banking-Portal etc.,). Bei einigen Ausführungen können Protokolle und Anwenderprogramm-Schnittstellen (API), die bei jedem Dienst verlangt werden, durch ein entsprechendes Servicemodell unter den Servicemodellen 356 spezifiziert werden. Der Serviceprozessor 338 greift auf das entsprechende Servicemodell für einen Dienst zu und generiert Anfragen für den Dienst in Übereinstimmung mit den Protokollen und APIs, die vom Dienst entsprechend dem Servicemodell verlangt werden.
• Wenn zum Beispiel ein Restaurant einen Online-ReservierungsDienst ermöglicht, kann das Restaurant ein Servicemodell übermitteln, indem es die nötigen Parameter für die Durchführung einer Reservierung und die APIs zur Kommunikation der Werte der notwendigen Parameter für den Online-ReservierungsDienst spezifiziert. Wenn vom Arbeitsablaufprozessor 336 angefragt, kann der Service-prozessor 338 eine Netzwerkverbindung mit dem Online-Reservierungs-Dienst einrichten, wobei er die Webadresse nutzt, die in den Servicemodellen 356 gespeichert ist, und sendet die nötigen Parameter der Reservierung (z.B. Zeit, Datum, Gruppengröße) an die Online-Reservierungsschnittstelle in einem Format, die der API des Online-ReservierungsDienstes entspricht.
• Bei einigen Ausführungen werden der natürliche Sprachprozessor 332, der Dialogprozessor 334 und der Arbeitsablaufprozessor 336 kollektiv und iterativ genutzt, um die Absicht des Nutzers abzuleiten und zu definieren, um Informationen für eine weitere Klärung zu empfangen und die Absicht des Nutzers zu präzisieren und zum Schluss eine Antwort zu generieren (z.B. dem Nutzer eine Antwort geben oder eine Aufgabe vervollständigen), um der Absicht des Nutzers nachzukommen.
• Bei einigen Ausführungen formuliert der digitale Assistent 326 eine bestätigende Antwort, nachdem alle nötigen Aufgaben zur Erfüllung der Anfrage des Nutzers durchgeführt worden sind, und sendet diese Antwort durch ein l/O-Verarbeitungsmodul 328 an den Nutzer zurück. Wenn die Nutzeranfrage eine informatorische Antwort erfordert, zeigt die bestätigende Antwort dem Nutzer die gefragte Information. Bei einigen Ausführungen fordert der digitale Assistent den Nutzer auch auf anzuzeigen, ob der Nutzer mit der vom digitalen Assistenten 326 produzierten Antwort zufrieden ist.
• Nun wird die Aufmerksamkeit auf die Darstellung 4 gelenkt, die ein Blockdiagramm zur Darstellung von Komponenten eines Sprach-Triggersystems 400 in Übereinstimmung mit einigen Ausführungen ist. (Das Sprach-Triggersystem 400 ist nicht auf Sprache begrenzt und die hier beschriebenen Ausführungen treffen ebenfalls auf nicht-sprachliche Geräusche zu.) Das Sprach-Triggersystems 400 besteht aus verschiedenen Komponenten, Modulen und/oder Softwareprogrammen innerhalb des elektronischen Geräts 104. Bei einigen Ausführungen beinhaltet das Sprach-Triggersystem 400 einen Geräuschdetektor 402, einen Klangtypdetektor 404, einen Auslöserklangdetektor 406 und einen sprachbasierten Dienst 408 und ein Audio-Subsystem 226, jedes Element an einen Audio-Bus 401 gekoppelt. Bei einigen Ausführungen werden mehrere oder wenigere von diesen Modulen benutzt. Die Klangdetektoren 402, 404 und 406 können als Module bezeichnet werden und Hardware enthalten (z.B. Schaltkreise, Speicher Prozessoren etc.), Software (z.B. Programme, auf einem Chip gespeicherte Software, Firmware etc.) und/oder eine Kombination derselben, um die hier beschriebene Funktionalität auszuführen. Bei einigen Ausführungen sind die Klangdetektoren kommunikativ, programmatisch, physisch und/oder operational aneinander gekoppelt (z.B. durch einen Kommunikationsbus), wie in Darstellung 4 durch die unterbrochenen Linien gezeigt. (Zur Vereinfachung der Darstellung zeigt Darstellung 4 jeden Klangdetektor nur als an den benachbarten Klangdetektor gekoppelt an. Es versteht sich, dass jeder Klangdetektor auch mit jedem anderen Klangdetektor gekoppelt werden kann.)
• Bei einigen Ausführungen beinhaltet das Audio-Subsystem 226 einen Codec 410, einen Audio-Digitalsignalprozessor (DSP) 412 und einen Speicherpuffer 414. Bei einigen Ausführungen ist das Audio-Subsystem 226 mit einem oder mehreren Mikrofonen 230 (2) und einem oder mehreren Lautsprechern 228 (2) gekoppelt. Das Audio-Subsystem 226 stellt den Klangdetektoren 402, 404, 406 und dem sprachbasierten Dienst 408 (ebenso wie anderen Komponenten oder Modulen, wie einem Telefon und/oder einem Basisband-Subsystem eines Telefons) Klangeingaben für die Verarbeitung und/oder Analyse zur Verfügung. Bei einigen Ausführungen ist das Audio-Subsystem 226 an ein externes Audiosystem 416 gekoppelt, das mindestens ein Mikrofon 418 und mindestens einen Lautsprecher 420 beinhaltet.
• Bei einigen Ausführungen ist der sprachbasierte Dienst 408 ein stimmbasierter digitaler Assistent und entspricht einer oder mehreren Komponenten oder Funktionalitäten des digitalen Assistenzsystems, wie oben mit Bezug auf die Darstellungen 1-3c beschrieben. Bei einigen Ausführungen ist der sprachbasierte Dienst ein Sprache-zu-Text-Service, ein DiktierDienst oder ähnliches; bei einigen Ausführungen überwacht der Geräuschdetektor 402 einen Audio-Kanal, um festzulegen, ob eine Klangeingabe vom Audio-Subsystem 226 einer festgelegten Bedingung, z.B. einem Schwingungsschwellenwert entspricht. Der Audiokanal entspricht einem Stream von Audioinformationen, die von einem oder mehreren Tonabnehmer-Geräten empfangen werden, z.B. von einem oder mehreren Mikrofonen 230 (Darstellung 2). Der Audiokanal bezieht sich auf Audioinformationen, ungeachtet des Stands ihrer Verarbeitung oder der besonderen Hardware, die die Audioinformationen verarbeitet und/oder überträgt. Zum Beispiel kann sich der Audiokanal auf analoge elektrische Impulse (und/oder die Schaltkreise, auf welchen sie verbreitet werden) vom Mikrofon 230 beziehen und auf einen digital kodierten Audiostream, der aus der Verarbeitung der analogen elektrischen Impulse resultiert (z.B. durch das Audio-Subsystem 226 und/oder ein anderes Audio-Verarbeitungssystem des elektronischen Geräts 104).
• Bei einigen Ausführungen ist es eine vorgegebene Bedingung, ob die Klangeingabe während einer vorbestimmten Zeitspanne über einer bestimmten Lautstärke liegt. Bei einigen Ausführungen nutzt der Geräuschdetektor die Zeitdomainenanalyse einiger Klangeingaben, was relativ wenige Computer- und Batterieressourcen im Vergleich zu anderen Analysearten erfordert (z.B. vom Klangtyp-Detektor 404, dem Auslöserwortdetektor 406 und/oder dem sprachbasierten Dienst 408 durchgeführt). Bei einigen Ausführungen werden andere Arten der Signalverarbeitung und/oder Audioanalyse genutzt, z.B. die Frequenzbereichsanalyse. Wenn der Geräuschdetektor 402 festlegt, dass die Klangeingabe die vorgegebene Bedingung erfüllt, initiiert er einen vorgelagerten Klangdetektor, wie den Klangtyp-Detektor 404 (z.B. durch Abgabe eines Kontrollsignals, um eine oder mehrere Verarbeitungsroutinen zu initiieren, und/oder durch Bereitstellen von Energie für den vorgelagerten Klangdetektor). Bei einigen Ausführungen wird der vorgelagerte Klangdetektor als Reaktion auf andere erfüllte Bedingungen initiiert. Zum Beispiel wird bei einigen Ausführungen der vorgelagerte Klangdetektor als Reaktion initiiert, um festzulegen, dass das Gerät nicht in einem geschlossenen Raum gelagert wird (z.B. anhand eines Lichtdetektors, der einen Schwellenwert für Licht entdeckt).
• Der Klangtypdetektor 404 überwacht den Audiokanal, um festzulegen, ob eine Klangeingabe mit einer bestimmten Art von Klang übereinstimmt, z. B. dem Klang einer menschlichen Stimme, Pfeifen, Klatschen etc. Die Art des Klangs, auf dessen Erkennung der Klangtypdetektor konfiguriert wurde, stimmt mit dem bestimmten Auslöseklang überein, auf dessen Erkennung der Stimmenauslöser konfiguriert ist. Bei Ausführungen, in denen der Auslöserklang ein gesprochenes Wort oder eine Phrase ist, enthält der Klangtypdetektor 404 einen „Stimmen-aktivitätsdetektor“ (VAD=voice activity detector). Bei einigen Ausführungen nutzt der Klangtypdetektor 404 eine Frequenzbereichsanalyse der Klangeingabe. Zum Beispiel generiert der Klangtypdetektor 404 ein Spektrogramm einer empfangenen Spracheingabe (z.B. durch eine Fouriertransformation) und analysiert die spektralen Komponenten der Klangeingabe, um zu bestimmen, ob die Klangeingabe vermutlich mit einer besonderen Art oder Kategorie von Klängen (z.B. menschlicher Rede) übereinstimmt. Deshalb wird der VAD bei Ausführungen, bei denen der Auslöserklang ein gesprochenes Wort oder eine gesprochene Phrase ist und wenn der Audiokanal Umgebungsgeräusche, aber keine menschliche Sprache aufnimmt (z.B. nur Verkehrslärm), den Auslöser-Klangdetektor 406 nicht initiieren. Bei einigen Ausführungen bleibt der Klangtypdetektor 404 aktiv, solange vorgegebene Bedingungen eines nachgeschalteten Klangdetektors (z.B. des Lärmdetektors 402) erfüllt werden. Zum Beispiel bleibt bei einigen Ausführungen der Klangtypdetektor 404 aktiv, solange die Klangeingabe einen Klang empfängt, der über einem vorbestimmten Amplituden-Schwellenwert (wie vom Lärmdetektor 402 bestimmt) liegt, und er wird deaktiviert, wenn der Klang unter den vorbestimmten Schwellenwert fällt. Bei einigen Ausführungen bleibt nach der Initiierung der Klangtypdetektor 404 aktiv, bis eine Bedingung erreicht wird, wie z.B. der Ablauf eines Zeitschalters (z.B. für 1, 2, 5, oder 10 Sekunden oder eine andere angemessene Zeitdauer), der Ablauf einer bestimmten Anzahl von EIN/AUS-Zyklen des Klangtypdetektors 404 oder das Auftreten eines Ereignisses (z.B. wenn die Amplitude eines Klangs unter einen zweiten Schwellenwert als den vom Lärmdetektor 402 und/oder dem Klangtyp-Detektors 404 festgelegten fällt).
• Wie oben erwähnt, initiiert der Klangtypdetektor 404, wenn er festlegt, dass die Klangeingabe mit einer vorgegebenen Art von Klang übereinstimmen soll, einen vorgeschalteten Klangdetektor (z.B. indem er ein Kontrollsignal für die Initiierung einer oder mehrerer Verarbeitungsroutinen und/oder Energie für einen vorgelagerten Klangdetektor zur Verfügung stellt) wie z. B. den Auslöserklangdetektor 406.
• Der Auslöserklangdetektor 406 ist konfiguriert, um festzulegen, ob eine Klangeingabe mindestens einen Teil eines speziellen vorbestimmten Inhalts enthält (z.B. mindestens einen Teil des Auslöserworts, der Phrase oder des Klangs). Bei einigen Ausführungen vergleicht der Auslöserklangdetektor 406 eine Darstellung der Klangeingabe (eine „Eingabedarstellung“) mit einer oder mehreren Referenzdarstellungen des Auslöserworts. Wenn die Eingabedarstellung in mindestens einer oder mehreren Referenzdarstellungen mit akzeptablem Vertrauenswertübereinstimmt, initiiert der Auslöserklangdetektor 406 den sprachbasierten Dienst 408 (z.B. durch die Bereitstellung eines Kontrollsignals, um eine oder mehrere Verarbeitungsroutinen zu initiieren und/oder den vorgelagerten Klangdetektor mit Energie zu versorgen). Bei einigen Ausführungen handelt es sich bei den Eingabedarstellungen und bei einer oder mehreren Referenzdarstellungen um Spektrogramme (oder mathematische Darstellungen derselben), welche darstellen, wie die spektrale Dichte eines Signals mit der Zeit variiert. Bei einigen Ausführungen geht es bei den Darstellungen um andere Arten von Audio-Signaturen oder Stimmenausdrücken. Bei einigen Ausführungen beinhaltet die Initiierung des sprachbasierten Dienstes 408, dass ein oder mehrere Schaltkreise, Programme und/oder Prozessoren aus dem Standby-Modus herausgeführt werden und ein klangbasierter Dienst aufgerufen wird. Dann ist der klangbasierte Dienst bereit, eine umfassendere Spracherkennung, eine Sprache-zu-Text-Verarbeitung und/oder eine natürliche Sprachverarbeitung zur Verfügung zu stellen. Bei einigen Ausführungen beinhaltet das Stimmen-Auslösersystem 400 eine Stimmauthentifizierungs-Funktionalität, so dass es festlegen kann, ob eine Klangeingabe mit der Stimme einer bestimmten Person, z. B. dem Besitzer/Nutzer des Geräts, übereinstimmt. Zum Beispiel nutzt bei einigen Ausführungen der Klangtypdetektor 404 eine Stimmabdrucktechnik zur Festlegung, ob die Klangeingabe von einem autorisierten Nutzer stammt. Stimmauthentifizierung und Stimmabdruck werden in der U.S. Patentanmeldung US 2012 / 0 245 941 A1 vergeben an den Rechtsnachfolger der momentanen Anmeldung, welche hiermit durch Referenz in ihrer Gesamtheit inkludiert wird, detaillierter beschrieben. Bei einigen Ausführungen ist die Stimmauthentifizierung bei jedem hier beschriebenen Klangdetektor (z.B. im Lärmdetektor 402, dem Klangdetektor 404, dem Auslöser-Klangdetektor 406 und/oder im sprachbasierten Dienst 408) enthalten. Bei einigen Ausführungen ist die Stimmauthentifizierung als separates Modul aus den oben aufgelisteten Klangdetektoren (z.B. als Stimmauthentifizierungsmodul 428, 4) umgesetzt und kann operational nach dem Lärmdetektor 402, nach dem Klangtypdetektor 404, nach dem Auslöser-Klangdetektor 406 oder an jeder anderen passenden Position platziert werden.
• Bei einigen Ausführungen bleibt der Auslöserklangdetektor 406 aktiv, solange die Bedingungen eines nachgeschalteten Klangdetektors (oder nachgeschalteter Klangdetektoren) erfüllt werden (z.B. der Lärmdetektor 402 und/oder der Klangtypdetektor 404). Zum Beispiel bleibt bei einigen Ausführungen der Klangtypdetektor 406 aktiv, solange die Klangeingabe aus einem Klang besteht, der über einem vorbestimmten Schwellenwert (wie vom Lärmdetektor 402 erkannt) liegt. Zum Beispiel bleibt bei einigen Ausführungen der Klangtypdetektor 406 aktiv, so lange die Klangeingabe aus einem Klang besteht, der über einem vorbestimmten Schwellenwert (wie vom Lärmdetektor 404 erkannt) liegt. Bei einigen Ausführungen bleibt er aktiv, so lange beide zuvor genannten Bedingungen erfüllt werden.
• Bei einigen Ausführungen bleibt nach der Initiierung der Auslöser-Klangdetektor 406 aktiv, bis eine Bedingung erfüllt ist, z. B. der Ablauf eines Zeitschalters (z. B. für 1, 2, 5, oder 10 Sekunden oder eine andere angemessene Zeitdauer), der Ablauf einer bestimmten Anzahl von EIN/AUS-Zyklen des Auslöser-Klangdetektors 406 oder das Auftreten eines Ereignisses (wenn z.B. die Amplitude eines Klangs unter einen zweiten Schwellenwert fällt). Bei einigen Ausführungen bleiben beide Klangdetektoren aktiv, wenn ein Klangdetektor einen anderen Detektor initiiert. Dennoch können die Klangdetektoren zu verschiedenen Zeiten aktiv oder inaktiv sein und es ist nicht nötig, dass alle nachgeschalteten Klangdetektoren aktiv sind (z.B. niedrigere Energie und/oder Entwicklungsniveau) (oder wenn ihre jeweiligen Konditionen erfüllt werden), damit vorgeschaltete Klangdetektoren aktiv sind. Zum Beispiel sind bei einigen Ausführungen, nachdem der Lärmdetektor 402 und der Klangtypdetektor 404 festlegen, dass ihre jeweiligen Konditionen erfüllt sind, und der Auslöser-Klangdetektor 406 initiiert ist, einer der beiden Lärmdetektoren 402 und der Klangtypdetektor 404 deaktiviert und/oder wechseln in den Standby-Modus, während der Auslöser-Klangdetektor 406 arbeitet. Bei anderen Ausführungen bleiben sowohl der Lärmdetektor 402 und der Klangtypdetektor 404 (oder der eine oder der andere) aktiv, während der Auslöser-Klangdetektor 406 arbeitet. Bei verschiedenen Ausführungen sind unterschiedliche Kombinationen der Klangdetektoren zu verschiedenen Zeiten aktiv, und ob einer aktiv oder inaktiv ist, kann vom Status anderer Klangdetektoren abhängen oder vom Status der anderen Klangdetektoren unabhängig sein.
• Während 4 drei separate Klangdetektoren beschreibt, wobei jeder zum Aufspüren verschiedener Aspekte einer Klangeingabe konfiguriert ist, sind in verschiedenen Ausführungen des Stimm-Auslösers mehr oder weniger Klangdetektoren eingesetzt. Zum Beispiel wird bei einigen Ausführungen nur der Auslöser-Klangdetektor 406 genutzt. Bei einigen Ausführungen wird der Auslöser-Klangdetektor 406 entweder in Verbindung mit dem Lärmdetektor 402 oder dem Klangtypdetektor 404 genutzt. Bei einigen Ausführungen werden alle Detektoren 402-406 genutzt. Bei einigen Ausführungen sind auch zusätzliche Klangdetektoren enthalten.
• Darüber hinaus können verschiedene Kombinationen von Klangdetektoren zu verschiedenen Zeiten genutzt werden. Zum Beispiel kann eine spezielle Kombination von Klangdetektoren und ihre Interaktion von einer oder mehreren Konditionen, wie dem Kontext oder Betriebszustand des Geräts, abhängen. Als spezifisches Beispiel ist der Auslöser-Klangdetektor 406 aktiv, wenn ein Gerät eingesteckt wird (und dann nicht ausschließlich von Energie aus einer Batterie abhängig ist), während der Lärmdetektor 402 und der Klangtypdetektor 404 inaktiv bleiben. In einem anderen Beispiel sind alle Klangdetektoren inaktiv, wenn das Gerät in einer Tasche oder einem Rucksack ist. Durch kaskadierende Klangdetektoren kann, wie oben beschrieben, durch Detektoren mit niedrigem Energieanspruch eine energieeffiziente Stimmauslöser-Funktionalität zur Verfügung gestellt werden, bei der die Detektoren mit höherem Energieanspruch nur mit einbezogen werden, wenn dies nötig ist. Wie oben beschrieben wird eine zusätzliche Energieeffizienz erreicht, indem einer oder mehrere Klangdetektoren anhand eines Einschaltzyklus betrieben werden. Zum Beispiel arbeitet bei einigen Ausführungen der Lärmdetektor 402 mit Hilfe eines Einschaltzyklus, so dass er effektiv eine durchgehende Lärmerkennung übernimmt, obwohl der Lärmdetektor mindestens zeitweise abgeschaltet ist. Bei einigen Ausführungen ist der Lärmdetektor 402 für 10 Millisekunden an- und für 90 Millisekunden abgeschaltet. Bei einigen Ausführungen ist der Lärmdetektor 402 für 20 Millisekunden an- und für 500 Millisekunden abgeschaltet. Es ist auch eine andere EIN/AUS-Dauer möglich.
• Bei einigen Ausführungen bleibt der Lärmdetektor 402 angeschaltet, wenn der Lärmdetektor 402 während seines „EIN“-Intervalls einen Lärm erkennt, und/oder er analysiert die Klangeingabe. Zum Beispiel kann der Lärmdetektor 402 konfiguriert sein, um einen vorgelagerten Klangdetektor zu initiieren, wenn er während einer bestimmten Zeit (z. B. 100 Millisekunden) einen Klang entdeckt, der oberhalb einer vorbestimmten Amplitude liegt. Also wird der Lärmdetektor 402, wenn er während seines „AN“-Intervalls von 10 Millisekunden einen Klang entdeckt, der oberhalb einer vorgegebenen Amplitude liegt, nicht sofort zum „AUS“-Intervall übergehen. Stattdessen bleibt der Lärmdetektor 402 aktiv und fährt fort, die Klangeingabe zu verarbeiten, um festzulegen, ob diese den Schwellenwert während der gesamten vorbestimmten Dauer (z.B. 100 Millisekunden) überschreitet.
• Bei einigen Ausführungen arbeitet der Klangtypdetektor 404 anhand eines Einschaltzyklus. Bei einigen Ausführungen ist der Klangtypdetektor 404 für 20 Millisekunden ein- und für 100 Millisekunden ausgeschaltet. Es ist auch eine andere EIN/AUS-Dauer möglich. Bei einigen Ausführungen ist der Klangtypdetektor 404 in der Lage zu bestimmen, ob eine Klangeingabe innerhalb des „EIN“-Intervalls seines Einschaltzyklus mit einem voreingestellten Klangtyp übereinstimmt. Dadurch initiiert der Klangtypdetektor 404 den Auslöser-Klangdetektor 406 (oder einen anderen vorgeschalteten Klangdetektor), wenn der Klangtypdetektor 404 erkennt, dass während seines „EIN“-Intervalls der Klang einem bestimmten Typ entspricht. Alternativ geht der Detektor bei einigen Ausführungen, wenn der Klangtypdetektor 404 während eines „EIN“-Intervalls einen Klang entdeckt, der mit dem vorbestimmten Typ übereinstimmt, nicht sofort in das „AUS“ Intervall über. Stattdessen bleibt der Lärmdetektor 404 aktiv und fährt fort, die Klangeingabe zu verarbeiten, um zu bestimmen, ob diese mit dem vorbestimmten Klangtyp übereinstimmt Bei einigen Ausführungen initiiert er, wenn der Klangdetektor bestimmt, dass der vorbestimmte Klangtyp entdeckt wurde, den Auslöser-Klangdetektor 406, um die Klangeingabe weiter zu verarbeiten und festzustellen, ob der Auslöser-Klang entdeckt wurde. Ähnlich dem Lärmdetektor 402 und dem Klangtypdetektor 404 arbeitet bei einigen Ausführungen der Auslöser-Klangdetektor 406 anhand des Einschaltzyklus. Bei einigen Ausführungen ist der Klangtypdetektor 406 für 50 Millisekunden ein- und für 50 Millisekunden ausgeschaltet. Es ist auch eine andere EIN/AUS-Dauer möglich. Wenn der Auslöser-Klangdetektor 406 während seines „EIN“-Intervalls entdeckt, dass es einen Klang gibt, der mit einem Auslöserklang übereinstimmt, wechselt der Detektor nicht sofort in das „AUS“ Intervall. Stattdessen bleibt der Auslöser-Klangdetektor 406 aktiv und fährt fort, die Klangeingabe zu verarbeiten, um zu bestimmen, ob diese den Auslöserklang enthält. Bei einigen Ausführungen bleibt der Auslöser-Klangdetektor 406 aktiv, wenn ein solcher Klang entdeckt wird, um den Ton für eine bestimmte Dauer, z. B. 1, 2, 5 oder 10 Sekunden oder eine andere angemessene Dauer zu verarbeiten. Bei einigen Ausführungen wird die Dauer anhand der Länge eines bestimmten Auslöserwortes oder -klangs ausgewählt, das für die Entdeckung konfiguriert wurde. Wenn z. B. die auslösende Phrase „Hallo, SIRI“ ist, arbeitet der Auslöserwortdetektor ungefähr 2 Sekunden, um zu ermitteln, ob die Klangeingabe diese Phrase enthält.
• Bei einigen Ausführungen werden einige der Klangdetektoren anhand eines Einschaltzyklus betrieben, während andere kontinuierlich arbeiten, wenn sie aktiv sind. Zum Beispiel wird bei einigen Ausführungen nur der erste Klangdetektor anhand des Einschaltzyklus betrieben (z. B. der Lärmdetektor 402 in 4), und vorgeschaltete Klangdetektoren arbeiten kontinuierlich, sobald sie initiiert werden. Bei einigen anderen Ausführungen arbeiten sowohl der Lärmdetektor 402 als auch der Klangtypdetektor 404 anhand eines Einschalt-zyklus, während der Auslöser-Klangdetektor 406 kontinuierlich arbeitet. Ob ein bestimmter Klangdetektor kontinuierlich oder auf der Grundlage eines Einschalt-zyklus arbeitet, hängt von einer oder mehreren Bedingungen, wie Kontext oder Betriebsstatus eines Geräts, ab. Bei einigen Ausführungen arbeiten alle Klangdetektoren kontinuierlich, sobald sie initiiert werden, wenn ein Gerät eingesteckt wird und nicht nur von der Energie der Batterie abhängt. Bei anderen Ausführungen arbeitet der Lärmdetektor 402 (oder jeder Klangdetektor) auf der Basis eines Einschaltzyklus, wenn sich das Gerät in einer Tasche oder einem Rucksack befindet (z. B. wenn dies von einem Sensor und/oder Mikrofonsignal vorgegeben wird), es arbeitet jedoch kontinuierlich, wenn feststeht, dass das Gerät wahrscheinlich nicht gelagert wird. Bei einigen Ausführungen hängen der kontinuierliche Betrieb eines bestimmten Klangdetektors oder der Betrieb von einem Einschaltzyklus und vom Ladezustand des Geräts ab. Zum Beispiel arbeitet der Lärmdetektor 402 kontinuierlich, wenn die Batterie zu mehr als 50 % geladen ist, und auf der Basis eines Einschaltzyklus, wenn die Batterieladung unter 50 % fällt. Bei einigen Ausführungen schließt der Sprach-Trigger Lärm-, Echo- und/oder eine Klanglöschungs-Funktionalität mit ein (insgesamt als „Lärmlöschung“ bezeichnet). Bei einigen Ausführungen wird die Lärmlöschung vom Audio-Subsysterm 226 durchgeführt (z. B. vom Audio DSP 412). Die Lärmlöschung reduziert oder entfernt unerwünschten Lärm oder Klänge der Klangeingabe, bevor diese von den Klangdetektoren verarbeitet werden. In einigen Fällen ist der unerwünschte Lärm ein Hintergrundgeräusch aus der Umgebung des Nutzers, z. B. ein Ventilator oder das Klicken einer Tastatur. Bei einigen Ausführungen ist der unerwünschte Lärm ein Klang über, unter oder bei vorgegebenen Amplituden oder Frequenzen. Bei einigen Ausführungen wird zum Beispiel der Klang oberhalb des typischen Bereichs der menschlichen Stimme (z.B. 3.000 Hz) herausgefiltert oder aus dem Signal entfernt. Bei einigen Ausführungen werden mehrere Mikrofone (z. B. die Mikrofone 230) benutzt, um die Festlegung zu unterstützen, welche Komponenten der empfangenen Klänge reduziert und/oder entfernt werden sollten. Zum Beispiel nutzt bei einigen Ausführungen das Audio-Subsystem 226 strahlenbildende Techniken, um Klänge oder Bestandteile von Klangeingaben zu identifizieren, welche von einem einzigen Punkt im Raum zu kommen scheinen (z.B. aus dem Mund des Nutzers). Das Audio-Subsystem 226 fokussiert sich dann auf diesen Klang, indem es Klänge aus der Klangeingabe entfernt, die gleichermaßen von allen Mikrofonen empfangen werden (z. B. ein Umgebungsgeräusch, das nicht aus einer bestimmten Richtung zu kommen scheint).
• In einigen Ausführungen ist DSP 412 konfiguriert, um die Klänge von der Klangeingabe, die vom Gerät ausgegeben werden, auf welchem der digitale Assistent arbeitet, aufzuheben oder zu entfernen. Wenn zum Beispiel ein Audio-Subsystem 226 Musik, Radio, einen Podcast, eine Stimme oder einen anderen Audio-Inhalt ausgibt (z. B. über den Lautsprecher 228), entfernt DSP 412 jeden der ausgegebenen Klänge, der von einem Mikrofon aufgenommen und in die Klangeingabe eingeschlossen wird. Dadurch ist die Klangeingabe frei von ausgegebenen Tönen (oder enthält zumindest weniger ausgegebene Töne). Dementsprechend ist die Klangeingabe, die dem Klangdetektor zur Verfügung gestellt wird, klarer und die Auslöser sind präziser. Aspekte der Geräuschlöschung werden in dem U.S. Patent 7 272 224 B1 an den Rechtsnachfolger der momentanen Anmeldung, die hiermit durch Referenz in ihrer Gesamtheit inkludiert wird, vergeben und detaillierter beschrieben.
• Bei einigen Ausführungen erfordern verschiedene Klangdetektoren, dass die Klangeingabe gefiltert und/oder auf verschiedene Arten vorverarbeitet wird. Zum Beispiel ist bei einigen Ausführungen der Lärmdetektor 402 konfiguriert, um ein Tonsignal einer Zeitdomäne zwischen 60 und 20.000 Hz zu analysieren, und der Klangtypdetektor ist konfiguriert, um eine Frequenzdomänen-Analyse des Tons zwischen 60 und 3.000 Hz durchzuführen. Somit werden bei einigen Ausführungen die empfangene Töne entsprechend den jeweiligen Anforderungen des Klangdetektors von Ton-DSP 412 (und/oder von anderen Ton-DSPs des Geräts 104) vorverarbeitet. Bei einigen Ausführungen sind andererseits die Klangdetektoren konfiguriert, um den Ton vom Audio-Subsystem 226 anhand spezieller Anforderungen zu filtern und/oder vorzuverarbeiten. In solchen Fällen kann Ton-DSP 412 dennoch die Lärmlöschung durchführen, bevor den Klangdetektoren die Klangeingabe zur Verfügung gestellt wird. Bei einigen Ausführungen wird der Kontext des elektrischen Geräts genutzt, um zur Bestimmung beizutragen, ob und wie der Stimmauslöser zu bedienen ist. Zum Beispiel ist es unwahrscheinlich, dass Nutzer einen sprachbasierten Dienst aufrufen, z. B. einen stimmbasierten digitalen Assistenten, wenn das Gerät in ihrer Tasche, einer Handtasche oder einem Rucksack untergebracht ist. Auch ist es unwahrscheinlich, dass Nutzer einen sprachbasierten Dienst aufrufen, wenn sie bei einem lauten Rockkonzert sind. Bei einigen Nutzern ist es unwahrscheinlich, dass sie einen sprachbasierten Dienst zu bestimmten Zeiten des Tages aufrufen (z. B. spät in der Nacht). Andererseits gibt es auch Situationen, in denen es wahrscheinlicher ist, dass ein Nutzer einen sprachbasierten Dienst aufruft, indem er einen Sprach-Trigger nutzt. Zum Beispiel werden einige Nutzer mit großer Wahrscheinlichkeit einen Sprach-Trigger nutzen, wenn sie Auto fahren, wenn sie alleine sind, wenn sie bei der Arbeit sind u.ä. Verschiedene Techniken werden zur Ermittlung des Kontexts eines Geräts genutzt. Bei verschiedenen Ausführungen nutzt das Gerät Informationen von einer oder mehreren der folgenden Komponenten oder Informationsquellen, um den Kontext des Gerätes zu bestimmen: GPS-Empfänger, Lichtsensoren, Mikrofone, Näherungssensoren, Orientierungssensoren, Trägheitssensoren, Kameras, Kommunikations-Schaltkreise und/oder Antennen, Lade- und/oder Energieschaltkreise, Schalterstellungen, Wärmesensoren, Kompasse, Beschleunigungsmesser, Kalender, Nutzerpräferenzen etc. Der Kontext des Geräts kann dazu genutzt werden einzustellen, wie und ob der Sprach-Trigger arbeitet. Zum Beispiel wird bei bestimmten Kontexten der Sprach-Trigger deaktiviert (oder in einem anderen Modus betrieben), solange der Kontext beibehalten wird. Zum Beispiel ist bei einigen Ausführungen der Sprach-Trigger deaktiviert, wenn das Telefon in einer vorbestimmten Richtung liegt (z. B. verkehrt herum auf einer Oberfläche), während vorbestimmten Zeiträume (z. B. zwischen 22:00 und 8:00 Uhr), wenn sich das Telefon in Stummschaltung oder im „nicht stören“-Modus befindet (z.B. infolge einer Schalterposition, Moduseinstellung oder Nutzerpräferenz), wenn sich das Gerät in einem weitgehend umschlossenen Raum befindet (z. B. einer Tasche, Handtasche, Aktentasche, Schublade oder einem Handschuhfach), wenn sich das Gerät in der Nähe anderer Geräte mit einem Sprach-Trigger und/oder sprachbasierten Diensten befindet (z. B. infolge von Näherungssensoren, akustischen/drahtlosen/Infrarot- Kommuntikationsgeräten) und ähnlichem. Bei einigen Ausführungen wird das Spracherkennungssystem 400 in einem Niedrig-Energie-Modus betrieben, anstatt ihn zu deaktivieren, (z. B. durch den Betrieb des Lärmdetektors 402 anhand eines Einschaltzyklus mit einem „EIN“-Intervall von 10 Millisekunden und einem „AUS“- Intervall von 5 Millisekunden). Bei einigen Ausführungen wird ein Audiokanal seltener überwacht, wenn das Spracherkennungssystem 400 im Niedrig-Energie-Modus arbeitet. Bei einigen Implementierungen benutzt ein Sprach-Trigger einen anderen Klangdetektor oder eine Kombination von Klangdetektoren, wenn er sich in einem Niedrig-Energie-Modus befindet, als wenn er im normalen Modus arbeitet. (Der Sprach-Trigger kann sich in vielen verschiedenen Modi oder Betriebszuständen in befinden, von denen jeder eine andere Energiemenge benötigt, und verschiedene Implementierungen nutzen diese je nachspezifischer Konstruktion)
• Wenn sich das Gerät andererseits in einem anderen Kontext befindet, wird der Sprach-Trigger aktiviert (oder in einem anderen Modus betrieben), solange der Kontext beibehalten wird. Zum Beispiel bleibt bei einigen Ausführungen der Sprach-Trigger aktiv, während er an einer Energiequelle eingesteckt ist, wenn ein Telefon in einer vorbestimmten Richtung liegt (z.B. umgekehrt auf einer Fläche) während eines bestimmten Zeitraums (z. B. zwischen 8.00 und 22.00 Uhr), wenn sich das Gerät auf einer Reise und/oder in einem Auto befindet (z.B. anhand eines GPS-Signals, einer BLUETOOTH-Verbindung oder einer Verbindung mit einem Fahrzeug etc.) und ähnlichem. Aspekte des Erkennens von Verbindungen, wenn sich ein Gerät in einem Fahrzeug befindet, sind in der provisiorischen U.S.-Patentanmeldung Nr. 61/657,744 , die an den Rechtsnachfolger der momentanen Anmeldung, welche hiermit durch Referenz in ihrer Gesamtheit inkludiert wird, vergeben und detaillierter beschrieben. Mehrere spezifische Beispiele, z. B. das Festlegen bestimmter Kontexte, finden sich unten stehend. In verschiedenen Ausführungs-formen werden verschiedene Techniken und/oder Informations-quellen genutzt, um diese oder andere Kontexte zu erkennen.
• Wie oben angemerkt, kann es von der physischen Ausrichtung eines Geräts abhängen, ob das Sprach-Triggersystem aktiv ist oder nicht (z. B. Hören). Bei einigen Ausführungen ist der Sprach-Trigger aktiv, wenn das Gerät „mit der Vorderseite“ auf einer Fläche platziert wird (z. B. mit sichtbarem Display und/oder Touchscreen) und/oder er ist inaktiv, wenn es „verkehrt herum“ liegt. Das erleichtert dem Nutzer die Art und Weise, den Sprach-Trigger zu aktivieren und/oder zu deaktivieren, ohne dass ein Menü, Schalter oder Knöpfe betätigt werden müssen. Bei einigen Ausführungen erkennt das Gerät, ob es mit der Vorderseite oder verkehrt herum auf einer Fläche liegt, indem es Lichtsensoren (z. B. aufgrund des unterschiedlichen Lichteinfalls an der Vorder- und Rückseite des Gerätes 104), Näherungssensoren, Magnetsensoren, Beschleunigungsmesser, Gyroskope, Neigungssensoren, Kameras oder ähnliches nutzt. Bei einigen Ausführungen sind andere Modi, Einstellungen, Parameter oder Präferenzen von der Ausrichtung und/oder Position des Geräts betroffen. Bei einigen Ausführungen hört der bestimmte Auslöserklang, das Wort oder die Phrase des Sprach-Triggers, was abhängig ist von der Ausrichtung und/oder Position des Gerätes. Zum Beispiel achtet bei einigen Ausführungen der Sprach-Trigger auf ein erstes Auslöserwort, eine Phrase oder einen Klang, wenn das Gerät in einer bestimmten Ausrichtung liegt (z. B. mit der Vorderseite auf einer Fläche nach oben), und auf ein anderes Auslöserwort, eine Phrase oder einen Klang, wenn das Gerät anders ausgerichtet ist (z. B. verkehrt herum). Bei einigen Ausführungen ist die Auslöserphrase bei einer verkehrten Ausrichtung länger und/oder komplexer als bei der Ausrichtung nach oben. Dadurch kann der Nutzer ein Gerät umgekehrt ablegen, wenn er unter anderen Menschen oder in einer lauten Umgebung ist, so dass der Sprach-Trigger noch in Bereitschaft ist, während gleichzeitig falsche Erkennungen reduziert werden, die bei kürzeren oder einfacheren Auslöserwörtern häufiger wären. Als spezifisches Beispiel kann eine Auslöserphrase bei aufrechter Ausrichtung „Hey, SIRI“ sein, während die Auslöserphrase bei verkehrter Ausrichtung „Hey, SIRI, hier ist Andrew, wach bitte auf.“ wäre. Die längere Auslöserphrase stellt auch den Klangdetektoren und/oder Stimmauthentifikatoren ein größeres Stimmbeispiel zur Verarbeitung und/oder Analyse zur Verfügung, wodurch die Genauigkeit des Stimmauslösers erhöht und falsche Erkennungen reduziert werden.
• Bei einigen Ausführungen spürt das Gerät 104 auf, ob es sich in einem Fahrzeug (z. B. einem Auto) befindet. Ein Stimmauslöser ist besonders vorteilhaft, um einen spachbasierten Dienst aufzurufen, wenn der Nutzer in einem Auto ist, und er hilft, physische Interaktionen zu reduzieren, die zum Betrieb des Geräts und/oder des sprachbasierten Dienstes notwendig sind. Tatsächlich ist einer der Vorteile eines stimmbasierten digitalen Assistenten, dass er zur Ausführung von Aufgaben genutzt werden kann, wo das Betrachten oder Berühren eines Geräts unpraktisch oder unsicher wäre. Deshalb kann der Stimmauslöser genutzt werden, wenn sich das Gerät in einem Fahrzeug befindet, so dass der Nutzer das Gerät nicht berühren muss, um den digitalen Assistenten aufzurufen. Bei einigen Ausführungen legt das Gerät fest, dass es sich in einem Fahrzeug befindet, indem es entdeckt, dass es mit einem Fahrzeug, wie durch BLUETOOTH Kommunikationsmöglichkeiten (oder andere drahtlose Kommunikationsmöglichkeiten) oder durch eine Steckverbindung oder ein Kabel verbunden und/oder gekoppelt wurde. Bei einigen Ausführungen legt das Gerät fest, dass es sich in einem Fahrzeug befindet, indem es den Ort und/oder die Geschwindigkeit des Gerätes erkennt (z. B. unter Nutzung eines GPS-Empfängers, Beschleunigungsmessers und/oder Gyroskops). Wenn festgestellt worden ist, dass das Gerät vermutlich in einem Fahrzeug ist, weil es sich mit mehr als 20 Meilen pro Stunde bewegt, und ermittelt wurde, dass es sich zum Beispiel an einer Straße entlang bewegt, bleibt der Spracherkenner aktiv und/oder in einem Hochenergiezustand oder sensibleren Status.
• Bei einigen Ausführungen bestimmt das Gerät, ob es aufbewahrt wird (z. B. in einer Tasche, Aktentasche, Handtasche, einer Schublade o.ä.), indem es erkennt, ob es sich in einem weitgehend umschlossenen Raum befindet. Bei einigen Ausführungen nutzt das Gerät Lichtsensoren (z. B. zugeordnete Umgebungs-lichtsensoren und/oder Kameras), um zu erkennen, dass es gelagert wird. Zum Beispiel wird bei einigen Ausführungen das Gerät vermutlich gelagert, wenn die Lichtsensoren nur wenig oder gar kein Licht entdecken. Bei einigen Ausführungen werden auch die Tageszeit und/oder der Ort des Geräts berücksichtigt. Wenn die Lichtsensoren zum Beispiel niedrige Lichtwerte entdecken, während hohe Lichtwerte erwartet werden (z. B. während des Tages), könnte das Gerät gelagert sein und das Sprach-Triggersystem 400 würde nicht benötigt. Deshalb wird das Spacher-kennungssystem 400 in einen Niedrig-Energie- oder Standby-Zustand versetzt. Bei einigen Ausführungen kann der Lichtunterschied, der von den Sensoren an gegenüberliegenden Seiten eines Geräts erfasst wird, genutzt, um seine Position zu bestimmen und zu erkennen, ob es gelagert wird oder nicht. Insbesondere versuchen Nutzer vermutlich eher, einen Sprach-Trigger zu aktivieren, wenn das Gerät auf einem Tisch oder einer Oberfläche ruht, als wenn es in einer Tasche oder Handtasche aufbewahrt würde. Aber wenn ein Gerät richtig (oder verkehrt) herum auf einer Fläche liegt, wie einem Tisch oder einem Schreibtisch, ist eine Fläche des Geräts verdeckt, so dass nur wenig oder kein Licht diese Fläche erreicht, während die andere Fläche dem Umgebungslicht ausgesetzt ist. Deshalb erkennt das Gerät, dass es nicht gelagert wird, wenn Lichtsensoren an der Vorder- und Rückseite eines Geräts deutlich verschiedene Lichtpegel entdecken. Andererseits erkennt das Gerät, wenn Lichtsensoren an gegenüberliegenden Seiten ähnliche Lichtpegel entdecken, dass es in einem wesentlich umschlossenen Raum ist. Auch wenn beide Lichtsensoren einen niedrigen Lichtpegel während der Tageszeit entdecken (oder wenn das Gerät erwarten würde, dass sich ein Telefon in einer hellen Umgebung befindet), erkennt das Gerät mit größerer Sicherheit, dass es gelagert wird.
• In einigen Ausführungen werden andere Techniken verwendet (statt oder zusätzlich zu den Lichtsensoren) um festzustellen, ob das Gerät aufbewahrt wird. In einigen Ausführungen sendet das Gerät beispielsweise ein oder mehrere Klangsignale (z. B. Töne, Klicken, Klingeln usw.) aus einem Lautsprecher oder Signalgeber (z. B. Lautsprecher 228) und regelt eines oder mehrere Mikrofone oder Signalwandler (z. B. Mikrofon 230), um Echos der ausgesparten Klangsignale zu erfassen. (In einigen Ausführungen sendet das Gerät unhörbare Signale, wie Klänge außerhalb des menschlichen Hörbereichs.) Aus den Echos ermittelt das Gerät die Merkmale der Umgebung. Zum Beispiel reflektiert eine relativ große Umgebung (z. B. ein Raum oder ein Fahrzeug) die Klänge anders als eine relativ kleine, abgeschlossene Umgebung (z. B. eine Hosentasche, ein Geldbeutel, eine Handtasche, eine Schublade oder Ähnliches).
• In einigen Ausführungen arbeitet das Spracherkennungssystem 400 unterschiedlich, wenn es sich in der Nähe anderer Geräte (etwa anderer Vorrichtungen, die Sprach-Trigger und/oder sprachbasierte Dienste enthalten) befindet, als wenn es sich nicht in der Nähe anderer Geräte befinden würde. Dies kann zum Beispiel hilfreich sein, um die Empfindlichkeit des Spracherkennungs-systems 400 zu senken oder zu verringern, wenn viele Geräte dicht beieinander stehen, damit, wenn eine Person ein Auslöserwort ausspricht, andere in der Nähe befindliche Geräte nicht ebenfalls ausgelöst werden. In einigen Ausführungen ermittelt eine Vorrichtung die Nähe zu anderen Geräten mittels RFID, Nahfeldkommunikation, Infrarot- bzw. Akustiksignalen oder dergleichen. Wie vorstehend erwähnt, sind Sprach-Trigger insbesondere hilfreich, wenn ein Gerät im Freisprechmodus betrieben wird, etwa wenn der Nutzer ein Fahrzeug steuert. In solchen Fällen verwenden Nutzer oft externe Audiosysteme, etwa kabelgebundene oder drahtlose Headsets, Uhren mit Lautsprechern und/oder Mikrofone, eingebaute Mikrofone und Lautsprecher in einem Fahrzeug usw., um ein Gerät nicht mehr an die Wange halten zu müssen, wenn sie telefonieren oder Texteingaben diktieren. Zum Beispiel können drahtlose Headsets und Audiosysteme in Fahrzeugen mittels BLUETOOTH-Kommunikation oder einer anderen geeigneten Drahtlos-Kommunikation mit einem elektronischen Gerät verbunden werden. Wegen der für die Aufrechterhaltung eines offenen Audiokanals mit dem drahtlosen Zubehörteil erforderlichen Energie kann es für einen Sprach-Trigger jedoch ineffizient sein, über ein drahtloses Audiozubehörteil empfangene Audiosequenzen zu überwachen. Insbesondere kann ein drahtloses Headset genug Ladung in seiner Batterie halten, um wenige Stunden ununterbrochener Sprechzeit zu ermöglichen, und es ist daher zu bevorzugen, die Batterie für Fälle zu reservieren, in denen das Headset für tatsächliche Kommunikation benötigt wird, anstatt es zu verwenden, um lediglich Umgebungsgeräusche zu überwachen und auf einen möglichen Auslöserklang zu warten. Darüber hinaus benötigen kabelgebundene externe Headsetzubehörteile möglicherweise wesentlich mehr Energie als Bordmikrofone allein, und die Batterieladung wird aufgebraucht, wenn das Headsetmikrofon in Betrieb gehalten wird. Dies trifft insbesondere zu, wenn man bedenkt, dass es sich bei den vom drahtlosen oder kabelgebundenen Headset empfangenen Umgebungsgeräuschen normalerweise meistens um Stille oder unbedeutende Geräusche handelt. In einigen Ausführungen überwacht das Spracherkennungssystem 400 somit Töne aus dem Mikrofon 230 am Gerät, selbst wenn das Gerät mit einem externen (kabelge-bundenen oder drahtlosen) Mikrofon verbunden ist. Wenn der Sprach-Trigger das Auslöserwort erkennt, initialisiert das Gerät einen aktiven Audiolink zum externen Mikrofon, um nachfolgende Toneingaben (wie etwa einen Befehl an einen sprach-basierten digitalen Assistenten) über das externe Mikrofon statt über das am Gerät befindliche Mikrofon 230 zu empfangen. Wenn bestimmte Bedingungen erfüllt sind, kann jedoch ein aktiver Kommunikationslink zwischen einem externen Audiosystem 416 (das kommunikativ mit der Vorrichtung 104 mittels Kabel oder drahtlos verbunden sein kann) und dem Gerät aufrechterhalten werden, damit das Spracherkennungssystem 400 über das externe Audiosystem 416 statt (oder zusätzlich zu) dem am Gerät befindlichen Mikrofon 230 nach einem Auslöserklang lauschen kann. In einigen Ausführungen werden zum Beispiel Bewegungsmerkmale des elektronischen Geräts und/oder des externen Audiosystems 416 (z. B. wie durch Beschleunigungsmesser, Gyroskope usw. an den entsprechenden Geräten ermittelt) verwendet, um zu ermitteln, ob das Spracherkennungssystem 400 Umgebungs-geräusche mittels dem am Gerät befindlichen Mikrofon 230 oder einem externen Mikrofon 418 überwachen soll. Insbesondere liefert der Unterschied zwischen der Bewegung des Geräts und dem externen Audiosystem 416 Informationen darüber, ob das externe Audiosystem 416 tatsächlich in Gebrauch ist. Wenn sich zum Beispiel sowohl das Gerät als auch das drahtlose Headset im Wesentlichen identisch bewegen (bzw. nicht bewegen), kann möglicherweise ermittelt werden, ob das Headset in Gebrauch ist bzw. nicht getragen wird. Dies kann zum Beispiel geschehen, weil beide Geräte sich dicht beieinander befinden und nicht in Betrieb sind (z. B. auf einem Tisch liegen oder in einer Hosentasche, einem Geldbeutel, einer Handtasche, einer Schublade usw. aufbewahrt werden). Dementsprechend überwacht das Spracherkennungssystem 400 unter diesen Umständen das am Gerät befindliche Mikrofon, da es unwahrscheinlich ist, dass das Headset tatsächlich in Gebrauch ist. Falls jedoch ein Unterschied bei der Bewegung des drahtlosen Headsets und des Geräts besteht, bedeutet dies, dass das Headset von einem Nutzer verwendet wird. Diese Bedingungen können zum Beispiel eintreten, weil das Gerät abgesetzt wurde (z. B. auf einer Fläche oder in einer Handtasche), während das Headset auf dem Kopf des Nutzers getragen wird (der sich zumindest geringfügig bewegen wird, selbst wenn sich der Träger relativ regungslos verhält). Da es wahrscheinlich ist, dass das Headset getragen wird, überwacht das Spracherkennungssystem 400 unter diesen Bedingungen einen aktiven Kommunikationslink sowie das Mikrofon 418 des Headsets statt (oder zusätzlich zu) dem am Gerät befindlichen Mikrofon 230. Und da sich diese Technik auf den Unterschied bei der Bewegung des Geräts und des Headsets konzentriert, können Bewegungen, die beiden Geräten gemeinsam sind, aufgehoben werden. Dies kann zum Beispiel hilfreich sein, wenn ein Nutzer ein Headset in einem fahrenden Fahrzeug verwendet, wo das Gerät (z. B. ein Mobiltelefon) in einem Getränkehalter, auf einem leeren Sitz oder in der Tasche des Nutzers liegt und das Headset sich auf dem Kopf des Nutzers befindet. Sobald die den beiden Geräten gemeinsame Bewegung (z. B. die Bewegung des Fahrzeugs) aufgehoben wird, kann die relative Bewegung des Headsets im Vergleich zum Gerät (falls vorhanden) ermittelt werden, um festzustellen, ob das Headset wahrscheinlich in Gebrauch ist (oder, ob das Headset gerade nicht getragen wird). Die vorstehende Diskussion bezieht sich zwar auf drahtlose Headsets, ähnliche Techniken werden jedoch auch auf kabelgebundene Headsets angewendet.
• Da die Stimmen von Menschen stark variieren, kann es notwendig oder vorteilhaft sein, einen Sprach-Trigger abzugleichen, um seine Treffsicherheit bei der Erkennung der Stimme eines bestimmten Nutzers zu verbessern. Außerdem können sich die Stimmen von Menschen im Laufe der Zeit verändern, zum Beispiel auf Grund von Krankheiten, natürlichen Stimmänderungen in Verbindung mit dem Alterungsprozess oder hormonellen Veränderungen und dergleichen. In einigen Ausführungen kann das Spracherkennungssystem 400 somit seine Stimm- und/oder Klangerkennungsprofile für einen bestimmten Nutzer oder eine Gruppe von Nutzern anpassen. Wie vorstehend beschrieben, können Klangdetektoren (z. B. der Klangtypdetektor 404 und/oder der Auslöser-Klangdetektor 406) konfiguriert werden, um die Darstellung einer Klangeingabe (z. B. der von einem Nutzer abgegebene Klang oder die Äußerung) mit einer oder mehreren Referenzdarstellungen zu vergleichen. Wenn zum Beispiel eine Eingabedarstellung zu einem vorgegebenen Konfidenzniveau mit der Referenzdarstellung übereinstimmt, stellt der Klangdetektor fest, dass die Klangeingabe einer vorgegebenen Klangart (z. B. der Klangtypdetektor 404) entspricht, oder, dass die Klangeingabe einen vorgegebenen Inhalt enthält (z. B. der Auslöser-Klangdetektor 406). Um das Spracherkennungssystem 400 abzugleichen, stellt das Gerät in einigen Ausführungen die Referenzdarstellung, mit der die Eingabedarstellung verglichen wird, ein. In einigen Ausführungen wurde die Referenzdarstellung als Teil eines Stimmregistrierungs- oder „Schulungsverfahrens“ eingestellt (oder erstellt), bei dem ein Nutzer die Auslöseklänge mehrere Male ausgibt, damit das Gerät die Referenzdarstellung einstellen (oder erstellen) kann. Das Gerät kann anschließend mit Hilfe der tatsächlichen Stimme der Person eine Referenzdarstellung erstellen.
• In einigen Ausführungen verwendet die Vorrichtung Auslöseklänge, die unter normalen Nutzungsbedingungen empfangen werden, um die Referenz-darstellung einzustellen. So verwendet zum Beispiel nach einem erfolgreichen Stimmauslöserereignis (bei dem z. B. festgestellt wurde, dass die Klangeingabe alle Auslösekriterien erfüllt) das Gerät Informationen aus der Klangeingabe zur Einstellung und/oder Abgleichung der Referenzdarstellung. In einigen Ausführungen werden nur Klangeingaben, für die ermittelt wurde, dass sie alle oder einige der Auslösekriterien mit einem bestimmten Konfidenzniveau erfüllen, zur Einstellung der Referenzdarstellung verwendet. Wenn der Sprach-Trigger somit weniger sicher ist, dass eine Klangeingabe einem Auslöserklang entspricht oder ihn enthält, kann diese Stimmeingabe zum Zweck der Einstellung der Referenzdarstellung ignoriert werden. Andererseits werden in einigen Ausführungen Klangeingaben, die das Spracherkennungssystem 400 mit einer geringeren Konfidenz erfüllten, zur Einstellung der Referenzdarstellung verwendet.
• In einigen Ausführungen stellt die Vorrichtung 104 schrittweise die Referenzdarstellung ein (mithilfe dieser oder anderer Techniken), während immer mehr Klangeingaben empfangen werden, damit im Laufe der Zeit auftretende leichte Veränderungen in der Stimme eines Nutzers berücksichtigt werden können. In einigen Ausführungen stellt das Gerät 104 (und/oder verbundene Vorrichtungen oder Dienste) die Referenzdarstellung nach jedem erfolgreichen Auslöserereignis neu ein. In einigen Ausführungen analysiert das Gerät 104 die mit jedem erfolgreichen Auslöserereignis verbundene Klangeingabe und ermittelt, ob die Referenzdarstellungen auf der Basis dieser Eingabe eingestellt werden sollten (z. B. wenn bestimmte Bedingungen erfüllt sind), und stellt die Referenzdarstellung nur ein, wenn es angemessen ist, dies zu tun. In einigen Ausführungen behält die Vorrichtung 104 einen gleitenden Durchschnitt der Referenzdarstellung im Laufe der Zeit bei. In einigen Ausführungen erkennt das Spracherkennungssystem 400 Klänge, die eines oder mehrere der Auslösekriterien nicht erfüllen (z. B. gemäß der Ermittlung durch einen oder mehrere Klangdetektoren), dabei kann es sich jedoch tatsächlich um Versuche eines dazu autorisierten Nutzers handeln. Zum Beispiel kann das Spracherkennungssystem 400 konfiguriert sein, auf eine Auslöserphrase wie „Hey, SIRI“ zu reagieren, wenn sich aber die Stimme eines Nutzers verändert hat (z. B. infolge von Änderungen durch Krankheit, Alter, Akzent bzw. Tonfall usw.), kann das Spracherkennungssystem 400 möglicherweise den Versuch des Nutzers zur Aktivierung der Vorrichtung nicht erkennen. (Dies kann auch geschehen, wenn das Spracherkennungssystem 400 nicht richtig auf die jeweilige Stimme des Nutzers abgestimmt wurde, etwa wenn das Spracherkennungssystem 400 auf Standardbedingungen eingestellt ist und/oder der Nutzer kein Initialisierungs- bzw. Schulungsverfahren zur Anpassung des Spracherkennungssystems 400 an seine Stimme durchgeführt hat.) Wenn das Spracherkennungssystem 400 nicht beim ersten Versuch des Nutzers zur Aktivierung des Sprach-Triggers reagiert, sollte der Nutzer wohl die Auslöserphrase wiederholen. Das Gerät erkennt, ob diese wiederholten Klangeingaben einander ähnlich sind und/oder ob sie ähnlich der Auslöserphrase sind (wenngleich nicht ähnlich genug, um das Spracherkennungssystem 400 zur Aktivierung des sprachbasierten Dienstes zu veranlassen). Wenn diese Bedingungen erfüllt sind, ermittelt das Gerät, ob die Klangeingaben den gültigen Versuchen zur Aktivierung des Spracherkennungssystems 400 entsprechen. In einigen Ausführungen verwendet das Spracherkennungssystem 400 folglich diese empfangenen Klangeingaben zur Einstellung eines oder mehrerer Aspekte des Spracherkennungssystems 400, damit in Zukunft ähnliche Äußerungen des Nutzers als gültige Auslöser akzeptiert werden. In einigen Ausführungen werden diese Klangeingaben nur zur Anpassung des Spracherkennungssystems 400 verwendet, wenn bestimmte Bedingungen oder Kombinationen von Bedingungen erfüllt sind. Zum Beispiel werden in einigen Ausführungen die Klangeingaben verwendet, um das Spracherkennungssystem 400 anzupassen, wenn eine vorgegebene Anzahl von Klangeingaben in Folge empfangen werden (z. B. 2, 3, 4, 5 oder eine andere geeignete Zahl), wenn die Klangeingaben der Referenzdarstellung ausreichend ähnlich sind, wenn die Klangeingaben einander ausreichend ähnlich sind, wenn die Klangeingaben nah beieinander sind (z. B. wenn sie innerhalb eines vorgegebenen Zeitabschnitts und/oder in oder nahe einer vorgegebenen Zeitspanne empfangen werden) und/oder im Fall einer Kombination dieser oder anderer Bedingungen. In einigen Fällen kann das Spracherkennungssystem 400 eine oder mehrere Klangeingaben erkennen, die eines oder mehrere Auslöserkriterien nicht erfüllen, gefolgt vom manuellen Starten des sprachbasierten Dienstes (z. B. durch Drücken einer Schaltfläche oder eines Symbols). In einigen Ausführungen ermittelt das Spracherkennungssystem 400, ob, da der sprachbasierte Dienst kurz nach dem Empfangen der Klangeingaben begonnen wurde, die Klangeingaben tatsächlich gescheiterten Stimmauslöserversuchen entsprachen. Folglich verwendet das Spracherkennungssystem 400 diese empfangenen Klangeingaben, um einen oder mehrere Aspekte des Spracherkennungssystems 400 einzustellen, damit Äußerungen des Nutzers in Zukunft als gültige Auslöser akzeptiert werden, wie vorstehend beschrieben.
• Die vorstehend beschriebenen Anpassungstechniken beziehen sich zwar auf die Einstellung einer Referenzdarstellung, aber andere Aspekte der Erkennungstechniken von Auslöserklängen können auf dieselbe oder auf eine ähnliche Art zusätzlich zur oder anstatt der Einstellung der Referenzdarstellung abgestimmt werden. In einigen Ausführungen stellt das Gerät zum Beispiel ein, wie Klangeingaben gefiltert werden und/oder welche Filter auf Klangeingaben angewendet werden, etwa um sich auf bestimmte Frequenzen oder Frequenzbereiche einer Klangeingabe zu fokussieren und/oder solche zu unterdrücken. In einigen Ausführungen stellt das Gerät einen Algorithmus ein, der zum Vergleichen der Eingabedarstellung mit der Referenzdarstellung genutzt wird. Zum Beispiel werden in einigen Ausführungen ein oder mehrere Ausdrücke einer mathematischen Funktion, die zur Ermittlung des Unterschieds zwischen einer Eingabedarstellung und einer Referenzdarstellung dienen, geändert, hinzugefügt oder entfernt oder es wird eine unterschiedliche mathematische Funktion eingesetzt. In einigen Ausführungen erfordern Anpassungstechniken, wie die vorstehend beschriebenen, mehr Ressourcen, als das Spracherkennungssystem 400 bereitstellen oder anhand der Konfiguration ermöglichen kann. Insbesondere verfügen die Klangdetektoren nicht über die Menge oder Typen von Prozessoren, Daten oder Speicher, die zur Durchführung der schrittweisen Anpassung einer Referenzdarstellung und/oder eines Klangerkennungsalgorithmus (oder eines sonstigen geeigneten Aspekts des Spracherkennungssystems 400) notwendig sind oder haben keinen Zugriff darauf. Somit werden in einigen Ausführungen eine oder mehrere der vorstehend beschriebenen Anpassungstechniken durch einen leistungsfähigeren Prozessor, etwa einen Applikationsprozessor (z. B. den Prozessor 204), oder durch eine andere Vorrichtung (z. B. das Serversystem 108) ausgeführt. Das Spracherkennungssystem 400 ist jedoch dazu vorgesehen, selbst dann zu arbeiten, wenn sich der Applikationsprozessor im Standby-Modus befindet. Somit werden die Klangeingaben, die zur Anpassung des Spracherkennungssystems 400 genutzt werden sollen, auch empfangen, wenn der Applikationsprozessor nicht aktiviert ist und die Klangeingabe nicht verarbeiten kann. Folglich wird in einigen Ausführungen die Klangeingabe vom Gerät gespeichert, damit sie weiter verarbeitet und/oder analysiert werden kann, nachdem sie empfangen wurde. In einigen Ausführungen wird die Klangeingabe im Speicherpuffer 414 des Audiosubsystems 226 gespeichert. In einigen Ausführungen wird die Klangeingabe im Systemspeicher (z. B. Speicher 250, 2) mittels des direkten Speicherzugriffsverfahrens (DMA) gespeichert (wobei zum Beispiel eine DMA-Engine eingesetzt wird, damit Daten kopiert oder verschoben werden können, ohne dass der Applikationsprozessor gestartet werden muss). Die gespeicherte Klangeingabe wird anschließend dem Applikationsprozessor (oder dem Serversystem 108 bzw. einer anderen geeigneten Vorrichtung) bereitgestellt bzw. dieser greift auf die gespeicherte Klangeingabe zu, sobald er gestartet wurde, damit der Applikationsprozessor eines oder mehrere der vorstehend beschriebenen Anpassungsverfahren durchführen kann.
• In einigen Ausführungen sind die 5-7 Flussdiagramme, die nach bestimmten Ausführungen Verfahren zum Betreiben eines Sprach-Triggers darstellen. Die Verfahren werden wahlweise durch Anweisungen geregelt, die in einem Computerspeicher oder einem nicht flüchtigen computerlesbaren Speichermedium (z. B. Speicher 250 von Clientvorrichtung 104, Speicher 302 verbunden mit dem Digital-Assistent-System 300) gespeichert werden und die durch einen oder mehrere Prozessoren eines oder mehrerer Computersysteme eines Digital-Assistenzsystems ausgeführt werden, unter anderem des Serversystems 108 und/oder der Nutzervorrichtung 104a. Das computerlesbare Speichermedium kann eine magnetische oder optische Speicherplatte, Halbleiterspeicher-vorrichtungen, wie einen Flash-Speicher oder sonstige nicht flüchtige Speichervorrichtung(en) umfassen. Die auf dem computerlesbaren Speichermedium gespeicherten computerlesbaren Anweisungen können eines oder mehrere von Folgendem umfassen: Quellcode, Assemblersprachcode, Objektcode oder sonstiges Instruktionsformat, das durch einen oder mehrere Prozessoren interpretiert wird. In verschiedenen Ausführungen können einige Operationen in jedem Verfahren kombiniert werden und/oder kann die Reihenfolge einiger Operationen in Bezug auf die in den Figuren dargestellte Reihenfolge geändert werden. In einigen Ausführungen können auch in separaten Figuren dargestellte und/oder in Verbindung mit separaten Verfahren diskutierte Operationen kombiniert werden, um andere Verfahren zu gestalten, und in derselben Figur dargestellte und/oder in Verbindung mit demselben Verfahren diskutierte Operationen können in verschiedene Verfahren aufgeteilt werden. Darüber hinaus werden in einigen Ausführungen eine oder mehrere Operationen in den Verfahren durch Module des Digital-Assistenzsystems 300 und/oder eine elektronische Vorrichtung (z. B. das Nutzergerät 104) durchgeführt, darunter zum Beispiel das Verarbeitungsmodul für natürliche Sprache 332, das Dialogfluss-Verarbeitungsmodul 334, das Audiosubsystem 226, der Geräuschdetektor 402, der Klangtypdetektor 404, der Auslöser-Klangdetektor 406, der sprachbasierte Dienst 408, und/oder Submodule der genannten Elemente. 5 stellt ein Verfahren 500 für den Betrieb eines Spracherkennungssystems (z. B. des Spracherkennungssystems 400, 4) gemäß einigen Ausführungen dar. In einigen Ausführungen wird das Verfahren 500 an einem elektronischen Gerät durchgeführt, einschließlich eines oder mehrerer Prozessoren sowie Anleitungen zum Speichern zur Ausführung durch einen oder mehrere Prozessoren (z. B. das elektronische Gerät 104). Das elektronische Gerät empfängt eine Klangeingabe (502). Die Klangeingabe kann einer gesprochenen Äußerung (z. B. einem Wort, einer Phrase oder einem Satz), einem von einem Menschen erzeugten Klang (z. B. Pfeifen, Zungenschnalzen, Fingerschnipsen, Klatschen usw.) oder einem anderen Klang (z. B. einem elektronisch erzeugten Zwitschern, einem mechanischen Geräuscherzeuger usw.) entsprechen. In einigen Ausführungen empfängt das elektronische Gerät die Klangeingabe über das Audiosubsystem 226 (einschließlich zum Beispiel von Codec 410, Audio-DSP 412 und Puffer 414 sowie der Mikrofone 230 und 418, beschrieben unter Verweis auf 4).
• In einigen Ausführungen ermittelt das elektronische Gerät, ob die Klangeingabe eine vorgegebene Bedingung erfüllt (504). In einigen Ausführungen wendet das elektronische Gerät eine Zeitdomänenanalyse auf die Klangeingabe an, um festzustellen, ob die Klangeingabe die vorgegebene Bedingung erfüllt. Zum Beispiel analysiert das elektronische Gerät die Klangeingabe über einen Zeitabschnitt, um festzustellen, ob die Klangamplitude einen vorgegebenen Pegel erreicht. In einigen Ausführungen wird der Schwellenwert erfüllt, wenn die Amplitude (z. B. die Lautstärke) der Klangeingabe einem vorgegebenen Schwellenwert entspricht und/oder ihn überschreitet. In einigen Ausführungen wird er erfüllt, wenn die Klangeingabe für einen vorgegebenen Zeitraum einem vorgegebenen Schwellenwert entspricht und/oder ihn überschreitet. Wie nachstehend ausführlicher besprochen, wird in einigen Ausführungen die Ermittlung, ob die Klangeingabe die vorgegebene Bedingung (504) erfüllt, von einem dritten Klangdetektor (z. B. dem Geräuschdetektor 402) durchgeführt. (Der dritte Klangdetektor wird in diesem Fall verwendet, um den Klangdetektor von anderen Klangdetektoren (z. B. dem nachstehend besprochenen ersten und zweiten Klangdetektor) zu unterscheiden, und gibt nicht notwendigerweise eine Betriebsposition oder Reihenfolge der Klangdetektoren an.)
• Das elektronische Gerät ermittelt, ob die Klangeingabe einem vorgegebenen Klangtyp (506) entspricht. Wie vorstehend erwähnt, werden Klänge als verschiedene „Typen“ auf der Basis bestimmter erkennbarer Merkmale der Klänge kategorisiert. Die Ermittlung, ob die Klangeingabe einem vorgegebenen Typ entspricht, beinhaltet die Ermittlung, ob die Klangeingabe die Merkmale eines bestimmten Typs umfasst oder aufweist. In einigen Ausführungen ist der vorgegebene Klangtyp eine menschliche Stimme. In solchen Ausführungen umfasst die Ermittlung, ob die Klangeingabe einer menschlichen Stimme entspricht, die Ermittlung, ob die Klangeingabe die für eine menschliche Stimme (508) charakteristischen Frequenzen beinhaltet. Wie nachstehend ausführlicher besprochen, wird in einigen Ausführungen die Ermittlung, ob die Klangeingabe einem vorgegebenen Klangtyp (506) entspricht, von einem ersten Klangdetektor (z. B. dem Klangtypdetektor 404) durchgeführt. Nach der Feststellung, dass die Klangeingabe dem vorgegebenen Klangtyp entspricht, ermittelt das elektronische Gerät, ob die Klangeingabe einen vorgegebenen Inhalt (510) umfasst. In einigen Ausführungen entspricht der vorgegebene Inhalt einem oder mehreren vorgegebenen Phonemen (512). In einigen Ausführungen bezeichnen das eine bzw. die mehreren vorgegebenen Phoneme mindestens ein Wort. In einigen Ausführungen ist der vorgegebene Inhalt ein Klang (z. B. ein Pfeifen, Klicken oder Klatschen). Wie nachstehend besprochen, wird in einigen Ausführungen die Feststellung, ob die Klangeingabe vorgegebenen Inhalt (510) umfasst, von einem zweiten Klangdetektor (z. B. dem Auslöser-Klangdetektor 406) durchgeführt.
• Nach der Feststellung, dass die Klangeingabe den vorgegebenen Inhalt umfasst, startet das elektronische Gerät einen sprachbasierten Dienst (514). In einigen Ausführungen ist der sprachbasierte Dienst ein sprachbasierter digitaler Assistent, wie vorstehend ausführlich beschrieben. In einigen Ausführungen ist der sprachbasierte Dienst ein Diktierdienst, bei dem Spracheingaben zu Text konvertiert werden und in ein Texteingabefeld eingefügt und/oder in einem Texteingabefeld angezeigt werden (z. B. einer E-Mail, einer Textmitteilung, einem Textverarbeitungs- oder Notizbuchprogramm usw.). In Ausführungen, in denen der sprachbasierte Dienst ein sprachbasierter digitaler Assistent ist, wird, sobald der sprachbasierte digitale Assistent gestartet wurde, dem Nutzer eine Eingabeaufforderung ausgegeben (z. B. eine Klang- oder Sprachaufforderung) mit dem Hinweis, dass der Nutzer dem digitalen Assistenten eine Stimmeingabe und/oder einen Befehl eingeben kann. In einigen Ausführungen umfasst das Starten des sprachbasierten digitalen Assistenten die Aktivierung eines Applikationsprozessors (z. B. des Prozessors 204, 2), Starten eines oder mehrerer Programme oder Module (z. B. des Clientmoduls des digitalen Assistenten 264, 2) und/oder die Herstellung einer Verbindung zu Remote-Servern oder Vorrichtungen (z. B. dem Digital-Assistent-Server 106, 1).
• In einigen Ausführungen stellt die elektronische Vorrichtung fest, ob die Klangeingabe der Stimme eines bestimmten Nutzers (516) entspricht. Zum Beispiel werden eine oder mehrere Stimmenauthentifizierungstechniken auf die Klangeingabe angewendet, um festzustellen, ob sie der Stimme eines autorisierten Nutzers des Geräts entspricht. Stimmenauthentifizierungstechniken werden vorstehend ausführlicher beschrieben. In einigen Ausführungen wird die Stimmenauthentifizierung durch einen der Klangdetektoren (z. B. den Auslöser-Klangdetektor 406) durchgeführt. In einigen Ausführungen wird die Stimmenauthentifizierung durch ein geeignetes Stimmenauthentifizierungsmodul (einschließlich der entsprechenden Hardware und/oder Software) durchgeführt. In einigen Ausführungen wird der klangbasierte Dienst in Reaktion auf eine Feststellung gestartet, dass die Klangeingabe den vorgegebenen Inhalt umfasst sowie dass sie der Stimme des bestimmten Nutzers entspricht. Somit wird zum Beispiel der klangbasierte Dienst (z. B. ein sprachbasierter digitaler Assistent) nur gestartet, wenn das Auslöserwort oder die Auslöserphrase von einem autorisierten Nutzer gesprochen wird. Dies vermindert die Möglichkeit, dass der Dienst von einem nicht autorisierten Nutzer aufgerufen werden kann, und kann insbesondere hilfreich sein, wenn sich mehrere elektronische Vorrichtungen in unmittelbarer Nähe befinden, damit die Äußerung eines Auslöserklangs durch einen Nutzer nicht den Stimmauslöser eines anderen Nutzers aktiviert.
• In einigen Ausführungen, bei denen es sich bei dem sprachbasierten Dienst um einen stimmbasierten digitalen Assistenten handelt, wird der stimmbasierte digitale Assistent als Reaktion auf das Bestimmen, dass die Klangeingabe den vorgegebenen Inhalt enthält, aber nicht der Stimme des bestimmten Benutzers entspricht, in einem Modus mit begrenztem Zugang initiiert. In einigen Ausführungen gestattet der Modus mit begrenztem Zugang dem digitalen Assistenten nur Zugang zu einer Teilmenge der Daten, Dienste und/oder Funktionalität, die der digitale Assistent ansonsten bereitstellen kann. In einigen Ausführungen entspricht der Modus mit begrenztem Zugang einem Nur-Schreib-Modus (z.B. so dass ein unbefugter Benutzer des digitalen Assistenten keinen Zugang zu Daten aus Kalendern, Aufgabenlisten, Kontakten, Fotografien, E-Mails, Textnachrichten etc. hat). In einigen Ausführungen entspricht der Modus mit beschränktem Zugang einem Sandbox-Fall eines sprachbasierten Dienstes, so dass der sprachbasierte Dienst keinen Lese- oder Schreibzugriff auf die Benutzerdaten hat, wie die Benutzerdaten 266 auf der Vorrichtung 104 (2) oder auf jeglicher anderen Vorrichtung (z.B. Benutzerdaten 348, 3A, die auf einem entfernten Server, wie dem Serversystem 108, 1, gespeichert sein können).
• In einigen Ausführungen gibt der stimmbasierte digitale Assistent als Reaktion auf ein Bestimmen, dass die Klangeingabe den vorgegebenen Inhalt enthält und dass die Klangeingabe der Stimme des bestimmten Benutzers entspricht, eine Aufforderung aus, die einen Name des bestimmten Benutzers aufweist. Wenn beispielsweise ein bestimmter Benutzer mittels Authentifizierung der Stimme identifiziert wird, kann der stimmbasierte digitale Assistent eine Aufforderung, wie etwa „Wie kann ich dir helfen, Peter?“, anstatt einer allgemeineren Aufforderung, wie einem Ton, einem Piepton oder einer nicht personalisierten Stimmaufforderung ausgeben. Wie vorstehend erwähnt, bestimmt in einigen Ausführungen ein erster Klangdetektor, ob die Klangeingabe einer vorgegebenen Art von Klang entspricht (bei Schritt 506), und ein zweiter Klangdetektor bestimmt, ob der Klangdetektor den vorgegebenen Inhalt enthält (bei Schritt 510). In einigen Ausführungen verbraucht der erste Klangdetektor weniger Strom im Betrieb als der zweite Klangdetektor, beispielsweise weil der erste Klangdetektor Technik verwendet, die weniger prozessorintensiv ist als die des zweiten Klangdetektors. In einigen Ausführungen handelt es sich bei dem ersten Klangdetektor um den Klangartdetektor 404 und bei dem zweiten Klangdetektor um den Klangauslösungsdetektor 406, die beide vorstehend unter Bezug auf 4 besprochen wurden. In einigen Ausführungen überwachen der erste und/oder der zweite Klangdetektor im Betrieb periodisch einen Audiokanal gemäß einem Arbeitszyklus, wie vorstehend unter Bezugnahme auf 4 beschrieben.
• In einigen Ausführungen führen der erste und/oder der zweite Klangdetektor eine Frequenzbereichsanalyse der Klangeingabe aus. Beispielsweise führen diese Klangdetektoren eine Laplace-, Z- oder Fouriertransformation durch, um ein Frequenzspektrum zu erzeugen oder um die spektrale Dichte der Klangeingabe oder eines Teils davon zu bestimmen. In einigen Ausführungen handelt es sich bei dem ersten Klangdetektor um einen Sprachaktivitätsdetektor, der dazu ausgelegt ist, zu bestimmen, ob die Klangeingabe Frequenzen enthält, die für eine menschliche Stimme typisch sind (oder andere Merkmale, Aspekte oder Eigenschaften der Klangeingabe, die typisch für eine menschliche Stimme sind).
• In einigen Ausführungen ist der zweite Klangdetektor aus oder inaktiv, bis der erste Klangdetektor eine Klangeingabe der vorgegebenen Art erfasst. Dementsprechend beinhaltet in einigen Ausführungen das Verfahren 500 das Initiieren des zweiten Klangdetektors als Reaktion auf das Bestimmen, dass die Klangeingabe der vorgegebenen Art entspricht. (In anderen Ausführungen wird der zweite Klangdetektor als Reaktion auf andere Bedingungen initiiert oder wird durchgehend betrieben, unabhängig von einem Bestimmen seitens des ersten Klangdetektors.) In einigen Ausführungen beinhaltet das Initiieren des zweiten Klangdetektors das Aktivieren von Hardware und/oder Software (einschließlich beispielsweise Schaltungen, Prozessoren, Programmen, Speicher, etc.). In einigen Ausführungen wird der zweite Klangdetektor mindestens eine vorgegebene Zeitdauer nach seiner Initiierung betrieben (ist z.B. aktiv und überwacht einen Audiokanal). Wenn beispielsweise der erste Klangdetektor bestimmt, dass die zweite Klangeingabe einer vorgegebenen Art entspricht (z.B. eine menschliche Stimme beinhaltet), wird der zweite Klangdetektor betrieben, um zu bestimmen, ob die Klangeingabe auch den vorgegebenen Inhalt (z.B. das Auslösungswort) enthält. In einigen Ausführungen entspricht die vorgegebene Zeitdauer einer Dauer des vorgegebenen Inhalts. Wenn es sich also bei dem vorgegebenen Inhalt um den Satz „Hey, SIRI“ handelt, ist die vorgegebene Zeitdauer lang genug, um zu bestimmen, ob dieser Satz ausgesprochen wurde (z.B. 1 oder 2 Sekunden oder jede andere geeignete Dauer). Wenn der vorgegebene Inhalt länger ist als der Satz „Hey, SIRI, bitte wach auf und hilf mir“, ist die vorgegebene Zeitdauer länger (z.B. 5 Sekunden oder jede andere geeignete Dauer). In einigen Ausführungen wird der zweite Klangdetektor betrieben, solange der erste Klangdetektor Klang erfasst, der der vorgegebenen Art entspricht. In solchen Ausführungen verarbeitet der zweite Klangdetektor, solange der erste Klangdetektor menschliche Sprache in einer Klangeingabe erfasst, beispielsweise die Klangeingabe, um zu bestimmen, ob sie den vorgegebenen Inhalt enthält.
• Wie vorstehend erwähnt, bestimmt in einigen Ausführungen ein dritter Klangdetektor (z.B. der Geräuschdetektor 402), ob die Klangeingabe eine vorgegebene Bedingung erfüllt (bei Schritt 504). In einigen Ausführungen verbraucht der dritte Klangdetektor im Betrieb weniger Strom als der erste Klangdetektor. In einigen Ausführungen überwacht der dritte Klangdetektor periodisch einen Audiokanal gemäß einem Arbeitszyklus, wie vorstehend unter Bezugnahme auf 4 beschrieben. Außerdem führt in einigen Implementierungen der dritte Klangdetektor eine Zeitbereichsanalyse der Klangeingabe aus. In einigen Ausführungen verbraucht der dritte Klangdetektor weniger Strom als der erste Klangdetektor, weil die Zeitbereichsanalyse weniger prozessorintensiv ist als die Frequenzbereichsanalyse, die vom zweiten Klangdetektor angewandt wird.
• Ähnlich der vorstehenden Erörterung bezüglich des Initiierens des zweiten Klangdetektors (z.B. einem Klangauslösungsdetektor 406) als Reaktion auf ein Bestimmen seitens des ersten Klangdetektors (z.B. des Klangartdetektors 404), wird in einigen Implementierungen der erste Klangdetektor als Reaktion auf ein Bestimmen seitens des dritten Klangdetektors (z.B. des Geräuschdetektors 402) initiiert. Beispielsweise wird in einigen Ausführungen der Klangartdetektor 404 als Reaktion auf ein Bestimmen seitens des Geräuschdetektors 402, dass die Klangeingabe eine vorgegebene Bedingung erfüllt (z.B. während einer ausreichenden Zeitdauer oberhalb einer bestimmten Lautstärke ist), initiiert. In einigen Ausführungen beinhaltet das Initiieren des ersten Klangdetektors das Aktivieren von Hardware und/oder Software (einschließlich beispielsweise Schaltungen, Prozessoren, Programmen, Speicher, etc.). In anderen Ausführungen wird der erste Klangdetektor als Reaktion auf andere Bedingungen initiiert oder wird durchgehend betrieben. In einigen Ausführungen speichert die Vorrichtung mindestens einen Teil der Klangeingabe im Speicher (518). In einigen Ausführungen ist der Speicher der Puffer 414 des Audioteilsystems 226 (4). Die gespeicherte Klangeingabe ermöglicht die Nicht-Echtzeit-Verarbeitung der Klangeingabe durch die Vorrichtung. Beispielsweise lesen und/oder empfangen in einigen Ausführungen einer oder mehrere der Klangdetektoren die gespeicherte Klangeingabe, um die gespeicherte Klangeingabe zu verarbeiten. Dies kann besonders nützlich sein, wenn ein vorgeschalteter Klangdetektor (z.B. der Klangauslösungsdetektor 406) erst auf halbem Weg durch Empfangen einer Klangeingabe vom Audioteilsystem 226 initiiert wird. In einigen Ausführungen wird der gespeicherte Teil der Klangeingabe dem sprachbasierten Dienst bereitgestellt, sobald der sprachbasierte Dienst initiiert wird (520). Folglich kann der sprachbasierte Dienst den gespeicherten Teil der Klangeingabe selbst dann transkribieren, verarbeiten oder anderweitig bearbeiten, wenn der sprachbasierte Dienst erst dann vollständig betriebsfähig ist, nachdem dieser Teil der Klangeingabe empfangen wurde. In einigen Ausführungen wird der gespeicherte Teil der Klangeingabe einem Anpassungsmodul der elektronischen Vorrichtung bereitgestellt.
• In verschiedenen Ausführungen werden die Schritte (516)-(520) an unterschiedlichen Positionen innerhalb des Verfahrens 500 durchgeführt. Beispielsweise werden in einigen Ausführungen einer oder mehrere der Schritte (516)-(520) zwischen den Schritten (502) und (504), zwischen den Schritten (510) und (514) oder an jeder anderen geeigneten Position durchgeführt.
• 6 veranschaulicht ein Verfahren 600 zum Betreiben eines Sprachauslösesystems (z.B. das Sprachauslösesystem 400, 4), gemäß einigen Ausführungen. In einigen Ausführungen wird das Verfahren 600 an einer elektronischen Vorrichtung durchgeführt, die einen oder mehrere Prozessoren und einen Speicher aufweist, der Anweisungen, die von dem einen oder den mehreren Prozessoren ausgeführt werden sollen, speichert (z.B. die elektronische Vorrichtung 104). Die elektronische Vorrichtung bestimmt, ob sie sich in einer vorgegebenen Ausrichtung befindet (602). In einigen Ausführungen erfasst die elektronische Vorrichtung ihrer Ausrichtung unter Verwendung von Lichtsensoren (einschließlich Kameras), Mikrofonen, Näherungssensoren, magnetischen Sensoren, Beschleunigungsmessern, Gyroskopen, Kippfühlern und dergleichen. Beispielsweise bestimmt die elektronische Vorrichtung, ob sie nach unten weisend oder nach oben weisend auf einer Oberfläche ruht, indem sie die Menge oder die Helligkeit des Lichts, das auf einen Sensor einer nach vorne gerichteten Kamera einfällt, mit der Menge oder Helligkeit des Lichts, das auf einen Sensor einer nach hinten gerichteten Kamera einfällt, vergleicht. Wenn die von der nach vorne gerichteten Kamera erfasste Menge und/oder Helligkeit des Lichts ausreichend größer ist als die von der nach hinten gerichteten Kameraerfasste Menge und/oder Helligkeit des Lichts, bestimmt die elektronische Vorrichtung, dass sie nach oben weist. Wenn andererseits die von der nach hinten gerichteten Kamera erfasste Menge und/oder Helligkeit des Lichts ausreichend größer ist als die von der nach vorne gerichteten Kamera erfasste Menge und/oder Helligkeit des Lichts, bestimmt die Vorrichtung, dass sie nach unten weist. Bei Bestimmen, dass sich die elektronische Vorrichtung in der vorgegebenen Ausrichtung befindet, aktiviert die elektronische Vorrichtung einen vorgegebenen Modus eines Sprach-Triggers (604). In einigen Ausführungen entspricht die vorgegebene Ausrichtung einem Bildschirm der Vorrichtung, der im Wesentlichen horizontal und nach unten gerichtet ist, und der vorgegebene Modus ist ein Standby-Modus (606). Wenn beispielsweise in einigen Ausführungen ein Smartphone oder ein Tablet so auf einen Tisch oder Schreibtisch gelegt wird, dass der Bildschirm nach unten weist, wird der Sprach-Trigger in einen Standby-Modus versetzt (z.B. ausgeschaltet), um eine unbeabsichtigte Aktivierung des Sprach-Triggers zu verhindern.
• Andererseits entspricht in einigen Ausführungen die vorgegebene Ausrichtung einem Bildschirm der Vorrichtung, der im Wesentlichen horizontal und nach oben gerichtet ist, und der vorgegebene Modus ist ein Zuhörmodus (608). Wenn also beispielsweise ein Smartphone oder ein Tablet so auf einen Tisch oder Schreibtisch gelegt wird, dass der Bildschirm nach oben weist, wird der Sprach-Trigger in einen Zuhörmodus versetzt, so dass er dem Benutzer antworten kann, wenn er den Auslöser erfasst.
• 7 veranschaulicht ein Verfahren 700 zum Betreiben eines Sprach-Triggers (z.B. das Sprachauslösesystem 400, 4), gemäß einigen Ausführungen. In einigen Ausführungen wird das Verfahren 700 an einer elektronischen Vorrichtung durchgeführt, einschließlich eines oder mehrerer Prozessoren sowie Anleitungen zum Speichern zur Ausführung durch einen oder mehrere Prozessoren (z. B. die elektronische Vorrichtung 104). Die elektronische Vorrichtung betreibt einen Sprach-Trigger (z.B. das Sprachauslösesystem 400) in einem ersten Modus (702). In einigen Ausführungen handelt es sich bei dem ersten Modus um einen normalen Zuhörmodus.
• Die elektronische Vorrichtung bestimmen, ob sie sich in einem im Wesentlichen eingeschlossenen Raum befindet, indem sie erfasst, dass ein Mikrofon und/oder eine Kamera der elektronischen Vorrichtung verdeckt ist/sind (704). In einigen Ausführungen beinhaltet ein im Wesentlichen eingeschlossener Raum eine Tasche eines Kleidungsstücks, eine Handtasche, eine Reisetasche, eine Schublade, ein Handschuhfach, eine Aktentasche oder dergleichen.
• Wie vorstehend beschrieben, erfasst in einigen Ausführungen eine Vorrichtung, dass ein Mikrofon verdeckt ist, indem sie einen oder mehrere Klänge (z.B. Töne, Knackgeräusche, Pfeifgeräusche, etc.) aus einem Lautsprecher oder einem Wandler ausgibt, und ein oder mehrere Mikrofone oder Wandler überwacht, um das Echo des ausgelassenen Klangs bzw. der ausgelassenen Klänge zu erfassen. Eine relativ geräumige Umgebung (z.B. ein Zimmer oder ein Fahrzeug) wird beispielsweise den Klang anders wiedergeben als eine relativ kleine, im Wesentlichen eingeschlossene Umgebung (z.B. eine Handtasche oder eine Tasche eines Kleidungsstücks). Wenn die Vorrichtung also basierend auf dem Echo (oder dem Fehlen desselben) erfasst, dass das Mikrofon (oder der Lautsprecher, der die Klänge ausgegeben hat) verdeckt ist, bestimmt die Vorrichtung, dass sie sich in einem im Wesentlichen eingeschlossenen Raum befindet. In einigen Ausführungen erfasst die Vorrichtung, dass ein Mikrofon verdeckt ist, indem sie erfasst, dass das Mikrofon ein Klangmerkmal eines eingeschlossenen Raums aufnimmt. Wenn sich eine Vorrichtung beispielsweise in einer Tasche eines Kleidungsstücks befindet, kann das Mikrofon ein typisches raschelndes Geräusch erfassen, da das Mikrofon mit dem Stoff der Tasche in Kontakt oder in dessen Nähe kommt. In einigen Ausführungen erfasst eine Vorrichtung, dass eine Kamera verdeckt ist, basierend auf dem von einem Sensor empfangenen Lichtpegel oder indem sie erfasst, ob die Kamera ein scharfes Bild erzielen kann. Wenn beispielsweise ein Kamerasensor einen niedrigen Lichtpegel zu einer Zeit erfasst, zu der ein hoher Lichtpegel erwartet werden würde (z.B. während Tageslichtzeiten), dann erfasst die Vorrichtung, dass die Kamera verdeckt ist und dass sich die Vorrichtung in einem im Wesentlichen eingeschlossenen Raum befindet. Als ein weiteres Beispiel kann die Kamera versuchen, ein scharf eingestelltes Bild auf ihrem Sensor zu erzielen. In der Regel wird sich dies schwierig gestalten, wenn sich die Kamera an einem extrem dunklen Ort (z.B. der Tasche eines Kleidungsstücks oder einem Rucksack) befindet, oder wenn sie zu nah an dem Objekt ist, das sie scharf einstellen will (z.B. die Innenseite einer Handtasche oder eines Rucksacks). Wenn die Kamera also nicht in der Lage ist, ein scharf eingestelltes Bild zu erzielen, bestimmt sie, dass die Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet.
• Bei Bestimmen, dass die elektronische Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet, schaltet die elektronische Vorrichtung den Sprach-Trigger in einen zweiten Modus um (706). In einigen Ausführungen handelt es sich bei dem zweiten Modus um einen Standby-Modus (708). In einigen Ausführungen überwacht das Sprachauslösesystem 400, wenn es im Standby-Modus ist, weiterhin die Audioumgebung, aber es reagiert nicht auf empfangene Klänge, unabhängig davon, ob diese ansonsten das Sprachauslösesystem 400 auslösen würden. In einigen Ausführungen wird das Sprachauslösesystem 400, wenn es im Standby-Modus ist, deaktiviert und verarbeitet kein Audio, um Auslöseklänge zu erfassen. In einigen Ausführungen beinhaltet der zweite Modus das Betreiben eines oder mehrerer Klangdetektoren eines Sprachauslösesystems 400 gemäß einem anderen Arbeitszyklus als der erste Modus. In einigen Ausführungen beinhaltet der zweite Modus das Betreiben einer anderen Kombination von Klangdetektoren als der erste Modus.
• In einigen Ausführungen entspricht der zweite Modus einem empfindlicheren Überwachungsmodus, so dass das Sprachauslösesystem 400 einen Auslöseklang erfassen und darauf reagieren kann, selbst wenn es sich in einem im Wesentlichen eingeschlossenen Raum befindet. In einigen Ausführungen bestimmt die Vorrichtung, sobald der Sprach-Trigger in den zweiten Modus umgeschaltet wurde, periodisch, ob die elektronische Vorrichtung sich immer noch in einem im Wesentlichen eingeschlossenen Raum befindet, indem sie erfasst, ob ein Mikrofon und/oder eine Kamera der elektronischen Vorrichtung verdeckt ist/sind (z.B. unter Verwendung einer der vorstehend unter Bezugnahme auf Schritt (704) beschriebene Techniken). Wenn die Vorrichtung sich immer noch in einem im Wesentlichen eingeschlossenen Raum befindet, bleibt das Sprachauslösesystem 400 im zweiten Modus. In einigen Implementierungen schaltet die elektronische Vorrichtung, wenn die Vorrichtung aus einem im Wesentlichen eingeschlossenen Raum entfernt wird, den Sprach-Trigger wieder in den ersten Modus um.
• Gemäß einigen Ausführungen zeigt 8 ein funktionelles Blockdiagramm einer elektronischen Vorrichtung 800, die gemäß den Prinzipien der Erfindung, wie vorstehend beschrieben, ausgelegt ist. Die funktionellen Blöcke der Vorrichtung können durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden, um die Prinzipien der Erfindung durchzuführen. Dem Fachmann ist klar, dass die in 8 beschriebenen funktionellen Blöcke kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der Erfindung, wie vorstehend beschrieben, zu implementieren. Deshalb kann die Beschreibung hierin jede mögliche Kombination oder Aufteilung oder weitere Definition der hierin beschriebenen funktionellen Blöcke belegen.
• Wie in 8 gezeigt, weist die elektronische Vorrichtung 800 eine Klangempfangseinheit 802 auf, die dazu ausgelegt ist Klangeingaben zu empfangen. Die elektronische Vorrichtung 800 weist auch eine Verarbeitungseinheit 806 auf, die an die Sprachempfangseinheit 802 gekoppelt ist. In einigen Ausführungen weist die Verarbeitungseinheit 806 eine Geräuscherfassungseinheit 808, eine Klangarterfassungseinheit 810, eine Klangauslösererfassungseinheit 812, eine Dienstinitiierungseinheit 814 und eine Sprachauthentifizierungseinheit 816 auf. In einigen Ausführungen entspricht die Geräuscherfassungseinheit 808 dem vorstehend erörterten Geräuschdetektor 402 und ist dazu ausgelegt, jegliche vorstehend unter Bezugnahme auf den Geräuschdetektor 402 beschriebenen Vorgänge auszuführen. In einigen Ausführungen entspricht die Klangarterfassungseinheit 810 dem vorstehend erörterten Klangartdetektor 404 und ist dazu ausgelegt, jegliche vorstehend unter Bezugnahme auf den Klangartdetektor 404 beschriebenen Vorgänge auszuführen. In einigen Ausführungen entspricht die Klangauslösererfassungseinheit 812 dem vorstehend erörterten Klangauslösungsdetektor 406 und ist dazu ausgelegt, jegliche vorstehend unter Bezugnahme auf den Klangauslösungsdetektor 406 beschriebenen Vorgänge auszuführen. In einigen Ausführungen entspricht die Stimmauthentifizierungseinheit 816 dem vorstehend erörterten Stimmauthentifizierungsmodul 428 und ist dazu ausgelegt, jegliche vorstehend unter Bezugnahme auf das Stimmauthentifizierungsmodul 428 beschriebenen Vorgänge auszuführen. Die Verarbeitungseinheit 806 ist dazu ausgelegt: zu bestimmen, ob mindestens ein Teil der Klangeingabe einer vorgegebenen Art von Klang entspricht (z.B. mittels der Klangarterfassungseinheit 810); bei Bestimmen, dass mindestens ein Teil der Klangeingabe der vorgegebenen Art entspricht, Bestimmen, ob die Klangeingabe vorgegebenen Inhalt enthält (z.B. mittels der Klangauslösererfassungseinheit 812); und bei Bestimmen, dass die Klangeingabe den vorgegebenen Inhalt enthält, Initiieren eines sprachbasierten Dienstes (z.B. mittels der Dienstinitiierungseinheit 814).
• In einigen Ausführungen ist die Verarbeitungseinheit 806 auch dazu ausgelegt, vor dem Bestimmen, ob die Klangeingabe einer vorgegebenen Klangart entspricht, zu bestimmen, ob die Klangeingabe eine vorgegebene Bedingung erfüllt (z.B. mittels der Geräuscherfassungseinheit 808). In einigen Ausführungen ist die Verarbeitungseinheit 806 auch dazu ausgelegt, zu bestimmen, ob die Klangeingabe einer Stimme eines bestimmten Benutzers entspricht (z.B. mittels der Stimmauthentifizierungseinheit 816).
• Gemäß einigen Ausführungen zeigt 9 ein funktionelles Blockdiagramm einer elektronischen Vorrichtung 900, die gemäß den Prinzipien der Erfindung, wie vorstehend beschrieben, ausgelegt ist. Die funktionellen Blöcke der Vorrichtung können durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden, um die Prinzipien der Erfindung durchzuführen. Dem Fachmann ist klar, dass die in 9 beschriebenen funktionellen Blöcke kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der Erfindung, wie vorstehend beschrieben, zu implementieren. Deshalb kann die Beschreibung hierin jede mögliche Kombination oder Aufteilung oder weitere Definition der hierin beschriebenen funktionellen Blöcke belegen.
• Wie in 9 gezeigt, weist die elektronische Vorrichtung 900 eine Stimmauslöseeinheit 902 auf. Die Stimmauslöseeinheit 902 kann in vielen unterschiedlichen Modi betrieben werden. In einem ersten Modus empfängt die Stimmauslöseeinheit Klangeingaben und bestimmt, ob sie bestimmte Kriterien erfüllen (z.B. einen Zuhörmodus). In einem zweiten Modus, empfängt die Stimmauslöseeinheit 902 keine Klangeingaben und verarbeitet auch keine Klangeingaben (z.B. ein Standby-Modus). Die elektronische Vorrichtung 900 weist auch eine Verarbeitungseinheit 906 auf, die an die Stimmauslöseeinheit 902 gekoppelt ist. In einigen Ausführungen weist die Verarbeitungseinheit 906 eine Umgebungserfassungseinheit 908, die einen oder mehrere Sensoren (z.B. einschließlich eines Mikrofons, einer Kamera, eines Beschleunigungsmessers, eines Gyroskops, etc.) aufweisen oder mit diesen/dieser über eine Schnittstelle verbunden sein kann, und eine Modusumschalteinheit 910 auf. In einigen Ausführungen ist die Verarbeitungseinheit 906 dazu ausgelegt: zu bestimmen, ob die elektronische Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet, indem sie erfasst, dass ein Mikrofon und/oder eine Kamera der elektronischen Vorrichtung verdeckt ist/sind (z.B. mittels der Umgebungserfassungseinheit 908); und bei Bestimmen, dass die elektronische Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet, Umschalten des Sprach-Triggers in einen zweiten Modus (z.B. mittels der Modusumschalteinheit 910).
• In einigen Ausführungen ist die Verarbeitungseinheit dazu ausgelegt: zu bestimmen, ob die elektronische Vorrichtung sich in einer vorgegebenen Ausrichtung befindet (z.B. mittels der Umgebungserfassungseinheit 908); und bei Bestimmen, dass die elektronische Vorrichtung sich in der vorgegebenen Ausrichtung befindet, Aktivieren eines vorgegebenen Modus eines Sprachauslösers (z.B. mittels der Modusumschalteinheit 910).
• Gemäß einigen Ausführungen zeigt 10 ein funktionelles Blockdiagramm einer elektronischen Vorrichtung 1000, die gemäß den Prinzipien der Erfindung, wie vorstehend beschrieben, ausgelegt ist. Die funktionellen Blöcke der Vorrichtung können durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden, um die Prinzipien der Erfindung durchzuführen. Dem Fachmann ist klar, dass die in 10 beschriebenen funktionellen Blöcke kombiniert oder in Unterblöcke aufgeteilt werden können, um die Prinzipien der Erfindung, wie vorstehend beschrieben, zu implementieren. Deshalb kann die Beschreibung hierin jede mögliche Kombination oder Aufteilung oder weitere Definition der hierin beschriebenen funktionellen Blöcke belegen.
• Wie in 10 gezeigt, weist die elektronische Vorrichtung 1000 eine Stimmauslöseeinheit 1002 auf. Die Stimmauslöseeinheit 1002 kann in vielen unterschiedlichen Modi betrieben werden. In einem ersten Modus empfängt die Stimmauslöseeinheit Klangeingaben und bestimmt, ob sie bestimmte Kriterien erfüllen (z.B. einen Zuhörmodus). In einem zweiten Modus, empfängt die Stimmauslöseeinheit 1002 keine Klangeingaben und verarbeitet auch keine Klangeingaben (z.B. ein Standby-Modus). Die elektronische Vorrichtung 1000 weist auch eine Verarbeitungseinheit 1006 auf, die an die Stimmauslöseeinheit 1002 gekoppelt ist. In einigen Ausführungen weist die Verarbeitungseinheit 1006 eine Umgebungserfassungseinheit 1008, die ein Mikrofon und/oder eine Kamera aufweisen oder mit diesem/dieser über eine Schnittstelle verbunden sein kann, und eine Modusumschalteinheit 1010 auf.
• Die Verarbeitungseinheit 1006 ist dazu ausgelegt: zu bestimmen, ob die elektronische Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet, indem sie erfasst, dass ein Mikrofon und/oder eine Kamera der elektronischen Vorrichtung verdeckt ist/sind (z.B. mittels der Umgebungserfassungseinheit 1008); und bei Bestimmen, dass die elektronische Vorrichtung sich in einem im Wesentlichen eingeschlossenen Raum befindet, Umschalten des Sprach-Triggers in einen zweiten Modus (z.B. mittels der Modusumschalteinheit 1010). Die vorstehende Beschreibung, die dem Zweck der Erklärung dient, wurde unter Bezugnahme auf spezifische Ausführungsformen beschrieben. Die vorstehenden veranschaulichenden Erörterungen sollen jedoch nicht als erschöpfend verstanden werden oder die offenbartenAusführungen auf die genauen offenbarten Formen beschränken. Angesichts der vorstehenden Lehre sind viele Abänderungen und Variationen möglich. Die Ausführungen wurden ausgesucht und beschrieben, um die Prinzipien der offenbarten Ideen und deren Anwendungen in der Praxis bestmöglich zu erklären, um es somit anderen Fachleuten zu ermöglichen, sie mit zahlreichen Abänderungen am besten zu verwenden, je nachdem wie sie für den beabsichtigten Gebrauch geeignet sind.
• Es versteht sich, dass wenngleich die Begriffe „erste/erster/erstes“, „zweite/zweiter/zweites“, etc. hierin verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht von diesen Begriffen eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Klangdetektor als zweiter Klangdetektor bezeichnet werden und auf ähnliche Weise könnte ein zweiter Klangdetektor als erster Klangdetektor bezeichnet werden, ohne die Bedeutung der Beschreibung zu verändern, solange alle Vorkommnisse des „ersten Klangdetektors“ durchweg umbenannt werden und alle Vorkommnisse des „zweiten Klangdetektors“ durchweg umbenannt werden. Sowohl bei dem ersten Klangdetektor als auch bei dem zweiten Klangdetektor handelt es sich um Klangdetektoren, aber es handelt sich dabei nicht um denselben Klangdetektor.
• Die hierin verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungen und ist nicht dazu beabsichtigt, die Einsprüche einzuschränken. So wie sie in der Beschreibung der Ausführungen und in den beigefügten Ansprüchen verwendet werden, sollen die Singularformen „ein“, „eine“, „eines“ und „die“, „der“, „das“ auch die Pluralformen einschließen, es sei denn der Kontext gibt ausdrücklich Gegenteiliges an. Es versteht sich auch, dass der Begriff „und/oder“, so wie er hier verwendet wird, sich auf jegliche und alle möglichen Kombinationen von einem oder mehreren der damit zusammenhängenden aufgeführten Begriffe bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, das Vorhandensein von aufgeführten Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder das Hinzufügen von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen. Wie hier verwendet, kann der Begriff „wenn“ so ausgelegt werden, dass er je nach Kontext „während“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „gemäß einer Bestimmung“ oder „als Reaktion auf das Erfassen“, dass eine vorangehende angegebene Bedingung wahr ist, bedeutet. Auf ähnliche Weise kann der Satz „wenn bestimmt wird, [dass eine vorangehende angegebene Bedingung wahr ist]“ oder „wenn [eine vorangehende angegebene Bedingung wahr ist]“ oder „während [eine vorangehende angegebene Bedingung wahr ist]“ so ausgelegt werden, dass er je nach Kontext „bei Bestimmen“ oder „bei einem Bestimmen, dass“ oder „als Reaktion auf das Bestimmen“ oder „gemäß einer Bestimmung“ oder „bei Erfassen“ oder „als Reaktion auf das Erfassen“, dass die vorangehende angegebene Bedingung wahr ist, bedeutet.

Claims (15)

1. Verfahren zum Betrieb eines Sprach-Triggers, das in einer elektronischen Vorrichtung (104) durchgeführt wird, die einen oder mehrere Prozessoren (204) und einen Speicher (250) umfasst, der Anweisungen zum Ausführen durch den einen oder die mehreren Prozessoren (104) speichert, das Verfahren umfassend: Bestimmen, basierend auf einem Vergleichen einer durch einen Lichtdetektor erkannten Lichtmenge mit einer Schwellenwert-Lichtmenge, ob der Betrieb des Sprach-Triggers in einem Standby-Modus oder in einem Zuhörmodus (608) erfolgen soll; in Übereinstimmung mit einem Bestimmen, dass der Betrieb des Sprach-Triggers in dem Zuhörmodus (608) erfolgen soll: Empfangen (502) einer Toneingabe; Bestimmen (506), ob wenigstens ein Teil der Toneingabe einem vorbestimmten Tontyp entspricht; auf das Bestimmen, dass wenigstens ein Teil der Toneingabe dem vorbestimmten Tontyp entspricht, Bestimmen (510), ob die Toneingabe einen vorbestimmten Inhalt umfasst; und auf das Bestimmen, dass die Toneingabe den vorbestimmten Inhalt umfasst, Initiieren (514) eines sprachbasierten Dienstes (408); und in Übereinstimmung mit einem Bestimmen, dass der Betrieb des Sprach-Triggers in dem Standby-Modus erfolgen soll, Verzichten auf das Initiieren des sprachbasierten Dienstes (408) basierend auf einer empfangenen Toneingabe.
2. Verfahren nach Anspruch 1, wobei das Bestimmen (506), ob die Toneingabe einem vorbestimmten Tontyp entspricht, von einem ersten Ton-Detektor (404) durchgeführt wird, wobei das Bestimmen (510), ob die Toneingabe einen vorbestimmten Inhalt umfasst, von einem zweiten Ton-Detektor (406) durchgeführt wird und wobei der erste Ton-Detektor (404) im Betrieb weniger Strom verbraucht als der zweite Ton-Detektor (406).
3. Verfahren nach Anspruch 2, wobei der zweite Ton-Detektor (406) als Reaktion auf ein vom ersten Ton-Detektor (404) durchgeführtes Bestimmen, dass die Toneingabe dem vorbestimmten Typ entspricht, initiiert wird.
4. Verfahren nach Anspruch 2 oder 3, wobei der zweite Ton-Detektor (406) mindestens für eine vorbestimmte Dauer betrieben wird, nachdem vom ersten Ton-Detektor (404) bestimmt wurde, dass die Toneingabe dem vorbestimmten Typ entspricht.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei der vorbestimmte Typ eine menschliche Stimme ist und der vorbestimmte Inhalt eines oder mehrere Wörter ist.
6. Verfahren nach einem der Ansprüche 1 bis 5, ferner umfassend, vor dem Bestimmen (506), ob die Toneingabe einem vorbestimmten Tontyp entspricht, ein Bestimmen (504), ob die Toneingabe eine vorbestimmte Bedingung erfüllt.
7. Verfahren nach Anspruch 6, wobei die vorbestimmte Bedingung ein Amplitudenschwellenwert ist.
8. Verfahren nach Anspruch 6 oder 7, wobei das Bestimmen (504), ob die Toneingabe eine vorbestimmte Bedingung erfüllt, von einem dritten Ton-Detektor (402) durchgeführt wird, wobei der dritte Ton-Detektor (402) im Betrieb weniger Strom verbraucht als der erste Ton-Detektor (404).
9. Verfahren nach einem der Ansprüche 1 bis 8, ferner umfassend: Speichern von wenigstens einem Teil der Toneingabe im Speicher (250); und Bereitstellen des Teils der Toneingabe für den sprachbasierten Dienst (408), sobald der sprachbasierte Dienst (408) initiiert wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, ferner umfassend ein Bestimmen (516), ob die Toneingabe einer Stimme eines bestimmten Benutzers entspricht.
11. Verfahren nach Anspruch 10, wobei der sprachbasierte Dienst (408) initiiert wird, nachdem bestimmt wurde, dass die Toneingabe den vorbestimmten Inhalt umfasst und dass die Toneingabe der Stimme des bestimmten Benutzers entspricht.
12. Verfahren nach Anspruch 11, wobei der sprachbasierte Dienst (408) in einem Modus mit eingeschränktem Zugriff initiiert wird, nachdem bestimmt wurde, dass die Toneingabe den vorbestimmten Inhalt umfasst und dass die Toneingabe nicht der Stimme des bestimmten Benutzers entspricht.
13. Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend: Bestimmen (602), ob sich die elektronische Vorrichtung (104) in einer vorbestimmten Ausrichtung befindet; und Aktivieren (604) eines vorbestimmten Modus des Sprach-Triggers, nachdem bestimmt wurde, dass sich die elektronische Vorrichtung (104) in der vorbestimmten Ausrichtung befindet.
14. Computerlesbares Speichermedium, auf dem eines oder mehrere Programme zum Ausführen durch einen oder mehrere Prozessoren (204) einer elektronischen Vorrichtung (104) gespeichert sind, wobei das eine oder die mehreren Programme Anweisungen umfassen zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 13.
15. Vorrichtung (104), umfassend Mittel zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 13.

Images