DE202018101233U1

DE202018101233U1 - Systeme und Vorrichtungen zur Aktivitätsüberwachung über einen Home-Assistant

Info

Publication number: DE202018101233U1
Application number: DE202018101233.9U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2018-03-06
Filing date: 2018-03-06
Publication date: 2018-04-25
Anticipated expiration: 2028-03-07

Abstract

Nichtflüchtiges computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfasst oder umfassen, die dann, wenn sie durch ein Computersystem ausgeführt werden, das eine sprachaktivierte Anwenderschnittstelle, ein oder mehrere Mikrofone, einen oder mehrere Lautsprecher, einen oder mehrere Prozessoren und einen Speicher hat, wobei das Computersystem wenigstens zwei unterschiedlich Betriebsmoden hat, einschließlich eines Assistentenmodes und eines Überwachungsmodes, veranlassen, dass das System:während eines Arbeitens im Assistentenmode einen Bewohner-Sprachbefehl empfängt, um im Überwachungsmode zu arbeiten;in Reaktion auf den Bewohnerbefehl von einem Arbeiten im Assistentenmode zum Arbeiten im Überwachungsmode übergeht;ein oder mehrere Überwachungskriterien erhält;während eines Arbeitens im Überwachungsmode einen Klang erfasst;eine Bestimmung diesbezüglich erhält, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt; undgemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt:eine Klassifizierung des Klangs erhält; undbasierend auf einem Klang, der eine erste Klangklassifizierung hat, eine erste simulierte Bewohnerantwort einer Vielzahl von simulierten Bewohnerantworten über den einen oder die mehreren Lautsprecher aussendet bzw. emittiert.

Description

TECHNISCHES GEBIET
Dies betrifft allgemein eine Aktivitätsüberwachung einschließlich, aber nicht darauf beschränkt, Verfahren und Systeme zum Überwachen einer Aktivität über eine Home-Assistant-Vorrichtung.
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind dabei, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen.
HINTERGRUND
Elektronische Vorrichtungen integriert mit Mikrofonen sind weit verbreitet dazu verwendet worden, Spracheingaben von Anwendern zu sammeln und sprachaktivierte Funktionen gemäß den Spracheingaben zu implementieren. Beispielsweise enthalten viele hochmoderne Vorrichtungen eine Sprachassistenteneigenschaft (z.B. Siri, Google Assistant), die konfiguriert ist, um Spracheingaben dazu zu verwenden, einen Telefonanruf zu initiieren, eine Restaurantsuche durchzuführen und viele andere Aufgaben zu erledigen.
Zusätzlich gibt es eine Notwendigkeit für Heimüberwachungsvorrichtungen, die einen Bewohner gegenüber unerwarteter oder nicht autorisierter Aktivität in oder um das Zuhause alarmieren können. Somit ist es für eine Sprachassistentenvorrichtung erwünscht, eine Aktivität innerhalb eines Gebäudes bzw. von Räumlichkeiten zu überwachen und Bewohnern/Behörden über Anomalien zu berichten.
ZUSAMMENFASSUNG
Demgemäß gibt es eine Notwendigkeit für Verfahren, Vorrichtungen und Systeme zum Überwachen einer Aktivität auf einem Grundstück über eine oder mehrere Sprachassistentenvorrichtung(en). Verschiedene Implementierungen von Systemen, Verfahren und Vorrichtungen innerhalb des Schutzumfangs der beigefügten Ansprüche haben jeweils mehrere Aspekte, von welchen kein einziger allein verantwortlich ist für die hierin beschriebenen Attribute. Ohne den Schutzumfang der beigefügten Ansprüche zu beschränken, wird man nach einem Berücksichtigen dieser Offenbarung und, insbesondere, nach einem Berücksichtigen des Abschnitts mit dem Titel „Detaillierte Beschreibung“ verstehen, wie die Aspekte verschiedener Implementierungen verwendet werden, um eine Aktivität auf einem Grundstück zu überwachen.
Mit dem Sprachassistenten gibt es eine Gelegenheit, Anwendern dadurch zu helfen, dass ihnen durch Überwachen ihrer Heimumgebung und durch Alarmieren des Anwenders, wenn irgendwas Unerwartetes erfasst wird, innere Ruhe geboten wird. Wenn der Assistent in einem "Heimüberwachungs-"Mode ist, werden das Mikrofon und andere Sensoren freigegeben, und Audio- oder andere nützliche Daten werden analysiert (z.B. bei einem Serversystem analysiert). Wenn eine Anomalie erfasst wird, kann der Anwender oder können Behörden benachrichtigt werden. Der Anwender kann dann auswählen, das unerwartete Ereignis zu überprüfen und optional Daten zu und/oder von der Assistentenvorrichtung live streamen.
Beispielsweise reist eine Familie für einen Urlaub über das Wochenende ab. Auf ihrem Weg aus der Tür hinaus fragt die Mutter ihre Sprachassistentenvorrichtung: „Wir werden bis Samstagabend weg sein, kannst du auf die Dinge aufpassen?“ Der Sprachassistent antwortet: „Ok Laura, ich werde dich benachrichtigen, wenn ich irgendwas Außergewöhnliches höre.“
Für den ersten Tag tritt eine Vielfalt von normalen hörbaren Ereignissen ohne Zwischenfall auf - Autos fahren durch, Vögel singen und es regnet ein wenig. Diese werden durch einen Assistenten bemerkt, aber als reguläres Hintergrundrauschen erkannt. Am Sonntagmorgen jedoch wird eine Hintertür gewaltsam geöffnet und tritt ein Eindringling in das Haus ein. Laura wird schnell benachrichtigt, einschließlich einer Aufzeichnung des Ereignisses, die sie überprüfen kann. Nach einem Hören auf den Livestream, kontaktiert sie die Behörden, die den Tag retten.
Bei einigen Implementierungen geben Anwender aktiv einen Heimüberwachungsmode unter einem optionalen Spezifizieren einer Start- und einer Endzeit frei. Bei einigen Implementierungen wird ein Überwachen auf gleiche Weise gesperrt (z.B. „Hallo Assistent, wir sind zurück!“), mit einer Bestätigung und/oder einer Mitteilung, die auf dem Telefon des Anwenders erscheint, oder von der Assistentenvorrichtung.
Bei einigen Implementierungen lernt der Assistent, was ein normales Hintergrundrauschen für das bestimmte Haus ist. Beispielsweise gelangt der Sprachassistent mit einer oder mehreren Trainingssessions, bei welchen das Mikrofon für eine gewisse Länge an Zeit offengelassen wird, um die nötigen Daten zu sammeln, dahin, Routineklänge zu erkennen. Insgesamt können diese Daten auch ein geeignetes Basis-Hintergrundmodell für die gesamte Bevölkerung zur Verfügung stellen.
Bei einigen Implementierungen wird, wenn etwas Unerwartetes passiert, der Anwender auf eine Vielfalt von Arten informiert (z.B. SMS, Email, Chat und/oder einen Telefonanruf). Bei einigen Implementierungen reagiert der Assistent auch lokal, z.B. durch Einschalten der Lichter, Simulieren eines bellenden Hundes und/oder Kontaktieren eines Nachbarn.
Bei einigen Implementierungen können Anwender dann, wenn sie einmal über ein unerwartetes Ereignis alarmiert sind, Echtzeitinformation vom Sprachassistenten empfangen, um die Situation besser zu verstehen. Beispielsweise kann ein Audio-Livestream zur Anwendervorrichtung gesendet werden. Bei einigen Implementierungen wird auf den Audiostream auch direkt ohne eine Benachrichtigung zugegriffen.
Bei einigen Implementierungen imitiert der Assistent zusätzlich zu einem Überwachen des Zuhauses auch eine reguläre Aktivität innerhalb des Zuhauses. Beispielsweise werden basierend auf einem gelernten oder spezifizierten Zeitplan Lichter, Fernsehgeräte und/oder Audiovorrichtungen im Zuhause ein- und ausgeschaltet, um es so erscheinen zu lassen, dass irgendjemand daheim ist.
Bei einigen Implementierungen ist der Assistent zusätzlich zu einem expliziten Management der Überwachungseigenschaft durch den Anwender konfiguriert, um irgendein Überwachen automatisch durchzuführen. Beispielsweise könnte er den Überwachungsmode basierend auf einem gelernten Zeitplan automatisch freigeben und/oder sperren, oder wenn das Telefon eines Anwenders weg von daheim ist.
Bei einigen Implementierungen fragt ein Anwender/eine Anwenderin explizit den Sprachassistenten, das Haus für ihn/sie zu beobachten. Wenn er freigegeben ist, horcht der Assistent auf Laute und/oder unerwartete Geräusche und reagiert darauf, z.B. durch Vorgeben, ein Hund zu sein, oder durch Sagen von etwas („Wer ist da?“). Bei einigen Implementierungen gibt der Assistent dann, wenn der Anwender die Eigenschaft ausschaltet, eine kurze Zusammenfassung von dem, was er hörte.
Bei einigen Implementierungen werden Klänge in einer Audio-Vorgeschichte gesichert, so dass das Protokoll von dem, was passierte, für den Anwender über einen Link oder eine Suchoption zugreifbar ist. Bei einigen Implementierungen leitet der Sprachassistent die Aufzeichnungen zum Anwender weiter (z.B. „Möchtest Du sie nun hören?“).
Bei einigen Implementierungen sind die simulierten Antworten (z.B. Bellen) unterdrückt, wenn bekannt ist, dass der Anwender daheim ist, z.B. wie es durch ihre Vorrichtungslokalisierung bestimmt ist. Bei einigen Implementierungen wird dieses Signal dazu verwendet, von einem Bellen zu „Bist du daheim?“ umzuschalten, wenn ein Geräusch erfasst wird, nachdem der Anwender daheim angekommen ist oder gerade dabei ist anzukommen. Bei einigen Implementierungen wird die Schutzeigenschaft über einen „Ich bin daheim“- oder „Stopp“-Befehl von einem autorisierten Anwender ausgeschaltet.
Bei einem Aspekt enthalten einige Implementierungen eine Sprachassistentenvorrichtung, die in einem Assistentenmode und einem Überwachungsmode arbeiten kann. Während sie im Assistentenmode arbeitet, empfängt die Vorrichtung einen Bewohner-Sprachbefehl, um im Überwachungsmode zu arbeiten. In Reaktion auf den Bewohnerbefehl geht die Vorrichtung von einem Arbeiten im Assistentenmode zu einem Arbeiten im Überwachungsmode über. Die Vorrichtung erhält ein oder mehrere Überwachungskriterien und, während sie im Überwachungsmode arbeitet, ein Erfassen eines Klangs. Die Vorrichtung erhält eine Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt. Gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, erfolgt für die Vorrichtung folgendes:
(1) sie erhält eine Klassifizierung des Klangs; und (2) basierend auf einem Klang mit einer ersten Klangklassifizierung sendet sie eine erste simulierte Bewohnerreaktion einer Vielzahl von simulierten Bewohnerreaktionen über den einen oder die mehreren Lautsprecher aus.
Bei einem weiteren Aspekt enthalten einige Implementierungen ein Verfahren zum Überwachen einer Aktivität in einer Heimumgebung, einschließlich:
(1) während eines Arbeitens im Assistentenmode ein Empfangen eines Bewohner-Sprachbefehls, um im Überwachungsmode zu arbeiten; (2) in Reaktion auf den Bewohnerbefehl Übergehen von einem Arbeiten im Assistentenmode zu einem Arbeiten im Überwachungsmode; (3) Erhalten von einem oder mehreren Überwachungskriterien; (4) während eines Arbeitens im Überwachungsmode Erfassen eines Klangs; (5) Erhalten einer Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt; und (6) gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt:
(a) Erhalten einer Klassifizierung des Klangs; und (b) basierend auf einem Klang mit einer ersten Klangklassifizierung Aussenden einer ersten simulierten Bewohnerreaktion einer Vielzahl von simulierten Bewohnerreaktionen über den einen oder die mehreren Lautsprecher.
Bei noch einem weiteren Aspekt enthalten einige Implementierungen ein Computersystem, das einen oder mehrere Prozessoren und einen mit dem einen oder den mehreren Prozessoren gekoppelten Speicher enthält, wobei der Speicher ein oder mehrere Programme speichert, das oder die konfiguriert ist oder sind, um durch den einen oder die mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen zum Durchführen von irgendeinem der hierin beschriebenen Verfahren enthält oder enthalten.
Bei noch einem weiteren Aspekt enthalten einige Implementierungen ein nichtflüchtiges computerlesbares Speichermedium, das ein oder mehrere Programme zur Ausführung durch einen oder mehrere Prozessoren eines Computersystems speichert, wobei das eine oder die mehreren Programme Anweisungen zum Durchführen von irgendeinem der hierin beschriebenen Verfahren enthält oder enthalten.
Somit sind Vorrichtungen, Speichermedien und Computersysteme mit Verfahren zum Überwachen einer Heimaktivität versehen, um dadurch die Effektivität, die Effizienz und eine Zufriedenstellung von Anwendern mit solchen Systemen zu erhöhen. Solche Verfahren können Verfahren zum Überwachen einer Heimaktivität ergänzen.
Figurenliste
Für ein besseres Verstehen der verschiedenen beschriebenen Implementierungen sollte auf die Beschreibung von Implementierungen nachstehend in Verbindung mit den folgenden Zeichnungen, in welchen gleiche Bezugszeichen sich auf entsprechende Teile durch alle Figuren hindurch beziehen, Bezug genommen werden.

1 ist eine beispielhafte Betriebsumgebung, die eine Vielzahl von Smart-Vorrichtungen gemäß einigen Implementierungen enthält.
2 ist ein Blockdiagramm, das eine weitere beispielhafte Betriebsumgebung darstellt, die eine Vielzahl von sprachaktivierten Vorrichtungen und ein Serversystem gemäß einigen Implementierungen enthält.
3A ist ein Blockdiagramm, das eine repräsentative sprachaktivierte Vorrichtung gemäß einigen Implementierungen darstellt.
3B ist ein Blockdiagramm, das Untermodule des Audioverarbeitungsmoduls der sprachaktivierten Vorrichtung in 3A gemäß einigen Implementierungen darstellt.
4 ist ein Blockdiagramm, das ein repräsentatives Serversystem gemäß einigen Implementierungen darstellt.
5A und 5B sind Ansichten von vorne und von hinten einer repräsentativen sprachaktivierten Vorrichtung gemäß einigen Implementierungen.
5C ist eine Draufsicht auf eine repräsentative sprachaktivierte Vorrichtung gemäß einigen Implementierungen.
5D zeigt sechs visuelle Muster, die durch ein Feld von Vollfarben-LEDs zum Anzeigen von Sprachverarbeitungszuständen der repräsentativen sprachaktivierten Vorrichtung gemäß einigen Implementierungen angezeigt werden.
6A-6F stellen beispielhafte Interaktionen einer sprachaktivierten Vorrichtung gemäß einigen Implementierungen dar.
7A-7B stellen repräsentative Anwenderschnittstellen für sprachaktivierte Vorrichtungen gemäß einigen Implementierungen dar.
8 ist eine Ablaufdiagrammdarstellung eines Verfahrens zum Überwachen einer Aktivität mit einer Sprachassistentenvorrichtung gemäß einigen Implementierungen.

Gleiche Bezugszeichen beziehen sich auf entsprechende Teile in allen der mehreren Ansichten der Zeichnungen.
BESCHREIBUNG VON IMPLEMENTIERUNGEN
Nun wird detailliert Bezug genommen auf Implementierungen, von welchen Beispiele in den beigefügten Zeichnungen dargestellt sind. In der folgenden detaillierten Beschreibung sind zahlreiche spezifische Details dargelegt, um ein vollständiges Verstehen der verschiedenen beschriebenen Implementierungen zur Verfügung zu stellen. Jedoch wird es für einen Fachmann auf dem Gebiet offensichtlich werden, dass die verschiedenen beschriebenen Implementierungen ohne diese spezifischen Details ausgeführt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht detailliert beschrieben worden, um Aspekte der Implementierungen nicht unnötigerweise zu verdunkeln.
Sprachaktivierte Vorrichtungen, wie beispielsweise Sprachassistenten und Heimassistenten bzw. Home Assistants, sind konfiguriert, um auf ihre Umgebung zu horchen und auf Anwenderanfragen zu reagieren. Diese selben Vorrichtungen können weiterhin konfiguriert sein, um die Umgebung zu überwachen, wenn der Anwender weg ist, um somit dem Anwender zusätzliche Sicherheit und innere Ruhe zu bieten. Die sprachaktivierten Vorrichtungen können auf Klänge horchen und diese klassifizieren, um zu bestimmen, ob ein Ereignis von potentiellem Interesse für die Anwender auftritt. Die Vorrichtungen können dann den Anwender alarmieren, die Behörden alarmieren und/oder auf das Ereignis reagieren (z.B. durch Fragen, wer da ist, oder Simulieren eines Bellens eines Hundes). Zusätzlich können die Alarmierungen ein Aufzeichnen des Ereignisses zum Abspielen durch den Anwender enthalten, eine Option, auf die aktuellen Klänge im Heim bzw. Zuhause zu horchen und/oder Optionen dafür, wie der Anwender wünscht, dass die Vorrichtung reagiert.
In einer Smart-Home-Umgebung können die sprachaktivierten Vorrichtungen die Sensoren und Ausgaben von miteinander verbundenen Vorrichtungen wirksam einsetzen. Beispielsweise kann die sprachaktivierte Vorrichtung Daten von anderen Smart-Vorrichtungen verwenden, um ein erfasstes Ereignis besser zu klassifizieren, um zu bestimmen, ob die Heimumgebung besetzt bzw. bewohnt ist, und/oder um Ereignisreaktionen über eine andere Smart-Vorrichtung auszugeben (z.B. um ein Bellen eines Hundes bei einer Smart-Kamera zu simulieren, die einen Lautsprecher hat und im Hinterhof installiert ist).
1 ist eine beispielhafte Betriebsumgebung 100 gemäß einigen Implementierungen. Die Betriebsumgebung 100 enthält eine Struktur 150 (z.B. ein Haus, ein Bürogebäude, eine Garage oder ein mobiles Heim) mit verschiedenen integrierten Vorrichtungen. Es wird erkannt werden, dass Vorrichtungen auch in eine Betriebsumgebung 100 integriert sein können, die keine gesamte Struktur 150 enthält, wie beispielsweise ein Appartement, eine Eigentumswohnung oder einen Büroraum. Weiterhin kann die Betriebsumgebung 100 Vorrichtungen außerhalb der aktuellen Struktur 150 steuern und/oder mit diesen gekoppelt sein. Tatsächlich müssen mehrere Vorrichtungen in der Betriebsumgebung 100 nicht physikalisch innerhalb der Struktur 150 sein. Beispielsweise kann eine Vorrichtung, die einen Poolheizer 114 oder ein Bewässerungssystem 116 steuert, außerhalb der Struktur 150 angeordnet sein.
Die gezeigte Struktur 150 enthält eine Vielzahl von Räumen 152, die wenigstens teilweise voneinander über Wände 154 getrennt sind. Die Wände 154 können Innenwände oder Außenwände enthalten. Jeder Raum kann weiterhin einen Boden 156 und eine Decke 158 enthalten. Vorrichtungen können an einer Wand 154, einem Boden 156 oder einer Decke 158 montiert, daran befestigt, damit integriert und/oder dadurch gestützt sein. Bei einigen Implementierungen sind elektronische Tags bzw. Etiketten an einer Wand 154, einem Boden 156, einer Decke 158, einem Fenster oder einer Tür befestigt.
Bei einigen Implementierungen enthalten die integrierten Vorrichtungen der Betriebsumgebung 100 intelligente, mehrfach erfassende, netzwerkverbundene Vorrichtungen, die in einem Smart-Home-Netzwerk (z.B. einem lokalen Netz 104, 2) nahtlos miteinander integriert sind, und/oder mit einem zentralen Server oder einem Cloud-Computersystem, um eine Vielfalt von nützlichen Smart-Home-Funktionen zur Verfügung zu stellen. Die Betriebsumgebung 100 enthält optional eine oder mehrere sprachaktivierte Assistentenvorrichtungen 180 (die manchmal auch Sprachassistenten oder Heimassistenten bzw. Home Assistants genannt werden), einen oder mehrere intelligente, mehrfach erfassende, netzwerkverbundene Thermostate 102 (auf die hierin nachfolgend als „smarte Thermostate 102“ Bezug genommen wird), eine oder mehrere intelligente, netzwerkverbundene, mehrfach erfassende Gefahrenerfassungseinheiten 104 (auf die hierin nachfolgend als „smarte Gefahrendetektoren 104“ Bezug genommen wird), eine oder mehrere intelligente mehrfach erfassende, netzwerkverbundene Eingangsflur-Schnittstellenvorrichtungen 106 und 120 (z.B. „smarte Türglocken 106“ und „smarte Türverriegelungen 120“) und ein oder mehrere intelligente, mehrfach erfassende, netzwerkverbundene Alarmsysteme 122 (auf die hierin nachfolgend als „smarte Alarmsysteme 122“ Bezug genommen wird).
Bei einigen Implementierungen reagieren die sprachaktivierten Assistentenvorrichtungen 180 auf verbale Anwenderanfragen (z.B. wenn sie in einem Assistentenmode sind) und reagieren auf Audioereignisse, die in der Betriebsumgebung 100 erfasst sind (z.B. wenn sie in einem Überwachungsmode sind).
Bei einigen Implementierungen erfasst oder erfassen der eine oder die mehreren smarten Thermostate 102 Raumklimacharakteristiken (z.B. Temperatur und/oder Feuchtigkeit) und steuern ein HVAC-System 103 entsprechend. Beispielsweise enthält ein jeweiliger smarter Thermostat 102 einen Raumtemperatursensor.
Der eine oder die mehreren smarten Gefahrendetektoren 104 können thermische Strahlungssensoren enthalten, die auf jeweilige Heizquellen gerichtet sind (z.B. einen Herd, einen Ofen, andere Haushaltsgeräte, eine Feuerstelle bzw. einen Kamin, etc.). Beispielsweise enthält ein smarter Gefahrendetektor 104 in einer Küche 153 einen thermischen Strahlungssensor, der auf einen Herd/Ofen 112 gerichtet ist. Ein thermischer Strahlungssensor kann die Temperatur der jeweiligen Heizquelle (oder einen Teilbereich davon) bestimmen, auf welche er gerichtet ist, und kann entsprechende schwarze Strahlungsdaten als Ausgabe zur Verfügung stellen.
Die smarte Türglocke 106 und/oder die smarte Türverriegelung 102 können/kann ein Ankommen zu oder ein Entfernen von einer Stelle für eine Person (z.B. von einer Außentür) erfassen, eine Funktionalität der Türglocke/Türverriegelung steuern (z.B. Anwendereingaben von einer tragbaren elektronischen Vorrichtung 166-1 empfangen, um einen Bolzen der smarten Türverriegelung 120 zu aktivieren), ein Ankommen oder ein Entfernen einer Person über eine Audio- oder visuelle Einrichtung anzukündigen und/oder Einstellungen an einem Sicherheitssystem steuern (z.B. um das Sicherheitssystem zu aktivieren oder zu deaktivieren, wenn Bewohner gehen und kommen).
Das smarte Alarmsystem 122 kann das Vorhandensein eines Individuums innerhalb einer engen Nähe (z.B. unter Verwendung von eingebauten IR-Sensoren) erfassen, einen Alarm erklingen lassen (z.B. durch eine eingebauten Lautsprecher oder durch Senden von Befehlen zu einem oder mehreren externen Lautsprechern) und Benachrichtigungen zu Einheiten oder Anwendern innerhalb/außerhalb des Smart-Home-Netzwerks senden. Bei einigen Implementierungen enthält das smarte Alarmsystem 122 auch eine oder mehrere Eingabevorrichtungen oder Sensoren (z.B. eine Kleintastatur, einen biometrischen Scanner, einen NFC-Transceiver, ein Mikrofon) zum Verifizieren der Identität eines Anwenders und eine oder mehrere Ausgabevorrichtungen (z.B. eine Anzeige, einen Lautsprecher). Bei einigen Implementierungen kann das smarte Alarmsystem 122 auch auf einen „bewaffneten“ Mode eingestellt werden, so dass eine Erfassung einer Auslöserbedingung oder eines Ereignisses veranlasst, dass der Alarm erklingt, solange nicht eine Entwaffnungs- bzw. Entschärfungsaktion durchgeführt wird.
Bei einigen Implementierungen enthält die Betriebsumgebung 100 einen oder mehrere intelligente, mehrfach erfassende, netzwerkverbundene Wandschalter 108 (auf die hierin nachfolgend als „smarte Wandschalter 108“ Bezug genommen wird) zusammen mit einer oder mehreren intelligenten mehrfach erfassenden, netzwerkverbundenen Wandsteckerschnittstellen 110 (auf die hierin nachfolgend als „smarte Wandstecker 110“ Bezug genommen wird). Die smarten Wandschalter 108 können Umgebungsbeleuchtungsbedingungen erfassen, Raumbelegungszustände erfassen und eine Energie steuern und/oder einen Zustand von einem oder mehreren Lichtern dimmen. In einigen Fällen können smarte Wandschalter 108 auch einen Energiezustand oder eine Geschwindigkeit eines Ventilators, wie beispielsweise eines Deckenventilators, steuern. Die smarten Wandstecker 110 können eine Belegung eines Raums oder eines eingezäunten Grundstücks erfassen und eine Energieversorgung zu einem oder mehreren Wandsteckern steuern (z.B. so dass Energie nicht zum Stecker zugeführt wird, wenn keiner daheim ist).
Bei einigen Implementierungen enthält die Betriebsumgebung 100 der 1 eine Vielzahl von intelligenten, mehrfach erfassenden, netzwerkverbundenen Haushaltsgeräten 112 (auf die hierin nachfolgend als „smarte Haushaltsgeräte 112“ Bezug genommen wird), wie beispielsweise Kühlschränke, Herde, Öfen, Fernsehgeräte, Waschmaschinen, Trockner, Lichter, Stereoanlagen, Wechselsprechanlagensysteme, Garagentüröffner, Bodenventilatoren, Deckenventilatoren, Wand-Klimaanlagen, Schwimmbeckenheizvorrichtungen bzw. Poolheizer, Bewässerungsvorrichtungen, Bewässerungssysteme, Sicherheitssysteme, Raumheizvorrichtungen, Fenster-AC-Einheiten, motorisierte Entlüftungskanäle, und so weiter. Bei einigen Implementierungen kann dann, wenn es eingesteckt ist, ein Haushaltsgerät sich selbst zum Smart-Home-Netzwerk kundtun, wie beispielsweise durch Anzeigen, von welchem Typ das Haushaltsgerät ist, und es kann sich automatisch mit den Steuerungen des Smart Homes integrieren. Eine solche Kommunikation durch das Haushaltsgerät mit dem Smart Home kann durch entweder ein verdrahtetes oder drahtloses Kommunikationsprotokoll ermöglicht werden. Das Smart Home kann auch eine Vielfalt von nicht kommunizierenden alten Haushaltsgeräten 140 enthalten, wie beispielsweise alte herkömmliche Waschmaschinen/Trockner, Kühlschränke und ähnliches, die durch smarte Wandstecker 110 gesteuert werden können. Die Betriebsumgebung 100 kann weiterhin eine Vielfalt von teilweise kommunizierenden alten Haushaltsgeräten 142 enthalten, wie beispielsweise Infrarot-(„IR“-)gesteuerte Wand-Klimaanlagen oder andere IRgesteuerte Vorrichtungen, die durch IR-Signale gesteuert werden können, die durch die smarten Gefahrendetektoren 104 oder die smarten Wandschalter 108 zur Verfügung gestellt sind.
Bei einigen Implementierungen enthält die Betriebsumgebung 100 eine oder mehrere netzwerkverbundene Kameras 118, die konfiguriert sind, um eine Videoüberwachung und eine Sicherheit in der Betriebsumgebung 100 zur Verfügung zu stellen. Die Kameras 118 können verwendet werden, um eine Belegung der Struktur 150 und/oder bestimmter Räume 152 in der Struktur 150 zu bestimmen, und können somit als Belegungssensoren agieren. Beispielsweise kann ein durch die Kameras 118 aufgenommenes Video verarbeitet werden, um das Vorhandensein eines Bewohners in der Struktur 150 (z.B. in einem bestimmten Raum 152) zu identifizieren. Spezifische Individuen können basierend beispielsweise auf ihrer Erscheinung (z.B. Größe, Gesicht) und/oder Bewegung (z.B. ihrer Gehweise/Gangart) identifiziert werden. Die Kameras 118 enthalten optional einen oder mehrere Sensoren (z.B. IR-Sensoren, Radarsysteme, Bewegungsdetektoren), Eingabevorrichtungen (z.B. Mikrofon zum Erfassen von Audio) und Ausgabevorrichtungen (z.B. Lautsprecher zum Ausgeben von Audio).
Die Betriebsumgebung 100 kann zusätzlich oder alternativ einen oder mehrere andere Belegungssensoren enthalten (z.B. die smarte Türglocke 106, die smarten Türverriegelungen 120, Berührungsbildschirme, IR-Sensoren, Mikrofone, Raumlichtsensoren, Bewegungsdetektoren, smarte Nachtlichter 170, etc.). Bei einigen Implementierungen enthält die Betriebsumgebung 100 Funkfrequenzidentifikations-(RFID-)Lesegeräte (z.B. in jedem Raum 152 oder einem Teilbereich davon), die eine Belegung basierend auf RFID-Tags bestimmen, die an Bewohnern angeordnet oder in diesen eingebettet sind. Beispielsweise können RFID-Lesegeräte in die smarten Gefahrendetektoren 104 integriert sein.
Die Betriebsumgebung 100 kann auch eine Kommunikation mit Vorrichtungen außerhalb des physikalischen Heims enthalten, aber innerhalb eines nahen geographischen Bereichs des Heims. Beispielsweise kann die Betriebsumgebung 100 einen Schwimmbadheizvorrichtungsmonitor 114 enthalten, der eine aktuelle Pooltemperatur zu anderen Vorrichtungen innerhalb der Betriebsumgebung 100 kommuniziert und/oder Befehle zum Steuern der Pooltemperatur empfängt. Gleichermaßen kann die Betriebsumgebung 100 einen Bewässerungsmonitor 116 enthalten, der Information in Bezug auf Bewässerungssysteme innerhalb der Betriebsumgebung 100 kommuniziert und/oder Steuerungsinformation zum Steuern von solchen Bewässerungssystemen empfängt.
Mittels einer Netzwerkkonnektivität können ein oder mehrere der Smart-Home-Vorrichtungen der 1 weiterhin zulassen, dass ein Anwender mit der Vorrichtung selbst dann interagiert, wenn der Anwender nicht nahe der Vorrichtung ist. Beispielsweise kann ein Anwender mit einer Vorrichtung unter Verwendung eines Computers (z.B. eines Desktop-Computers, eines Laptop-Computers oder eines Tablets) oder einer anderen tragbaren elektronischen Vorrichtung 166 (z.B. eines Mobiltelefons, wie beispielsweise eines Smartphones) kommunizieren. Eine Web-Seite oder eine Anwendung kann konfiguriert sein, um Kommunikationen vom Anwender zu empfangen und die Vorrichtung basierend auf den Kommunikationen zu steuern und/oder Information über den Betrieb der Vorrichtung dem Anwender zu präsentieren. Beispielsweise kann der Anwender eine aktuelle eingestellte Punkttemperatur für eine Vorrichtung (z.B. einen Herd) anschauen und sie unter Verwendung eines Computers einstellen. Der Anwender kann in der Struktur während dieser entfernten Kommunikation sein, oder außerhalb der Struktur.
Wie es oben beschrieben ist, können Anwender smarte Vorrichtungen in der Betriebsumgebung 100 unter Verwendung eines netzwerkverbundenen Computers oder einer tragbaren elektronischen Vorrichtung 166 steuern. Bei einigen Beispielen können einige oder alle der Bewohner (z.B. Individuen, die im Zuhause bzw. Heim leben) ihre Vorrichtung 166 mit der Betriebsumgebung 100 registrieren. Eine solche Registrierung kann bei einem zentralen Server durchgeführt werden, um den Bewohner und/oder die Vorrichtung derart zu authentifizieren, dass er und/oder sie mit dem Heim assoziiert ist, und um dem Bewohner eine Erlaubnis zu geben, die Vorrichtung zu verwenden, um die Smart-Vorrichtungen im Heim zu steuern. Ein Bewohner kann seine registrierte Vorrichtung 166 verwenden, um die Smart-Vorrichtungen des Heims entfernt zu bedienen, wie beispielsweise dann, wenn der Bewohner bei der Arbeit oder im Urlaub ist. Der Bewohner kann auch seine registrierte Vorrichtung verwenden, um die Smart-Vorrichtungen zu steuern, wenn der Bewohner aktuell innerhalb des Heims lokalisiert ist, wie beispielsweise dann, wenn der Bewohner auf einer Couch innerhalb des Heims sitzt. Es sollte erkannt werden, dass anstelle von oder zusätzlich zu einem Registrieren von Vorrichtungen 166 die Betriebsumgebung 100 Rückschlüsse darüber machen kann, welche Individuen in dem Heim leben und daher Bewohner sind, und welche Vorrichtungen 166 mit diesen Individuen assoziiert sind. Als solches kann die Smart-Home-Umgebung „lernen“, wer ein Bewohner ist, und zulassen, dass die Vorrichtungen 166, die mit diesen Individuen assoziiert sind, die Smart-Vorrichtungen des Heims steuern.
Bei einigen Implementierungen sind zusätzlich zu einem Enthalten von Verarbeitungs- und Erfassungsfähigkeiten Vorrichtungen 102, 104, 106, 108, 110, 112, 114, 116, 118, 120, 180 und/oder 122 (auf die gemeinsam als „die Smart-Vorrichtungen“ Bezug genommen wird) fähig zu Datenkommunikationen und einem gemeinsamen Nutzen von Information mit anderen Smart-Vorrichtungen, einem zentralen Server oder einem Cloud-Computersystem und/oder anderen Vorrichtungen, die netzwerkverbunden sind. Datenkommunikationen können unter Verwendung von irgendeinem einer Vielfalt von kundenspezifischen oder standardmäßigen drahtlosen Protokollen (z.B. IEEE 802.15.4, WiFi, ZigBee, 6LoWPAN, Thread, Z-Wave, Bluetooth Smart, ISA100.11a, WirelessHART, MiWi etc.) und/oder irgendeiner einer Vielfalt von kundenspezifischen oder standardmäßigen verdrahteten Protokollen (z.B. Ethernet, HomePlug, etc.) oder irgendeinem anderen geeigneten Kommunikationsprotokoll, einschließlich Kommunikationsprotokollen, die zum Einreichungsdatum dieses Dokuments noch nicht entwickelt sind, ausgeführt werden.
Bei einigen Implementierungen dienen die Smart-Vorrichtungen als drahtlose oder verdrahtete Repeater. Bei einigen Implementierungen kommuniziert eine erste der Smart-Vorrichtungen mit einer zweiten der Smart-Vorrichtungen über einen drahtlosen Router. Die Smart-Vorrichtungen können weiterhin miteinander über eine Verbindung (z.B. eine Netzwerkschnittstelle 160) mit einem Netzwerk kommunizieren, wie beispielsweise dem Internet 162. Durch das Internet 162 können die Smart-Vorrichtungen mit einem Smart-Home-Anbieter-Serversystem 164 (das hierin auch zentrales Serversystem und/oder Cloud-Computersystem genannt wird) kommunizieren. Das Smart-Home-Anbieter-Serversystem 164 kann mit einem Hersteller, einer Unterstützungseinheit oder einem Dienstanbieter bzw. Serviceprovider assoziiert sein, der mit der (den) Smart-Vorrichtung(en) assoziiert ist. Bei einigen Implementierungen kann ein Anwender eher eine Kundenhilfe unter Verwendung einer Smart-Vorrichtung selbst kontaktieren, als dass er andere Kommunikationsmittel verwenden muss, wie beispielsweise ein Telefon oder einen mit dem Internet verbundenen Computer. Bei einigen Implementierungen werden Software-Updates automatisch vom Smart-Home-Anbieter-Serversystem 164 zu Smart-Vorrichtungen gesendet (z.B. wenn sie verfügbar sind, wenn sie verkauft werden oder in routinemäßigen Intervallen).
Bei einigen Implementierungen enthält die Netzwerkschnittstelle 160 eine herkömmliche Netzwerkvorrichtung (z.B. einen Router) und enthält die Betriebsumgebung 100 der 1 eine Hub-Vorrichtung, die kommunikativ mit dem (den) Netzwerk(en) 162 gekoppelt ist, und zwar direkt oder über die Netzwerkschnittstelle 160. Die Hub-Vorrichtung ist weiterhin kommunikativ mit einer oder mehreren der obigen intelligenten, mehrfach erfassenden, netzwerkverbundenen Vorrichtungen (z.B. Smart-Vorrichtungen der Betriebsumgebung (100) gekoppelt. Jede dieser Smart-Vorrichtungen kommuniziert optional mit der Hub-Vorrichtung unter Verwendung von einem oder mehreren Funkkommunikationsnetzwerken, die wenigstens in der Betriebsumgebung 100 verfügbar sind (z.B. ZigBee, Z-Wave, Insteon, Bluetooth, Wi-Fi und andere Funkkommunikationsnetzwerke). Bei einigen Implementierungen können die Hub-Vorrichtung und die mit/an der Hub-Vorrichtung gekoppelten Vorrichtungen über eine Anwendung (die manchmal Smart-Home-Anwendung genannt wird), die auf einem Smart-Phone, einer Haushaltssteuerung, einem Laptop, einem Tablet-Computer, einer Spielkonsole oder einer ähnlichen elektronischen Vorrichtung läuft, gesteuert und/oder interagiert werden. Bei einigen Implementierungen kann ein Anwender einer solchen Steuerungsanwendung einen Zustand bzw. Status der Hub-Vorrichtung oder der gekoppelten Smart-Vorrichtungen anschauen, die Hub-Vorrichtung konfigurieren, um mit Smart-Vorrichtungen zusammenzuarbeiten, die neu zum Heim-Netzwerk eingeführt sind, neue Smart-Vorrichtungen in Betrieb nehmen und Einstellungen von angeschlossenen Smart-Vorrichtungen einstellen oder anschauen, etc. Bei einigen Implementierungen erweitert die Hub-Vorrichtung Fähigkeiten einer Smart-Vorrichtung mit geringer Fähigkeit, um Fähigkeiten von hochfähigen Smart-Vorrichtungen vom selben Typ anzupassen, integriert eine Funktionalität von mehreren unterschiedlichen Vorrichtungstypen - selbst über unterschiedlich Kommunikationsprotokolle, und ist konfiguriert, um ein Hinzufügen von neuen Vorrichtungen und ein Inbetriebnehmen der Hub-Vorrichtung zu modernisieren. Bei einigen Implementierungen umfasst die Hub-Vorrichtung weiterhin eine lokale Speichervorrichtung zum Speichern von Daten in Bezug auf, oder ausgegeben durch, Smart-Vorrichtungen der Betriebsumgebung 100. Bei einigen Implementierungen enthalten die Daten eines oder mehrere von folgendem: Videodaten, die durch eine Kameravorrichtung ausgegeben sind, Metadaten, die durch eine Smart-Vorrichtung ausgegeben sind, Einstellungsinformation für eine Smart-Vorrichtung, Nutzungsprotokolle für eine Smart-Vorrichtung und ähnliches.
Bei einigen Implementierungen enthält die Betriebsumgebung 100 eine lokale Speichervorrichtung zum Speichern von Daten in Bezug auf, oder ausgegeben durch, Smart-Vorrichtungen der Betriebsumgebung 100. Bei einigen Implementierungen enthalten die Daten eines oder mehreres von folgendem: Videodaten, die durch eine Kameravorrichtung (z.B. die Kamera 118) ausgegeben sind, Metadaten, die durch eine Smart-Vorrichtung ausgegeben sind, Einstellungsinformation für eine Smart-Vorrichtung, Nutzungsprotokolle für eine Smart-Vorrichtung und ähnliches. Bei einigen Implementierungen ist die lokale Speichervorrichtung kommunikativ mit einer oder mehreren Smart-Vorrichtungen über ein Smart-Home-Netzwerk (z.B. das Smart-Home-Netzwerk 202, 2) gekoppelt. Bei einigen Implementierungen ist die lokale Speichervorrichtung selektiv mit einer oder mehreren Smart-Vorrichtungen über ein verdrahtetes und/oder drahtloses Kommunikationsnetzwerk gekoppelt. Bei einigen Implementierungen wird die lokale Speichervorrichtung dazu verwendet, Videodaten zu speichern, wenn externe Netzwerkbedingungen schlecht sind. Beispielsweise wird die lokale Speichervorrichtung verwendet, wenn eine Codierungs-Bitrate der Kamera 118 die verfügbare Bandbreite des externen Netzwerks (z.B. des (der) Netzwerks (Netzwerke) 162) übersteigt. Bei einigen Implementierungen speichert die lokale Speichervorrichtung temporär Videodaten von einer oder mehreren Kameras (z.B. der Kamera 118) vor einem Transferieren der Videodaten zu einem Serversystem. Bei einigen Implementierungen ist die lokale Speichervorrichtung eine Komponente einer Kameravorrichtung. Bei einigen Implementierungen enthält jede Kameravorrichtung einen lokalen Speicher.
Es ist zu erkennen, dass sich „Smart-Home-Umgebungen“ auf Smart-Umgebungen für Heime beziehen kann, wie beispielsweise ein Einfamilienhaus, aber der Schutzumfang der vorliegenden Lehren ist nicht so beschränkt. Die vorliegenden Lehren sind auch ohne Beschränkung auf Zweifamilienhäuser, Stadthäuser, Appartementgebäude mit mehreren Einheiten, Hotels, Einzelhandelsgeschäfte, Bürogebäude, Industriegebäude oder andere Strukturen anwendbar und, allgemeiner, auf irgendeinen Lebensraum oder Arbeitsraum.
Es ist auch zu erkennen, dass, während die Ausdrücke Anwender, Kunde, Monteur bzw. Installateur, Haus- bzw. Heimbesitzer, Bewohner, Gast, Mieter, Vermieter bzw. Grundbesitzer, Instandhaltungspersonen und ähnliches verwendet werden können, um sich auf die Person oder die Personen zu beziehen, die im Zusammenhang mit einigen besonderen Situationen agiert oder agieren, die hierin beschrieben sind, diese Bezugnahmen den Schutzumfang der vorliegenden Lehren in Bezug auf die Person oder die Personen nicht beschränken, die solche Aktionen durchführen. Somit können sich beispielsweise die Ausdrücke Anwender, Kunde, Käufer, Installateur, Teilnehmer und Heimbesitzer im Fall eines Einfamilienwohnsitzes oft auf dieselbe Person beziehen, weil das Oberhaupt des Haushalts oft die Person ist, die die Kaufentscheidung trifft, die Einheit kauft und die Einheit installiert und konfiguriert, und auch einer der Anwender der Einheit ist. Jedoch kann in anderen Szenarien, wie beispielsweise bei einer Vermieter-Mieter-Umgebung, der Kunde der Vermieter in Bezug auf ein Kaufen der Einheit sein, kann der Installateur eine lokale Appartement-Aufsichtsperson sein, kann ein erster Anwender der Mieter sein und kann ein zweiter Anwender wiederum der Vermieter in Bezug auf eine Fernbedienungsfunktionalität sein. Wichtig ist, dass, während die Identität der Person, die die Aktion durchführt, passend für einen bestimmten Vorteil sein kann, der durch eine oder mehrere der Implementierungen zur Verfügung gestellt wird, eine solche Identität in der Beschreibung, die folgt, nicht als derart angesehen werden sollte, dass sie notwendigerweise den Schutzumfang der vorliegenden Lehren auf diese bestimmten Individuen beschränkt, die diese bestimmten Identitäten haben.
2 ist ein Blockdiagramm, das eine beispielhafte Betriebsumgebung darstellt, die eine Vielzahl von sprachaktivierten Vorrichtungen und ein Serversystem gemäß einigen Implementierungen enthält. Die Betriebsumgebung enthält eine oder mehrere sprachaktive elektronische Vorrichtungen 180 (z.B. elektronische Vorrichtungen 180-1 bis 180-N). Die eine oder die mehreren sprachaktivierten elektronischen Vorrichtungen 180 sind optional an einer oder mehreren Stellen angeordnet. Beispielsweise könnten die sprachaktivierten Vorrichtungen 180 alle in einem einzigen Raum oder an einem einzigen Platz einer Struktur sein, wie beispielsweise der Struktur 150; über mehrere Plätze innerhalb der Struktur ausgebreitet; oder über mehrere Strukturen ausgebreitet (z.B. eine in einem Haus und eine im Auto eines Anwenders). Die Umgebung enthält optional eine oder mehrere Vorrichtungen (z.B. Medienvorrichtungen und/oder Smart-Home-Vorrichtungen (nicht gezeigt), die kommunikativ mit den sprachaktivierten elektronischen Vorrichtungen 180 gekoppelt sind.
Gemäß einigen Implementierungen sind die sprachaktivierten Vorrichtungen 180 kommunikativ über Kommunikationsnetzwerke 210 mit einem Sprachassistentenserver bzw. Sprachunterstützungsserver 212 eines Smart-Home-Serversystems 164 gekoppelt. Bei einigen Implementierungen sind eine oder mehrere der sprachaktivierten Vorrichtungen 180 kommunikativ mit einem lokalen Netz 204 gekoppelt, das kommunikativ mit den Kommunikationsnetzwerken 210 gekoppelt ist (z.B. sprachaktivierten Vorrichtungen 180-1 und 180-2 in 2). Bei einigen Implementierungen ist das lokale Netz 204 ein lokales Netz, das an einer Netzwerkschnittstelle (z.B. einem Router) implementiert ist. Bei einigen Implementierungen kommunizieren die sprachaktivierten Vorrichtungen 180, die kommunikativ mit dem lokalen Netz 204 gekoppelt sind, auch miteinander über das lokale Netz 204. Bei einigen Implementierungen sind die sprachaktivierten Vorrichtungen 180 kommunikativ miteinander (z.B. ohne über das lokale Netz 204 oder das (die) Kommunikationsnetzwerk(e) 210 zu gehen) gekoppelt.
Optional sind eine oder mehrere der sprachaktivierten Vorrichtungen 180 kommunikativ mit den Kommunikationsnetzwerken 210 gekoppelt und sind nicht an dem lokalen Netz 204 (z.B. die sprachaktivierte Vorrichtung 180-N). Beispielsweise sind diese sprachaktivierten Vorrichtungen 180 nicht an dem WiFi-Netzwerk entsprechend dem lokalen Netz 204, sondern sind über eine zellulare Verbindung mit den Kommunikationsnetzwerken 210 verbunden. Bei einigen Implementierungen wird eine Kommunikation zwischen sprachaktivierten Vorrichtungen 180, die an dem lokalen Netz 204 sind, und sprachaktivierten Vorrichtungen 180, die nicht an dem lokalen Netz 204 sind, über den Sprachunterstützungsserver 212 durchgeführt. Bei einigen Implementierungen sind die sprachaktivierten Vorrichtungen 180 in einer Vorrichtungsregistratur 280 registriert und somit dem Sprachunterstützungsserver 212 bekannt.
Bei einigen Implementierungen enthält die Betriebsumgebung auch einen oder mehrere Inhalts-Hosts 214. Bei einigen Implementierungen ist ein Inhalts-Host 214 eine entfernte Inhaltsquelle, aus welcher Inhalt gemäß einer Anwendersprachanfrage gestreamt oder auf andere Weise erhalten wird. Bei einigen Implementierungen ist ein Inhalts-Host 214 eine Informationsquelle, von welcher der Sprachunterstützungsserver 212 Information gemäß einer Anwendersprachanfrage wiedergewinnt bzw. ausliest.
Bei einigen Implementierungen ist eine sprachaktivierte Vorrichtung 180 mit mehreren Anwendern assoziiert, die jeweilige Anwenderkonten in dem Anwenderbereich haben. Bei einigen Implementierungen können irgendwelche dieser Anwender sowie Anwender, die nicht mit der Vorrichtung assoziiert sind, Spracheingaben zu der sprachaktivierten Vorrichtung 180 durchführen. Bei einigen Implementierungen empfängt die sprachaktivierte Vorrichtung 180 diese Spracheingaben von diesen Anwendern 102-1 bis 202-M (z.B. einschließlich assoziierter und nicht assoziierter Anwender) und fährt die sprachaktivierte Vorrichtung 180 und/oder der Sprachunterstützungsserver 212 damit fort, für eine Spracheingabe den Anwender, der die Spracheingabe durchführt, zu identifizieren. Mit der Anwenderidentifizierung kann eine Reaktion bzw. Antwort auf diese Spracheingabe zum identifizierten Anwender personalisiert werden.
Bei einigen Implementierungen enthält die Umgebung mehrere sprachaktivierte Vorrichtungen 180 (z.B. Vorrichtungen 180-1 bis 180-N). Die sprachaktivierten Vorrichtungen 180 sind in der gesamten Umgebung (z.B. alle innerhalb eines Raums oder eines Platzes in einer Struktur, über die gesamte Struktur verbreitet oder einige innerhalb der Struktur und einige außerhalb davon) angeordnet. Wenn ein Anwender 202 eine Spracheingabe durchführt, empfängt jede der sprachaktivierten Vorrichtungen 180 entweder die Eingabe oder empfängt die Eingabe nicht (z.B. wenn die Vorrichtung zu weit weg vom Anwender war). Die Vorrichtungen, die die Eingabe empfangen, empfangen die Eingabe unter variierenden Qualitätsmaßen; die Qualität der Probe der Spracheingabe bei einer Vorrichtung basiert auf mehreren Faktoren, einschließlich, aber nicht darauf beschränkt, eines Abstands des Anwenders von der Vorrichtung und dem Geräusch um die Vorrichtung herum. Bei einigen Implementierungen handeln die mehreren Vorrichtungen 180 eine Führerschaft unter sich selbst aus, um dem Anwender zu antworten und um weitere Spracheingabe vom Anwender 102 zu empfangen, und zwar basierend auf der Qualität der Proben der Spracheingaben.
Bei einigen Implementierungen bestimmt eine sprachaktivierte Vorrichtung 180 einen Pegel von Rauschen um die Vorrichtung und bestimmt, ob der bestimmte Rauschpegel ausreichend hoch ist, um mit einer Erkennung des Hotwords in Spracheingaben zu interferieren, und somit mit einem Aufwecken der Vorrichtung durch Sprache zu interferieren, oder mit einer Erkennung von Sprachanfragen. Bei einigen Implementierungen zeigt die sprachaktivierte Vorrichtung 180 dem Anwender dann, wenn der Rauschpegel derart bestimmt wird, dass er ausreichend hoch ist, um interferierend zu sein, an, dass der Rauschpegel interferiert, und gibt dem Anwender einen Hinweis, dass der Anwender eine andere Art verwenden sollte, die sprachaktivierte Vorrichtung 180 aufzuwecken (z.B. eine Taste zu aktivieren). Bei einigen Implementierungen werden die Anzeige des interferierenden Rauschpegels und der Hinweis, eine andere Art zu verwenden, um die Vorrichtung aufzuwecken, über dieselbe Präsentation durchgeführt (z.B. Aufleuchten der Aufwecktaste).
Bei einigen Implementierungen sind eine oder mehrere Medienvorrichtungen in der Betriebsumgebung angeordnet, um für einen oder mehrere Bewohner Medieninhalt, Nachrichten und/oder andere Information zur Verfügung zu stellen. Bei einigen Implementierungen wird der Inhalt, der durch die Medienvorrichtungen zur Verfügung gestellt wird, bei einer lokalen Inhaltsquelle gespeichert, von einer entfernten Inhaltsquelle gestreamt (z.B. Inhalts-Host(s) 214), oder lokal erzeugt (z.B. über einen lokalen Text zu einem Sprachprozessor, der eine kundenspezifische Nachrichtenanweisung, Emails, Texte, einen lokalen Wetterbericht etc. zu einem oder mehreren Bewohnern der Betriebsumgebung liest). Bei einigen Implementierungen enthalten die Medienvorrichtungen Medien-Ausgabevorrichtungen, die den Medieninhalt direkt zu einer Zuhörerschaft (z.B. einem oder mehreren Anwendern) ausgeben und Vorrichtungen suchen, die vernetzt sind, um Medieninhalt zu den Medien-Ausgabevorrichtungen zu streamen. Beispiele der Medien-Ausgabevorrichtungen enthalten, sind aber nicht darauf beschränkt, Fernsehgerät-(TV-)Anzeigevorrichtungen und Musikabspielgeräte. Beispiele der Verteilungsvorrichtungen enthalten, sind aber nicht darauf beschränkt, Digitalempfänger (STBs), DVD-Abspielgeräte, TV-Kästen und Medien-Streamingvorrichtungen, wie beispielsweise die Medien-Streamingvorrichtung Chromecast™ von Google.
Bei einigen Implementierungen enthalten die Medienvorrichtungen eine oder mehrere sprachaktivierte elektronische Vorrichtungen 180, die Sprachbefehle von Bewohnern empfangen, verarbeiten und auf diese antworten. Bei einigen Implementierungen antworten die sprachaktivierten elektronischen Vorrichtungen 180 auf Sprachbefehle durch folgendes: Erzeugen und Bereitstellen einer gesprochenen Antwort auf einen Sprachbefehl (z.B. Sprechen der aktuellen Zeit in Antwort auf die Frage „Welche Zeit ist es?“); Streamen von Medieninhalt, der durch einen Anwender angefragt ist (z.B. „Spiele einen Song der Beach Boys“); Lesen einer Nachrichtengeschichte oder einer täglichen Nachrichtenanweisung bzw. -information, die für den Anwender vorbereitet ist; Abspielen eines Medienelements, das auf der persönlichen Assistentenvorrichtung oder auf dem lokalen Netz gespeichert ist; Ändern eines Zustands oder Betreiben von einer oder mehreren anderen angeschlossenen Vorrichtungen innerhalb der Betriebsumgebung (z.B. Ein/Ausschalten von Lichtern, Haushaltsgeräten oder Medienvorrichtungen, Verriegeln/Entriegeln einer Verriegelung, Öffnen von Fenstern, etc.); oder Ausgeben einer entsprechenden Anfrage zu einem Server über ein Netzwerk 210.
Bei einigen Implementierungen sind die eine oder die mehreren sprachaktivierten Vorrichtungen 180 in der Betriebsumgebung angeordnet, um Audioeingaben zum Initiieren verschiedener Funktionen zu sammeln, einschließlich Medienabspielfunktionen der Medienvorrichtung. Bei einigen Implementierungen sind diese sprachaktivierten elektronischen Vorrichtungen 180 (z.B. Vorrichtungen 180-1 bis 180-N) beispielsweise in einer Nähe zu einer Medienvorrichtung, in demselben Raum mit den Verteilungsvorrichtungen und den Medien-Ausgabevorrichtungen, angeordnet. Alternativ ist bei einigen Implementierungen eine sprachaktivierte elektronische Vorrichtung 180 in einem Raum mit einer oder mehreren Smart-Home-Vorrichtungen angeordnet, aber nicht irgendeiner Medienvorrichtung. Alternativ ist bei einigen Implementierungen eine sprachaktivierte elektronische Vorrichtung 180 an einem Standort angeordnet, der keine vernetzte elektronische Vorrichtung hat. Weiterhin hat bei einigen Implementierungen ein Raum oder ein Platz in der Struktur mehrere sprachaktivierte Vorrichtungen 180.
Bei einigen Implementierungen enthält die sprachaktivierte Vorrichtung 180 wenigstens ein oder mehrere Mikrofone, einen Lautsprecher, einen Prozessor und einen Speicher, der wenigstens ein Programm zur Ausführung durch den Prozessor speichert. Der Lautsprecher ist konfiguriert, um zuzulassen, dass die sprachaktivierte Vorrichtung 180 Sprachnachrichten und anderes Audio (z.B. hörbare Töne oder simulierte Tiergeräusche) zu einer Stelle liefert, wo die sprachaktivierte Vorrichtung 180 in der Betriebsumgebung angeordnet ist. Beispielsweise ein Rundsenden von Musik, ein Berichten über einen Zustand einer Audio-Eingabeverarbeitung und/oder ein Führen eines Gespräches mit einem Anwender der sprachaktivierten Vorrichtung 180 oder ein Geben von Anweisungen zu diesem. Bei einigen Implementierungen werden visuelle Signale verwendet, um dem Anwender der sprachaktivierten Vorrichtung 180 eine Rückmeldung in Bezug auf den Zustand einer Audio-Eingabeverarbeitung zur Verfügung zu stellen. Wenn beispielsweise die sprachaktivierte Vorrichtung 180 eine mobile Vorrichtung (z.B. ein Mobiltelefon oder ein Tablet-Computer) ist, ist ihr Anzeigebildschirm optional konfiguriert, um eine Benachrichtigung in Bezug auf den Zustand von Audio-Eingabeverarbeitung anzuzeigen.
Bei einigen Implementierungen ist die sprachaktivierte Vorrichtung 180 eine Sprachschnittstellenvorrichtung, die netzwerkverbunden ist, um Spracherkennungsfunktionen mit der Hilfe eines Sprachunterstützungsservers 212 und/oder optional einem Cloud-Verteilungs-Dienstserver (nicht gezeigt) zur Verfügung zu stellen. Beispielsweise enthält die sprachaktivierte Vorrichtung 180 einen Smart-Lautsprecher, der einem Anwender Musik zur Verfügung stellt und einen Zugriff auf einen Sprachunterstützungsdienst (z.B. Google Assistant) mit Augen und Händen frei zulässt. Optional ist die sprachaktivierte Vorrichtung 180 ein Desktop- oder Laptop-Computer, ein Tablet, ein Mobiltelefon, das ein Mikrofon enthält, eine Verteilungsvorrichtung, die ein Mikrofon und optional einen Lautsprecher enthält, ein Audiosystem (z.B. ein Stereosystem, ein Lautsprechersystem, ein tragbarer Lautsprecher), das ein Mikrofon und einen Lautsprecher enthält, ein Fernsehgerät, das ein Mikrofon und einen Lautsprecher enthält, oder ein Anwenderschnittstellensystem in einem Automobil, welches System ein Mikrofon und einen Lautsprecher und optional eine Anzeige enthält. Optional ist die sprachaktivierte Vorrichtung 180 eine einfache und billige Sprachschnittstellenvorrichtung. Allgemein kann die sprachaktivierte Vorrichtung 180 irgendeine Vorrichtung sein, die zu einer Netzwerkverbindung fähig ist und die ein Mikrofon, einen Lautsprecher und Programme, Module und Daten zum Implementieren eines Sprachassistentendienstes enthält. Gemäß einigen Implementierungen enthält bei gegebener Einfachheit und Billigkeit der sprachaktivierten Vorrichtung 180 die sprachaktivierte Vorrichtung 180 eher ein Feld von lichtemittierenden Dioden (LEDs) als einen vollständigen Anzeigebildschirm, und zeigt ein visuelles Muster auf den LEDs an, um Information zu Anwendern weiterzuleiten (z.B. um den Zustand einer Audio-Eingabeverarbeitung anzuzeigen). Bei einigen Implementierungen sind die LEDs Vollfarben-LEDs und werden die Farben der LEDs als ein Teil des visuellen Musters verwendet, um auf den LEDs angezeigt zu werden. Mehrere Beispiele eines Verwendens von LEDs, um visuelle Muster anzuzeigen, um Information oder einen Vorrichtungszustand weiterzuleiten bzw. zu befördern, sind in der provisorischen US-Patentanmeldung Nr. 62/336,566 beschrieben. Bei einigen Implementierungen werden visuelle Muster, die den Zustand von Sprachverarbeitungsoperationen anzeigen, unter Verwendung von charakteristischen Bildern angezeigt, die auf herkömmlichen Anzeigen gezeigt sind, die mit elektronischen Vorrichtungen assoziiert sind, die die Sprachverarbeitungsoperationen durchführen.
Bei einigen Implementierungen werden LEDs oder andere visuelle Anzeigen verwendet, um einen gemeinsamen bzw. kollektiven Sprachverarbeitungszustand von mehreren teilnehmenden elektronischen Vorrichtungen zu befördern. Beispielsweise können in einer Betriebsumgebung, in welcher es mehrere Sprachverarbeitungs- oder Sprachschnittstellenvorrichtungen gibt (z.B. mehrere sprachaktivierte Vorrichtungen 180), Gruppen von Farb-LEDs (z.B. LEDs 504, wie es in 5A gezeigt ist), die mit jeweiligen elektronischen Vorrichtungen assoziiert sind, verwendet werden, um weiterzuleiten bzw. zu befördern, welche der elektronischen Vorrichtungen auf einen Anwender horcht und welche der horchenden Vorrichtungen der Anführer ist (wobei die „Anführer“-Vorrichtung allgemein die Führung beim Antworten auf eine durch den Anwender ausgegebene gesprochene Anfrage übernimmt).
Allgemeiner kann eine „LED-Designsprache“ zum Anzeigen auf visuelle Weise unter Verwendung einer Ansammlung von LEDs einer Vielfalt von Sprachverarbeitungszuständen einer elektronischen Vorrichtung verwendet werden, wie beispielsweise eines „Hotword-Erfassungs- und Horchzustand“, ein „Denk- oder Arbeitsmode“, ein „Antwort- oder Sprechmode“, und ein „Anomalienerfassungsmode“. Bei einigen Implementierungen werden eindeutige Zustände von hierin beschriebenen Sprachverarbeitungsoperationen unter Verwendung einer Gruppe von LEDs gemäß einem oder mehreren Aspekten der „LED-DesignSprache“ der '566-Anmeldung dargestellt. Diese visuellen Indikatoren können auch mit einem oder mehreren hörbaren Indikatoren kombiniert werden, die durch elektronische Vorrichtungen erzeugt sind, die Sprachverarbeitungsoperationen durchführen. Die resultierenden Audio- und/oder Visio-Indikatoren ermöglichen Anwendern in einer sprachinteraktiven Umgebung, den Zustand von verschiedenen Sprachverarbeitungs-Elektronikvorrichtungen in der Umgebung zu verstehen und effektiv mit diesen Vorrichtungen auf eine natürliche intuitive Weise zu interagieren.
Wenn Spracheingaben von der sprachaktivierten Vorrichtung 180 verwendet werden, um die Medien-Ausgabevorrichtungen über die Verteilungsvorrichtungen zu steuern, ermöglicht die sprachaktivierte Vorrichtung 180 effektiv eine neue Ebene einer Steuerung von verteilungsfähigen Medienvorrichtungen. Bei einem spezifischen Beispiel enthält die sprachaktivierte Vorrichtung 180 einen Lautsprecher für ungezwungenen Genuss mit einem Fernfeld-Sprachzugriff und funktioniert als eine Sprachschnittstellenvorrichtung für einen Sprachassistentendienst. Die sprachaktivierte Vorrichtung 180 könnte in irgendeinem Bereich bzw. Gebiet in der Betriebsumgebung 100 angeordnet sein. Gemäß einigen Implementierungen werden dann, wenn mehrere elektronische Vorrichtungen 180 in mehreren Räumen verteilt sind, sie Audio-Empfänger verteilen, die synchronisiert sind, um Spracheingaben von all diesen Räumen zur Verfügung zu stellen.
Spezifisch enthält die sprachaktivierte Vorrichtung 180 bei einigen Implementierungen einen Wi-Fi-Lautsprecher mit einem Mikrofon, das mit einem sprachaktivierten Sprachassistentendienst (z.B. Google Assistant) verbunden ist. Ein Anwender kann eine Medienabspielanfrage über das Mikrofon der elektronischen Vorrichtung 180 ausgeben und den Sprachassistentendienst fragen, Medieninhalt auf der sprachaktivierten Vorrichtung 180 selbst oder auf einer anderen gekoppelten Medien-Ausgabevorrichtung abzuspielen. Beispielsweise kann der Anwender eine Medienabspielanfrage dadurch ausgeben, dass er zum Wi-Fi-Lautsprecher „OK Google, spiele Katzenvideos auf meinem Fernsehgerät im Wohnzimmer“ sagt. Der Sprachassistentendienst erfüllt dann die Medienabspielanfrage durch Abspielen des angefragten Medieninhalts auf der angefragten Vorrichtung unter Verwendung einer Vorgabe oder einer bestimmten Medienanwendung.
Bei einigen Implementierungen kann ein Anwender eine Sprachanfrage über das Mikrofon der sprachaktivierten Vorrichtung 180 in Bezug auf Medieninhalt ausgeben, der bereits abgespielt worden ist oder der bereits gespielt wird auf einer Anzeigevorrichtung (z.B. kann der Anwender nach Information über den Medieninhalt fragen, den Medieninhalt über einen Online-Laden kaufen oder einen sozialen Post über den Medieninhalt zusammensetzen und veröffentlichen).
Bei einigen Implementierungen kann ein Anwender wünschen, eine aktuelle Mediensession mit sich zu nehmen, wenn er sich durch das Haus bewegt, und kann einen solchen Dienst von einer oder mehreren der sprachaktivierten Vorrichtungen 180 anfordern. Bei einigen Implementierungen erfordert dies, dass der Sprachassistentendienst die aktuelle Mediensession von einer ersten Verteilungsvorrichtung zu einer zweiten Verteilungsvorrichtung transferiert, die nicht direkt mit der ersten Verteilungsvorrichtung verbunden ist und/oder keine Kenntnis über die Existenz der ersten Verteilungsvorrichtung hat. Nachfolgend zum Medieninhaltstransfer fährt eine zweite Ausgabevorrichtung, die mit der zweiten Verteilungsvorrichtung gekoppelt ist, damit fort, den Medieninhalt von zuvor auf einer ersten Ausgabevorrichtung, die mit der ersten Verteilungsvorrichtung gekoppelt ist, von exakt einer Stelle innerhalb eines Musikstücks oder eines Videoclips abzuspielen, wo ein Abspielen des Medieninhalts auf der ersten Ausgabevorrichtung aufgegeben wurde. Bei einigen Implementierungen kann die sprachaktivierte Vorrichtung 180, die die Anfrage empfängt, die Mediensession zu transferieren, die Anfrage erfüllen. Bei einigen Implementierungen leitet die sprachaktivierte Vorrichtung 180, die die Anfrage empfängt, die Mediensession zu transferieren, die Anfrage zur Handhabung weiter zu einer weiteren Vorrichtung oder einem System (z.B. einer Hub-Vorrichtung, einem Sprachunterstützungsserver 212).
Weiterhin kann ein Anwender bei einigen Implementierungen über das Mikrofon der sprachaktivierten Vorrichtung 180 eine Anfrage nach Information oder nach einer Durchführung einer Aktion oder einer Operation ausgeben. Die angefragte Information kann persönlich sein (z.B. die Emails eines Anwenders, die Kalenderereignisse eines Anwenders, die Fluginformation eines Anwenders, etc.), nicht persönlich (z.B. Spielstände beim Sport, Nachrichtengeschichten, etc.) oder irgendetwas dazwischen (z.B. Spielstände für Teams oder Sport, die durch den Anwender bevorzugt sind, Nachrichtengeschichten von den bevorzugten Quellen eines Anwenders, etc.). Die angefragte Information oder Aktion/Operation kann einen Zugriff auf persönliche Information enthalten (z.B. Kaufen eines digitalen Medienelements mit einer Bezahlungsinformation, die durch den Anwender zur Verfügung gestellt ist, Kaufen eines physikalischen Guts). Die sprachaktivierte Vorrichtung 180 antwortet auf die Anfrage mit Sprachnachrichtenantworten zum Anwender, wobei die Antwort optional beispielsweise Anfragen nach einer Authentifizierung, Anfragen nach zusätzlicher Information, um die Anfrage zu erfüllen, eine Bestätigung, dass die Anfrage erfüllt worden ist, eine Mitteilung, dass die Anfrage nicht erfüllt werden kann, und so weiter enthält.
Bei einigen Implementierungen enthält die Betriebsumgebung 100 zusätzlich zu den sprachaktivierten elektronischen Vorrichtungen 180 und den Medienvorrichtungen (z.B. den Ausgabevorrichtungen und den Verteilungsvorrichtungen) auch eine oder mehrere Smart-Home-Vorrichtungen. Die integrierten Smart-Home-Vorrichtungen enthalten intelligente, mehrfach erfassende, netzwerkverbundene Vorrichtungen, die nahtlos miteinander in einem Smart-Home-Netzwerk integriert sind und/oder mit einem zentralen Server oder einem Cloud-Computersystem, um eine Vielfalt von nützlichen Smart-Home-Funktionen zur Verfügung zu stellen. Bei einigen Implementierungen ist eine Smart-Home-Vorrichtung an derselben Stelle der Betriebsumgebung 100 wie eine Verteilungsvorrichtung und/oder eine Ausgabevorrichtung angeordnet und ist daher in einer Nähe zu oder mit einem bekannten Abstand in Bezug auf die Verteilungsvorrichtung und die Ausgabevorrichtung angeordnet. Bei einigen Implementierungen ist irgendeine der Smart-Home-Vorrichtungen mit Mikrofonen und einer oder mehreren Sprachverarbeitungsfähigkeiten, wie sie hierin beschrieben sind, ausgestattet, um insgesamt oder teilweise auf Sprachanfragen von einem Bewohner oder einem Anwender zu antworten.
Bei einigen Implementierungen ist jede der Verteilungsvorrichtungen und der sprachaktivierten elektronischen Vorrichtungen 180 fähig zu Datenkommunikationen und einer gemeinsamen Nutzung von Information mit anderen Verteilungsvorrichtungen, sprachaktivierten elektronischen Vorrichtungen 180, Smart-Home-Vorrichtungen, einem zentralen Server oder einem Cloud-Computersystem und/oder anderen Vorrichtungen (z.B. der Client-Vorrichtung), die im Netzwerk verbunden sind. Datenkommunikationen können unter Verwendung von irgendeinem einer Vielfalt von kundenspezifischen oder standardmäßigen drahtlosen Protokollen (z.B. IEEE 802.15.4, Wi-Fi, ZigBee, 6LoWPAN, Thread, Z-Wave, Bluetooth Smart, ISA100.11a, WirelessHART, MiWi, etc.) und/oder irgendeine einer Vielfalt von kundenspezifischen oder standardmäßigen verdrahteten Protokollen (z.B. Ethernet, HomePlug, etc.) oder irgendeines anderen geeigneten Kommunikationsprotokolls, einschließlich Kommunikationsprotokollen, die zum Einreichungsdatum dieses Dokuments noch nicht entwickelt sind, ausgeführt werden.
Durch die Kommunikationsnetzwerke (z.B. das Internet) 210 können die Verteilungsvorrichtungen, die sprachaktivierten Vorrichtungen 180 und die Smart-Home-Vorrichtungen mit dem Serversystem 164 (das manchmal auch zentrales Serversystem und/oder Cloud-Computersystem genannt wird) kommunizieren. Bei einigen Implementierungen ist das Serversystem 164 assoziiert mit einem Hersteller, einer Unterstützungseinheit oder einem Dienstanbieter, der mit den Verteilungsvorrichtungen und/oder dem Medieninhalt, der dem Anwender angezeigt wird, assoziiert ist. Gemäß einigen Implementierungen enthält das Serversystem 164 den Sprachunterstützungsserver 212, der Audioeingaben, die durch sprachaktivierte elektronische Vorrichtungen 180 gesammelt sind, verarbeitet, einen oder mehrere Inhalts-Hosts 214, die den angezeigten Medieninhalt zur Verfügung stellen, einen Cloud-Verteilungsdienstserver, der einen virtuellen Anwenderbereich basierend auf verteilten Vorrichtungsendgeräten erzeugt, und die Vorrichtungsregistratur 218, die eine Aufzeichnung der verteilten Vorrichtungsendgeräte in der virtuellen Anwenderumgebung hält. Beispiele der verteilten Vorrichtungsendgeräte enthalten, sind aber nicht darauf beschränkt, die Verteilungsvorrichtungen, die Medien-Ausgabevorrichtungen, die sprachaktivierten Vorrichtungen 180 und die Smart-Home-Vorrichtungen. Bei einigen Implementierungen sind diese verteilten Vorrichtungsendgeräte mit einem Anwenderkonto (z.B. einem Google-Anwenderkonto) im virtuellen Anwenderbereich verbunden. Es sollte erkannt werden, dass eine Verarbeitung von Audioeingaben, die durch elektronische Vorrichtungen 180 gesammelt sind, lokal bei einer sprachaktivierten Vorrichtung 180, bei einem Sprachunterstützungsserver 212, bei einer anderen Smart-Home-Vorrichtung (z.B. einer Hub-Vorrichtung) oder bei irgendeiner Kombination von allen oder einer Untergruppe von den obigen durchgeführt werden kann.
Es wird erkannt werden, dass bei einigen Implementierungen die sprachaktivierte(n) Vorrichtung(en) 180 auch in einer Umgebung ohne Smart-Home-Vorrichtungen funktioniert (funktionieren). Beispielsweise kann eine sprachaktivierte Vorrichtung 180 selbst bei der Abwesenheit von Smart-Home-Vorrichtungen auf Anwenderanfragen nach Information oder einem Durchführen einer Aktion reagieren bzw. antworten und/oder verschiedene Medienabspielfunktionen initiieren oder steuern. Eine sprachaktivierte Vorrichtung 180 kann auch in einem weiten Bereich von Umgebungen funktionieren, einschließlich, ohne Beschränkung, eines Fahrzeugs, eines Schiffs, eines Geschäfts oder einer Herstellungsumgebung.
Bei einigen Implementierungen wird eine sprachaktivierte Vorrichtung 180 „aufgeweckt“ (z.B. während sie in einem Assistentenmode ist), und zwar durch eine Spracheingabe, die ein Hotword (das manchmal auch „Aufweckwort“ genannt wird) enthält. Beispielsweise wird die sprachaktivierte Vorrichtung 180 aufgeweckt, um eine Schnittstelle für den Sprachassistentendienst auf der sprachaktivierten Vorrichtung 180 zu aktivieren und/oder die sprachaktivierte Vorrichtung 180 in einen Zustand zu versetzen, in welchem die sprachaktivierte Vorrichtung 180 dazu bereit ist, Sprachanfragen zu empfangen und zu verarbeiten.
Bei einigen Implementierungen erfordert die sprachaktivierte Vorrichtung 180 ein Aufwecken, wenn die sprachaktivierte Vorrichtung 180 in Bezug auf einen Empfang von Spracheingaben für wenigstens eine vordefinierte Menge an Zeit (z.B. 1 Minute, 5 Minuten oder 10 Minuten) ungenutzt geworden ist. Beispielsweise entspricht die vordefinierte Menge an Zeit einer Menge von ungenutzter Zeit, die zugelassen ist, bevor die Zeit für eine Sprachschnittstellensession oder ein Gespräch abläuft. Bei einigen Implementierungen ist das Hotword ein Ausdruck oder eine Phrase. Bei einigen Implementierungen ist das Hotword eine vordefinierte Vorgabe oder ist kundenspezifisch durch einen Anwender (z.B. ein Anwender kann einen Spitznamen für eine bestimmte elektronische Vorrichtung 180 als das Hotword der Vorrichtung einstellen). Bei einigen Implementierungen gibt es mehrere Hotwords, die eine sprachaktivierte Vorrichtung 180 aufwecken können. Gemäß einigen Implementierungen spricht ein Anwender das Hotword, wartet auf eine Bestätigungsantwort von der sprachaktivierten Vorrichtung 180 (z.B. gibt die sprachaktivierte Vorrichtung 180 eine Begrüßung aus), und führt dann eine erste Sprachanfrage durch. Alternativ kann der Anwender das Hotword und die erste Sprachanfrage in einer Spracheingabe kombinieren (z.B. enthält die Spracheingabe das Hotword, gefolgt durch die Sprachanfrage).
Bei einigen Implementierungen können die durch den Anwender zu einer sprachaktivierten Vorrichtung 180 gesprochenen Spracheingaben allgemein in freier Form oder ein Sprechen in natürlicher Sprache sein. Das bedeutet, dass die Spracheingabe nicht streng auf eine vordefinierte Gruppe von Wörtern und Phrasen innerhalb einer vordefinierten Syntax beschränkt sein muss, mit möglicherweise bestimmten Ausnahmen (z.B. muss ein Anwender das Hotword zuerst sprechen, um die Vorrichtung aufzuwecken).
Bei einigen Implementierungen enthält eine sprachaktivierte Vorrichtung 180 eine oder mehrere zusätzliche Arten oder Aufforderungscharakter können beispielsweise ein Aktivieren einer vordefinierten Taste oder eines Berührungssensors (z.B. eines Berührungssensorfelds) auf der sprachaktivierten Vorrichtung 180 enthalten.
Bei einigen Implementierungen interagiert eine sprachaktivierte elektronische Vorrichtung 180 mit einer Verteilungsvorrichtung, einer Client-Vorrichtung, oder einem Serversystem der Betriebsumgebung 100 gemäß einigen Implementierungen. Gemäß einigen Implementierungen ist die sprachaktivierte elektronische Vorrichtung 180 konfiguriert, um Audioeingaben von einer Umgebung in einer Nähe zu der sprachaktivierten elektronischen Vorrichtung 180 zu empfangen (z.B. innerhalb eines Hörbereichs des (der) Mikrofons (Mikrofone) der Vorrichtung 180). Optional speichert die sprachaktivierte Vorrichtung 180 die Audioeingaben und/oder verarbeitet wenigstens teilweise die Audioeingaben lokal. Optional überträgt bzw. sendet die sprachaktivierte Vorrichtung 180 die empfangenen Audioeingaben und/oder die teilweise verarbeiteten Audioeingaben zum Sprachunterstützungsserver 212 über die Kommunikationsnetzwerke 210 zur Verarbeitung.
Bei einigen Implementierungen ist die Verteilungsvorrichtung (sind die Verteilungsvorrichtungen) konfiguriert, um Medieninhalt oder Internetinhalt von dem einen oder den mehreren Inhalts-Hosts 214 zur Anzeige auf einer Ausgabevorrichtung zu erhalten, die mit der Verteilungsvorrichtung gekoppelt ist. Bei einigen Implementierungen sind die Verteilungsvorrichtung und die sprachaktivierte elektronische Vorrichtung 180 miteinander in einem Anwenderbereich verbunden. Bei einigen Implementierungen sind die Verteilungsvorrichtung(en) und die sprachaktivierte Vorrichtung 180 mit einem selben Anwenderkonto im Anwenderbereich assoziiert. Bei einigen Implementierungen werden Information für die Verteilungsvorrichtung und/oder Information für die sprachaktivierte Vorrichtung 180 in der Vorrichtungsregistratur 218 in Assoziation mit dem Anwenderkonto gespeichert. Bei einigen Implementierungen wird ein erstes Vorrichtungsregister für eine Verteilungsvorrichtung (Verteilungsvorrichtungen) verwendet und wird eine zweite Registratur für eine sprachaktivierte elektronische Vorrichtung (sprachaktivierte elektronische Vorrichtungen) 180 verwendet. Bei einigen Implementierungen managt ein Cloud-Verteilungsdienstserver die Verteilungsvorrichtungsregistratur und managt der Sprachunterstützungsserver 212 die Registratur der sprachaktivierten elektronischen Vorrichtungen. Bei einigen Implementierungen bezieht sich die Verteilungsvorrichtungsregistratur auf Vorrichtungen in der Registratur für sprachaktivierte elektronische Vorrichtungen, die in dem Anwenderbereich assoziiert sind, und umgekehrt.
Bei einigen Implementierungen werden eine oder mehrere der sprachaktivierten Vorrichtungen 180 (und optional eine oder mehrere Verteilungsvorrichtungen) dem Sprachassistentendienst über eine Client-Vorrichtung 166 anvertraut bzw. übertragen. Bei einigen Implementierungen enthält die sprachaktivierte elektronische Vorrichtung 180 (und/oder die Verteilungsvorrichtung) keinen Anzeigebildschirm und beruht auf der Client-Vorrichtung, um eine Anwenderschnittstelle während eines Übertragungsprozesses zur Verfügung zu stellen. Spezifisch ist gemäß einigen Implementierungen die Client-Vorrichtung 166 mit einer Anwendung installiert, die ermöglicht, dass eine Anwenderschnittstelle ein Übertragen einer neuen sprachaktivierten elektronischen Vorrichtung 180 ermöglicht, die in einer Nähe zu der Client-Vorrichtung angeordnet ist.
Beispielsweise kann ein Anwender eine Anfrage auf der Anwenderschnittstelle der Client-Vorrichtung 166 senden, um einen Übertragungsprozess für die neue elektronische Vorrichtung 180 zu initiieren, die übertragen werden muss. Nach einem Empfangen der Übertragungsanfrage richtet die Client-Vorrichtung eine Kurzstrecken-Kommunikationsverbindung mit der neuen elektronischen Vorrichtung 180 ein, die übertragen werden muss. Optional wird die Kurzstrecken-Kommunikationsverbindung basierend auf einer Nahefeldkommunikation (NFC), Bluetooth, Bluetooth mit niedriger Energie (BLE) und ähnlichem eingerichtet. Die Client-Vorrichtung befördert dann drahtlose Konfigurationsdaten, die mit einem drahtlosen lokalen Netz (WLAN) (z.B. dem lokalen Netz 104) assoziiert sind, zur neuen elektronischen Vorrichtung 180. Bei einigen Implementierungen enthalten die Drahtlos-Konfigurationsdaten eines oder mehrere von folgendem: einen WLAN-Sicherheitscode, einen SSID, eine Internetprotokoll-(IP-)Adresse, Proxykonfigurationsinformation und Gateway-Konfigurationsinformation. Nach einem Empfangen der Drahtlos-Konfigurationsdaten über die Kurzstrecken-Kommunikationsverbindung decodiert die neue elektronische Vorrichtung 180 die Drahtlos-Konfigurationsdaten und gewinnt sie wieder, und verbindet das WLAN basierend auf den Drahtlos-Konfigurationsdaten.
Bei einigen Implementierungen wird zusätzliche Anwenderbereichsinformation über eine Anwenderschnittstelle eingegeben, die auf der Client-Vorrichtung angezeigt ist, und wird dazu verwendet, die neue elektronische Vorrichtung 180 mit einem Konto in einem Anwenderbereich zu verbinden. Bei einigen Implementierungen wird die zusätzliche Anwenderbereichsinformation zur neuen elektronischen Vorrichtung 180 in Verbindung mit den Drahtlos-Kommunikationsdaten über die Kurzstrecken-Kommunikationsverbindung befördert. Bei einigen Implementierungen wird die zusätzliche Anwenderbereichsinformation zur neuen elektronischen Vorrichtung 180 über das WLAN befördert, nachdem die neue Vorrichtung mit dem WLAN verbunden ist.
Wenn die sprachaktivierte Vorrichtung 180 einmal in den Anwenderbereich übertragen worden ist, können andere Vorrichtungen und ihre assoziierten Aktivitäten über mehrere Steuerpfade gesteuert werden. Gemäß einem Steuerpfad wird eine auf der Client-Vorrichtung 166 installierte Anwendung dazu verwendet, die andere Vorrichtung und ihre assoziierten Aktivitäten (z.B. Medienabspielaktivitäten) zu steuern. Gemäß einem weiteren Steuerpfad wird eine sprachaktivierte Vorrichtung 180 dazu verwendet, eine Steuerung mit freien Augen und freien Händen der anderen Vorrichtung und ihrer assoziierten Aktivitäten freizugeben.
Die 3A-3B sind Blockdiagramme, die eine repräsentative sprachaktivierte Vorrichtung 180 gemäß einigen Implementierungen darstellen. Die sprachaktivierte Vorrichtung 180 enthält eine oder mehrere Verarbeitungseinheiten (CPUs) 302, eine oder mehrere Netzwerkschnittstellen 304, einen Speicher 306 und einen oder mehrere Kommunikationsbusse 308 zum Verbinden von diesen Komponenten (die manchmal Chipgruppe genannt werden). Die sprachaktivierte Vorrichtung 180 enthält eine oder mehrere Eingabevorrichtungen 310, die eine Anwendereingabe ermöglichen, wie beispielsweise eine Taste 312, ein Berührungssensorfeld 314 und/oder ein oder mehrere Mikrofone 316. Die sprachaktivierte Vorrichtung 180 enthält auch eine oder mehrere Ausgabevorrichtungen 318, einschließlich eines oder mehrerer Lautsprecher 320, eines Felds von LEDs 322 und/oder einer Anzeige 324. Bei einigen Implementierungen ist das Feld von LEDs 322 ein Feld von Vollfarben-LEDs. Bei einigen Implementierungen hat die sprachaktivierte Vorrichtung 180 in Abhängigkeit vom Typ der Vorrichtung entweder ein Feld von LEDs 322 oder die Anzeige 324 oder beides. Bei einigen Implementierungen enthält die sprachaktivierte Vorrichtung 180 auch eine Standort- bzw. Lokalisierungserfassungsvorrichtung 326 (z.B. ein GPS-Modul) und einen oder mehrere Sensoren 328 (z.B. ein Akzelerometer, ein Gyroskop, einen Lichtsensor, etc.).
Der Speicher 306 enthält einen Direktzugriffsspeicher hoher Geschwindigkeit, wie beispielsweise DRAM, SRAM, DDR RAM oder andere Direktzugriffs-Festkörperspeichervorrichtungen; und enthält optional einen nichtflüchtigen Speicher, wie beispielsweise eine oder mehrere Magnetplattenspeichervorrichtungen, eine oder mehrere optische Plattenspeichervorrichtungen, eine oder mehrere Flashspeichervorrichtungen oder eine oder mehrere andere nichtflüchtige Festkörperspeichervorrichtungen. Der Speicher 306 enthält optional eine oder mehrere Speichervorrichtungen, die entfernt von einer oder mehreren Verarbeitungseinheiten 302 angeordnet sind. Der Speicher 306, oder alternativ der nichtflüchtige Speicher innerhalb des Speichers 306, enthält ein nichtflüchtiges computerlesbares Speichermedium. Bei einigen Implementierungen speichert der Speicher 306, oder das nichtflüchtige computerlesbare Speichermedium des Speichers 306, die folgenden Programme, Module und Datenstrukturen oder eine Untergruppe oder Übergruppe bzw. Supergruppe davon:

• ein Betriebssystem 332, das Prozeduren zum Handhaben von verschiedenen Basissystemdiensten und zum Durchführen von hardwareabhängigen Aufgaben enthält;
• ein Netzwerkkommunikationsmodul 334 zum Verbinden der sprachaktivierten Vorrichtung 180 mit anderen Vorrichtungen (z.B. dem Serversystem 164, einer oder mehreren Verteilungsvorrichtungen, einer oder mehreren Client-Vorrichtungen 166, einer oder mehreren Smart-Home-Vorrichtungen und einer anderen sprachaktivierten Vorrichtung (anderen sprachaktivierten Vorrichtungen) 180) über eine oder mehrere Netzwerkschnittstellen 304 (verdrahtet oder drahtlos) und ein oder mehrere Netzwerke 210, wie beispielsweise das Internet, andere Weitverkehrsnetze, lokale Netze (z.B. das lokale Netz 204), Stadtbereichsnetze und ähnliches.
• ein Eingabe/Ausgabe-Steuermodul 336 zum Empfangen von Eingaben über eine oder mehrere Eingabevorrichtungen 310 und zum Ermöglichen einer Präsentation von Information bei der sprachaktivierten Vorrichtung 180 über eine oder mehrere Ausgabevorrichtungen 318;
• ein Audio-Verarbeitungsmodul 338 zum Verarbeiten von Audioeingaben und Sprachnachrichten, die von einer Umgebung gesammelt sind, die die sprachaktivierte Vorrichtung 180 umgibt, und/oder zum Vorbereiten der gesammelten Audioeingaben und Sprachnachrichten zum Verarbeiten bei dem Sprachunterstützungsserver 212;
• ein Modenmodul 339 zum Einstellen und Adjustieren von Betriebsmoden der sprachaktivierten Vorrichtung 180, wie beispielsweise in Antwort auf Anwendereingaben, einen oder mehrere vordefinierte Zeitpläne und/oder anormale Klänge oder Ereignisse, wobei die Betriebsmoden einen Assistentenmode enthalten, bei welchem die sprachaktivierte Vorrichtung 180 auf Anwenderanfragen antwortet, und einen Überwachungsmode, bei welchem die sprachaktivierte Vorrichtung 180 die unerwarteten Klänge in ihren Umgebungen überwacht und darauf reagiert;
• ein LED-Steuermodul 340 zum Kommunizieren mit Anwendern über LEDs 322;
• ein Berührungssensormodul 342 zum Erfassen von Berührungsereignissen auf einer berührungsempfindlichen Oberfläche (z.B. auf dem Berührungssensorfeld 314) der sprachaktivierten Vorrichtung 180;
• ein Trainingsmodul 344 zum Trainieren und Erzeugen von Sprach- und/oder Klangmodellen oder Fingerabdrücken, die verwendet werden können, um Klänge, Ereignisse und/oder Sprachen bzw. Stimmen zu identifizieren, und um Anwender im Anwenderbereich eindeutig zu machen, die mit der sprachaktivierten Vorrichtung 180 assoziiert sind;
• ein Antwortmodul 346 zum Antworten auf Audioeingaben, einschließlich eines Durchführens von Anweisungen von Sprachanfrageantworten, die durch den Sprachunterstützungsserver 212 erzeugt sind, eines Erzeugens von Antworten auf bestimmte Spracheingaben (z.B. in einem Assistentenmode), und/oder eines Erzeugens von Antworten auf bestimmte Audioereignisse und Klänge (z.B. in einem Überwachungsmode);
• ein Vorrichtungs-Anführermodul 348 zum Bestimmen eines Anführers unter mehreren sprachaktivierten Vorrichtungen 180 in Antwort auf Audioeingaben;
• ein Benachrichtigungsmodul 349 zum Erzeugen und/oder Anzeigen von Benachrichtigungen für Anwender in Bezug auf erfasste Klänge oder Ereignisse und/oder Benachrichtigungen in Bezug auf einen Betriebszustand der sprachaktivierten Vorrichtung; und
• Vorrichtungsdaten 350 zum Speichern von Daten, die mit der sprachaktivierten Vorrichtung 180 assoziiert sind, einschließlich, aber nicht beschränkt auf:
- ○ Sprachvorrichtungseinstellungen 352, die Information speichern, die mit der sprachaktivierten Vorrichtung 180 selbst assoziiert ist, wie beispielsweise allgemeine Vorrichtungseinstellungen (z.B. Service-Ebene, Vorrichtungsmodell, Speicherkapazität, Verarbeitungsfähigkeiten, Kommunikationsfähigkeiten, etc.), Information von einem oder mehreren Anwenderkonten in einem Anwenderbereich, Einstellungen in Bezug auf Beschränkungen, wenn bestimmte Typen von Anwendern behandelt werden (z.B. nicht registrierte Anwender), und Anzeigespezifikationen, die mit einem oder mehreren visuellen Mustern assoziiert sind, die durch die LEDs 322 angezeigt sind;
- ○ Sprachsteuerungsdaten 354, die Audiosignale, Sprachnachrichten, Antwortnachrichten und andere Daten in Bezug auf Sprachschnittstellenfunktionen der sprachaktivierten Vorrichtung 180 speichern;
- ○ Sprachmodelldaten 356, die Sprachmodelle oder Sprach-Fingerabdrücke entsprechend Anwendern im Anwenderbereich speichern, die mit der sprachaktivierten Vorrichtung 180 assoziiert sind;
- ○ Antwortdaten 358, die Information in Bezug auf Audio- und/oder Visio-Antworten zur Verwendung beim Antworten auf Klänge oder Ereignisse (z.B. während sie in einem Überwachungsmode ist) in Verbindung mit dem Antwortmodul 346 speichern;
- ○ Klangdaten 360, die Klanginformation speichern, wie beispielsweise Klangmodelle oder Fingerabdrücke, zuvor empfangene Klänge, erwartete Klänge, und ähnliches;
- ○ Zeitplanungsdaten 362, die Information in Bezug auf Anwenderzeitpläne, Vorrichtungsmodenzeitpläne, Betriebsumgebungszeitpläne und ähnliches speichern (z.B. zur Verwendung beim Bestimmen, ob ein erfasster Klang erwartet wird); und
- ○ Profildaten 364 zum Speichern von Profilinformation für die sprachaktivierte Vorrichtung 180, wie beispielsweise Anwenderprofile für Anwender der Vorrichtung, Vorrichtungsprofile, Umgebungsprofile und ähnliches.

Nimmt man Bezug auf 3B, enthält das Audioverarbeitungsmodul 338 bei einigen Implementierungen die folgenden Module oder eine Untergruppe oder eine Übergruppe davon:

• Erkennungsanalysemodul 368 zum Erkennen von Klängen und Audioeingaben und, bei einigen Implementierungen zum Analysieren, wie unterschiedliche Ebene eines Rauschens die Operationen des Audioverarbeitungsmoduls 238 beeinflussen (z.B. Operationen des Hotword-Erkennungsmoduls 378, des Klassifizierungsmoduls 374 und/oder des Anfrage-Erkennungsmoduls 380);
• ein Lautstärkemodul 370 zum Bestimmen von geeigneten Eingabe- und/oder Ausgabe-Lautstärken basierend auf Anwenderentfernungen von der sprachaktivierten Vorrichtung 180, z.B. für eine gegebene Entfernung von der sprachaktivierten Vorrichtung 180 wird ein Lautstärkepegel mit höchstem Komfort, bei welchem Anwender Spracheingaben äußern werden;
• ein Geräuschmodul 372 zum Bestimmen eines Rauschpegels und/oder eines Rauschprofils für die Umgebungen um die sprachaktivierte Vorrichtung 180;
• ein Klassifizierungsmodul 374 zum Klassifizieren von Klängen, Ereignissen und/oder Stimmen, die durch die sprachaktivierte Vorrichtung 180 erfasst sind (und/oder durch eine oder mehrere Vorrichtungen erfasst sind, die mit der sprachaktivierten Vorrichtung 180 gekoppelt sind);
• ein Anwenderidentifikationsmodul 376 zum Identifizieren und/oder Eindeutigmachen von Anwendern, die durch die sprachaktivierte Vorrichtung 180 erfasst sind;
• ein Hotword-Erkennungsmodul 378 zum Bestimmen, ob Spracheingaben ein Hotword zum Aufwecken der sprachaktivierten Vorrichtung 180 enthalten, und zum Erkennen eines solchen in den Spracheingaben (z.B. während eines Assistentenmodes);
• ein Anfrage-Erkennungsmodul 380 zum Bestimmen einer Anwenderanfrage, die in einer Spracheingabe enthalten ist; und
• ein Anfrage-Qualitätsmodul 382 zum Bestimmen eines Qualitätsfaktors oder einer Bewertung für Anwenderanfragen.

Jedes der oben identifizierten Module ist optional in einem oder mehreren der Speichervorrichtungen gespeichert, die hierin beschrieben sind, und entspricht einer Gruppe von Anweisungen zum Durchführen der oben beschriebenen Funktionen. Die oben identifizierten Module oder Programme müssen nicht als separate Softwareprogramme, Prozeduren, Module oder Datenstrukturen implementiert sein, und somit können verschiedene Untergruppen von diesen Modulen kombiniert oder auf andere Weise in verschiedenen Implementierungen neu angeordnet sein. Bei einigen Implementierungen speichert der Speicher 306 eine Untergruppe der Module und Datenstrukturen, die oben identifiziert sind. Weiterhin speichert der Speicher 306 optional zusätzliche Module und Datenstrukturen, die oben nicht beschrieben sind. Bei einigen Implementierungen wird eine Untergruppe der Programme, Module und/oder Daten, die im Speicher 306 gespeichert sind, auf dem Serversystem 164 und/oder dem Sprachunterstützungsserver 212 gespeichert und/oder durch dieses ausgeführt.
Bei einigen Implementierungen sind ein oder mehrere der Module im Speicher 306, die oben beschrieben sind, ein Teil einer Sprachverarbeitungsbibliothek von Modulen. Die Sprachverarbeitungsbibliothek kann auf eine weite Vielfalt von Vorrichtungen implementiert und eingebettet sein. Ein Beispiel einer Sprachverarbeitungsbibliothek ist in der provisorischen US-Patentanmeldung Nr. 62/334,434 beschrieben.
4 ist ein Blockdiagramm, das ein repräsentatives Serversystem 164 gemäß einigen Implementierungen darstellt. Ein beispielhafter Server des Serversystems 164 ist der Sprachunterstützungsserver 212. Das Serversystem 164 enthält eine oder mehrere Verarbeitungseinheiten (CPUs) 402, eine oder mehrere Netzwerkschnittstellen 404, einen Speicher 406 und einen oder mehrere Kommunikationsbusse 408 zum Verbinden von diesen Komponenten (die manchmal Chipgruppe genannt werden). Das Serversystem 164 enthält optional eine oder mehrere Eingabevorrichtungen 410, die eine Anwendereingabe ermöglichen, wie beispielsweise eine Tastatur, eine Maus, eine Sprachbefehls-Eingabeeinheit oder ein Mikrofon, eine Berührungsbildschirmanzeige, ein berührungsempfindliches Eingabepad, eine Gestenerfassungskamera oder andere Eingabetasten oder Steuerungen. Weiterhin verwendet das Serversystem 164 optional ein Mikrofon und eine Spracherkennung oder eine Kamera und eine Gestenerkennung, um die Tastatur zu ergänzen oder zu ersetzen. Bei einigen Implementierungen enthält das Serversystem 164 eine oder mehrere Kameras, Scanner oder Foto-Sensoreinheiten zum Erfassen von Bildern, wie beispielsweise von graphischen Seriencodes, die auf den elektronischen Vorrichtungen gedruckt sind. Das Serversystem 164 enthält optional eine oder mehrere Ausgabevorrichtungen 412, die eine Präsentation von Anwenderschnittstellen und Anzeigeinhalt ermöglichen, wie beispielsweise einen oder mehrere Lautsprecher und/oder eine oder mehrere visuelle Anzeigen.
Der Speicher 406 enthält einen Direktzugriffsspeicher hoher Geschwindigkeit, wie beispielsweise DRAM, SRAM, DDR RAM oder andere Direktzugriffs-Festkörperspeichervorrichtungen; und enthält optional einen nichtflüchtigen Speicher, wie beispielsweise eine oder mehrere Magnetplattenspeichervorrichtungen, eine oder mehrere optische Plattenspeichervorrichtungen, eine oder mehrere Flashspeichervorrichtungen oder eine oder mehrere andere nichtflüchtige Festkörperspeichervorrichtungen. Der Speicher 406 enthält optional eine oder mehrere Speichervorrichtungen, die entfernt von der einen oder den mehreren Verarbeitungseinheiten 402 angeordnet sind. Der Speicher 406 oder, alternativ, der nichtflüchtige Speicher innerhalb des Speichers 406, enthält ein nichtflüchtiges computerlesbares Speichermedium. Bei einigen Implementierungen speichert der Speicher 406, oder das nichtflüchtige computerlesbare Speichermedium des Speichers 406, die folgenden Programme, Module und Datenstrukturen oder eine Untergruppe oder eine Übergruppe davon:

• ein Betriebssystem 416, das Prozeduren zum Handhaben von verschiedenen Basissystemdiensten und zum Durchführen von hardwareabhängigen Aufgaben enthält;
• ein Netzwerkkommunikationsmodul 418 zum Verbinden des Serversystems 164 mit anderen Vorrichtungen (z.B. verschiedenen Servern im Serversystem 164, Client-Vorrichtungen, Verteilungsvorrichtungen, elektronischen Vorrichtungen 180 und Smart-Home-Vorrichtungen) über eine oder mehrere Netzwerkschnittstellen 404 (verdrahtet oder drahtlos) und ein oder mehrere Netzwerke, wie beispielsweise das Internet, andere Weitverkehrsnetze, lokale Netze, Stadtbereichsnetze und so weiter;
• ein Anwenderschnittstellenmodul 420 zum Ermöglichen einer Präsentation von Information (z.B. eine graphische Anwenderschnittstelle zum Präsentieren einer Anwendung (von Anwendungen), Widgets, Web-Seiten und Web-seiten davon, Spielen, Audio- und/oder Videoinhalt, Text, etc.) entweder bei dem Serversystem oder bei einer Client-Vorrichtung;
• ein Befehlsausführungsmodul 421 zum Ausführen von Befehlen, die von einer oder mehreren entfernten Vorrichtungen empfangen sind (z.B. entsprechend Spielen, sozialen Netzwerkanwendungen, Smart-Home-Anwendungen und/oder anderen web- oder nicht-webbasierten Anwendungen zum Steuern von Vorrichtungen, wie beispielsweise einer Client-Vorrichtung, einer Verteilungsvorrichtung, einer sprachaktivierten Vorrichtung 180 und einer Smart-Home-Vorrichtung), einschließlich von einem oder mehreren von folgenden:
- ○ einer Verteilungsvorrichtungsanwendung 422, die ausgeführt wird, um Serverseitenfunktionalitäten für eine Vorrichtungsversorgung bzw. -beschaffung, eine Vorrichtungssteuerung und/oder ein Anwenderkontenmanagement, assoziiert mit einer Verteilungsvorrichtung (Verteilungsvorrichtungen), zur Verfügung zu stellen;
- ○ einer oder mehrerer Medienabspielanwendungen 424, die ausgeführt werden, um Serverseitenfunktionalitäten für eine Medienanzeige zur Verfügung zu stellen, und/oder ein Anwenderkontenmanagement, das mit entsprechenden Medienquellen assoziiert ist;
- ○ einer oder mehrerer Smart-Home-Vorrichtungsanwendungen 426, die ausgeführt werden, um Serverseitenfunktionalitäten für eine Vorrichtungsversorgung bzw. -beschaffung, eine Vorrichtungssteuerung, eine Datenverarbeitung und/oder eine Datenüberprüfung von entsprechenden Smart-Home-Vorrichtungen zur Verfügung zu stellen; und
- ○ einer Sprachassistentenanwendung bzw. Sprachunterstützungsanwendung 428, die ausgeführt wird, um eine Sprachverarbeitung einer Sprachnachricht, die von einer sprachaktivierten Vorrichtung 180 empfangen ist, anzuordnen und/oder die Sprachnachricht zu verarbeiten, z.B. um einen Anwendersprachbefehl und einen oder mehrere Parameter für den Anwendersprachbefehl zu extrahieren (z.B. eine Bestimmung einer Verteilungsvorrichtung oder einer anderen elektronischen Vorrichtung 180);
• ein Vorrichtungsregistrierungsmodul 430 zum Managen einer Vorrichtungsregistratur 118;
• ein Vorrichtungsanführermoderatormodul 432 zum Moderieren von Vorrichtungsanführerbestimmungen zwischen sprachaktivierten Vorrichtungen 180 in einer Betriebsumgebung;
• ein Klangmodul 434 zum Analysieren von Klängen, die durch sprachaktivierte Vorrichtungen 180 erfasst sind, z.B. um Anwender zu erkennen, Rauschpegel um die sprachaktivierten Vorrichtungen 180 zu bestimmen, erwartete Klänge für die sprachaktivierten Vorrichtungen 180 zu bestimmen, einen Zeitplan für einen erwarteten Klang für die sprachaktivierten Vorrichtungen 180 zu bestimmen und ähnliches;
• ein Sprachverarbeitungsmodul 436 zum Verarbeiten von Audioeingaben und/oder Sprachnachrichten, die in einer Umgebung gesammelt sind, die die sprachaktivierte Vorrichtung 180 umgibt, z.B. um Wörter oder Phrasen zu erkennen und/oder um einen oder mehrere Parameter aus einem Anwenderbefehl zu extrahieren;
• ein Klassifizierungsmodul 438 zum Klassifizieren von Klängen, Geräuschen, Stimmen und/oder Audioereignissen, z.B. erfasst durch sprachaktivierte Vorrichtungen 180;
• Serversystemdaten 440, die Daten speichern, die mit dem Serversystem assoziiert sind, einschließlich, aber nicht beschränkt darauf:
- ○ Client-Vorrichtungseinstellungen 442, die Information für eine oder mehrere Client-Vorrichtungen speichern, wie beispielsweise allgemeine Vorrichtungseinstellungen (z.B. Dienst- bzw. Service-ebene, Vorrichtungsmodell, Speicherkapazität, Verarbeitungsfähigkeiten, Kommunikationsfähigkeiten, etc.) und Information für eine automatische Medienanzeigesteuerung;
- ○ Verteilungsvorrichtungseinstellungen 446, die Information für Verteilungsvorrichtungen speichern, und/oder Anwenderkonten der Verteilungsvorrichtungsanwendung 422, wie beispielsweise Kontenzugriffsinformation, Information für Vorrichtungseinstellungen (z.B. Dienstebene, Vorrichtungsmodell, Speicherkapazität, Verarbeitungsfähigkeiten, Kommunikationsfähigkeiten, etc.), und Information für eine automatische Medienanzeigesteuerung;
- ○ Medienabspielgeräteeinstellungen 448, die Information für Medienabspielgeräte speichern, und/oder Anwenderkonten von einer oder mehreren Medienabspielgeräteanwendungen 424, wie beispielsweise Kontenzugriffsinformation, Anwenderpräferenzen von Medieninhaltstypen, Überprüfungsvorgeschichtendaten und Information für eine automatische Medienanzeigesteuerung;
- ○ Smart-Home-Vorrichtungseinstellungen 450, die Information für Smart-Home-Vorrichtungen speichern, und/oder Anwenderkonten der Smart-Home-Anwendungen 426, wie beispielsweise Kontenzugriffsinformation und Information für eine oder mehrere Smart-Home-Vorrichtungen (z.B. Dienstebene, Vorrichtungsmodell, Speicherkapazität, Verarbeitungsfähigkeiten, Kommunikationsfähigkeiten, etc.);
- ○ Sprachunterstützungsdaten 452, die Information für sprachaktivierte Vorrichtungen speichern, und/oder Anwenderkonten der Sprachunterstützungsanwendung 428, wie beispielsweise Kontenzugriffsinformation und Information für eine oder mehrere elektronische Vorrichtungen 180 (z.B. Dienstebene, Vorrichtungsmodell, Speicherkapazität, Verarbeitungsfähigkeiten, Kommunikationsfähigkeiten, etc.);
- ○ Anwenderdaten 454, die Information in Bezug auf Anwender des Serversystems 164 speichern, und/oder sprachaktivierte Vorrichtungen 180, wie beispielsweise Teilnahmen eines Anwenders (z.B. Musikstreamingdienstteilnahmen, Videostreamingdienstteilnahmen, Newsletter-Teilnahmen), Anwendervorrichtungen (z.B. Vorrichtungen, die in dem Vorrichtungsregister 118 registriert sind, das mit jeweiligen Anwendern assoziiert ist), Anwenderkonten (z.B. Email-Konten eines Anwenders, Kalenderkonten, Finanzkonten) und andere Anwenderdaten; und
- ○ Sprachprofile 456, die Sprachprofile von Anwendern im Anwenderbereich speichern, und/oder Anwendern von sprachaktivierten Vorrichtungen 180, einschließlich beispielsweise Sprachmodellen und/oder Sprach-Fingerabdrücken der Anwender und/oder komfortable Lautstärkepegelschwellen der Anwender.

Bei einigen Implementierungen enthält das Serversystem 164 ein Benachrichtigungsmodul (nicht gezeigt) zum Erzeugen von Alarmen und/oder Benachrichtigungen für Anwender. Beispielsweise erzeugt das Benachrichtigungsmodul bei einigen Implementierungen Alarme für Anwender in Antwort auf Klänge oder Audioereignisse, die durch eine oder mehrere sprachaktivierte Vorrichtungen 180 erfasst sind. Bei einigen Implementierungen erzeugt das Benachrichtigungsmodul einen Alarm oder eine Benachrichtigung gemäß einer Klassifizierung eines Klangs oder eines Audioereignisses. Beispielsweise wird ein Klang als ein unbekannter Klang klassifiziert (oder als ein unerwarteter Klang), und ein Alarm wird erzeugt und zu einem Anwender der sprachaktivierten Vorrichtung 180 gesendet, und benachrichtigt ihn/sie über die Erfassung des unbekannten oder unerwarteten Klangs.
Bei einigen Implementierungen enthält das Serversystem 164 den Sprachunterstützungsserver 212 und der Sprachunterstützungsserver 212 ist primär für eine Verarbeitung von Spracheingaben und für eine Rauschminderung verantwortlich. Bei einigen Implementierungen sind eines oder mehrere der Programme, Module und Datenstrukturen im Speicher 306, der oben in Bezug auf die 3A-3B beschrieben ist, in jeweiligen Modulen in dem Speicher 406 enthalten (z.B. die Programme, Module und Datenstrukturen, die mit dem Audioverarbeitungsmodul 338 enthalten sind, sind in dem Sprachverarbeitungsmodul 436 enthalten). Bei einigen Implementierungen überträgt bzw. sendet die sprachaktivierte Vorrichtung 180 erfasste Klänge und/oder Spracheingaben zu dem Sprachunterstützungsserver 212 zur Verarbeitung. Bei einigen Implementierungen vorverarbeitet die sprachaktivierte Vorrichtung 180 zuerst die Klänge und/oder Spracheingaben und überträgt die vorverarbeiteten Klänge und/oder Spracheingaben zum Sprachunterstützungsserver 212 zur weiteren Verarbeitung, wie beispielsweise eine Klassifizierung und/oder Erkennung. Bei einigen Implementierungen haben der Sprachunterstützungsserver 212 und die sprachaktivierte Vorrichtung 180 einige gemeinsam genutzte und einige aufgeteilte Verantwortlichkeiten in Bezug auf eine Verarbeitung von Klängen, Spracheingaben und eine Rauschminderung, und die Programme, Module und Datenstrukturen, die in den 3A-3B gezeigt sind, sind in beiden oder aufgeteilt zwischen dem Sprachunterstützungsserver 212 und der sprachaktivierten Vorrichtung 80 enthalten. Bei einigen Implementierungen sind andere Programme, Module und Datenstrukturen, die in den 3A-3B gezeigt sind (z.B. das Trainingsmodul 344) oder Analogien davon, in dem Sprachunterstützungsserver 212 enthalten.
Jedes der oben identifizierten Elemente kann in einer oder mehreren der Speichervorrichtungen gespeichert sein, die hierin beschrieben sind, und entspricht einer Gruppe von Anweisungen zum Durchführen der oben beschriebenen Funktionen. Die oben identifizierten Module oder Programme müssen nicht als separate Softwareprogramme, Prozeduren, Module oder Datenstrukturen implementiert sein, und somit können verschiedene Untergruppen von diesen Modulen kombiniert oder auf andere Weise neu angeordnet bei verschiedenen Implementierungen sein. Bei einigen Implementierungen speichert der Speicher 406 optional eine Untergruppe der Module und Datenstrukturen, die oben identifiziert sind. Weiterhin speichert der Speicher 406 optional zusätzliche Module und Datenstrukturen, die oben nicht beschrieben sind.
Die 5A und 5B sind eine Vorderansicht 500 und eine Rückansicht 520 einer sprachaktivierten elektronischen Vorrichtung 180 gemäß einigen Implementierungen. Gemäß einigen Implementierungen ist die sprachaktivierte Vorrichtung 180 als warm und einladend entworfen und passt auf natürliche Weise in viele Bereiche eines Heims. Bei einigen Implementierungen enthält die sprachaktivierte Vorrichtung 180 ein oder mehrere Mikrofone 502 und ein Feld von Vollfarben-LEDs 504. Bei einigen Implementierungen sind die Vollfarben-LEDs 504 unter einer oberen Oberfläche der sprachaktivierten Vorrichtung 180 versteckt und für Anwender unsichtbar, wenn sie nicht erleuchtet sind. Bei einigen Implementierungen ist das Feld von Vollfarben-LEDs 504 physikalisch in einem Ring angeordnet. Weiterhin enthält die Rückseite der sprachaktivierten Vorrichtung 180 optional einen Energieversorgungsanschluss 508, der konfiguriert ist, um mit einer Energieversorgung zu koppeln.
Bei einigen Implementierungen präsentiert die sprachaktivierte Vorrichtung 180 ein sauberes bzw. reines Aussehen ohne sichtbare Taste und die Interaktion mit der sprachaktivierten Vorrichtung 180 basiert auf Sprache und Berührungsgesten. Alternativ enthält die sprachaktivierte Vorrichtung 180 bei einigen Implementierungen eine begrenzte Anzahl von physikalischen Tasten (z.B. eine Taste 506 auf ihrer Rückseite), und die Interaktion mit der sprachaktivierten Vorrichtung 180 basiert weiterhin auf Drücken der Taste zusätzlich zu der Sprache und/oder den Berührungsgesten.
Bei einigen Implementierungen enthält die sprachaktivierte Vorrichtung 180 bei gegebener Einfachheit und niedrigen Kosten der sprachaktivierten Vorrichtung 180 eher ein Feld von Vollfarben-Lichtemittierenden Dioden (LEDs) als einen Vollanzeigebildschirm. Bei einigen Implementierungen ist eine LED-Designsprache angenommen, um eine Beleuchtung des Felds von Vollfarben-LEDs zu konfigurieren und unterschiedliche visuelle Muster zu ermöglichen, die unterschiedlichen Sprachverarbeitungszustand der sprachaktivierten Vorrichtung 180 anzeigen.
Gemäß einigen Implementierungen enthält die LED-Designsprache eine Grammatik von Farben, Mustern und spezifischer Bewegung, die auf eine feste Gruppe von Vollfarben-LEDs angewendet ist. Die Elemente in der Sprache sind kombiniert, um spezifische Vorrichtungszustände während der Verwendung der sprachaktivierten Vorrichtung 180 visuell anzuzeigen. Bei einigen Implementierungen zielt eine Beleuchtung der Vollfarben-LEDs darauf ab, die Zustände eines passiven Hörens und eines aktiven Hörens der sprachaktivierten Vorrichtung 180 unter anderen wichtigen Zuständen klar zu beschreiben. Eine Platzierung der Vollfarben-LEDs ist in Übereinstimmung mit physikalischen Beschränkungen der sprachaktivierten Vorrichtung 180, und ein Feld von Vollfarben-LEDs könnte in einem Lautsprecher verwendet werden, der durch einen ursprünglichen Gerätehersteller (OEM) Dritter hergestellt ist, und zwar basierend auf spezifischer Technologie (z.B. Google Assistant). Wenn das Feld von Vollfarben-LEDs in einem Lautsprecher verwendet wird, der durch einen OEM Dritter basierend auf spezifischer Technologie hergestellt ist, sind die Vollfarben-LEDs und die LED-Designsprache konfiguriert, um zu einer entsprechenden physikalischen Anwenderschnittstelle der OEM-Lautsprecher zu passen. In dieser Situation bleiben Vorrichtungszustände des OEM-Lautsprechers dieselben, während spezifische visuelle Muster, die die Vorrichtungszustände darstellen, variiert sein könnten (beispielsweise könnten die Farben der Vollfarben-LEDs unterschiedlich sein, aber mit ähnlichen Animationseffekten angezeigt werden).
In einer sprachaktivierten elektronischen Vorrichtung 180 tritt passives Hören auf, wenn die sprachaktivierte Vorrichtung 180 Audioeingaben verarbeitet, die von ihrer umgebenden Umgebung gesammelt sind, aber nicht die Audioeingaben speichert oder die Audioeingaben zu irgendeinem entfernten Server überträgt. Gegensätzlich dazu tritt aktives Hören auf, wenn die sprachaktivierte Vorrichtung 180 die Audioeingaben speichert, die von ihrer umgebenden Umgebung gesammelt sind, und/oder die Audioeingaben mit einem entfernten Server gemeinsam nutzt. Gemäß einigen Implementierungen hört die sprachaktivierte Vorrichtung 180 passiv auf die Audioeingaben in ihrer umgebenden Umgebung ohne eine Privatsphäre von Anwendern der sprachaktivierten Vorrichtung 180 zu verletzen, solange es nicht und bis es befohlen ist durch einen Anwender, in einen aktiven Hörzustand einzutreten.
5C ist eine Draufsicht auf eine sprachaktivierte elektronische Vorrichtung 180 gemäß einigen Implementierungen und 5D zeigt sechs visuelle Muster, die durch ein Feld von Vollfarben-LEDs angezeigt sind, zum Anzeigen von Sprachverarbeitungszuständen gemäß einigen Implementierungen. Bei einigen Implementierungen enthält die sprachaktivierte Vorrichtung 180 keinerlei Anzeigebildschirm und die Vollfarben-LEDs stellen eine einfache und billige visuelle Anwenderschnittstelle im Vergleich mit einem vollständigen Anzeigebildschirm zur Verfügung. Die Vollfarben-LEDs könnten unter einer oberen Oberfläche der elektronischen Vorrichtung versteckt und für den Anwender unsichtbar sein, wenn sie nicht erleuchtet sind. Nimmt man Bezug auf die 5C und 5D ist das Feld von Vollfarben-LEDs bei einigen Implementierungen physikalisch in einem Ring angeordnet.
Die 6A-6F stellen beispielhafte sprachaktivierte Vorrichtungsinteraktionen gemäß einigen Implementierungen dar. 6A zeigt einen Anwender 602, der mit der sprachaktivierten Vorrichtung 102 interagiert. In 6A fragt der Anwender 602 die sprachaktivierte Vorrichtung 180 nach der aktuellen Temperatur. Gemäß einigen Implementierungen sagt der Anwender 602 „Assistent“, weil „Assistent“ ein Hotword ist, und die sprachaktivierte Vorrichtung 180 konfiguriert ist, um in einen aktiven Hörzustand auf einen Empfang des Hotwords einzutreten. Bei dem in 6A dargestellten Beispiel antwortet die sprachaktivierte Vorrichtung 180 auf die Frage des Anwenders 602 durch Angeben, dass die aktuelle Temperatur 84 Grad ist.
Die 6B zeigt den Anwender 602, der anfragt, dass die sprachaktivierte Vorrichtung 180 die Heimumgebung überwacht (z.B. in einen Überwachungsmode eintritt). 6B zeigt auch die sprachaktivierte Vorrichtung 180, die einen Empfang der Anwenderanfrage bestätigt. Gemäß einigen Implementierungen ändert die sprachaktivierte Vorrichtung 180 von einem Assistentenmode zu einem Überwachungsmode in Antwort auf die Anwenderanfrage. Bei einigen Implementierungen überwacht die sprachaktivierte Vorrichtung 180, während sie im Überwachungsmode ist, Klänge in der Heimumgebung und alarmiert den Anwender und/oder die Behörden in Reaktion auf unerwartete oder anormale Klänge.
6C zeigt einen nicht willkommenen Besucher 604, der versucht, Zugang zum Heim zu erlangen. 6C zeigt weiterhin die sprachaktivierte Vorrichtung 180, die einen Klang vom Besucher 604 erfasst, und mit einer Frage antwortet: „Ist irgendjemand da?“. Bei einigen Implementierungen reagiert die sprachaktivierte Vorrichtung 180 mit einer voraufgezeichneten Antwort vom Anwender 602. Bei einigen Implementierungen imitiert die sprachaktivierte Vorrichtung 180 die Stimme des Anwenders 602, um den Besucher 604 denken zu lassen, dass der Anwender 602 daheim ist. Bei einigen Implementierungen erfasst die sprachaktivierte Vorrichtung 180 einen Klang und sendet eine Aufzeichnung des Klangs zum Serversystem 164 zur Verarbeitung und Klassifizierung. Bei einigen Implementierungen gibt die sprachaktivierte Vorrichtung 180 eine hörbare (z.B. verbale) Antwort in Reaktion auf ein Empfangen einer Klassifizierung oder einer Anweisung von dem Serversystem 164 aus.
6D zeigt auch einen nicht willkommenen Besucher 604, der versucht, einen Zugang zum Heim zu erlangen. In 6D erfasst die sprachaktivierte Vorrichtung 180 einen Klang von dem Besucher 604 und reagiert mit einer Warnung über ein Alarmieren der Behörden. Bei einigen Implementierungen alarmiert die sprachaktivierte Vorrichtung 180 die Behörden und/oder den Anwender 602.
6E zeigt auch einen nicht willkommenen Besucher 604, der versucht, einen Zugang zum Heim zu erlangen. In 6E erfasst die sprachaktivierte Vorrichtung 180 einen Klang vom Besucher 604 und reagiert mit einem simulierten Bellen. Bei einigen Implementierungen reagiert die sprachaktivierte Vorrichtung 180 verbal mit einer Anfrage (wie es in 6C gezeigt ist), einer Warnung (wie es in 6D gezeigt ist) oder einem simulierten Bellen (wie es in 6E gezeigt ist) basierend auf einer oder mehreren Anwender- oder Vorrichtungseinstellungen.
6F zeigt den Anwender 602, der zum Heim zurückkehrt und die sprachaktivierte Vorrichtung 180 nach einer Zusammenfassung oder einer Liste von Audioereignissen (wenn es irgendwelche gibt) fragt, die auftraten, während der Anwender weg war. 6F zeigt auch die sprachaktivierte Vorrichtung 180, die auf die Frage des Anwenders 602 reagiert durch ein Hören von Audioereignissen, die auftraten, während der Anwender weg war. Bei einigen Implementierungen spielt die sprachaktivierte Vorrichtung 180 eine Aufzeichnung der Audioereignisse ab (z.B. in Reaktion auf eine Anwenderanfrage nach mehr Information). Bei einigen Implementierungen listet die sprachaktivierte Vorrichtung 180 nur unerwartete oder anormale Audioereignisse auf. Bei einigen Implementierungen listet die sprachaktivierte Vorrichtung 180 zusätzliche Details über die Audioereignisse auf, wie beispielsweise Zeiten, Klassifizierungen, Dauern, Reaktionen und ähnliches (z.B. in Reaktion auf eine Anfrage nach mehr Details). Bei einigen Implementierungen dirigiert die sprachaktivierte Vorrichtung 180 den Anwender dazu, eine entsprechende Webseite und/oder Anwendungsschnittstelle zu besuchen. Bei einigen Implementierungen enthält die entsprechende Web-Seite und/oder Anwendungsschnittstelle Information über einige oder alle der Audioereignisse, die auftraten, während der Anwender weg war. Bei einigen Implementierungen ermöglicht die entsprechende Web-Seite und/oder Anwendungsschnittstelle ein Abspielen der Audioereignisse. Bei einigen Implementierungen wechselt die sprachaktivierte Vorrichtung 180 in Reaktion auf eine Feststellung, dass der Anwender 602 zurückgekehrt ist, zu einem Assistentenmode. Bei einigen Implementierungen wechselt die sprachaktivierte Vorrichtung 180 zum Assistentenmode in Reaktion darauf, dass der Anwender eine Türverriegelung oder eine Sicherheitstafel aktiviert. Bei einigen Implementierungen erfasst die sprachaktivierte Vorrichtung 180, dass der Anwender 602 zurückgekehrt ist (z.B. basierend auf Lokalisierungsdaten von einer persönlichen Vorrichtung des Anwenders) und wechselt in Reaktion auf diese Erfassung zum Assistentenmode.
Die 7A-7B stellen repräsentative Anwenderschnittstellen für sprachaktivierte Vorrichtungen gemäß einigen Implementierungen dar. 7A zeigt eine mobile Vorrichtung 700 eines Anwenders (z.B. eine tragbare Vorrichtung 166), die eine Anwenderschnittstelle 702 anzeigt, die eine Benachrichtigung 704 in Bezug auf Audio beim Heim des Anwenders enthält. Bei einigen Implementierungen sendet die sprachaktivierte Vorrichtung 180 die Benachrichtigung zum Anwender in Reaktion auf ein Erfassen eines unerwarteten oder anormalen Klangs. Bei einigen Implementierungen sendet das Serversystem 164 die Benachrichtigung zum Anwender. Die Benachrichtigung 704 enthält eine oder mehrere Anwenderoptionen, wie beispielsweise eine Option 708, um auf eine Aufzeichnung des Audioereignisses zu hören, einer Option 710, um auf Echtzeit-Audio von Daheim zu hören, eine Option 712, um die Behörden für ein potentielles Eindringen oder einen Notfall daheim zu alarmieren, und eine Option 714, um die Benachrichtigung zu verwerfen.
Bei einigen Implementierungen enthält die Benachrichtigung eine Option, um eine Anwendung auf der mobilen Vorrichtung 700 zu öffnen, und die Anwendung ermöglicht, dass der Anwender auf mehr Details zugreift und/oder auf das Audioereignis reagiert. Bei einigen Implementierungen wird die Benachrichtigung zu einer oder mehreren elektronischen Vorrichtungen des Anwenders gesendet, wie beispielsweise einem Mobiltelefon, einem Tablet, einem Laptop-Computer, einem Desktop-Computer, einer Smartwatch und ähnlichem. Bei einigen Implementierungen enthält die Benachrichtigung eine oder mehrere visuelle Charakteristiken, die eine Klassifizierung des Audioereignisses anzeigen. Beispielsweise wird ein Audioereignis, das als der Klang dessen klassifiziert ist, dass ein Eindringling ein Glasfenster zerbricht, in einer vorherrschenden roten Farbe angezeigt, während ein Audioereignis, das als der Klang von einem Besucher klassifiziert ist, der an der Türglocke klingelt, in einer vorherrschend grünen Farbe angezeigt wird.
Bei einigen Implementierungen ist die sprachaktivierte Vorrichtung 180 mit einer oder mehreren Smart-Vorrichtungen daheim gekoppelt und enthält die Benachrichtigung einen Anforderungscharakter, um Information von einer oder mehreren der Smart-Vorrichtungen korrelierend zum Audioereignis zu überprüfen. Beispielsweise ist die sprachaktivierte Vorrichtung 180 mit einer oder mehreren Kameras 118 gekoppelt und enthält die Benachrichtigung einen Angebotscharakter für den Anwender, Videodaten von den Kameras anzuschauen (z.B. einen Video-Livestream und/oder aufgezeichnetes Video entsprechend dem Audioereignis).
7B zeigt die mobile Vorrichtung 700 des Anwenders, die eine Anwenderschnittstelle 702 anzeigt, die eine Benachrichtigung 720 in Bezug auf Audio bei dem Anwender daheim enthält. Beim Beispiel der 7B ist das Audioereignis als Zerbrechen von Glas in der Küche klassifiziert worden und zeigt die Benachrichtigung 720 die Klassifizierung an. Die Benachrichtigung 720 enthält eine oder mehrere Anwenderoptionen, wie beispielsweise eine Option 708, um auf ein aufgezeichnetes Audio des Ereignisses zu hören, eine Option 722, um mit Daheim über die sprachaktivierte Vorrichtung zu kommunizieren (z.B. werden die Wörter des Anwenders von der mobilen Vorrichtung zur sprachaktivierten Vorrichtung weitergeleitet und über die Lautsprecher der sprachaktivierten Vorrichtung ausgegeben), eine Option 724 für den Anwender, um eine Reaktion für die sprachaktivierte Vorrichtung zur Ausgabe auszuwählen (z.B. ein Simulieren eines Bellens eines Hundes oder ein Kontaktieren der Behörden), eine Option 726 zum Wechseln eines Betriebsmodes der sprachaktivierten Vorrichtung 180 (z.B. Umschalten von einem Überwachungsmode zu einem Assistentenmode oder einem Schlafmode), und eine Option 714, um die Benachrichtigung zu verwerfen. Bei einigen Implementierungen sind eine oder mehrere der hierin beschriebenen Anwenderoptionen Optionen innerhalb einer Anwendung, wie beispielsweise einer smarten Assistentenanwendung, entsprechend der Benachrichtigung (z.B. als eine Alternative zu oder zusätzlich zu den Optionen, die in der Benachrichtigung sind).
Bei einigen Implementierungen enthält die Benachrichtigung 720 (und/oder eine Anwendung entsprechend der Benachrichtigung 720) eine Anwenderoption, um die Klangaufzeichnung zu löschen. Beispielsweise bestimmt der Anwender, dass der Klang eine Aufzeichnung des Anwenders umfasst, und anfragt, dass eine Klangaufzeichnung für eine Geheimhaltung bzw. Privatsphäre gelöscht wird. Bei diesem Beispiel löscht die Home-Assistant-Vorrichtung Fälle der Klangaufzeichnung gemäß der Anwenderanfrage.
8 ist eine Ablaufdiagrammdarstellung eines Verfahrens 800 zum Überwachen einer Aktivität gemäß einigen Implementierungen. Bei einigen Implementierungen wird das Verfahren 800 durchgeführt durch: (1) eine oder mehrere elektronische Vorrichtungen von einem oder mehreren Systemen, wie beispielsweise die sprachaktivierten Vorrichtungen 180 und/oder die Vorrichtungen der Betriebsumgebung 100, 1; (2) eines oder mehrere Computersysteme, wie beispielsweise das Serversystem 164 der 1 und den Sprachunterstützungsserver 112 der 2; oder (3) eine Kombination davon. Bei einigen Implementierungen wird das Verfahren 800 durch eine sprachaktivierte Vorrichtung 180 ( 3A) oder eine Komponente davon durchgeführt, wie beispielsweise das Audioverarbeitungsmodul 338. Bei einigen Implementierungen wird das Verfahren 800 durch ein Serversystem 164 oder eine Komponente davon, wie beispielsweise das Sprachverarbeitungsmodul 436, durchgeführt. Somit werden bei einigen Implementierungen jeweilige Operationen des Verfahrens 800 durch irgendwelche der vorgenannten Vorrichtungen, Systeme oder eine Kombination von Vorrichtungen und/oder Systemen durchgeführt. Bei einigen Implementierungen wird das Verfahren 800 durch Anweisungen beherrscht, die in einem nichtflüchtigen computerlesbaren Speichermedium gespeichert sind und die durch einen oder mehrere Prozessoren einer Vorrichtung und/oder eines Computersystems ausgeführt werden, wie beispielsweise die eine oder die mehreren CPU(s) 302 der sprachaktivierten Vorrichtung 180 und/oder die eine oder die mehreren CPU(s) 402 des Serversystems 164. Der Annehmlichkeit halber wird das Verfahren 800 nachstehend derart beschrieben werden, dass es durch eine Home-Assistant-Vorrichtung durchgeführt wird, wie beispielsweise die sprachaktivierte Vorrichtung 180.
Während sie im Assistentenmode arbeitet, empfängt die Home-Assistant-Vorrichtung (802) einen Bewohner-Sprachbefehl, um im Überwachungsmode zu arbeiten. Beispielsweise zeigt die 6B den Anwender 602, der der sprachaktivierten Vorrichtung 180 befiehlt, in einem Überwachungsmode zu arbeiten. Bei einigen Implementierungen empfängt die sprachaktivierte Vorrichtung 180 den Befehl über eine oder mehrere Eingabevorrichtung(en) 310, wie beispielsweise ein Mikrofon, ein Berührungssensorfeld oder eine Taste. Bei einigen Implementierungen empfängt die sprachaktivierte Vorrichtung 180 den Befehl von einer Anwendung (z.B. die auf einer Client-Vorrichtung des Anwenders läuft) über die Netzwerkschnittstelle 304. Bei einigen Implementierungen hört die Home-Assistant-Vorrichtung, während sie im Assistentenmode arbeitet, auf eines oder mehrere Hotwords, die durch einen Bewohner der Heimumgebung gesprochen sind. Bei einigen Implementierungen umfasst ein Empfangen des BewohnerSprachbefehls, um den Home-Assistant in einem Überwachungsmode zu betreiben, ein Empfangen eines Befehls in natürlicher Sprache von dem Bewohner über das eine oder die mehreren Mikrofone.
In Reaktion auf den Bewohnerbefehl geht die Heim-Assistant-Vorrichtung (804) von einem Arbeiten im Assistentenmode über zu einem Arbeiten im Überwachungsmode. Beispielsweise geht die sprachaktivierte Verbindung 180 in Reaktion auf den Befehl des Anwenders 602 in 6B über zu einem Überwachungsmode, wie es in den 6C-6E gezeigt ist. Bei einigen Implementierungen verarbeitet die Home-Assistant-Vorrichtung den Bewohnerbefehl unter Verwendung des Audioverarbeitungsmoduls 338. Bei einigen Implementierungen geht die Home-Assistant-Vorrichtung vom Assistentenmode über zum Überwachungsmode unter Verwendung des Modenmoduls 339. Bei einigen Implementierungen imitiert die Home-Assistant-Vorrichtung, während sie im Überwachungsmode ist, eine Bewohneraktivität innerhalb der Heimumgebung. Beispielsweise gibt die Home-Assistant-Vorrichtung spezifische Lichter oder Fernsehgeräte zu bestimmten Zeiten frei.
Die Home-Assistant-Vorrichtung erhält (806) ein oder mehrere Überwachungskriterien. Bei einigen Implementierungen erhält die Home-Assistant-Vorrichtung die Überwachungskriterien von einem Serversystem (z.B. dem Serversystem 164). Bei einigen Implementierungen erhält die Home-Assistant-Vorrichtung die Überwachungskriterien von einer lokalen Datenbank (z.B. Vorrichtungsdaten 350). Bei einigen Implementierungen empfängt die Home-Assistant-Vorrichtung die Überwachungskriterien von einem Anwender (z.B. über eine Anwendung auf der Client-Vorrichtung des Anwenders). Bei einigen Implementierungen enthalten die Überwachungskriterien eine Dezibel-Schwelle. Bei einigen Implementierungen enthalten die Überwachungskriterien bestimmte Töne, Frequenzen, Tonhöhen und ähnliches. Bei einigen Implementierungen enthalten die Überwachungskriterien, ob ein Klang ein erwarteter Klang oder ein normaler Klang für die Umgebung ist. Bei einigen Implementierungen enthalten die Überwachungskriterien, ob ein Klang bestimmte Audiocharakteristiken und/oder bestimmte Klassifizierung hat. Bei einigen Implementierungen enthalten die Überwachungskriterien, ob ein Klang von einem bestimmten Bewohner oder Anwender ist.
Während sie im Überwachungsmode arbeitet, erfasst die Home-Assistant-Vorrichtung einen Klang (808). Beispielsweise stellt die 6C die sprachaktivierte Vorrichtung 180 dar, die einen Klang vom Besucher 604 erfasst und eine Reaktion ausgibt. Bei einigen Implementierungen erfasst die Home-Assistant-Vorrichtung den Klang über ein Mikrofon (Mikrofone) 316. Bei einigen Implementierungen erfasst die Home-Assistant-Vorrichtung eine Reihe oder eine Sequenz von Klängen und analysiert die Reihe oder die Sequenz (z.B. bestimmt, ob die Reihe oder die Sequenz von Klängen das eine oder die mehreren Überwachungskriterien erfüllt). Bei einigen Implementierungen bestimmt die Home-Assistant-Vorrichtung, ob der erfasste Klang ein Hotword umfasst. Bei einigen Implementierungen bestimmt die Home-Assistant-Vorrichtung, ob das Hotword durch einen erkannten und/oder autorisierten Anwender gesprochen wurde. Bei einigen Implementierungen geht die Home-Assistant-Vorrichtung gemäß einer Bestimmung, dass der Klang ein Hotword umfasst, das durch einen autorisierten Anwender geäußert wurde, über zu einem Assistentenmode.
Bei einigen Implementierungen setzt die Home-Assistant-Vorrichtung, während sie im Überwachungsmode ist, voraus, dass ein bestimmter Klang innerhalb der Heimumgebung zu einer bestimmten Zeit auftreten wird; und gemäß einer Bestimmung, dass der bestimmte Klang nicht zu der bestimmten Zeit auftritt, emittiert sie eine zweite simulierte Bewohnerantwort über den einen oder die mehreren Lautsprecher. Beispielsweise bestimmt die Home-Assistant-Vorrichtung, dass von einem Anwender erwartet wird, zu einer bestimmten Zeit verbal zu prüfen, und gemäß einer Bestimmung, dass der Anwender nicht prüfte bzw. eincheckte, emittiert sie eine simulierte Antwort. Bei einigen Implementierungen setzt die Home-Assistant-Vorrichtung voraus, dass ein bestimmter Klang innerhalb der Heimumgebung zu einer bestimmten Zeit auftreten wird, und gemäß einer Bestimmung, dass der bestimmte Klang nicht zu der bestimmten Zeit auftrat, erzeugt sie einen Alarm (z.B. für einen Anwender und/oder die Behörden). Bei einigen Implementierungen ist die simulierte Antwort auf das Fehlen eines erwarteten Klangereignisses dieselbe wie eine simulierte Antwort auf eine Erfassung eines unerwarteten Klangereignisses.
Die Home-Assistant-Vorrichtung erhält (810) eine Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt. Bei einigen Implementierungen umfasst ein Erhalten der Bestimmung ein Durchführen der Bestimmung bei dem Home-Assistant (z.B. über das Audioverarbeitungsmodul 338). Bei einigen Implementierungen umfasst ein Erhalten der Bestimmung ein Erhalten der Bestimmung von einem Serversystem (z.B. dem Serversystem 164). Bei einigen Implementierungen enthält ein Erhalten der Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ein Erhalten einer Bestimmung diesbezüglich, ob der Klang eine Klangintensitätsschwelle erfüllt oder übersteigt. Bei einigen Implementierungen enthält ein Erhalten der Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren vordefinierten Kriterien erfüllt, ein Erhalten einer Bestimmung diesbezüglich, ob der Klang ein erwarteter Klang der Heimumgebung ist. Beispielsweise erfasst die Home-Assistant-Vorrichtung den Klang eines Bellens eines Hundes zu einer gegebenen Zeit und bestimmt, ob das Bellen des Hundes zu der gegebenen Zeit ein erwarteter Klang für die bestimmte Heimumgebung ist. Bei einigen Implementierungen enthält ein Bestimmen, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ein Bestimmen, ob der Klang durch eine oder mehrere andere Vorrichtungen in der Heimumgebung erfasst wurde (z.B. eine oder mehrere Smart-Vorrichtungen mit Mikrofonen). Bei einigen Implementierungen enthält ein Bestimmen, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ein Bestimmen, ob der Klang von innerhalb der Heimumgebung entstand (oder innerhalb eines geographischen Hindernisses bzw. Zauns um die Heimumgebung).
Bei einigen Implementierungen enthält ein Erhalten der Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ein Erhalten einer Bestimmung diesbezüglich, ob eine persönliche Vorrichtung eines Bewohners der Heimumgebung aktuell entfernt von der Heimumgebung ist. Beispielsweise zeigt das Mobiltelefon eines Bewohners an, dass der Bewohner bei der Arbeit ist. Bei einigen Implementierungen enthält ein Erhalten der Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ein Erhalten einer Bestimmung diesbezüglich, ob ein Bewohner der Heimumgebung erwartet wird, aktuell innerhalb der Heimumgebung zu sein. Beispielsweise ist der Bewohner allgemein zur aktuellen Zeit bei der Arbeit; oder der Kalender des Bewohners zeigt an, dass vom Bewohner erwartet wird, bei der Arbeit zu sein.
Bei einigen Implementierungen erhält die Home-Assistant-Vorrichtung eine Vielzahl von zuvor aufgezeichneten Heimumgebungsklängen. Bei einigen Implementierungen umfasst ein Erhalten der Bestimmung, dass der Klang nicht ein erwarteter Klang der Heimumgebung ist, ein Vergleichen des Klangs mit der Vielzahl von zuvor aufgezeichneten Heimumgebungsklängen und ein Nichterhalten einer Übereinstimmung. Bei einigen Implementierungen umfassen die zuvor aufgezeichneten Heimumgebungsklänge Klänge von der Heimumgebung. Bei einigen Implementierungen umfassen die zuvor aufgezeichneten Heimumgebungsklänge Klänge von einer Vielzahl von Heimumgebungen (z.B. Heimumgebungen ähnlich der Heimumgebung eines Bewohners). Bei einigen Implementierungen umfasst ein Vergleichen der Klänge ein Vergleichen eines Audioprofils des Klangs mit Audioprofilen der zuvor aufgezeichneten Klänge. Bei einigen Implementierungen umfasst ein Vergleichen der Klänge ein Vergleichen eines Audio-Fingerabdrucks des Klangs mit Audio-Fingerabdrücken der zuvor aufgezeichneten Klänge.
Gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt (812): erhält (814) die Home-Assistant-Vorrichtung (1) eine Klassifizierung des Klangs; und (2) basierend auf einem Klang mit einer ersten Klangklassifizierung emittiert (816) sie eine erste simulierte Bewohnerreaktion einer Vielzahl von simulierten Bewohnerreaktionen über den einen oder die mehreren Lautsprecher. Bei einigen Implementierungen verzichtet die Home-Assistant-Vorrichtung gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien nicht erfüllt, auf ein Erhalten der Klassifizierung des Klangs. Bei einigen Implementierungen verzichtet die Home-Assistant-Vorrichtung basierend auf dem Klang, der eine zweite Klangklassifizierung hat, auf ein Emittieren bzw. Aussenden einer simulierten Bewohnerreaktion über den einen oder die mehreren Lautsprecher. Beispielsweise wird bestimmt, dass der Klang eine Stimme eines Bewohners des Heims ist, und daher unternimmt die Home-Assistant-Vorrichtung keine Aktion. Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Bestimmen, ob der Klang einen bekannten Klang oder einen unbekannten Klang umfasst. Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Identifizieren des Klangs (z.B. ein Identifizieren des Klangs als derjenige eines Brechens von Glas oder eines Bellens eines Hundes). Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Identifizieren einer ähnlichen Quelle des Klangs (z.B. ein Identifizieren des Klangs als von einem bestimmten Objekt oder einer Einheit entstehend). Bei einigen Implementierungen umfasst ein Erhalten der Klassifizierung ein Erhalten der Klassifizierung von einem Serversystem 164 (z.B. in Reaktion auf ein Hochladen des Klangs zum Serversystem). Bei einigen Implementierungen umfasst ein Erhalten der Klassifizierung ein Erhalten der Klassifizierung von dem Klassifizierungsmodul 374 bei der Home-Assistant-Vorrichtung. Bei einigen Implementierungen erhält die Home-Assistant-Vorrichtung die Klassifizierung des Klangs ohne ein Erhalten einer Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt oder nicht. Bei einigen Implementierungen sendet die Home-Assistant-Vorrichtung die erste simulierte Bewohnerreaktion ohne ein Erhalten einer Bestimmung diesbezüglich aus, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt oder nicht.
Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Erhalten einer Bestimmung diesbezüglich ob der Klang eine Stimme eines Bewohners der Heimumgebung umfasst. Beispielsweise ist der Klang derjenige eines Bewohners, der spricht. Bei einigen Implementierungen speichert der Home-Assistant gemäß dem Klang mit einer ersten Klassifizierung den Klang (z.B. für eine weitere Analyse und/oder ein Abspielen) und/oder sendet den Klang zu einem Serversystem. Bei einigen Implementierungen verzichtet der Home-Assistant gemäß dem Klang mit einer zweiten Klassifizierung auf ein Speichern des Klangs und verzichtet auf ein Senden des Klangs zu einem Serversystem.
Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Erhalten einer Bestimmung diesbezüglich, ob eine persönliche Vorrichtung eines Bewohners der Heimumgebung aktuell entfernt von der Heimumgebung ist. Beispielsweise zeigt das Mobiltelefon eines Bewohners an, dass der Bewohner bei der Arbeit ist. Bei einigen Implementierungen enthält ein Erhalten der Klassifizierung des Klangs ein Erhalten einer Bestimmung diesbezüglich, ob ein Bewohner der Heimumgebung erwartet wird, aktuell innerhalb der Heimumgebung zu sein. Beispielsweise ist der Bewohner allgemein zur aktuellen Zeit bei der Arbeit; oder der Kalender des Bewohners zeigt an, dass von dem Bewohner erwartet wird, bei der Arbeit zu sein. Bei einigen Implementierungen sendet die Home-Assistant-Vorrichtung gemäß einer Bestimmung, dass erwartet wird, dass der Bewohner der Heimumgebung aktuell innerhalb der Heimumgebung ist, eine zweite simulierte Bewohnerreaktion über den einen oder die mehreren Lautsprecher aus, wobei die zweite simulierte Bewohnerantwort unterschiedlich von der simulierten Bewohnerantwort ist. Beispielsweise umfasst die erste Antwort ein Bellen eines Hundes und umfasst die zweite Antwort das Fragen durch den Assistenten: „Bist Du von der Arbeit Daheim?“
Bei einigen Implementierungen enthält die Vielzahl von simulierten Bewohnerantworten eines oder mehreres von folgendem: eine simulierte Tierantwort (z.B. ein Bellen eines Hundes); eine voraufgezeichnete Bewohnerantwort (z.B. eine Bewohneraufzeichnung, die sagt „Wer ist da“); eine Anfrage zur Identifizierung (z.B. eine Anfrage für einen Pin-Code); und eine simulierte menschliche Antwort (z.B. Sagen von „Ist irgendjemand da“).
Bei einigen Implementierungen reagiert die Home-Assistant-Vorrichtung mit einem Alarmklang (z.B. zusätzlich zu oder alternativ zu einem Aussenden einer simulierten Antwort). Bei einigen Implementierungen reagiert die Home-Assistant-Vorrichtung mit einem Klang nach der Auswahl eines Anwenders. Beispielsweise ermöglicht die Home-Assistant-Vorrichtung, dass der Anwender eine erwünschte Antwort aufzeichnet oder hochlädt, und sendet die Home-Assistant-Vorrichtung die erwünschte Antwort gemäß einer Bestimmung aus, dass ein erfasster Klang eine erste Klangklassifizierung hat.
Bei einigen Implementierungen führt die Home-Assistant-Vorrichtung gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt oder gemäß einer Bestimmung, dass der Klang eine erste Klassifizierung hat, eines oder mehreres von folgendem durch: Einstellen eines Beleuchtungspegels der Heimumgebung (z.B. Einschalten eines Lichts); Einstellen einer Anwenderschnittstelle des Home-Assistants, um anzuzeigen, dass der Klang, der das eine oder die mehreren vordefinierten Kriterien erfüllt, erfasst wurde (z.B. Blinken einer LED an dem Assistant); Speichern des Klangs (z.B. für ein späteres Anhören durch den Anwender); Freigeben einer Heim-Vorrichtung (z.B. Einschalten eines Fernsehgeräts oder eines Radios); und Senden eines Alarms (z.B. zu einem Anwender und/oder zur Polizei).
Bei einigen Implementierungen ermöglicht die Home-Assistant-Vorrichtung gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt oder gemäß einer Bestimmung, dass der Klang eine erste Klassifizierung hat, dass ein entfernter Bewohner der Heimumgebung auf den Klang hört. Beispielsweise speichert die Home-Assistant-Vorrichtung den Klang für ein späteres Abspielen und/oder sendet eine Aufzeichnung des Klangs zur mobilen Vorrichtung des Bewohners. Bei einigen Implementierungen ermöglicht die Home-Assistant-Vorrichtung gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, oder gemäß einer Bestimmung, dass der Klang eine erste Klassifizierung hat, dass ein entfernter Bewohner auf die Heimumgebung über das eine oder die mehreren Mikrofone hört. Beispielsweise streamt die Home-Assistant-Vorrichtung Echtzeit-Audio zu einem entfernten Bewohner. Bei einigen Implementierungen ermöglicht die Home-Assistant-Vorrichtung, dass der entfernte Bewohner oder Anwender mit der Heimumgebung spricht (z.B. mit einer Person daheim spricht), durch Weiterleiten von Nachrichten zwischen dem Home-Assistant und dem entfernten Bewohner oder der mobilen Vorrichtung eines Anwenders.
Bei einigen Implementierungen empfängt die Home-Assistant-Vorrichtung, während sie im Überwachungsmode arbeitet, einen Bewohnerbefehl, um im Assistentenmode zu arbeiten; und gemäß dem Bewohnerbefehl geht sie über zum Arbeiten im Assistentenmode. Bei einigen Implementierungen verifiziert der Home-Assistant, dass der zweite Bewohnerbefehl einen Befehl von einem autorisierten Anwender umfasst; und geht über zu einem Arbeiten im Assistentenmode gemäß einer Verifizierung des zweiten Bewohnerbefehls.
Bei einigen Implementierungen empfängt die Home-Assistant-Vorrichtung einen Bewohnerbefehl, um das Computersystem in einem Lernmodus zu betreiben. Bei einigen Implementierungen geht die Home-Assistant-Vorrichtung in Reaktion auf den Bewohnerbefehl über zu einem Arbeiten im Lernmode. Bei einigen Implementierungen analysiert die Home-Assistant-Vorrichtung, während sie im Lernmode arbeitet, Klänge der Heimumgebung, um eine Vielzahl von erwarteten Klängen innerhalb der Heimumgebung zu identifizieren.
Bei einigen Implementierungen erfasst der Home-Assistant, während er im Lernmode arbeitet, einen Klang in der Heimumgebung über das eine oder die mehreren Mikrofone. Bei einigen Implementierungen überträgt die Home-Assistant-Vorrichtung in Reaktion auf ein Erfassen des Klangs eine Anfrage zu einem Anwender, wobei die Anfrage anfragt, dass der Anwender den zweiten Klang klassifiziert (oder identifiziert). Bei einigen Implementierungen empfängt die Home-Assistant-Vorrichtung in Reaktion auf die Anfrage eine Klassifizierung des Klangs vom Anwender. Beispielsweise identifiziert der Anwender ein zuvor erfasstes polterndes Geräusch als das Öffnen einer Garagentür. Bei einigen Implementierungen assoziiert die Home-Assistant-Vorrichtung den Klang mit der Klassifizierung.
Bei einigen Implementierungen ist die Home-Assistant-Vorrichtung mit einer oder mehreren zusätzlichen Home-Assistant-Vorrichtungen innerhalb der Heimumgebung gekoppelt. Bei einigen Implementierungen fragt die Home-Assistant-Vorrichtung gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, an, dass wenigstens eine von der einen oder den mehreren zusätzlichen Home-Assistant-Vorrichtungen eine Bewohnerantwort zu dem Klang simuliert. Beispielsweise erfasst ein erster Home-Assistant den Klang und simuliert ein zweiter Home-Assistant ein Bellen eines Hundes (optional während der erste Home-Assistant eine Person simuliert). Bei einigen Implementierungen ist die Home-Assistant-Vorrichtung mit einer oder mehreren Smart-Vorrichtungen gekoppelt und weist in Reaktion auf einen unerwarteten Klang die eine oder die mehreren Smart-Vorrichtungen an, zu reagieren (z.B. durch Freigeben einer Verriegelung, Einschalten eines Lichts, Erklingenlassen eines Alarms, etc. zu reagieren).
Bei einigen Implementierungen ist die Home-Assistant-Vorrichtung mit einem oder mehreren zusätzlichen Computersystemen (z.B. Smart-Vorrichtungen) innerhalb der Heimumgebung gekoppelt. Bei einigen Implementierungen empfängt die Home-Assistant-Vorrichtung eine Benachrichtigung über einen Klang, der ein oder mehrere vordefinierte Kriterien erfüllt, von wenigstens einem von dem einen oder den mehreren zusätzlichen Computersystemen; und in Reaktion auf ein Empfangen einer Benachrichtigung des Klangs emittiert sie eine zweite simulierte Bewohnerantwort über den einen oder die mehreren Lautsprecher. Bei einigen Implementierungen ist das eine oder sind die mehreren vordefinierten Kriterien unterschiedlich von dem einen oder den mehreren Überwachungskriterien der Home-Assistant-Vorrichtung. Beispielsweise hat jeder Home-Assistant unterschiedlich Kriterien basierend auf jedem Lernen eines Assistenten von seinem Teilbereich der Heimumgebung. Als ein Beispiel kann ein Home-Assistant in der Garage Klänge in Bezug auf Autos und Garagentüren erwarten, während ein Home-Assistant am anderen Ende des Heims solche Klänge nicht erwartet.
Für Situationen, in welchen die oben diskutierten Systeme Information über Anwender sammeln, kann den Anwendern eine Gelegenheit gegeben werden, sich für/gegen Programme oder Merkmale zu entscheiden, die persönliche Information sammeln können (z.B. Information über Präferenzen eines Anwenders oder eine Nutzung einer Smart-Vorrichtung). Zusätzlich können bei einigen Implementierungen bestimmte Daten auf eine oder mehrere Arten anonymisiert werden, bevor sie gespeichert oder verwendet werden, so dass persönlich identifizierbare Information entfernt wird. Beispielsweise kann eine Identität eines Anwenders so anonymisiert werden, dass die persönlich identifizierbare Information nicht für den Anwender bestimmt werden kann oder mit diesem assoziiert werden kann, und so, dass Anwenderpräferenzen oder Anwenderinteraktionen verallgemeinert werden (beispielsweise basierend auf Anwenderdemographien verallgemeinert), eher als mit einem bestimmten Anwender assoziiert.
Obwohl einige von verschiedenen Zeichnungen eine Anzahl von logischen Stufen in einer bestimmten Reihenfolge darstellen, können Stufen, die nicht reihenfolgenabhängig sind, aufgezeichnet werden, und können andere Stufen kombiniert oder herausgelöst werden. Während irgendeine Neuordnung oder andere Gruppierungen spezifisch angegeben sind, werden andere Fachleuten auf dem Gebiet offensichtlich werden, so dass die Ordnung und die Gruppierungen, die hierin präsentiert sind, keine erschöpfende Liste von Alternativen sind. Darüber hinaus sollte es erkannt werden, dass die Stufen in Hardware, Firmware, Software oder irgendeiner Kombination davon implementiert werden könnten.
Es wird auch verstanden werden, dass, obwohl die Ausdrücke erster, zweiter, etc. in einigen Fällen hierin verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Ausdrücke beschränkt sein sollten. Diese Ausdrücke werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Typ einer Klassifizierung ein zweiter Typ von Klassifizierung genannt werden und könnte gleichermaßen ein zweiter Typ von Klassifizierung ein erster Typ von Klassifizierung genannt werden, ohne von dem Schutzumfang der verschiedenen beschriebenen Implementierungen abzuweichen. Der erste Typ von Klassifizierung und der zweite Typ von Klassifizierung sind beides Typen von Klassifizierungen, aber sie sind nicht derselbe Typ von Klassifizierung.
Die in der Beschreibung der verschiedenen beschriebenen Implementierungen hierin verwendete Terminologie dient nur zum Zweck eines Beschreibens bestimmter Implementierungen und es ist nicht beabsichtigt, dass sie beschränkend ist. Wie es in der Beschreibung der verschiedenen beschriebenen Implementierungen und der beigefügten Ansprüche verwendet ist, ist beabsichtigt, dass die Singularformen „ein“, „eine“, „eines“ und „der, die, das“ die Pluralformen genauso gut enthalten, solange der Kontext nicht deutlich anderes anzeigt. Es wird auch verstanden werden, dass sich der Ausdruck „und/oder“, wie er hierin verwendet ist, auf irgendwelche und alle möglichen Kombinationen von einem oder mehreren der assoziierten aufgelisteten Elemente bezieht und diese umfasst. Es wird weiterhin verstanden werden, dass die Ausdrücke „enthält“, „enthaltend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet sind, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder das Hinzufügen von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
Wie er hierin verwendet ist, ist der Ausdruck „wenn“ optional ausgelegt, um in Abhängigkeit vom Zusammenhang „wenn“ oder „beim“ oder „in Reaktion auf ein Bestimmen“ oder „in Reaktion auf ein Erfassen“ oder „gemäß einer Bestimmung, dass“ zu bedeuten. Gleichermaßen ist die Phrase „wenn es bestimmt ist“ oder „wenn [eine angegebene Bedingung oder ein Ereignis] erfasst wird“ optional ausgelegt, um in Abhängigkeit vom Zusammenhang „ein Bestimmen hin“ oder „in Reaktion auf ein Bestimmen“ oder „auf ein Erfassen hin [die angegebene Bedingung oder das Ereignis]“ oder „in Reaktion auf ein Erfassen [die angegebene Bedingung oder das Ereignis]“ oder „gemäß einer Bestimmung, dass [eine angegebene Bedingung oder ein Ereignis] erfasst wird“ zu bedeuten.
Die vorangehende Beschreibung ist zum Zwecke einer Erklärung unter Bezugnahme auf spezifische Implementierungen beschrieben worden. Jedoch ist nicht beabsichtigt, dass die obigen illustrativen Diskussionen erschöpfend sind oder den Schutzumfang der Ansprüche auf die offenbarten präzisen Formen beschränken. Viele Modifikationen und Variationen sind angesichts der obigen Lehren möglich. Die Implementierungen wurden ausgewählt, um die Prinzipien am besten zu erklären, die den Ansprüchen zugrunde liegen, und ihre praktischen Anwendungen, um dadurch zu ermöglichen, dass andere Fachleute auf dem Gebiet die Implementierungen am besten mit verschiedenen Modifikationen, wie sie geeignet sind, für die bestimmten erwogenen Anwendungen verwenden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62336566 [0060]
US 62334434 [0086]

Claims

Nichtflüchtiges computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfasst oder umfassen, die dann, wenn sie durch ein Computersystem ausgeführt werden, das eine sprachaktivierte Anwenderschnittstelle, ein oder mehrere Mikrofone, einen oder mehrere Lautsprecher, einen oder mehrere Prozessoren und einen Speicher hat, wobei das Computersystem wenigstens zwei unterschiedlich Betriebsmoden hat, einschließlich eines Assistentenmodes und eines Überwachungsmodes, veranlassen, dass das System: während eines Arbeitens im Assistentenmode einen Bewohner-Sprachbefehl empfängt, um im Überwachungsmode zu arbeiten; in Reaktion auf den Bewohnerbefehl von einem Arbeiten im Assistentenmode zum Arbeiten im Überwachungsmode übergeht; ein oder mehrere Überwachungskriterien erhält; während eines Arbeitens im Überwachungsmode einen Klang erfasst; eine Bestimmung diesbezüglich erhält, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt; und gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt: eine Klassifizierung des Klangs erhält; und basierend auf einem Klang, der eine erste Klangklassifizierung hat, eine erste simulierte Bewohnerantwort einer Vielzahl von simulierten Bewohnerantworten über den einen oder die mehreren Lautsprecher aussendet bzw. emittiert.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, wobei die Vielzahl von simulierten Bewohnerantworten eines oder mehreres von folgendem enthält: eine simulierte Tierantwort; eine voraufgezeichnete Bewohnerantwort; eine Anfrage für eine Identifizierung; und eine simulierte menschliche Antwort.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, das weiterhin Anweisungen umfasst, die veranlassen, dass das System gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, eines oder mehreres von folgendem durchführt: Einstellen eines Beleuchtungspegels der Heimumgebung; Einstellen einer Anwenderschnittstelle des Home-Assistants, um anzuzeigen, dass der Klang, der das eine oder die mehreren vordefinierten Kriterien erfüllt, erfasst wurde; Speichern des Klangs; Freigeben einer Heim-Vorrichtung; und Senden eines Alarms.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, das weiterhin Anweisungen umfasst, die veranlassen, dass das System gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien nicht erfüllt, auf ein Erhalten der Klassifizierung des Klangs verzichtet.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, das weiterhin Anweisungen umfasst, die veranlassen, dass das System basierend auf dem Klang, der eine zweite Klangklassifizierung hat, auf ein Aussenden einer simulierten Bewohnerantwort über den einen oder die mehreren Lautsprecher verzichtet.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, das weiterhin Anweisungen umfasst, die veranlassen, dass das System gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, ermöglicht, dass ein entfernter Bewohner der Heimumgebung eines oder mehreres von folgendem durchführt: Hören auf den Klang, Hören auf die Heimumgebung über das eine oder die mehreren Mikrofone.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, wobei ein Erhalten der Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren vordefinierten Kriterien erfüllt, ein Erhalten einer Bestimmung diesbezüglich enthält, ob der Klang ein erwarteter Klang der Heimumgebung ist.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 7, das weiterhin Anweisungen umfasst, die veranlassen, dass das System eine Vielzahl von zuvor aufgezeichneten Heimumgebungsklängen erhält; und wobei ein Erhalten der Bestimmung, dass der Klang kein erwarteter Klang der Heimumgebung ist, ein Vergleichen des Klangs mit der Vielzahl von zuvor aufgezeichneten Heimumgebungsklängen umfasst.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, wobei ein Erhalten der Klassifizierung des Klangs ein Erhalten einer Bestimmung diesbezüglich umfasst, ob der Klang eine Stimme eines Bewohners der Heimumgebung umfasst.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 1, wobei ein Erhalten der Klassifizierung des Klangs ein Erhalten einer Bestimmung diesbezüglich enthält, ob erwartet wird, dass ein Bewohner der Heimumgebung aktuell innerhalb der Heimumgebung ist.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 10, das weiterhin Anweisungen umfasst, die veranlassen, dass das System gemäß einer Bestimmung, dass erwartet wird, dass der Bewohner der Heimumgebung aktuell innerhalb der Heimumgebung ist, eine zweite simulierte Bewohnerantwort über das eine oder die mehreren Lautsprecher emittiert bzw. aussendet, wobei die zweite simulierte Bewohnerantwort unterschiedlich von der simulierten Bewohnerantwort ist.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, das weiterhin Anweisungen umfasst, die veranlassen, dass das System: einen zweiten Bewohnerbefehl empfängt, um das Computersystem in einem Lernmode zu betreiben; in Reaktion auf den zweiten Bewohnerbefehl zu einem Arbeiten im Lernmode übergeht; während eines Arbeitens im Lernmode Klänge der Heimumgebung analysiert, um eine Vielzahl von erwarteten Klängen innerhalb der Heimumgebung zu identifizieren.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, das weiterhin Anweisungen umfasst, die veranlassen, dass das System: während eines Arbeitens im Überwachungsmode einen zweiten Bewohnerbefehl empfängt, um im Assistentenmode zu arbeiten; und gemäß dem zweiten Bewohnerbefehl zu einem Arbeiten im Assistentenmode übergeht.
Nichtflüchtiges computerlesbares Speichermedium nach Anspruch 13, das weiterhin Anweisungen umfasst, die veranlassen, dass das System: verifiziert, dass der zweite Bewohnerbefehl einen Befehl von einem autorisierten Anwender umfasst; und zu einem Arbeiten im Assistentenmode gemäß einer Verifizierung des zweiten Bewohnerbefehls übergeht.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, wobei das Computersystem mit einem oder mehreren zusätzlichen Computersystemen innerhalb der Heimumgebung gekoppelt ist; und das nichtflüchtige computerlesbare Speichermedium weiterhin Anweisungen umfasst, die veranlassen, dass das System gemäß der Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt, anfordert, dass wenigstens eines von dem einen oder den mehreren zusätzlichen Computersystemen eine Bewohnerantwort auf den Klang simuliert.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, wobei das Computersystem mit einem oder mehreren zusätzlichen Computersystemen innerhalb der Heimumgebung gekoppelt ist; und das nichtflüchtige computerlesbare Speichermedium weiterhin Anweisungen umfasst, die veranlassen, dass das System: eine Benachrichtigung eines zweiten Klangs, der ein oder mehrere vordefinierte Kriterien erfüllt, von wenigstens einem von dem einen oder den mehreren zusätzlichen Computersystemen empfängt; und in Reaktion auf ein Empfangen einer Benachrichtigung des zweiten Klangs eine zweite simulierte Bewohnerantwort über den einen oder die mehreren Lautsprecher aussendet.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, das weiterhin, während es im Überwachungsmode ist, ein Imitieren einer Bewohneraktivität innerhalb der Heimumgebung umfasst.
Nichtflüchtiges computerlesbares Speichermedium nach einem der Ansprüche 1-11, das weiterhin Anweisungen umfasst, die veranlassen, dass das System: während es im Überwachungsmode ist, einen bestimmten Klang innerhalb der Heimumgebung zu einer bestimmten Zeit voraussetzt; und gemäß einer Bestimmung, dass der bestimmte Klang zur bestimmten Zeit nicht auftrat, eine zweite simulierte Bewohnerantwort über den einen oder die mehreren Lautsprecher aussendet.
Computersystem, umfassend: eine sprachaktivierte Anwenderschnittstelle; ein oder mehrere Mikrofone; einen oder mehrere Lautsprecher; einen oder mehrere Prozessoren, die mit dem einen oder den mehreren Mikrofonen und dem einen oder den mehreren Lautsprechern gekoppelt sind; und einen Speicher, der mit dem einen oder den mehreren Prozessoren gekoppelt ist, wobei der Speicher ein oder mehrere Programme speichert, die konfiguriert sind, um durch den einen oder die mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen enthält, zum: Arbeiten in wenigstens zwei unterschiedlichen Moden, einschließlich eines Assistentenmodes und eines Überwachungsmodes; während eines Arbeitens im Assistentenmode Empfangen eines Bewohnersprachbefehls, um im Überwachungsmode zu arbeiten; in Reaktion auf den Bewohnerbefehl Übergehen von einem Arbeiten im Assistentenmode zu einem Arbeiten im Überwachungsmode; Erhalten von einem oder mehreren Überwachungskriterien; während eines Arbeitens im Überwachungsmode Erfassen eines Klangs; Erhalten einer Bestimmung diesbezüglich, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt; und gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt: Erhalten einer Klassifizierung des Klangs; und basierend auf einem Klang mit einer ersten Klangklassifizierung Emittieren bzw. Aussenden einer ersten simulierten Bewohnerantwort einer Vielzahl von simulierten Bewohnerantworten über den einen oder die mehreren Lautsprecher.
Nichtflüchtiges computerlesbares Speichermedium, das ein oder mehrere Programme speichert, wobei das eine oder die mehreren Programme Anweisungen umfassen, die dann, wenn sie durch ein Computersystem ausgeführt werden, das ein oder mehrere Mikrofone und einen oder mehrere Lautsprecher hat, veranlassen, dass das System: in wenigstens zwei unterschiedlichen Moden arbeitet, einschließlich eines Assistentenmodes und eines Überwachungsmodes; während eines Arbeitens im Assistentenmode einen Bewohnersprachbefehl empfängt, um im Überwachungsmode zu arbeiten; in Reaktion auf den Bewohnerbefehl von einem Arbeiten im Assistentenmode zu einem Arbeiten im Überwachungsmode übergeht; ein oder mehrere Überwachungskriterien erhält; während eines Arbeitens im Überwachungsmode einen Klang erfasst; eine Bestimmung diesbezüglich erhält, ob der Klang das eine oder die mehreren Überwachungskriterien erfüllt; und gemäß einer Bestimmung, dass der Klang das eine oder die mehreren Überwachungskriterien erfüllt; eine Klassifizierung des Klangs erhält; und basierend auf einem Klang mit einer ersten Klangklassifizierung eine erste simulierte Bewohnerantwort einer Vielzahl von simulierten Bewohnerantworten über den einen oder die mehreren Lautsprecher emittiert bzw. aussendet.