DE102020100081A1

DE102020100081A1 - Verbindung einer intelligenten heim-zuhörvorrichtung mit einem transportfahrzeug

Info

Publication number: DE102020100081A1
Application number: DE102020100081.2A
Authority: DE
Inventors: Robert B. Kleve; Eric L. Reed; John R. Van Wiemeersch
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-01-07
Filing date: 2020-01-03
Publication date: 2020-07-09
Also published as: US20200219382A1; US10825332B2; CN111415659A

Abstract

Diese Offenbarung stellt eine Verbindung einer intelligenten Heim-Zuhörvorrichtung mit einem Transportfahrzeug bereit. Eine intelligente Zuhörvorrichtung umfasst einen Audiodetektor, der auf Sprache und Umgebungsgeräusche reagiert, um digitale Audiosignale bereitzustellen. Eine verteilte Steuerung ist an den Audiodetektor gekoppelt, um Reaktionshandlungen als Reaktion auf die digitalen Audiosignale auszuführen. Eine Kommunikationsschaltung baut eine erste Kommunikationsverbindung mit einem Backend auf. Eine Fahrzeugdatenbank identifiziert mindestens ein Benutzertransportfahrzeug und mindestens eine Reaktionshandlung, die dem Benutzerfahrzeug entspricht. Die verteilte Steuerung weist einen Überwachungsmodus für das Detektieren vorkonfigurierter Warnereignisse auf und weist einen Warnungs-/Reaktionsmodus für das Ausführen von Reaktionshandlungen, die mit den detektierten Warnereignissen assoziiert sind, auf. Die Kommunikationsschaltung baut eine zweite Kommunikationsverbindung mit dem Benutzerfahrzeug auf, wenn eine ausgeführte Reaktionshandlung mit einem detektierten Warnereignis, das dem Benutzerfahrzeug entspricht, assoziiert ist, um die Reaktionshandlung einzuleiten.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen Heim- und Fahrzeugsicherheit und - schutz und insbesondere einen automatisierten/intelligenten Heim-Assistenten, der eine Schnittstelle mit einem Transportfahrzeug bildet, wenn es zu überwachten Ereignissen kommt.
ALLGEMEINER STAND DER TECHNIK
Da das Internet der Dinge (Internet of Things - IoT) immer weiter wächst, werden immer mehr Vorrichtungen mit dem Internet verbunden, darunter intelligente Rauchmelder, Haussicherheitsalarme, CO-Detektoren, Türklingeln, Sumpfpumpen-/Überschwemmungsalarme und andere. Deshalb ist es normalerweise notwendig, dass ältere Alarmeinheiten im Haus durch eine intelligente Version der Vorrichtung ersetzt werden, die Kommunikationsfähigkeiten entweder direkt mit dem Internet oder mit einer anderen Vorrichtung, die mit dem Internet verbunden ist, besitzt, um den Hauseigentümer oder Einrichtungen darüber zu warnen, dass die Alarmvorrichtung ausgelöst wurde. Diese intelligenten Alarmvorrichtungen weisen im Vergleich zu der nicht verbundenen oder nicht intelligenten Version, die sie ersetzen, normalerweise höhere Kosten auf. Die Investition durch einen Hauseigentümer oder Geschäftsinhaber für diese neuen Vorrichtungen können erhebliche Kosten verursachen.
In vielen Wohngebäuden, Büros und an anderen festen Standorten kann nun eine intelligente Zuhörvorrichtung (smart listening device - SLD) installiert sein, die als „virtueller Assistent“ in Form eines sprachgesteuerten drahtlosen Lautsprechers mit einer elektronischen Schnittstelle zu einem Cloud-Dienst und lokalen Peripherien fungiert. Zu beispielhaften Vorrichtungen gehören Amazon Echo und Sonos One (die beide den Amazon Alexa-Sprachdienst nutzen) und Google Home (welches den Google Assistant nutzt). Diese Vorrichtungen werden verwendet, um eine Verbindung mit immer weiter zunehmenden intelligenten Heimvorrichtungen, darunter Wi-Fi-fähigen intelligenten Alarmvorrichtungen, herzustellen. Während die intelligenten Alarmvorrichtungen normalerweise entfernt mit einem Benutzer oder einem Rettungsdienst kommunizieren, wenn ein überwachtes Ereignis (z. B. Rauch, Kohlenstoffmonoxid oder ein Einbrecher) detektiert wird, kann eine Schnittstelle mit der SLD Reaktionen zentralisieren und koordinieren, während die Detektions- und Reaktionsfähigkeiten verbessert werden.
Die Zuhörfähigkeiten einer SLD können Alarmvorrichtungen, denen Wi-Fi- oder andere entfernte Fähigkeiten fehlen, auch eine zentralisierte/koordinierte Reaktion ermöglichen. Zum Beispiel kann eine SLD trainiert werden, um die Alarmtöne, die von nicht vernetzten Alarmvorrichtungen erzeugt werden, wie etwa Rauchmeldern, zu erkennen und eine gewünschte Benachrichtigung oder andere Reaktion durchzuführen, wenn die Alarmtöne detektiert werden. Für das Training kann ein Benutzer einen SLD-Programmiermodus über einen Tastendruck oder einen Sprachbefehl einleiten. Mit dem SLD-Zuhören löst der Benutzer manuell eine Alarmvorrichtung (z. B. eine Türklingel oder einen Rauch-/Kohlenstoffmonoxidmelder) aus, um deren normalen Warnton auszugeben. Die SLD speichert akustische Signaturen im Speicher gemäß den „Tags“ oder Markierungsnamen, wie von dem Benutzer bereitgestellt. Alle Ereignisse mit einer ausreichend unterscheidbaren akustischen Signatur können aufgezeichnet, gekennzeichnet und einer Reaktionshandlung zugeordnet werden. Zu beispielhaften Ereignisauslösern gehören Sicherheitsalarme, Rauchmelder, Türklingel, CO-Melder, Klopfen an einer Außentür, ein weinendes Baby, akustische Sumpfpumpenabschaltungs- oder Überschwemmungs-/Hochwasseralarme, nicht autorisierter Eintritt oder versuchter Eintritt, Öffnen eines Garagentors oder einer Eingangstür, Zerbrechen von Fensterglas, bellender Hund, knarrender Fußboden, nicht erkannte Stimme (basierend auf früherem Sprachtraining), Geräusch von laufendem Wasser (z. B. Leitungsbruch) oder laufenden Geräten (z. B. Mikrowelle, Spülmaschine, Waschmaschine oder Trockner). Mehrere SLD im Haus können gemeinsam verwendet werden, um die Lokalisierung des Geräuschs im Haus durch verschiedene Triangulationstechniken zu identifizieren.
Während eines Überwachungsmodus kann die SLD kontinuierlich auf Geräusche achten und gesammelte Audiobeispiele mit den im Speicher gespeicherten Signaturen vergleichen. Der Überwachungsmodus kann beispielsweise von dem Benutzer durch Sprachbefehle, durch Festlegen eines Plans oder durch Bedingungen (wie etwa fehlende Geräusche für einen Zeitraum), die angeben, dass der Benutzer nicht zuhause ist, eingeleitet werden. Sobald eine bestimmte Übereinstimmung mit einer gespeicherten Signatur detektiert wurde, kann eine entsprechende Warnhandlung oder andere Reaktion automatisch erfolgen. Diese können eine Benachrichtigung beinhalten, die an den Benutzer oder andere Kontakte gesendet wird, wie vorher unter Verwendung eines Kontaktverfahrens, das ebenfalls vorher konfiguriert wird, identifiziert (z. B. eine Netzwerk-Push-Benachrichtigung). Andere Handlungen können das Verwenden der SLD zum Erzeugen eines Geräuschs (z. B. eines bellenden Hundes) oder das Aktivieren von Wi-Fi-fähigen Leuchten beinhalten, um einen möglichen Einbrecher abzuschrecken.
KURZDARSTELLUNG DER ERFINDUNG
Die Erfindung erweitert die Warnungs-/Reaktionsfähigkeiten einer SLD auf neue Weise, die kosteneffizient ist und erhebliche Verbesserungen hinsichtlich der Sicherheit und des Komforts bereitstellt.
In einem Aspekt der Erfindung umfasst eine intelligente Zuhörvorrichtung einen Audiodetektor, der auf Sprache und Umgebungsgeräusche reagiert, um digitale Audiosignale bereitzustellen. Eine verteilte Steuerung ist an den Audiodetektor gekoppelt, um Reaktionshandlungen als Reaktion auf die digitalen Audiosignale auszuführen. Eine Kommunikationsschaltung baut eine erste Kommunikationsverbindung mit einem Backend auf. Eine Fahrzeugdatenbank identifiziert mindestens ein Benutzertransportfahrzeug und mindestens eine Reaktionshandlung, die dem Benutzerfahrzeug entspricht. Die verteilte Steuerung weist einen Überwachungsmodus für das Detektieren vorkonfigurierter Warnereignisse auf und weist einen Warnungs-/Reaktionsmodus für das Ausführen von Reaktionshandlungen, die mit den detektierten Warnereignissen assoziiert sind, auf. Die Kommunikationsschaltung baut eine zweite Kommunikationsverbindung mit dem Benutzerfahrzeug auf, wenn eine ausgeführte Reaktionshandlung mit einem detektierten Warnereignis, das dem Benutzerfahrzeug entspricht, assoziiert ist, um die Reaktionshandlung einzuleiten.
Figurenliste

1 ist ein Blockdiagramm, das eine herkömmliche intelligente Zuhörvorrichtung zeigt.
2 ist ein Blockdiagramm, das die Interaktion zwischen einer SLD und einem Transportfahrzeug für das Durchführen von Warnungs-/Reaktionshandlungen zeigt.
3 ist ein Blockdiagramm, das eine SLD zeigt, die für weitere Merkmale der vorliegenden Erfindung konfiguriert ist.
4 ist ein Ablaufdiagramm, das ein bevorzugtes Verfahren der Erfindung zeigt.
5 ist eine Darstellung, die die Verfolgung von registrierten Fahrzeuginsassen und Hausbewohnern zur automatischen Aktivierung und Deaktivierung eines Überwachungsmodus veranschaulicht.
6 ist eine Darstellung, die Kommunikationsereignisse zwischen einer SLD und einem Transportfahrzeug gemäß verschiedenen erfindungsgemäßen Ausführungsformen zeigt.

DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Sprachgesteuerte intelligente Assistenzsysteme, die mit einem Backend-System kommunizieren, um relevante Informationen über synthetisierte Sprachsignale oder vorher aufgezeichnete Medieninhalte zu übermitteln und andere Handlungen, wie etwa das Steuern von peripheren elektronischen Vorrichtungen, einzuleiten, werden immer beliebter. In einigen Ausführungsformen wird ein Aktivierungswort oder ein Aktivierungsgeräusch von der intelligenten Zuhörvorrichtung detektiert, die den eingehenden Ton dann interpretiert/analysiert. Bezüglich der Sprachsteuerung achtet eine Vorrichtung kontinuierlich auf ein Aktivierungswort, ist sonst jedoch inaktiv. Zur Alarmdetektion kann auf eine erkannte Audiosignatur reagiert werden, ohne dass das Aktivierungswort erkannt wird.
In 1 beinhaltet eine durch Sprache aktivierte intelligente Zuhörvorrichtung (SLD) 10 Prozessoren oder Verarbeitungsschaltungen 11, eine Datenspeicher-/Arbeitsspeichereinheit 12, eine Kommunikationsschaltung 13, (ein) Mikrofon(e) 14, (einen) Lautsprecher 15 und eine Eingabe-/Ausgabeschnittstelle 16. Die Kommunikationsschaltung 13 kann eine Drahtlosnetzwerkschnittstellensteuerung für das Bereitstellen einer Wi-Fi-Verbindung für einen drahtlosen Router oder eine andere Netzwerkzugangsvorrichtung, die eine Kommunikation über das Internet für ein Backend-System 17 bereitstellt (d. h. ein Cloud-System), beinhalten. Die Kommunikationsschaltung 13 kann alternativ oder zusätzlich andere drahtlose Datenplattformen, wie etwa Mobilfunk-, Bluetooth^®- oder Infrarot-Datenkanäle, beinhalten, um mit Backend 17 oder mit Peripherievorrichtungen und -zubehör zu kommunizieren. Die Eingabe-/Ausgabeschnittstelle 16 kann optional einen Ein-/AusSchalter, Anzeigeleuchten, Eingabetasten oder eine Tastatur, eine grafische Anzeige und/oder einen Touchscreen beinhalten.
Die Prozessoren 11 und der Datenspeicher 12 sind dazu konfiguriert, Vorgänge und Funktionen der SLD 10 zu steuern, einschließlich solcher Funktionen, wie Spracherkennung 20 und Aktivierungswortdetektion 22, und zwar basierend auf einer Liste von gespeicherten Aktivierungswörtern 21 oder Geräuschprofilen. Wie auf dem Fachgebiet bekannt, kann das Spracherkennungsmodul 20 automatische Spracherkennung (automatic speech recognition - ASR) und natürliches Sprachverstehen (natural language understanding - NLU) beinhalten, wobei gesprochene Wörter unter Verwendung des detektierten Tons in entsprechenden Text umgewandelt werden. Bei einem Ansatz mit verteilter Steuerung kann der umgewandelte Text zur Verarbeitung an das Backend-System 17 gesendet werden. Die digitalen Audiodaten (z. B. MP3-Daten), die Sprache oder andere Geräusche enthalten, die von dem/den Mikrofon(en) 14 aufgenommen werden, können zu dem Backend-System 17 weitergeleitet werden, sodass die Analyse bei Informationsanforderung durch den Benutzer beginnen kann. Somit kann das Backend-System 17 mit dem Analysieren des Teils der empfangenen digitalen Audiodaten beginnen, um die Bedeutung einer Anforderung durch den Benutzer zu interpretieren und letztendlich eine geeignete Abfrage zu definieren. Dann empfängt das Backend-System 17 Reaktionsinformationen oder -handlungen, die zurück zur SLD 10 kommuniziert werden. Das Spracherkennungsmodul 20 kann auch eine Text-zu-Sprache(text-to-speech - TTS)-Komponente für das Umwandeln von Text, der in einer Reaktion enthalten ist, in Sprachgeräusche, die von dem/den Lautsprecher(n) 15 auszugeben sind, aufweisen.
2 zeigt ein typisches Szenario für das Einsetzen der vorliegenden Erfindung, wobei eine SLD 10 an einer festen Stelle in einem Wohngebäude 25, wie etwa einem Haus oder einem Büro, verwendet wird. Ein Wi-Fi-Router 26 kommuniziert mit der SLD 10, um eine erste Kommunikationsverbindung mit einem Cloud-Netzwerk 27 aufzubauen. Die SLD 10 kann zusätzliche Netzwerkschnittstellen, wie etwa einen Mobilfunk- oder Festnetzapparat 28, beinhalten, um Daten zu einem anderen Netzwerk 29 zu übertragen oder über dieses zu empfangen.
In der vorliegenden Erfindung erzielt die SLD 10 erweiterte Funktionen und Fähigkeiten durch die Interaktion mit einem Transportfahrzeug 30. Bei dem Fahrzeug 30 kann es sich beispielsweise um ein Auto, einen SUV oder einen Lastwagen derselben Personen, die in dem Wohngebäude 25 wohnen, handeln. Das Fahrzeug 30 verfügt über ein elektrisches System, wobei verschiedene Module über einen Kommunikationsbus 31 interagieren. Durch das Zugreifen der Vorrichtungen auf den Bus 31 kann die Erfindung Zugriff auf eine breite Vielfalt von Merkmalen und Funktionen des Fahrzeugs 30 erhalten, die beim Umsetzen von Handlungen und Reaktionen unter der Kontrolle der SLD 10 als Reaktion auf verschiedene vorprogrammierte Ereignisse oder Warnungen nützlich sein können.
Das Fahrzeug 30 kann vorzugsweise ein Wi-Fi-Modul 32 beinhalten, das über ein Gateway (nicht gezeigt) mit dem Bus 31 verbunden ist, um eine zweite Kommunikationsverbindung über Wi-Fi zwischen der SLD 10 und dem Fahrzeug 30 (z. B. über den Wi-Fi-Router 26) aufzubauen. Das Fahrzeug 30 kann auch einen Bluetooth-Knoten 33 und einen Mobilfunk-Sendeempfänger 34 beinhalten, der auch eine Kommunikationsverbindung mit der SLD 10 unterstützen kann, und zwar in Abhängigkeit von dem Abstand zwischen dem Fahrzeug 30 und der SLD 10. Über die aufgebaute Kommunikationsverbindung werden in Verbindung mit verschiedenen Auslöseereignissen, die an der SLD 10 detektiert werden, wie vorstehend beschrieben, viele nützliche Handlungen oder Reaktionen verfügbar.
Das Fahrzeug 30 kann typischerweise ein Funkschließsystem(remote keyless entry - RKE)/Sicherheitssystem-Modul 35 beinhalten, das HF-Signale von einem Funkschlüssel empfängt, um den Zugang zu dem Fahrzeug zu steuern, und das beispielsweise Notalarme und Einbruchalarme durch Aufleuchten von Fahrzeugleuchten und Auslösen einer Fahrzeughupe erzeugen kann. Wenn ein überwachtes Ereignis innerhalb des Wohngebäudes (25) detektiert wurde (entweder direkt von der SLD 10 oder von einer anderen intelligenten Vorrichtung in Kommunikation mit der SLD 10 detektiert), kann der betroffene Bereich, für den ein Alarm gehört oder bemerkt werden kann, erheblich vergrößert werden, indem das RKE-System 35 des Fahrzeugs 30 verwendet wird, um zusätzliche Warnzeichen und -töne zu erzeugen. Als Folge des Durchführens der notwendigen Einstellung im Fahrzeug 30 und in der SLD 10, um eine Kommunikationsverbindung und eine ordnungsgemäße Authentifizierung zwischen diesen zu ermöglichen (z. B. über einen Wi-Fi-Router 26 oder einen Bluetooth-Knoten 33), kann die SLD 10 eine Reaktionshandlung ausführen, die das Auslösen von akustischen und sichtbaren Fahrzeugalarmen umfasst, wenn die SLD 10 ein vorkonfiguriertes Warnereignis detektiert, das derart eingestellt wurde, dass es diese Handlung beinhaltet.
Die SLD 10 kann mit verschiedenen Zubehörteilen 36 verbunden sein, die verschiedene intelligente Sensoren oder intelligente Alarmsysteme zum Detektieren verschiedener Zustände, wie etwa Rauch oder Kohlenstoffmonoxid, beinhalten können und die ihre eigenen Warnungen erzeugen können oder mit der SLD 10 interagieren können, um Warnungen und andere Reaktionen zu erzeugen. Die Zubehörteile 36 können auch zusätzliche drahtlose Schnittstellen beinhalten, die dazu konfiguriert sind, mit HF-gesteuerten Systemen im Fahrzeug, wie etwa dem RKE-System 35, zu interagieren. Anders formuliert, kann ein Sender des Typs, der in einem Fahrzeugfunkschlüssel verwendet wird, in eine Zubehöreinheit 36 integriert sein oder in die SLD 10 eingebaut sein, die die normalen HF-Befehlssignale, die von dem Fahrzeug 30 verwendet werden, sendet (z. B. durch Ausgeben eines Notalarmbefehls an das RKE-Modul 35). Zusätzlich können Zubehörteile 36 verwendet werden, um einen Alarmzustand, der in dem Fahrzeug auftritt, zu erkennen und zu der SLD zu übertragen, um den Nutzen der SLD, auf Fahrzeugzustände in Situationen, in denen die akustische Erkennung des Fahrzeugalarms beeinträchtigt ist, zu reagieren, zu erweitern.
Reaktionshandlungen, die von dem Fahrzeug 30 ausgeführt werden, können viele andere Formen annehmen, indem mit anderen Fahrzeugsystemen interagiert wird, wie etwa einem Karosseriesteuermodul (body control module - BCM) 37, einem Audiosystem 38 und Lautsprecher 39 oder einer grafischen Anzeige 40. Zum Beispiel kann das BCM 37 (oder ein anderes Modul) einen automatischen Mobilfunkanruf über den Mobilfunk-Sendeempfänger 34 an ein entferntes Hilfecenter oder einen Rettungsdienst auslösen. Ein automatischer Telefonanruf durch das Fahrzeug kann in Verbindung mit einem akustischen Alarm (der von der SLD 10 und/oder dem Fahrzeug 30 erzeugt wird) oder ohne akustischen Alarm (z. B. mit einem stummen Alarm, der von der SLD 10 bei der Erkennung eines „nicht sicheren“ Wortes, das von einer Person gesprochen wurde, die mit einem Notfall im Wohngebäude, wie etwa einem Einbruch, konfrontiert ist, erzeugt wurde) eingeleitet werden. In einer weiteren Ausführungsform besteht die Reaktionshandlung aus dem Benachrichtigen eines Benutzers, dass ein Warnungsereignis detektiert wurde (z. B. durch Anzeigen einer Nachricht auf der Anzeige 40 und/oder Synthetisieren einer Sprachnachricht über das Audiosystem 38). Als Teil einer Benachrichtigung kann ein bidirektionaler Kommunikationskanal (z. B. eine Audiowechselsprechanlage) zwischen dem Fahrzeug 30 und der SLD 10 unter Verwendung der Kommunikationsverbindung eingeleitet werden, wodurch dem Benutzer im Fahrzeug 30 ermöglicht wird, eine bestehende Situation, die von der SLD 10 innerhalb des Wohngebäudes 25 detektiert wurde, zu überwachen.
In einer weiteren Ausführungsform kann das Fahrzeug 30 als Vorrichtung zum Erfassen von Beweisen verwendet werden, wenn es nahe dem Wohngebäude 35 parkt, in dem ein überwachtes Ereignis detektiert wurde. Zum Beispiel beinhaltet das Fahrzeug 30 nach vorn und nach hinten gerichtete Kameras 41 und 42, die ausgelöst werden können, um Videosignale zu erfassen, die in einem Datenspeicher 43 aufzuzeichnen sind und Ereignisse erfassen können, die während eines Zeitpunkts eines möglichen Notfalls nahe dem Wohngebäude 25 auftreten können. Auf das aufgezeichnete Video kann später bei der Ereignisrekonstruktion zugegriffen werden. Die Aufzeichnungsfunktion kann mit einem GPS-Navigationssystem 44 interagieren, um aufgezeichnete Daten mit einem geografischen Standort und einer Tageszeit zu markieren.
Das Fahrzeug 30 kann auch die Rolle eines entfernten Sensors (z. B. Umgebungssensors) erfüllen, um der SLD 10 bei der Beurteilung verschiedener zu überwachender Zustände zu helfen. Zum Beispiel kann auf ein Antriebsstrangsteuermodul (powertrain control module - PCM) 45 zugegriffen werden, um Temperaturdaten oder Feuchtigkeitsdaten bereitzustellen, die von der SLD 10 verwendet werden, um Warnungszustände zu erkennen oder die beste Reaktion auf detektierte Ereignisse auszuwählen. Andere Fahrzeugmodule können auch einen Zugriff auf andere wichtige Zustände bereitstellen, wie etwa, dass ein Karosseriesteuermodul einen Auslöser des Fahrzeugsicherheitsalarms bereitstellt.
3 zeigt eine modifizierte SLD 50, die zum Umsetzen eines Warnsystems der vorliegenden Erfindung ausgelegt ist. Ein Mikrofon 51 empfängt gesprochene und Umgebungsgeräusche, die in einem Wandler 52 in digitale Audiosignale umgewandelt werden. Die digitalen Audiosignale werden von einem Aktivierungsdetektor 53 für das Durchführen einer herkömmlichen Sprachinteraktion überwacht. Die digitalen Audiosignale sind auch an eine lokale Verarbeitungsschaltung 55 und eine Steuerung 54 gekoppelt, um akustische Signaturen, die im Datenspeicher gespeichert sind und mit überwachten Ereignissen assoziiert sind, zu überwachen, wie etwa akustische Alarme von Rauchdetektoren, Geräusch vom Zerbrechen von Glas, Türklingelgeräusche und andere. Die Steuerung 54 ist eine verteilte Steuerung, die mit einer Schnittstelle 56 verbunden ist, um bei Bedarf auf ein Backend-System zuzugreifen, um gesprochene Anforderungen zu analysieren sowie akustische Signaturen von überwachten Ereignissen zu detektieren und/oder Reaktionshandlungen zu bestimmen, die für detektierte Ereignisse zu ergreifen sind. Die Steuerung 54 ist mit einem Anfragereaktionsblock 57 verbunden, der einen Lautsprecher und andere Vorrichtungen für das Bereitstellen gesprochener Ausgaben oder anderer Reaktionshandlungen für die gesprochenen Befehle von dem Benutzer beinhalten kann. Die Steuerung 54 ist auch mit einer Schnittstelle 58 verbunden, um mit verschiedenen Zubehörvorrichtungen zu interagieren, einschließlich intelligenter Sensoren, die über Wi-Fi mit der SLD 50 interagieren.
In Verbindung mit der Fähigkeit der Erfindung, Reaktionshandlungen auszuführen, die mit einem Transportfahrzeug assoziiert sind, beinhaltet die SLD 50 einen Einstellmodus oder - block 60, der verwendet wird, um eine Fahrzeugdatenbank 61 zu konfigurieren, um identifizierende Informationen und Ereignisparameter zu speichern, die beim Ausführen der Reaktionshandlungen des Fahrzeugs verwendet werden. Ein Benutzer greift auf den Einstellmodus 60 zu, um die Datenbank 61 mit Verbindungsdaten zu konfigurieren, um Kommunikationsverbindungen mit einem oder mehreren Fahrzeugen aufzubauen, und die Datenbank 61 mit Merkmalsdaten für jedes Fahrzeug zu konfigurieren, die es verschiedenen Fahrzeuginteraktionen ermöglichen, die von dem Benutzer gewünschten Reaktionshandlungen zu unterstützen. Zum Beispiel würden Protokolle für den Zugriff auf verschiedene Systemfunktionen innerhalb des Fahrzeugs und das Authentifizieren dieser, wie etwa Ein- oder Ausschalten eines Notalarms, Aktivieren der Kameraaufzeichnung für eine bestimmte Zeitdauer oder Einschalten des Übertragens von uni- oder bidirektionalen Kommunikationssignalen, erstellt werden. Die Fahrzeugmerkmalsdaten können die Identifizierung von verfügbaren Merkmalen und auswählbaren Parametereinstellungen, die verfügbar sein können, wie etwa aufzuzeichnende Kameraansichten usw., beinhalten.
Die SLD 50 beinhaltet einen Überwachungsblock 62, der kontinuierlich auf vorkonfigurierte akustische Signaturen achtet und auf Alarmbenachrichtigungen von zugehörigen intelligenten Sensoren wartet. Wenn ein überwachtes Ereignis detektiert wurde, greift die Steuerung 54 auf einen Warnungsreaktionsmodus 63 zu, um die vorkonfigurierten Reaktionshandlungen zu erzeugen.
4 zeigt ein Ablaufdiagramm für den Einstellmodus. In Schritt 65 wird die SLD basierend auf den Geräuschen, die den ausgewählten „Warnereignissen“ entsprechen, die eine erkennbare und konsistente akustische Signatur erzeugen, trainiert. Das Training umfasst das Aufzeichnen von Trainingsgeräuschen in einer gespeicherten Signatur, die mit Metadaten markiert werden kann, die das Ereignis identifizieren und einige Reaktionshandlungen festlegen. In Schritt 66 wird die SLD optional konfiguriert, um mit intelligenten Sensoren und/oder intelligenten Alarmsystemen zu arbeiten, um Reaktionen abzustimmen und die Fähigkeiten für das Überwachen sämtlicher Umstände, die Warnereignisse umgeben, zu erweitern.
In Schritt 67 werden von dem Benutzer eine oder mehrere Fahrzeugverbindungen und Fahrzeugmerkmalsdaten eingestellt. Die Kommunikationsverbindungen können beispielsweise gemäß den verfügbaren Kommunikationskanälen (z. B. Wi-Fi-Netzwerk, HF-Senderfrequenz, Bluetooth-Kopplung usw.), Adressinformationen und Authentifizierungsdaten festgelegt werden. In Schritt 68 werden Reaktionshandlungen und Warnungen für jedes mögliche Warnereignis, das mit einem identifizierten Fahrzeug assoziiert ist, konfiguriert, sodass sie in der Fahrzeugdatenbank in der SLD gespeichert werden können.
Die Registrierung von einzelnen Fahrzeugen innerhalb der Datenbank 61 kann auch in Verbindung mit dem Aktivieren und Deaktivieren des Überwachungsmodus verwendet werden. Dieses Merkmal kann auch von einer Erweiterung der Datenbank profitieren, sodass sie die Registrierung der Identitäten (und Kommunikationsverbindungen) von Personen, bei denen es sich um autorisierte Bewohner des Hauses handelt, beinhaltet. Wie in 5 gezeigt, kann die Nähe der Fahrzeuge und Hausbewohner beurteilt werden, um Zeitpunkte zu detektieren, zu denen sich niemand im Haus befindet. Die Fahrzeuge 70 und 72 sind mit dem Wohngebäude 25 und den typischen Bewohnern, die sich normalerweise dort befinden, assoziiert. Die Fahrzeuge 70 und 72 weisen Kommunikationsverbindungen 71 und 73 mit der SLD 30 im Wohngebäude 25 auf. Eine Nahzone 74 wird um das Wohngebäude 25 festgelegt, der eine Fläche abdeckt, bei der ein Fahrzeug oder eine Person als „zuhause“ oder im Wohngebäude 25 befindlich angesehen wird.
Eine Person 75 sitzt in dem Fahrzeug 70 und die Personen 76, 77 und 78 sitzen in dem Fahrzeug 72. Die Fahrzeuge 70 und 72 und die Personen 75-78 sowie die zugehörigen Kommunikationsverbindungen werden vorher in einer Datenbank in der SLD 30 registriert. Wenn sich alle Personen 75-78 außerhalb der Zone 74 befinden, kann die SLD 30 ableiten, dass sich niemand in dem Wohngebäude 25 befindet, und die Abwesenheit der Fahrzeuge 70 und 72 von dem Wohngebäude 25 kann bei der Bestimmung der Abwesenheit der Personen, die in diesen sitzen, hilfreich sein. Zum Beispiel können die Fahrzeuge 70 und 72 ihre geografischen Koordinaten der SLD 30 melden, die dann detektiert, dass sich die Fahrzeuge 70 und/oder 72 außerhalb der Zone 74 befinden. Jedes Fahrzeug kann seine Insassen identifizieren (z. B. durch verschiedene Mittel der Identifizierung im Fahrzeug, wie etwa Telefonkopplung, Stimmerkennung, Gesichtserkennung oder eine andere biometrische Identifizierung) und diese Informationen der SLD 30 melden. Wenn festgestellt wird, dass alle Personen, die vorher auf die SLD 30 registriert wurden (z. B. alle autorisierten Bewohner eines Hauses), in einem Fahrzeug außerhalb der Zone 74 sitzen, detektiert die SLD 30, dass das Wohngebäude 25 nun leer ist, und leitet den Überwachungsmodus automatisch ein. Gleichermaßen schaltet die SLD 30 den Überwachungsmodus bei der Rückkehr einer registrierten Person und/oder eines registrierten Fahrzeugs automatisch ab.
Die Kenntnis über die Standorte der registrierten Fahrzeuge und autorisierten Bewohner des Wohngebäudes ist auch für Reaktionshandlungen während des Warnungs-/Reaktionsmodus nützlich. Wenn beispielsweise ein Alarm ausgelöst wird, kann die SLD das sich am nächsten befindliche Fahrzeug für das Senden einer Benachrichtigung an einen Benutzer auswählen.
6 veranschaulicht mehrere Ausführungsformen für einen Austausch zwischen der SLD 50 und dem Fahrzeug 30 über die Kommunikationsverbindung gemäß Reaktionshandlungen/Warnungen, die in der jeweiligen Ausführungsform ausgeführt werden. In einer Ausführungsform besteht eine Transaktion 81 aus dem Signalisieren von der SLD 50 zu dem Fahrzeug 30, wodurch der Notalarm des Fahrzeugs 30 aktiviert wird. Als Reaktion auf die Detektion eines Einbrechers oder die Detektion von Rauch oder Kohlenstoffmonoxid bewirkt die SLD 50 beispielsweise, dass der Fahrzeugnotalarm einen Warnton erzeugt, der nicht nur in dem Wohngebäude, in dem sich die SLD 50 befindet, sondern auch in angrenzenden Gebieten und Wohngebäuden gut wahrnehmbar ist.
Eine Transaktion 82 besteht daraus, dass die SLD 50 anfordert, dass das Fahrzeug 30 ein zelluläres telefonbasiertes Notfallsystem aktiviert. Viele Fahrzeuge sind mit Systemen ausgestattet, die im Fall eines Autounfalls automatisch einen Rettungsdienst anrufen. Durch das Auslösen dieses Merkmals als Reaktion auf Notfälle, die in dem Wohngebäude detektiert wurden, kann wertvolle Zeit bei der Ankunft von Rettungsdiensten gespart werden.
Eine Transaktion 83 besteht aus einer Anforderung von der SLD 50 an das Fahrzeug 30, die Datenaufzeichnung zu Beweiszwecken und zur Ereignisrekonstruktion einzuleiten. Daten können aufgezeichnete Videostreams von am Fahrzeug montierten Kameras sowie Audioaufzeichnungen oder die Aufzeichnung von Fahrzeugumgebungsdaten beinhalten.
Bei einer Transaktion 84 kann die SLD 50 verschiedene Arten von Daten von dem Fahrzeug 30 anfordern. Während des Überwachungsmodus kann die SLD 50 Umgebungsdaten (z. B. aufgezeichnetes Video, Audio, erfasste Temperatur, Feuchtigkeit oder andere Fahrzeugsensordaten), die beim Detektieren und Einstufen von überwachten Ereignissen nützlich sind, anfordern. Während des Warnungs-/Reaktionsmodus kann die SLD 50 beispielsweise die Bestätigung des Auslösens von Reaktionen anfordern. Bei einer Transaktion 85 stellt das Fahrzeug 30 Antworten für die SLD 50 bereit, die die angeforderten Daten enthalten.
Bei einer Transaktion 86 sendet die SLD 50 mittels eines angezeigten Textes oder einer synthetisierten Sprache eine Warnmeldung an einen Insassen des Fahrzeugs 30. Zusätzlich kann die SLD 50 Audio- und/oder Videosignale in Echtzeit an das Fahrzeug 30 streamen, um dem Insassen zu ermöglichen, die Aktivität im Wohngebäude genauer zu überwachen. Bei einer Transaktion 87 kann eine Reaktionshandlung ferner das Öffnen eines bidirektionalen Kommunikationskanals beinhalten, sodass der Fahrzeuginsasse mit einer Person im Wohngebäude kommunizieren kann.
Bei einer Transaktion 88 kann die SLD 50 Fahrzeugkonfigurationsdaten von dem Fahrzeug 30 anfordern. Insbesondere kann eine derartige Anforderung während des Einstellmodus erfolgen, sodass ein Benutzer bestimmen kann, welche Reaktionshandlungen verfügbar sein können. Somit kann die Funktionalität eines SLD-basierten Überwachungs-/Warnsystems mit geringen oder ohne zusätzliche Kosten unter Verwendung der Fähigkeiten eines Transportfahrzeugs eines Benutzers, das sich nahe dem Wohngebäude befinden kann oder nicht, erheblich verbessert werden.
Gemäß einer Ausführungsform besteht die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Auslösen eines automatisierten Mobilfunkanrufs an ein Hilfecenter, ohne einen akustischen und sichtbaren Fahrzeugalarm auszulösen.
Gemäß einer Ausführungsform tauscht die zweite Kommunikationsverbindung Fahrzeugkonfigurationsparameter aus, um die Merkmalsdaten zu unterstützen.
Gemäß einer Ausführungsform wird der Überwachungsmodus als Reaktion auf eine Detektion, dass sich das Fahrzeug außerhalb einer Nahzone um die Vorrichtung befindet, automatisch eingeleitet.
Gemäß einer Ausführungsform besteht die Reaktionshandlung, die dem Transportfahrzeug entspricht, aus dem Auslösen eines automatisierten Mobilfunkanrufs an ein Hilfecenter, ohne einen akustischen und sichtbaren Fahrzeugsicherheitsalarm auszulösen.
Gemäß einer Ausführungsform besteht die Reaktionshandlung, die dem Transportfahrzeug entspricht, aus dem Übermitteln einer Warnmeldung an einen Insassen des Transportfahrzeugs.
Gemäß einer Ausführungsform wird der Überwachungsmodus als Reaktion auf eine Detektion, dass sich das Transportfahrzeug außerhalb einer Nahzone um die Vorrichtung befindet, automatisch eingeleitet.

Claims

Intelligente Zuhörvorrichtung, umfassend: einen Audiodetektor, der auf Sprache und Umgebungsgeräusche reagiert, um digitale Audiosignale bereitzustellen; eine verteilte Steuerung, die an den Audiodetektor gekoppelt ist, um Reaktionshandlungen als Reaktion auf die digitalen Audiosignale auszuführen; eine Kommunikationsschaltung, die eine erste Kommunikationsverbindung mit einem Backend aufbaut; und eine Fahrzeugdatenbank, die mindestens ein Benutzertransportfahrzeug und mindestens eine Reaktionshandlung, die dem Benutzerfahrzeug entspricht, identifiziert; wobei die verteilte Steuerung einen Überwachungsmodus für das Detektieren vorkonfigurierter Warnereignisse aufweist und einen Warnungs-/Reaktionsmodus für das Ausführen von Reaktionshandlungen, die mit den detektierten Warnereignissen assoziiert sind, aufweist; und wobei die Kommunikationsschaltung eine zweite Kommunikationsverbindung mit dem Benutzerfahrzeug aufbaut, wenn eine ausgeführte Reaktionshandlung mit einem detektierten Warnereignis, das dem Benutzerfahrzeug entspricht, assoziiert ist, um die Reaktionshandlung einzuleiten.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Auslösen eines akustischen und sichtbaren Fahrzeugalarms besteht.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Auslösen eines automatisierten Mobilfunkanrufs an ein Hilfecenter besteht.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Einleiten der Speicherung von Videodaten von einer Kamera, die an das Benutzerfahrzeug montiert ist, besteht.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Übermitteln einer Warnmeldung an einen Insassen des Benutzerfahrzeugs besteht.
Vorrichtung nach Anspruch 5, wobei die Reaktionshandlung ferner aus dem Weiterleiten eines Überwachungssignals von der intelligenten Zuhörvorrichtung an das Benutzerfahrzeug besteht.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Einleiten einer bidirektionalen Audiokommunikation zwischen der intelligenten Zuhörvorrichtung und dem Benutzerfahrzeug besteht.
Vorrichtung nach Anspruch 1, wobei die Reaktionshandlung, die dem Benutzerfahrzeug entspricht, aus dem Sammeln von entfernten Daten von einem Fahrzeugsensor besteht.
Vorrichtung nach Anspruch 1, wobei die verteilte Steuerung einen Einstellmodus aufweist, um die Fahrzeugdatenbank derart zu konfigurieren, dass sie Verbindungsdaten für das Aufbauen der zweiten Kommunikationsverbindung und Objektdaten für das Ermöglichen von Fahrzeuginteraktionen, die die Reaktionshandlung unterstützen, beinhaltet.
Vorrichtung nach Anspruch 1, wobei die zweite Kommunikationsverbindung aus einer Wi-Fi-Verbindung, einer Mobilfunkverbindung, einer Bluetooth-Verbindung oder einem HF-Kanal über einen zusätzlichen Sendeempfänger, der mit der intelligenten Zuhörvorrichtung verbunden ist, besteht.
Warnsystem, umfassend: ein Transportfahrzeug, beinhaltend eine Zusatzvorrichtung für Warnungen und einen drahtlosen Sendeempfänger; und eine intelligente Zuhörvorrichtung, die sich entfernt von dem Fahrzeug befindet, umfassend: einen Audiodetektor, der auf Sprache und Umgebungsgeräusche reagiert, um digitale Audiosignale bereitzustellen; eine verteilte Steuerung, die an den Audiodetektor gekoppelt ist, um Reaktionshandlungen als Reaktion auf die digitalen Audiosignale auszuführen; eine Kommunikationsschaltung, die eine erste Kommunikationsverbindung mit einem Backend aufbaut; und eine Fahrzeugdatenbank, die das Transportfahrzeug und mindestens eine Reaktionshandlung, die dem Transportfahrzeug entspricht, identifiziert; wobei die verteilte Steuerung einen Überwachungsmodus für das Detektieren vorkonfigurierter Warnereignisse aufweist und einen Warnungs-/Reaktionsmodus für das Ausführen von Reaktionshandlungen, die mit den detektierten Warnereignissen assoziiert sind, aufweist; und wobei die Kommunikationsschaltung eine zweite Kommunikationsverbindung mit dem Transportfahrzeug aufbaut, wenn eine ausgeführte Reaktionshandlung mit einem detektierten Warnereignis, das dem Transportfahrzeug entspricht, assoziiert ist, um die Reaktionshandlung einzuleiten.
Warnsystem nach Anspruch 11, wobei die Reaktionshandlung, die dem Transportfahrzeug entspricht, aus dem Auslösen eines akustischen und sichtbaren Fahrzeugsicherheitsalarms besteht.
Warnsystem nach Anspruch 11, wobei die Reaktionshandlung, die dem Transportfahrzeug entspricht, aus dem Auslösen eines automatisierten Mobilfunkanrufs an ein Hilfecenter besteht.
Warnsystem nach Anspruch 11, wobei die Reaktionshandlung, die dem Transportfahrzeug entspricht, aus dem Einleiten der Speicherung von Videodaten von einer Kamera, die an das Transportfahrzeug montiert ist, besteht.
Warnsystem nach Anspruch 11, wobei die verteilte Steuerung einen Einstellmodus aufweist, um die Fahrzeugdatenbank derart zu konfigurieren, dass sie Verbindungsdaten für das Aufbauen der zweiten Kommunikationsverbindung und Objektdaten für das Ermöglichen von Fahrzeuginteraktionen, die die Reaktionshandlung unterstützen, beinhaltet.