DE102017114122A1

DE102017114122A1 - Erkennen von physischen Bedrohungen, die sich einem Fahrzeug nähern

Info

Publication number: DE102017114122A1
Application number: DE102017114122.7A
Authority: DE
Inventors: Francois Charette; Scott Vincent Myers; Alexandru Mihai Gurghian; Lisa Scaria
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-06-28
Filing date: 2017-06-26
Publication date: 2017-12-28
Also published as: US20170371339A1; RU2689902C2; MX2017008592A; CN107539213A; RU2017121309A; RU2017121309A3; US10139827B2

Abstract

Die vorliegende Erfindung erstreckt sich auf Verfahren, Systeme und Computerprogrammprodukte zum Erkennen von physischen Bedrohungen, die sich einem Fahrzeug nähern. Außensensoren an einem Fahrzeug erfassen das Umfeld rund um das Fahrzeug. Von den Außensensoren erkannte Ziele, die sich nähern, können in ein neuronales Netzwerk eingespeist werden, um sich nähernde Ziele als potenzielle Bedrohungen zu erkennen und/oder zu klassifizieren. Verfolgungsmechanismen (z. B. Kalman-Filter, Partikelfilter usw.) können zeitliche Informationen nutzen, um festzustellen, ob sich eine Bedrohung einem Fahrzeug nähert. Wenn eine sich nähernde Bedrohung erkannt wird, kann ein Fahrzeug eine oder mehrere Gegenmaßnahmen aktivieren, um die Bedrohung abzuwehren. Wenn ein Fahrzeug autonome Fahrmöglichkeiten beinhaltet, können Gegenmaßnahmen beinhalten, automatisch zu versuchen, von einer sich nähernden Bedrohung wegzufahren.

Description

HINTERGRUND
1. GEBIET DER ERFINDUNG
Diese Erfindung betrifft im Allgemeinen auf den Bereich der Fahrzeuginsassensicherheit und insbesondere das Erkennen von physischen Bedrohungen, die sich einem Fahrzeug nähern.
2. STAND DER TECHNIK
Ein Fahrzeug kann verlangsamt oder gestoppt werden, um einem Fahrzeuginsassen (z. B. einem Fahrer oder einem Passagier) zu erlauben, andere Aktivitäten sicher auszuführen, die nicht mit dem Fahrzeugbetrieb zusammenhängen. Beispielsweise kann ein Fahrer an den Straßenrand fahren und ein Fahrzeug stoppen, um eine Nachricht zu senden, einen Anruf zu tätigen, eine Karte zu überprüfen, Büroarbeit auszuführen usw. Wenn ein Auto gestoppt wird oder sich mit einer langsamen Geschwindigkeit bewegt, kann ein Insasse der Aktivität leichter Aufmerksamkeit widmen, ohne andere auf einer Straße zu gefährden (z. B. andere Fahrzeuge, Fußgänger, Radfahrer usw.). Wenn jedoch ein Fahrzeug gestoppt wird oder sich mit langsamer Geschwindigkeit bewegt (und selbst wenn sich das Fahrzeug nicht in der Nähe einer Straße befindet), sind äußere Gefahren für das Fahrzeug und/oder die Insassen noch vorhanden. Beispielsweise können sich andere Fahrzeuge oder Personen dem Fahrzeug mit der Absicht nähern, das Fahrzeug und/oder seine Insassen zu entführen. Wenn ein Insasse eine andere Aktivität ausführt, kann sich die Aufmerksamkeit des Insassen auf die andere Aktivität konzentrieren. Als solcher kann der Insasse eine Gefahr oder Bedrohung möglicherweise nicht wahrnehmen, die sich seinem oder ihrem Fahrzeug nähert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die spezifischen Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden in Bezug auf die folgende Beschreibung und die dazugehörigen Zeichnungen besser verständlich, wobei:
1 ein beispielhaftes Blockdiagramm einer Rechenvorrichtung veranschaulicht.
2 eine beispielhafte Umgebung darstellt, die das Erkennen von physischen Bedrohungen erleichtert, die sich einem Fahrzeug nähern.
3 ein Ablaufdiagramm eines beispielhaften Verfahrens zum Erkennen von physischen Bedrohungen veranschaulicht, die sich einem Fahrzeug nähern.
4A und 4B ein Beispiel eines Fahrzeugs veranschaulichen, das Gegenmaßnahmen aktiviert, um auf eine sich nähernde Bedrohung zu reagieren.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung erstreckt sich auf Verfahren, Systeme und Computerprogrammprodukte zum Erkennen von physischen Bedrohungen, die sich einem Fahrzeug nähern. Außensensoren an einem Fahrzeug (z. B. eine 360-Grad-Kamera) können verwendet werden, um verschiedene Gefahrensituationen zu erkennen. Die Außensensoren können in Situationen verwendet werden, in denen Fahrzeuginsassen anfälliger für Angriffe sind, wie z. B. bei einem stehenden Fahrzeug oder beim Fahren mit langsamer Geschwindigkeit. In einem Aspekt wird eine Kamera auf dem Dach eines Fahrzeugs montiert, um die Umgebung um das Fahrzeug vollständiger zu erfassen. Ein neuronales Netzwerk kann verwendet werden, um sich nähernde Bedrohungen zu erkennen, wie z. B. eine Person, die eine Maske trägt, eine Person, die eine Waffe hält (Messer oder Pistole), einen Hund, der die Zähne fletscht usw.
Genauer gesagt kann der optische Fluss verwendet werden, um sich nähernde Ziele in einem 360-Grad-Bild zu erfassen. Sich nähernde Ziele können in ein neuronales Netzwerk eingespeist werden, um sich nähernde Ziele als mögliche Hinterhalte, Angriffe usw. zu erkennen und/oder zu klassifizieren. Verfolgungsmechanismen (z. B. Kalman-Filter, Partikelfilter usw.) können zeitliche Informationen nutzen, um festzustellen, ob sich eine Bedrohung einem Fahrzeug nähert.
Wenn eine sich nähernde Bedrohung erkannt wird, kann ein Fahrzeug eine oder mehrere Gegenmaßnahmen aktivieren, um die Bedrohung abzuwehren. Gegenmaßnahmen können ein oder mehrere beinhalten von: Aufzeichnen des sich annähernden Ziels, Verriegeln der Türen, Ausgeben einer hörbaren Warnung in der Fahrzeugkabine, Hupen der Hupe und Blinken der Leuchten. Wenn ein Fahrzeug autonome Fahrmöglichkeiten beinhaltet, kann das Fahrzeug automatisch versuchen, von einer sich nähernden Bedrohung wegzufahren.
Aspekte der Erfindung können in einer Vielzahl von verschiedenen Arten von Rechenvorrichtungen implementiert werden. 1 veranschaulicht ein beispielhaftes Blockdiagramm einer Rechenvorrichtung 100. Die Rechenvorrichtung 100 kann verwendet werden, um verschiedene Verfahren durchzuführen, wie die hierin abgehandelten. Die Rechenvorrichtung 100 kann als ein Server, ein Client oder irgendeine andere Recheneinheit fungieren. Die Rechenvorrichtung 100 kann verschiedene Kommunikations- und Datenübertragungsfunktionen ausführen, wie sie hierin beschrieben sind, und kann ein oder mehrere Anwendungsprogramme ausführen, wie beispielsweise die hier beschriebenen Anwendungsprogramme. Die Rechenvorrichtung 100 kann jedes von einer Vielfalt von Rechenvorrichtungen sein, wie beispielsweise ein Mobiltelefon oder ein anderes mobiles Gerät, ein Desktop-Computer, ein Notebook-Computer, ein Server-Computer, ein Handheld-Computer, ein Tablet-Computer und dergleichen.
Die Rechenvorrichtung 100 beinhaltet einen oder mehrere Prozessor(en) 102, ein oder mehrere Speichergerät(e) 104, eine oder mehrere Schnittstelle(n) 106, ein oder mehrere Massenspeichergerät(e) 108, ein oder mehrere Eingabe-/Ausgabegerät(e) (E/A) 110 und eine Anzeigevorrichtung 130, die alle mit einem Bus 112 gekoppelt sind. Der/die Prozessor(en) 102 beinhalten einen oder mehrere Prozessoren oder Steuerungen, die Befehle ausführen, die in dem/den Speichergerät(en) 104 und/oder dem/den Massenspeichergerät(en) 108 gespeichert sind. Der/die Prozessor(en) 102 können auch verschiedene Arten von Computerspeichermedien wie Cache-Speicher beinhalten.
Das/die Speichergerät(e) 104 beinhalten verschiedene Computerspeichermedien, wie beispielsweise einen flüchtigen Speicher (z. B. einen Arbeitsspeicher (RAM) 114) und/oder einen nicht flüchtigen Speicher (z. B. einen Nur-Lese-Speicher (ROM) 116). Speichergerät Das/die 104 können auch wiederbeschreibbaren ROM, wie z. B. Flash-Speicher, beinhalten.
Das/die Massenspeichergerät(e) 108 beinhalten verschiedene Computerspeichermedien, wie Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) usw. Wie in 1 dargestellt, ist ein bestimmtes Massenspeichergerät ein Festplattenlaufwerk 124. Verschiedene Laufwerke können auch in dem/den Massenspeichergerät(en) 108 beinhaltet sein, um das Lesen und/oder Schreiben von den/auf die verschiedenen computerlesbaren Medien zu ermöglichen. Das/die Massenspeichergerät(e) 108 beinhalten Wechselmedien 126 und/oder nicht entfernbare Medien.
Das/die E/A-Gerät(e) 110 beinhalten verschiedene Geräte, die es ermöglichen, dass Daten und/oder Informationen eingegeben oder aus der Rechenvorrichtung 100 abgerufen werden. Das/die beispielhaften E/A-Gerät(e) 110 beinhalten Cursorsteuerungsgeräte, Tastaturen, Zehnertastaturen, Barcodescanner, Mikrofone, Monitore oder anderen Anzeigegeräte, Lautsprecher, Drucker, Netzwerkkarten, Modems, Kameras, Objektive, Radare, CCDs oder andere Bildaufzeichnungsgeräte und dergleichen.
Das Anzeigegerät 130 beinhaltet jede Art von Gerät, das zum Anzeigen von Informationen für einen oder mehrere Benutzer der Rechenvorrichtung 100 in der Lage ist. Beispiele für das Anzeigegerät 130 beinhalten einen Monitor, ein Anzeigeterminal, ein Videoprojektionsgerät und dergleichen.
Die Schnittstelle(n) 106 beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 100 ermöglichen, mit anderen Systemen, Geräten oder Computerumgebungen sowie mit Menschen zusammenzuwirken. Die beispielhafte(n) Schnittstelle(n) 106 können eine beliebige Anzahl verschiedener Netzwerkschnittstellen 120, wie Schnittstellen zu persönlichen Netzwerken (PANs), lokalen Netzwerken (LANs), Weitverkehrsnetzen (WANs), drahtlosen Netzwerken (z. B. Nahfeldkommunikation (NFC), Bluetooth, WLAN usw. Netzwerke) und dem Internet beinhalten. Andere Schnittstellen beinhalten die Benutzeroberfläche 118 und die periphere Geräteschnittstelle 122.
Der Bus 112 ermöglicht es dem/den Prozessor(en) 102, dem/den Speichergeräte(n) 104, der/den Schnittstelle(n) 106, dem/den Massenspeichergerät(en) 108 und dem/den E/A-Gerät(en) 110 miteinander sowie mit anderen Geräten oder Komponenten, die mit dem Bus 112 gekoppelt sind, zu kommunizieren. Der Bus 112 stellt eine oder mehrere verschiedene Arten von Busstrukturen, wie einen System-Bus, PCI-Bus, IEEE 1394-Bus, USB-Bus usw. dar.
2 veranschaulicht eine beispielhafte Umgebung, die das Erkennen von physischen Bedrohungen erleichtert, die sich einem Fahrzeug nähern. Die Umgebung 200 beinhaltet das Fahrzeug 201, wie beispielsweise ein Auto, einen Lastkraftwagen, einen Bus oder ein Motorrad. Das Fahrzeug 201 kann einen Fahrer (nicht dargestellt) und möglicherweise einen oder mehrere andere Insassen (nicht dargestellt) enthalten. Das Fahrzeug 201 kann eine Vielzahl von Türen (z. B. zwei Türen oder vier Türen) beinhalten. Die Umgebung 200 beinhaltet auch das sich nähernde Objekt 221, wie beispielsweise eine Person, ein Tier, ein Objekt, das von einer Person usw. getragen wird.
Das Fahrzeug 201 beinhaltet Außensensoren 202, den Filter 207, das neuronales Netzwerk 208, die Anzeige 209, das Antwortmodul 211 und Fahrzeugkomponenten 213. Die Außensensoren 202 sind außen am Fahrzeug 201 angebracht. Die Außensensoren 202 beinhalten Kamera(s) 203, Radarsensor(en) 204 und Ultraschallsensor(en) 206. Die Außensensoren 202 können auch andere Arten von Sensoren (nicht dargestellt) beinhalten, wie beispielsweise akustische Sensoren, LIDAR-Sensoren und elektromagnetische Sensoren. Die Außensensoren 202 können Objekte in der Nähe des Fahrzeugs 201 überwachen. Die Außensensoren 202 können Sensordaten ausgeben, die die Position und den optischen Fluss (d. h. die Richtung und die Geschwindigkeit) der überwachten Objekte anzeigen. Aus den Sensordaten kann das Fahrzeug 201 bestimmen, ob sich ein Objekt dem Fahrzeug 201 nähert.
Der Filter 207 (z. B. ein Kalman-Filter, ein Partikelfilter usw.) kann auf Sensordaten zugreifen, die von Außensensoren 202 ausgegeben werden. Der Filter 207 kann gefilterte Sensordaten formulieren, indem er Sensordaten für Objekte behält, die sich dem Fahrzeug 201 nähern, und Sensordaten für Objekte ausfiltert, die sich dem Fahrzeug 201 nicht nähern. Sensordaten für Objekte, die sich dem Fahrzeug 201 nicht nähern (z. B. Objekte, die einen Weg nehmen, der sich wahrscheinlich nicht mit dem Fahrzeug 201 schneidet), können ignoriert werden. Sensordaten für Objekte, die sich dem Fahrzeug 201 nähern, können an das neuronale Netzwerkmodul 208 gesendet werden.
Das neuronale Netzwerkmodul 208 kann gefilterte Sensordaten für Objekte empfangen, die sich dem Fahrzeug 201 nähern. Das neuronale Netzwerkmodul 208 kann Sensordaten für jedes sich nähernde Objekt verarbeiten, um die Wahrscheinlichkeit zu bestimmen, dass das Objekt eine Bedrohung für Insassen des Fahrzeugs 201 darstellt. Das neuronale Netzwerkmodul 208 kann jedes sich nähernde Objekt als ein bedrohliches oder ein nicht bedrohliches Objekt klassifizieren. Alternativ kann das neuronale Netzwerkmodul 208 eine Bedrohungswahrscheinlichkeit für jedes sich nähernde Objekt berechnen.
Das neuronale Netzwerkmodul 208 kann ein neuronales Netzwerk beinhalten, das gemäß einem Mehrebenen-(oder „tiefen“)Modell konstruiert wurde. Ein neuronales Mehrebenen-Netzwerkmodell kann eine Eingabeebene, eine Vielzahl von verborgenen Ebenen und eine Ausgabeebene beinhalten. Ein neuronales Mehrebenen-Netzwerkmodell kann auch eine Verlustebene beinhalten. Für die Klassifizierung von Sensordaten (z. B. ein Bild) werden Werte in den Sensordaten (z. B. Pixelwerte) Eingangsknoten zugewiesen und dann durch die Vielzahl von verborgenen Ebenen des neuronalen Netzwerks eingespeist. Die Vielzahl von verborgenen Ebenen kann eine Reihe von nichtlinearen Transformationen durchführen. Am Ende der Transformationen ergibt ein Ausgangsknoten einen Wert, der der Klasse (z. B. Bedrohung oder Nicht-Bedrohung) entspricht, die von dem neuronalen Netzwerk gefolgert wird.
Das neuronale Netzwerk kann trainiert werden, um zwischen gewünschten Klassen, wie z. B. nicht bedrohenden Personen, Personen mit einer Maske, Personen mit einem Messer, Personen mit einer Pistole und anderen potenziellen Bedrohungen zu unterscheiden. Das neuronale Netzwerk kann trainiert werden, um allgemeine Fußgänger zu erkennen und zu verfolgen, um festzustellen, ob sie sich dem Fahrzeug 201 nähern, und mit welcher Geschwindigkeit. Das neuronale Netzwerk kann auch trainiert werden, um zu erkennen, ob sich mehrere Personen dem Fahrzeug 201 nähern, und zwischen Bedrohungen und Nicht-Bedrohungen zu unterscheiden.
Objektklassifizierungen (und/oder Bedrohungswahrscheinlichkeiten) für die Annäherung von Objekten können auf der Anzeige 209 präsentiert werden. Selbst wenn sich ein nicht bedrohendes Objekt annähert, können Fahrzeuginsassen wünschen, sich des sich nähernden Objekts bewusst zu sein. Objektklassifizierungen für sich nähernde Objekte (und/oder Bedrohungswahrscheinlichkeiten) können auch an das Antwortmodul 211 gesendet werden. Basierend auf der Klassifizierung (und/oder Bedrohungswahrscheinlichkeit) für ein sich näherndes Objekt kann das Antwortmodul 211 das Fahrzeug 201 veranlassen, in einer bestimmten Weise zu reagieren.
Wenn beispielsweise ein sich näherndes Objekt als Bedrohung klassifiziert wird, und/oder eine Bedrohungswahrscheinlichkeit für ein sich näherndes Objekt über einem Schwellenwert liegt, kann das Gegenmaßnahmenmodul 212 Gegenmaßnahmen aktivieren, um das sich nähernde Objekt anzugehen. Das Gegenmaßnahmenmodul 212 kann die Kamera(s) 203 anweisen, das sich nähernde Objekt aufzuzeichnen. Das Gegenmaßnahmenmodul 212 kann auch den Übergang der Konfiguration von Fahrzeugkomponenten 213, z. B. für das Verriegeln der Türen des Fahrzeugs 201, das Aktivieren der Hupe des Fahrzeugs 201, blinkende Scheinwerfer und Rückleuchten des Fahrzeugs 201, Ertönen eines Warntons im Innenraum des Fahrzeugs 201, automatisches Ausführen eines Telefonanrufs auf 911 usw. veranlassen. Wenn das Fahrzeug 201 autonome Fahreigenschaften beinhaltet, kann das Gegenmaßnahmenmodul 212 das Fahrzeug 201 zum Wegfahren von einem sich nähernden Objekt (eventuell in Kombination mit anderen Gegenmaßnahmen) veranlassen.
Die Komponenten des Fahrzeugs 201 können über (oder Teil von) ein(em) Netzwerk, wie z. B. ein PAN, LAN, WAN, einen Controller Area Network(CAN)-Bus und sogar das Internet miteinander verbunden werden. Dementsprechend können die Komponenten des Fahrzeugs 201 sowie alle anderen angeschlossenen Computersysteme und deren Komponenten nachrichtenbezogene Daten und austauschnachrichtenbezogene Daten (z. B. Nahfeldkommunikations(NFC)-Aufgaben, Bluetooth-Pakete, Internet Protocol(IP)-Datagramme und andere Protokolle höherer Ebenen, die IP-Datagramme verwenden, wie z. B. Transmission Control Protocol (TCP), Hypertext Transfer Protocol (HTTP), Simple Mail Transfer Protocol (SMTP) usw.) über das Netzwerk erstellen.
Das Fahrzeug 201 kann eine heterogene Rechenplattform beinhalten, die eine Vielzahl von verschiedenen Arten und Anzahl von Prozessoren aufweist. Beispielsweise kann die heterogene Rechenplattform mindestens einen Zentralprozessor (CPU), mindestens einen Grafikprozessor (GPU) und mindestens ein Field Programmable Gate Array (FPGA) beinhalten. Aspekte der Erfindung können über die verschiedenen Arten und Anzahlen von Prozessoren implementiert werden.
3 veranschaulicht ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zum Erkennen von physischen Bedrohungen, die sich einem Fahrzeug nähern. Das Verfahren 300 wird in Bezug auf die Komponenten und die Daten der Computerarchitektur 200 beschrieben.
Das Verfahren 300 beinhaltet Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs (301) zu bewegen. Beispielsweise kann das Fahrzeug 201 bestimmen, dass der Weg des sich nähernden Objekts 221 das sich nähernde Objekt 221 wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs 201 zu bewegen.
Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs zu bewegen, beinhaltet das Verwenden eines oder mehrerer am Fahrzeug angebrachter Sensoren, um einen Bereich in der Nähe des Fahrzeugs in Bezug auf sich nähernde Objekte (302) zu überwachen. Beispielsweise können Außensensoren 202 den Bereich 231 auf sich nähernde Objekte überwachen. In einem Aspekt ist der Bereich 231 ein 360-Grad-Bereich rund um das Fahrzeug 201. Da der Bereich 231 überwacht wird, können Außensensoren 202 Sensordaten 222 vom Erfassen von Objekten innerhalb des Bereichs 231 generieren. Die Sensordaten 222 können den optischen Fluss (d. h. Geschwindigkeit und Richtung) des sich nähernden Objekts 221 (sowie den optischen Fluss von anderen Gegenständen im Raum 231) beinhalten.
Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs zu bewegen, beinhaltet Filtern von Daten von dem einen oder den mehreren Sensoren auf einer heterogenen Rechenplattform am Fahrzeug, um zu bestimmen, dass das Objekt eine Geschwindigkeit und Richtung aufweist, die für den Annäherungsraum des Objekts hinweisgebend sind, der durch das Fahrzeug (303) belegt ist. Beispielsweise kann der Filter 207 Sensordaten 222 in gefilterte Sensordaten 223 filtern. Gefilterte Sensordaten 223 beinhalten Sensordaten für alle Objekte mit einem optischen Fluss (z. B. Geschwindigkeit und Richtung), die für den Annäherungsraum des Objekts hinweisgebend sind, der durch das Fahrzeug 201 belegt ist. Beispielsweise können gefilterte Sensordaten 223 die Geschwindigkeit und Richtung des sich nähernden Objekts 221 beinhalten. Die Geschwindigkeit und Richtung des sich nähernden Objekts 221 können angeben, dass sich der Weg des sich nähernden Objekts 221 wahrscheinlich mit dem durch das Fahrzeug 201 belegten Raum schneidet.
Das Verfahren 300 beinhaltet das Bereitstellen der gefilterten Daten für das sich nähernde Objekt als Eingabe für ein neuronales Netzwerk (304). Beispielsweise kann der Filter 207 gefilterte Sensordaten 223 als Eingabe für das neuronale Netzwerkmodul 208 bereitstellen. Das neuronale Netzwerkmodul 208 kann gefilterte Sensordaten 223 verarbeiten, um die Objektklassifizierung 224 (z. B. Bedrohung oder Nicht-Bedrohung) für das sich nähernde Objekt 221 abzuleiten. Das neuronale Netzwerkmodul 208 kann auch gefilterte Sensordaten 223 verarbeiten, um Objektklassifizierungen für andere, sich dem Fahrzeug nähernde Objekte 201 abzuleiten. Die Objektklassifizierung 224 kann zu der Anzeige 209 und dem Antwortmodul 211 gesendet werden.
Das Verfahren 300 beinhaltet das Empfangen einer Bedrohungsklassifizierung für das sich nähernde Objekt von dem neuronalen Netzwerk (305). Beispielsweise kann die Anzeige 209 und das Antwortmodul 211 die Objektklassifizierung 224 für das sich nähernde Objekt 221 empfangen. Die Anzeige 209 kann die Objektklassifizierung 224 den Insassen des Fahrzeugs 201 präsentieren, um anzugeben: (a) dass das sich nähernde Objekt 221 sich dem Fahrzeug 201 nähert, und (2) unabhängig davon, ob das sich nähernde Objekt 221 eine Bedrohung ist oder nicht. Basierend auf der Objektklassifizierung 224 kann das Antwortmodul 211 eine Antwort initiieren oder nicht. Wenn die Objektklassifizierung 224 angibt, dass das sich nähernde Objekt 221 keine Bedrohung ist (z. B. ist das sich nähernde Objekt 221 als ein harmloser Fußgänger klassifiziert), ergreift das Antwortmodul 211 möglicherweise keine weiteren Maßnahmen.
Wenn andererseits die Objektklassifizierung 224 angibt, dass das sich nähernde Objekt 221 eine Bedrohung ist (z. B. das sich nähernde Objekt 221 als eine Person klassifiziert ist, die eine Maske trägt und/oder eine Waffe hält), kann das Antwortmodul 211 das Gegenmaßnahmenmodul 212 anweisen, eine oder mehrere Gegenmaßnahmen zu ergreifen, um die Bedrohung anzugehen. Als Reaktion darauf kann das Gegenmaßnahmenmodul 212 der/den Kamera(s) 203 einen Aufzeichnungsbefehl 227 zukommen lassen. Der Aufzeichnungsbefehl 227 weist die Kamera(s) 203 an, die Annäherung des sich nähernden Objekts 221 aufzuzeichnen. Das Gegenmaßnahmenmodul 212 kann auch Gegenmaßnahmenbefehle 226 an die Fahrzeugkomponenten 213 senden. Die Gegenmaßnahmenbefehle 226 können die Fahrzeugkomponenten 213 anweisen, eine oder mehrere Gegenmaßnahmen zu ergreifen, um die durch das sich nähernde Objekt 221 bestehende Bedrohung anzugehen. Die Gegenmaßnahmen können auch das Verriegeln der Türen des Fahrzeugs 201, das Aktivieren der Hupe des Fahrzeugs 201, blinkende Scheinwerfer und/oder Rückleuchten des Fahrzeugs 201, Ertönen eines Warntons im Innenraum des Fahrzeugs 201, beispielsweise automatisches Ausführen eines Telefonanrufs auf 911 usw. beinhalten. Wenn das Fahrzeug 201 autonome Fahreigenschaften beinhaltet, kann das Gegenmaßnahmenmodul 212 das Fahrzeug 201 zum Wegfahren von einem sich nähernden Objekt 221 (eventuell in Kombination mit anderen Gegenmaßnahmen) veranlassen.
Aspekte der Erfindung sind gleichermaßen vorteilhaft für Zivilisten und Ersthelfer. Zivilisten und Ersthelfer können Aktivitäten in dem Innenraum ihres Fahrzeugs ausführen, die in keinem Zusammenhang mit dem Fahren stehen. Diese Aktivitäten können genügend Aufmerksamkeit erfordern, sodass sie nicht in der Lage sind, gleichzeitig die Aktivitäten auszuführen und Objekte überwachen, die sich der Umgebung ihres Fahrzeugs nähern. Beispielsweise kann ein ziviler Fahrer an den Straßenrand fahren und ein Fahrzeug stoppen, um eine Karte zu betrachten. Während des Betrachtens der Karte kann der Fahrer alarmiert werden, dass eine sich nähernde Person eine Maske trägt. Ebenso kann ein Polizeibeamter parken, um einen Bericht zu schreiben. Beim Schreiben des Berichts kann der Polizeibeamte vor einer sich mit einer Waffe nähernden Person gewarnt werden.
Die 4A und 4B veranschaulichen ein Beispiel eines Fahrzeugs 401, das Gegenmaßnahmen aktiviert, um auf eine sich nähernde Bedrohung zu reagieren. Wie in 4A dargestellt, nähert sich die Person 411 dem Fahrzeug 401. Die Kamera 406 (eine 360-Grad-Kamera) kann ein Bild der Person 411 erfassen. Ein neuronales Netzwerk im Fahrzeug 401 kann das Bild verarbeiten, um die Person 411 als Bedrohung zu klassifizieren. Unter Bezugnahme auf 4B kann, als Reaktion auf die als Bedrohung eingestufte Person 411, das Fahrzeug 401 Türschlösser 403 aktivieren und Scheinwerfer 403 und Rückleuchten 404 blinken lassen.
In einem Aspekt sind ein oder mehrere Prozessoren so konfiguriert, dass sie Anweisungen (z. B. computerlesbare Anweisungen, computerausführbare Anweisungen usw.) zum Durchführen einer beliebigen Vielzahl von beschriebenen Vorgängen ausführen. Der eine oder die mehreren Prozessoren können auf Informationen aus dem Systemspeicher zugreifen und/oder Informationen im Systemspeicher speichern. Der eine oder die mehrere Prozessoren können Informationen zwischen verschiedenen Formaten, wie z. B. Sensordaten, gefilterte Sensordaten, Objektklassifizierungen, Gegenmaßnahmenbefehle usw. umwandeln.
Der Systemspeicher kann mit einem oder mehreren Prozessoren gekoppelt werden, und kann Anweisungen (z. B. computerlesbare Anweisungen, computerausführbare Anweisungen usw.) speichern, die durch den einen oder die mehreren Prozessoren ausgeführt werden. Der Systemspeicher kann auch so konfiguriert sein, dass er jede von einer Vielzahl von anderen Arten von Daten speichert, die durch die beschriebenen Komponenten erzeugt werden, wie z. B. Sensordaten, gefilterte Sensordaten, Objektklassifizierungen, Gegenmaßnahmenbefehle usw.
In der vorangehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen spezifische Umsetzungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung durchgeführt werden kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein/e bestimmte/s Merkmal, Struktur oder Eigenschaft einschließen kann; nicht jede Ausführungsform muss jedoch notwendigerweise diese/s bestimmte Merkmal, Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Ausdrücke nicht unbedingt auf dieselbe Ausführungsform. Wenn ein Merkmal, eine Struktur oder eine Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird davon ausgegangen, dass es innerhalb des Wissens eines Fachmanns liegt, das Merkmal, die Struktur oder die Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie etwa einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien(-geräte). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend zumindest zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-geräte) und Übertragungsmedien.
Computerspeichermedien(-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium ein, das verwendet werden kann, um die gewünschten Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbaren Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder einer Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einem Computer bereitgestellt oder auf diesen übertragen wird, zeigt der Computer die Verbindung dementsprechend als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen einschließen, die verwendet werden können, um die gewünschten Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den oben Genannten sollten ebenfalls in den Umfang computerlesbarer Medien eingeschlossen werden.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
Der Fachmann kann nachvollziehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines Instrumententafel- oder anderen Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handgeräten, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedener Speichergeräte und dergleichen. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hierin beschriebene Funktionen gegebenenfalls in einem oder mehreren von Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Einer oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können beispielsweise programmiert sein, um ein oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann nachvollziehen kann, kann auf Komponenten durch die Verwendung verschiedener Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil der Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode einschließen, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung einschließen, die durch den Computercode gesteuert wird. Diese Vorrichtungsbeispiele werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einem einschlägigen Fachmann bekannt.
Zumindest einige Ausführungsformen der Offenbarung bezogen sich auf Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während verschiedene Ausführungsformen der vorliegenden Offenbarung vorangehend beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen, und nicht als Einschränkung. Für den einschlägigen Fachmann wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eine der vorangehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüchen und ihrer Äquivalente definiert sein. Die vorangehende Beschreibung wurde zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken.
Viele Modifikationen und Variationen sind in Anbetracht der oben angegebenen Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

IEEE 1394-Bus [0018]

Claims

Verfahren zum Verwenden in einem Fahrzeug, wobei das Verfahren Folgendes umfasst: Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs zu bewegen, anhand von gefilterten Sensordaten von einem oder mehreren Sensoren, die außen auf dem Fahrzeug angebracht sind; Bereitstellen der gefilterten Sensordaten als Eingabe für ein neuronales Netzwerk; Empfangen einer Bedrohungsklassifizierung für das Objekt von dem neuronalen Netzwerk; und Angeben der Bedrohungsklassifizierung in der Fahrzeugkabine.
Verfahren nach Anspruch 1, wobei das Empfangen einer Bedrohungsklassifizierung für das Objekt das Empfangen einer Angabe umfasst, dass das Objekt eine Bedrohung für Insassen des Fahrzeugs darstellt;
Verfahren nach Anspruch 2, wobei das Empfangen einer Angabe, dass das Objekt eine Bedrohung für Insassen des Fahrzeugs darstellt, eines von Folgendem umfasst: Empfangen einer Angabe, dass sich eine Waffe dem Fahrzeug nähert oder Empfangen einer Angabe, dass eine sich dem Fahrzeug nähernde Person eine Maske trägt.
Verfahren nach Anspruch 2, weiterhin umfassend das Aktivieren von Gegenmaßnahmen an dem Fahrzeug, um die durch das sich nähernde Objekt bestehende Bedrohung anzugehen.
Verfahren nach Anspruch 1, wobei das Empfangen einer Bedrohungsklassifizierung für das Objekt das Empfangen einer Angabe umfasst, dass das Objekt keine Bedrohung für Insassen des Fahrzeugs darstellt.
Verfahren zum Verwenden in einem Fahrzeug, wobei das Verfahren zum Alarmieren eines Fahrzeuginsassen dient, dass sich eine Bedrohung dem Fahrzeug nähert, wobei das Verfahren Folgendes umfasst: Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs zu bewegen, einschließlich: Verwenden eines oder mehrerer am Fahrzeug angebrachter Sensoren, um einen Bereich in der Nähe des Fahrzeugs in Bezug auf sich nähernde Objekte zu überwachen; und Filtern von Daten von dem einen oder den mehreren Sensoren auf einer heterogenen Rechenplattform am Fahrzeug, um zu bestimmen, dass das Objekt eine Geschwindigkeit und Richtung aufweist, die für den Annäherungsraum des Objekts hinweisgebend sind, der durch das Fahrzeug belegt ist; Bereitstellen der gefilterten Daten für das sich nähernde Objekt als Eingabe für ein neuronales Netzwerk; Empfangen einer Angabe von dem neuronalen Netzwerk, dass das Objekt eine Bedrohung für den Fahrzeuginsassen darstellt; und Aktivieren von Gegenmaßnahmen an dem Fahrzeug, um die Bedrohung anzugehen.
Verfahren nach Anspruch 6, wobei das Verwenden eines oder mehrerer am Fahrzeug angebrachter Sensoren, um einen Bereich in der Nähe des Fahrzeugs in Bezug auf sich nähernde Objekte zu überwachen, das Verwenden einer Vielzahl von Sensoren umfasst, die am Fahrzeug montiert sind, um den Bereich zu überwachen, wobei die Vielzahl von Sensoren beinhaltet: mindestens eine Kamera, mindestens einen LIDAR-Sensor und mindestens einen schallbasierten Objektdetektor.
Verfahren nach Anspruch 6, wobei das Filtern von Daten von dem einen oder den mehreren Sensoren auf einer heterogenen Rechenplattform das Filtern von Daten von der Vielzahl von Sensoren auf der heterogenen Rechenplattform umfasst, wobei die heterogene Rechenplattform beinhaltet: mindestens einen Zentralprozessor (CPU), mindestens einen Grafikprozessor (GPU) und mindestens ein Field Programmable Gate Array (FPGA) in dem Fahrzeug.
Verfahren nach Anspruch 6, wobei das Filtern von Daten von dem einen oder den mehreren Sensoren das Verwenden von einem oder mehreren von Folgenden umfasst: einen Kalman-Filter und einen Partikelfilter zum Filtern von Daten von dem einen oder den mehreren Sensoren.
Verfahren nach Anspruch 6, wobei das Empfangen einer Angabe von dem neuronalen Netzwerk, dass das sich nähernde Objekt eine Bedrohung für den Insassen des Fahrzeugs darstellt, das Empfangen einer Angabe umfasst, dass das sich nähernde Objekt eines von Folgenden ist: eine Person mit einer Waffe, eine Person, die eine Maske trägt und ein Hund, der seine Zähne fletscht.
Verfahren nach Anspruch 6, wobei das Aktivieren von Gegenmaßnahmen am Fahrzeug das Aktivieren von Gegenmaßnahmen einschließlich eines oder mehrerer von Folgenden beinhaltet: Aufzeichnen des sich nähernden Objekts, Verriegeln der Türen des Fahrzeugs, Ausgeben einer hörbaren Warnung in der Fahrzeugkabine, Hupen einer Hupe des Fahrzeugs und Blinken der Leuchten des Fahrzeugs.
Verfahren nach Anspruch 6, wobei das Fahrzeug ein autonomes Fahrzeug ist; und wobei das Aktivieren von Gegenmaßnahmen am Fahrzeug automatisches Versuchen umfasst, das autonome Fahrzeug weg von dem sich nähernden Objekt zu manövrieren.
Fahrzeug, wobei das Fahrzeug Folgendes umfasst: einen oder mehrere, außen angebrachte Sensoren zum Überwachen eines Bereichs in der Nähe des Fahrzeugs; einen oder mehrere Prozessoren; Systemspeicher, der mit einem oder mehreren Prozessoren gekoppelt ist, wobei der Systemspeicher Anweisungen speichert, die von dem einem oder den mehreren Prozessoren ausführbar sind; den einen oder die mehreren Prozessoren, die die im Systemspeicher gespeicherten Anweisungen auszuführen, um auf eine physische Bedrohung für Insassen des Fahrzeugs zu reagieren, einschließlich dem Folgenden: Bestimmen, dass der Weg eines Objekts das Objekt wahrscheinlich veranlassen wird, sich in die Nähe des Fahrzeugs zu bewegen, einschließlich: Verwenden des einen oder der mehreren außen am Fahrzeug angebrachten Sensoren, um den Bereich in der Nähe des Fahrzeugs in Bezug auf sich nähernde Objekte zu überwachen; und Filtern von Daten von dem einen oder den mehreren Sensoren, um zu bestimmen, dass das Objekt eine Geschwindigkeit und Richtung aufweist, die für den Annäherungsraum des Objekts hinweisgebend sind, der durch das Fahrzeug belegt ist; Bereitstellen der gefilterten Daten für das sich nähernde Objekt als Eingabe für ein neuronales Netzwerk; Empfangen einer Angabe von dem neuronalen Netzwerk, dass das Objekt eine Bedrohung für Insassen des Fahrzeugs darstellt; und Aktivieren von Gegenmaßnahmen an dem Fahrzeug, um die Bedrohung anzugehen.
Fahrzeug nach Anspruch 13, wobei der eine oder die mehreren Prozessoren, die die Anweisungen zum Empfangen einer Angabe von dem neuronalen Netzwerk ausführen, dass das sich nähernde Objekt eine Bedrohung für die Fahrzeuginsassen darstellt, den einen oder die mehreren Prozessoren umfasst, die die Anweisungen ausführen, um eine Angabe zu empfangen, dass das sich nähernde Objekt eines von Folgenden ist: eine Person mit einer Waffe, eine Person, die eine Maske trägt oder ein Hund, der seine Zähne fletscht.
Verfahren nach Anspruch 13, wobei der eine oder die mehreren Prozessoren, die die Anweisungen zum Aktivieren von Gegenmaßnahmen am Fahrzeug ausführen, umfassen, dass der eine oder die mehreren Prozessoren, die die Anweisungen zum Aktivieren von Gegenmaßnahmen ausführen, ein oder mehrere von Folgenden beinhalten: Aufzeichnen des sich nähernden Objekts, Verriegeln der Türen des Fahrzeugs, Ausgeben einer hörbaren Warnung in der Fahrzeugkabine, Hupen einer Hupe des Fahrzeugs, Blinken der Leuchten des Fahrzeugs.