DE102018117380A1

DE102018117380A1 - Bremsvorhersage und -eingriff

Info

Publication number: DE102018117380A1
Application number: DE102018117380.6A
Authority: DE
Inventors: Daniel Lewis Boston; Kevin James Rhodes; Nayaz Khalid Ahmed
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-07-19
Filing date: 2018-07-18
Publication date: 2019-01-24
Also published as: US20190023208A1; CN109278748A

Abstract

Eine Rechenvorrichtung in einem Fahrzeug, die dazu programmiert ist, ein Kollisionsrisiko durch Vergleichen eines erlangten Insassengesichtsausdrucks mit einer Vielzahl von gespeicherten Insassengesichtsausdrücken vorherzusagen und ein Fahrzeug auf der Grundlage des Kollisionsrisikos zu bremsen. Die Rechenvorrichtung kann programmiert sein, um ein Kollisionsrisiko durch Bestimmen einer Anzahl an Sekunden, bis das Stattfinden eines negativen Ereignisses, das eine Kollision, einen Beinaheunfall oder eine falsche Fahrzeugrichtung beinhaltet, bei einer aktuellen Fahrzeugbewegungsbahn vorhergesagt ist, vorherzusagen.

Description

ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen über die Umgebung des Fahrzeugs zu erhalten und das Fahrzeug basierend auf den Informationen zu steuern. Das sichere und komfortable Steuern des Fahrzeugs kann vom Erhalt genauer und rechtzeitiger Informationen über die Umgebung des Fahrzeugs abhängen. Rechenvorrichtungen, Netzwerke und Steuerungen können dazu ausgestattet sein, ihre Leistung zu analysieren, zu erkennen, wenn Informationen nicht genau und rechtzeitig erhalten werden, und Abhilfemaßnahmen zu ergreifen, einschließlich des Informierens eines Insassen über das Fahrzeug, des Aufgebens der autonomen Steuerung oder des Parkens des Fahrzeugs.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist eine Darstellung eines beispielhaften Fahrzeuginnenraums mit einem Insassen und einer Videokamera.
3 ist eine Darstellung eines beispielhaften Insassengesichtsbilds mit Bezugspunkten.
4 ist eine Darstellung eines beispielhaften Insassengesichtsbilds mit Bezugspunkten und Kanten.
5 ist eine Darstellung eines beispielhaften Insassengesichtsbilds mit Bezugspunkten und Kanten.
6 ist eine Darstellung eines neuronalen Faltungsnetzwerks zum Verarbeiten von Gesichtsausdrücken.
7 ist eine Darstellung eines Ablaufdiagramms eines beispielhaften Prozesses zum Erlangen und Verarbeiten von Gesichtsausdrücken, um Verkehrsereignisse vorherzusagen.

DETAILLIERTE BESCHREIBUNG
Hier wird ein offenbart, umfassend Vorhersagen eines Kollisionsrisikos durch Vergleichen eines erlangten Insassengesichtsausdrucks mit einer Vielzahl von zuvor erlangten Insassengesichtsausdrücken und Bremsen eines Fahrzeugs auf der Grundlage des Kollisionsrisikos. Das Kollisionsrisiko kann durch Bestimmen einer Anzahl von Sekunden, bis das Stattfinden eines negativen Verkehrsereignisses, das eine Kollision, einen Beinaheunfall und eine falsche Fahrzeugrichtung beinhaltet, bei einer aktuellen Fahrzeugbewegungsbahn vorhergesagt ist, vorhergesagt werden, wobei die aktuelle Fahrzeugbewegungsbahn eine Geschwindigkeit, eine Richtung und ein Lenkdrehmoment beinhaltet. Der Insassengesichtsausdruck kann durch Erlangen von Videodaten, einschließlich eines Gesichts des Insassen, und Extrahieren von Merkmalen aus den Videodaten, welche den Insassengesichtsausdruck darstellen, erlangt werden. Merkmale können durch bestimmen einer Insassenblickrichtung und Vergleichen der Insassenblickrichtung mit einer Richtung des negativen Verkehrsereignisses aus den Videodaten extrahiert werden, wobei Vergleichen des Insassengesichtsausdrucks mit den zuvor erlangten Insassengesichtsausdrücken Verarbeiten des Insassengesichtsausdrucks mit einem maschinellen Lernprogramm beinhaltet.
Die zuvor erlangten Gesichtsausdrücke können mit negativen Verkehrsereignissen, einschließlich deren zeitlicher Nähe zu negativen Verkehrsereignissen, assoziiert sein. Das Kollisionsrisiko kann durch Vergleichen von Gesichtsausdrücken mit zuvor erlangten Gesichtsausdrücken, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind, bestimmt werden. Das maschinelle Lernprogramm kann durch Assoziieren der zuvor erlangten Gesichtsausdrücke mit Wahrscheinlichkeiten, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind, trainiert werden. Das Kollisionsrisiko kann durch Bestimmen von Wahrscheinlichkeiten, die mit negativen Verkehrsereignissen assoziiert sind, mit einem trainierten maschinellen Lernprogramm vorhergesagt werden. Das Fahrzeug kann durch Vorladen von Bremsen oder regeneratives Bremsen gebremst werden, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen auf dem Bestimmen eines mittleren Kollisionsrisikos basiert. Bremsen des Fahrzeugs kann Vorladen von Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment beinhalten, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment auf dem Bestimmen eines hohen Kollisionsrisikos basiert.
Ferner wird ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte gespeichert sind. Hier wird ferner ein Computer offenbart, der dazu programmiert ist, einige oder alle der vorstehenden Verfahrensschritte auszuführen, einschließlich einer Computervorrichtung, die programmiert ist zum Vergleichen eines erlangten Insassengesichtsausdrucks mit einer Vielzahl von zuvor erlangten Insassengesichtsausdrücken und Bremsen eines Fahrzeugs auf der Grundlage des Kollisionsrisikos. Der Computer kann ferner programmiert sein zum Vorhersagen eines Kollisionsrisikos durch Bestimmen einer Anzahl von Sekunden, bis das Stattfinden eines negativen Verkehrsereignisses, das eine Kollision, einen Beinaheunfall und eine falsche Fahrzeugrichtung beinhaltet, bei einer aktuellen Fahrzeugbewegungsbahn vorhergesagt ist, wobei die aktuelle Fahrzeugbewegungsbahn eine Geschwindigkeit, eine Richtung und ein Lenkdrehmoment beinhaltet. Der Computer kann ferner programmiert sein zum Erlangen des Insassengesichtsausdrucks durch Erlangen von Videodaten, einschließlich eines Gesichts des Insassen, und Extrahieren von Merkmalen aus den Videodaten, welche den Insassengesichtsausdruck darstellen. Merkmale können durch bestimmen einer Insassenblickrichtung und Vergleichen der Insassenblickrichtung mit einer Richtung des negativen Verkehrsereignisses aus den Videodaten extrahiert werden, wobei Vergleichen des Insassengesichtsausdrucks mit den zuvor erlangten Insassengesichtsausdrücken Verarbeiten des Insassengesichtsausdrucks mit einem maschinellen Lernprogramm beinhaltet.
Der Computer kann ferner programmiert sein zum Assoziieren der zuvor erlangten Gesichtsausdrücke mit negativen Verkehrsereignissen, einschließlich deren zeitlicher Nähe zu negativen Verkehrsereignissen. Das Kollisionsrisiko kann durch Vergleichen von Gesichtsausdrücken mit zuvor erlangten Gesichtsausdrücken, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind, bestimmt werden. Der Computer kann ferner programmiert sein zum Trainieren des maschinellen Lernprogramms durch Assoziieren der zuvor erlangten Gesichtsausdrücke mit Wahrscheinlichkeiten, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind. Das Kollisionsrisiko kann durch Bestimmen von Wahrscheinlichkeiten, die mit negativen Verkehrsereignissen assoziiert sind, mit einem trainierten maschinellen Lernprogramm vorhergesagt werden. Der Computer kann ferner programmiert sein zum Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen auf dem Bestimmen eines mittleren Kollisionsrisikos basiert. Bremsen des Fahrzeugs kann Vorladen von Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment beinhalten, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment auf dem Bestimmen eines hohen Kollisionsrisikos basiert.
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Mit einem halb- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems mit Sensoren und Steuerungen gesteuert werden kann. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Im Rahmen dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem sowohl Fahrzeugantrieb (z. B. über einen Antriebsstrang, der einen Verbrennungsmotor und/oder einen Elektromotor beinhaltet), Bremsung als auch Lenkung durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder zwei von Fahrzeugantrieb, Bremsung und Lenkung.
1 ist eine Darstellung eines Fahrzeuginformationssystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ bedeutet in dieser Offenbarung alleinstehend „vollautonom“) und einem insassengesteuerten (auch als nichtautonom bezeichneten) Modus gemäß offenbarten Umsetzungen betreibbar ist. Das Fahrzeug 110 beinhaltet zudem eine oder mehrere Rechenvorrichtungen 115 zum Durchführen von Berechnungen zum Steuern des Fahrzeug 110 während des autonomen Betriebs. Die Rechenvorrichtung 115 kann Informationen hinsichtlich des Betriebs des Fahrzeugs von den Sensoren 116 empfangen.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge, einschließlich der hier offenbarten, durchzuführen. Beispielsweise kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um eins oder mehrere der Fahrzeugbremsen, des Antrieb (z. B. Beschleunigungsregelung in dem Fahrzeug 110 durch Steuern von einem oder mehreren eines Verbrennungsmotors, Elektromotors, Hybridmotors usw.), der Lenkung, der Klimaregelung, der Innen- und/oder Außenleuchten usw. zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten enthalten sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder z. B. über einen Fahrzeugkommunikationsbus, wie ferner nachstehend beschrieben, kommunikativ daran gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk angeordnet, wie z. B. einen Bus in dem Fahrzeug 110, wie z. B. ein Controller Area Network (CAN) oder dergleichen; das Netzwerk des Fahrzeugs 110 kann drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Meldungen von den verschiedenen Vorrichtungen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116, empfangen. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachfolgend erwähnt, verschiedene Steuerungen oder Sensorelemente der Rechenvorrichtung 115 Daten über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Darüber hinaus kann die Rechenvorrichtung 115 zum Kommunizieren über eine Fahrzeug-Infrastruktur(F-I)-Schnittstelle 111 mit einem Fernservercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, das, wie nachfolgend beschrieben, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, Bluetooth® und drahtgebundene und/oder drahtlose Paketnetzwerke, nutzen kann. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 konfiguriert sein, indem Fahrzeug-Fahrzeug(F-F)-Netzwerke verwendet werden, die ad hoc zwischen Fahrzeugen 110 in der Nähe oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet ferner nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur(F-I)-Schnittstelle 111 an einen Servercomputer 120 oder eine mobilen Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Fahrzeugführers enthalten. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um ein Betriebsverhalten des Fahrzeugs 110, wie etwa Geschwindigkeit, Beschleunigung, Verlangsamung, Lenken usw., sowie ein taktisches Verhalten, wie etwa einen Abstand zwischen Fahrzeugen und/oder eine Zeitspanne zwischen Fahrzeugen, Minimalabstand zwischen Fahrzeugen für Spurwechsel, minimalen Linksabbiegeweg, Zeit bis zur Ankunft an einem bestimmten Ort und minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel), um die Kreuzung zu überqueren, zu regulieren.
Im hier verwendeten Sinne beinhaltet der Ausdruck „Steuerungen“ Rechenvorrichtungen, die typischerweise zum Steuern eines konkreten Fahrzeugteilsystems programmiert sind. Zu Beispielen gehören eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die möglicherweise eine zusätzliche Programmierung beinhaltet, wie hier beschrieben ist. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen davon empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Beispielsweise kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECU) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie z. B. einem Controller-Area-Network(CAN)-Bus oder einem Local-Interconnect-Network(LIN)-Bus, um Anweisungen von dem Computer 115 zu empfangen und Aktoren basierend auf den Anweisungen zu steuern.
Die Sensoren 116 können eine Vielzahl von Vorrichtungen beinhalten, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Beispielsweise kann ein Radar, das an einem vorderen Stoßfänger (nicht dargestellt) des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor des globalen Positionsbestimmungssystems (global positioning system - GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder andere Sensoren 116 bereitgestellte Abstand/Abstände oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten kann/können von der Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halb autonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein autonomes Landfahrzeug 110, das drei oder mehr Räder aufweist, z. B. ein PKW, ein Kleinlaster usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114.
Die Sensoren 116 können dazu programmiert sein, Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, zu erfassen. Beispielsweise können zu den Sensoren 116 u. a. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. gehören. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird, wie etwa Wetterbedingungen, die Neigung einer Straße, den Standort einer Straße oder die Standorte von benachbarten Fahrzeugen 110. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die den Betrieb des Fahrzeugs 110 betreffen, wie z. B. Geschwindigkeit, Gierrate, Lenkwinkel, Verbrennungsmotordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewandten Leistungspegel, Konnektivität zwischen Komponenten und den Gesamtzustand der Elektrik und Logik des Fahrzeugs 110, zu erfassen.
Zusätzlich zum Betrieb im autonomen Modus und insassengesteuerten Modus kann das Fahrzeug 110 in einem unterstützten insassengesteuerten Modus betrieben werden, wobei die Rechenvorrichtung 115, die Informationen von den Sensoren 116 empfängt und analysiert, den Insassen über vorhergesagte bevorstehende negative Verkehrsereignisse alarmieren kann und, wenn der Insasse nicht auf den Alarm reagiert, die Steuerung des Fahrzeugs 110 übernehmen kann und die Steuerungen 112, 113, 114 anleiten kann, die Lenkung, den Antriebsstrang und die Bremsung zu steuern, um das negative Verkehrsereignis zu vermeiden. Ein negatives Verkehrsereignis ist als ein Ereignis definiert, das stattfinden kann, während ein Fahrzeug 110 gesteuert wird und das bewirken kann, dass das Fahrzeug 110 von einem vorgesehenen Weg abweicht, indem es zu einem vollständigen Stopp kommt oder indem es sich um mehr als 20 % der ursprünglichen Geschwindigkeit verlangsamt oder indem es um mehr als 50 % der Breite des Fahrzeugs vom vorgesehenen Weg des Fahrzeugs 110 abkommt. Zum Beispiel kann das Erfassen eines Hindernisses oder eines anderen Fahrzeugs 110 auf einer Fahrbahn, wodurch das Abbremsen eines Fahrzeugs 110 zum Vermeiden erforderlich sein kann, ein negatives Verkehrsereignis darstellen. Das Erfassen eines Hindernisses, welches das Abkommen des Fahrzeugs 110 von einem vorgehsehen Weg um mehr als 50 % der Breite des Fahrzeugs 110 erforderlich sein kann, kann ebenfalls ein negatives Verkehrsereignis darstellen, unabhängig davon, ob ebenfalls eine Änderung der Geschwindigkeit des Fahrzeugs 110 erforderlich ist oder nicht. Zum Beispiel kann das Erfassen eines Hindernisses auf einer Verkehrsfahrspur erfordern, dass ein Fahrzeug 110 entweder die Fahrspuren zu einer offenen benachbarten Fahrspur wechselt oder, wenn keine offene benachbarte Fahrspur verfügbar ist, scharfes bremsen einsetzt, um eine Kollision zu vermeiden. Es ist anzumerken, dass hier in Bezug auf verschiedene Breiten und Geschwindigkeiten beschriebene Bereiche beispielhalber und nicht zur Einschränkung angegeben werden und dass andere Breiten und Geschwindigkeiten für entsprechende negative Verkehrsereignisse möglich sind. Um Insassen beim Reagieren auf negative Verkehrsereignisse zu unterstützen, kann ein Fahrzeug 110 ein videobasiertes Maschinensichtsystem beinhalten, das emotionale Zustände verfolgt, die mit Reaktionen auf negative Verkehrsereignisse assoziiert sind und die in ein maschinelles Lernprogramm eingegeben werden, das zum Beispiel zum Vorhersagen negativer Verkehrsereignisse verwendet werden kann.
2 ist eine Darstellung eines Fahrzeugs 200, von oben nach unten in einer partiellen Röntgenansicht gezeigt, um den Innenraum 202 des Fahrzeugs 200, einschließlich eines Insassen 204 und einer Videokamera 206, zu zeigen. Die Videokamera 206 kann auf eine derartige Weise mit der Rechenvorrichtung 115 wirkverbunden sein, um der Rechenvorrichtung 115 das Ausführen einer Programmierung zu ermöglichen, um Gesichtserkennung auf Videodaten, die von der Videokamera 206 eingegeben wurden, durchzuführen und die Ergebnisse an ein maschinelles Lernprogramm auszugeben, um zum Beispiel Änderungen im Gesichtsausdruck eines Insassen, einschließlich Überraschung oder Angst, zu erfassen. Das Erfassen von Überraschung oder Angst in einem Gesichtsausdruck eines Insassen kann angeben, dass der Insasse ein mögliches negatives Verkehrsereignis vorhergesagt hat. Zum Beispiel kann ein Insasse ein Hindernis auf dem Weg des Fahrzeugs 110 erfassen, das scharfes Bremsen erfordert. Das scharfe Bremsen kann definiert sein als Bremsdrehmoment, das auf die Räder eines Fahrzeugs 110 angewendet wird und welches das Fahrzeug 110 zu einem vollständigen Stopp oder einem nahezu vollständigen Stopp verlangsamt, wobei die negative Beschleunigung des Fahrzeugs 110 bei einem beliebigen Zeitpunkt während des Bremsens 0,5 der Standardschwerkraft entspricht oder größer als diese ist. Ein maschinelles Lernprogramm kann den vorhergehenden Gesichtsausdruck und die Reaktionen der Augen, einschließlich Blickrichtung und Pupillengröße, mit Ereignissen wie scharfen Bremsereignissen assoziieren, um ein Profil des Insassen zu erstellen. Je mehr Ereignisse und Gesichtsausdrücke und Augenreaktionen die Rechenvorrichtung 115 erlangt und in das maschinelle Lernprogramm eingibt, desto korrelierter und vorhersagbarer werden die Ereignisse wie scharfes Bremsen auf der Grundlage der erlangten Gesichtsausdrücke und Augenreaktionen. Als ein Ergebnis kann die Rechenvorrichtung 115 das Fahrzeug 110 an das Vorhersagen von Ereignissen wie ein Ereignis des scharfen Bremsens anpassen.
Das maschinelle Lernprogramm kann ein Zuverlässigkeitsniveau für das Vorhersagen eines Ereignisses des scharfen Bremsens auf der Grundlage eines erlangten Gesichtsausdrucks und einer erlangten Augenreaktion bestimmen. Bei einem mit mittlerer Zuverlässigkeit auf der Grundlage eines erlangten Gesichtsausdrucks und einer erlangten Augenreaktion bestimmten Ereignis des scharfen Bremsens kann die Rechenvorrichtung 115 zum Beispiel hydraulische Bremsen vorladen und, falls verfügbar, regeneratives Bremsen erhöhen, um das Fahrzeug zu verlangsamen, sobald ein Insasse den Beginn eines Bremsmanövers zum Beispiel durch das Entfernen eines Fußes von einem Gaspedal angibt. Im Allgemeinen werden Zuverlässigkeitsniveaus Bereichen von Wahrscheinlichkeiten zugewiesen, mit welchen ein Ereignis, z. B. ein Ereignis des scharfen Bremsens, stattfinden wird. Zum Beispiel kann ein mittleres Zuverlässigkeitsniveau angegeben werden, wenn die Wahrscheinlichkeit dafür, dass ein Ereignis des scharfen Bremsens erforderlich sein wird, größer als 50 %, aber kleiner als 90 % ist. Es ist anzumerken, dass hier in Bezug auf verschiedene Zuverlässigkeitsniveaus beschriebene Bereiche beispielhalber und nicht zur Einschränkung angegeben werden und dass andere Bereiche für entsprechende Zuverlässigkeitsniveaus möglich sind.
In Fällen, in welchen ein Ereignis des scharfen Bremsens mit hoher Zuverlässigkeit bestimmt wird, das heißt, dass die Wahrscheinlichkeit dafür, dass ein Ereignis des scharfen Bremsens erforderlich sein wird, mehr als 90 % beträgt, kann die Rechenvorrichtung 115 das Abbremsen des Fahrzeugs 110 automatisch beginnen. Die Entscheidung, automatisches Abbremsen des Fahrzeugs 110 zu beginnen, kann mit einer Eingabe von den Sensoren 116, wie zum Beispiel Radar, LIDAR oder Videokameras, die zum Erfassen von Hindernissen verwendet werden, kombiniert werden. Wenn sowohl eine Ausgabe des maschinellen Lernprogramms auf der Grundlage des erlangten Gesichtsausdrucks und der erlangten Augenreaktion als auch eine Ausgabe der Sensoren 116 ein Ereignis des scharfen Bremsens vorhersagen, kann die Rechenvorrichtung 115 eher mit dem Abbremsen beginnen als beim Abwiegen der Entscheidung, mit dem Abbremsen zu beginnen, auf der Ausgabe des Sensors 116 allein.
Die Bremsreaktionszeit, die als die Zeit zwischen dem Wahrnehmen eines negativen Verkehrsereignisses durch einen Insassen, das zu scharfem Bremsen führen kann, und dem Betätigen der Bremse durch den Insassen definiert ist, kann zwischen 0,7 Sekunden bei dem durchschnittlichen Minimum und etwa 4,0 Sekunden variieren, und zwar je nach Aufmerksamkeitsniveau des Insassen. Gesichtsausdrücke, die mit der Wahrnehmung eines Ereignisses des scharfen Bremsens zusammenhängen, können einer Gesichtserkennungssoftware in 0,3 Sekunden offensichtlich werden. Dies ermöglicht der Rechenvorrichtung 115 das Reduzieren der Zeit, die zum Abbremsen des Fahrzeugs auf der Grundlage der bestimmten Gesichtsausdrücke erforderlich ist, die unter Verwendung einer Videokamera 206 in einem Fahrzeug 110 erlangt wurden. Die Bremsreaktionszeit und das Kollisionsrisiko können als Reaktion auf negative Verkehrsereignisse vorhergesagt werden, die Kollisionen, Beinaheunfälle von Kollisionen und eine falsche Richtung des Fahrzeugs 110, hervorgerufen durch das Vermeiden einer Kollision, beinhalten. Kollisionen, Beinaheunfälle und falsche Richtungen des Fahrzeugs 110 können durch das Extrapolieren eines zukünftigen Wegs des Fahrzeugs 110 auf der Grundlage einer aktuellen Bewegungsbahn des Fahrzeugs 110 vorhergesagt werden, wobei die Bewegungsbahn des Fahrzeugs 110, eine Geschwindigkeit und eine Richtung und eine Querbeschleunigung aufgrund von Lenkdrehmoment beinhaltet.
In 2 kann die Videokamera 206 im Fahrzeuginnenraum 202 konfiguriert sein, um Bilder eines Insassen 204 in ausreichender Genauigkeit zu erlangen, um der Gesichtserkennungssoftware das Bestimmen von Gesichtsausdrücken und Augenreaktionen des Insassen auf einer kontinuierlichen Basis zu gestatten, wenn ein Insasse das Fahrzeug 110 steuert. Ein maschinelles Lernprogramm, das auf der Rechenvorrichtung 115 ausgeführt wird, kann den Gesichtsausdruck eines Insassen kontinuierlich bestimmen und dadurch Grundlinien-Gesichtsausdrücke bestimmen, die in Abwesenheit negativer Verkehrsereignisse auftreten. Wenn das maschinelle Lernprogramm einen Gesichtsausdruck erfasst, der nicht mit einem Grundlinien-Gesichtsausdruck übereinstimmt, kann das maschinelle Lernprogramm versuchen, den erlangten Gesichtsausdruck mit zuvor erlangten Gesichtsausdrücken zu vergleichen und eine Wahrscheinlichkeit bezüglich eines negativen Verkehrsereignisses, einschließlich scharfen Bremsens, das mit der Übereinstimmung assoziiert ist, zu bestimmen. Wenn der übereinstimmende Gesichtsausdruck mit einem negativen Verkehrsereignis, einschließlich scharfen Bremsens, mit einer Wahrscheinlichkeit ungleich null assoziiert werden kann, kann die Rechenvorrichtung 115 erlangte Gesichtsausdrücke weiter überwachen und abgleichen und eine Wahrscheinlichkeit aktualisieren, die zum Beispiel einen erlangten Gesichtsausdruck mit einem Ereignis des scharfen Bremsens assoziiert. Sobald die bestimmte Wahrscheinlichkeit vorbestimmte Schwellenwerte für mittlere und hohe Zuverlässigkeit übersteigt, kann die Rechenvorrichtung 115 Bremsen vorladen, regenerativ Bremsen oder Bremsen betätigen, wie vorstehend erörtert.
3 ist eine Darstellung eines Bilds eines Gesichts eines Insassen 300 mit den Bezugsmarkierungen 302, 304, 306, 308, die mit Merkmalen des Bildes des Gesichts des Insassen 300 assoziiert sind. Die Gesichtserkennungssoftware kann Bezugsmarkierungen mit spezifischen Merkmalen assoziieren, welche die meisten Gesichter von Insassen gemeinsam haben. Zum Beispiel können die Bezugsmarkierungen 302, 304 mit einer Innenkante einer rechten Augenbraue eines Insassen und einer Außenkante einer rechten Augenbraue eines Insassen assoziiert sein. Die Bezugsmarkierungen 306, 308 ebenfalls mit einer Innenkante eines rechten Auges eines Insassen und einer Außenkante eines rechten Auges eines Insassen assoziiert sein. Die Bezugsmarkierungen 302, 304, 306, 308 können unter Verwendung maschineller Sichttechniken durch die Rechenvorrichtung 115 auf erlangten Videobildern eines Gesichtseines Insassen 300 zuverlässig bestimmt werden.
4 ist eine Darstellung, welche die Kanten 402, 404, 406, 408 zeigt, welche die Bezugsmarkierungen 302, 304, 306, 308 verbinden, die mit Merkmalen eines Bilds des Gesichts des Insassen 300 assoziiert sind. Die Kanten 402, 404, 406, 408 können unter Verwendung einer Gesichtserkennungsprogrammierung analysiert werden, die auf der Rechenvorrichtung 115 ausgeführt wird, um Längen, Winkel und andere Beziehungen zwischen den Kanten 402, 404, 406, 408 zu bestimmen, die zum Bestimmen von Parametern verwendet werden können, die mit einem Gesichtsausdruck eines Insassen assoziiert werden können. 5 ist eine Darstellung, die einen großen Satz von Bezugspunkten 502 zeigt, die durch einen großen Satz von Kanten 504 verbunden sind, die mit einem Bild eines Gesichts des Insassen 300 assoziiert sind. Durch das Bestimmen eines Satzes von Bezugspunkten 502 und eines Satzes von Kanten 504 kann die Rechenvorrichtung 115, die eine Gesichtserkennungsprogrammierung ausführt, Gesichtsparameter extrahieren, die zuverlässig und genau mit einem Gesichtsausdruck eines Insassen korrelieren. Auf diese Weise kann die Rechenvorrichtung 115 ein Bild ausgeben, das einen Gesichtsausdruck eines Insassen beinhaltet, der als Gesichtsparameter dargestellt ist, die durch anschließende Verarbeitung durch ein maschinelles Lernprogramm zuverlässig und genau mit Emotionen wie Angst und Überraschung assoziiert werden können.
Ein Erlangen eines Gesichtsausdrucks eines Insassen kann ebenfalls Erlangen einer Augenreaktion eines Insassen beinhalten. Die Augenreaktion eines Insassen beinhaltet Bestimmen der Blickrichtung eines Insassen oder der Richtung, in welche ein Insasse bei einem bestimmten Zeitpunkt schaut. Zum Beispiel kann die Rechenvorrichtung 115 die Blickrichtung eines Insassen durch Bestimmen der Position und Haltung des Kopfes des Insassen und der Position der Pupillen des Insassen in Bezug auf den Kopf des Insassen bestimmen. Durch Bestimmen der Blickrichtung eines Insassen in Bezug auf ein mögliches negatives Verkehrsereignis kann die Rechenvorrichtung 115 bestimmen, dass ein Insasse nicht auf ein mögliches negatives Verkehrsereignis reagiert, da der Insasse nicht in die entsprechende Richtung schaut. Wenn ein Insasse zum Beispiel nach unten in einen Innenraum des Fahrzeugs 110 schaut, um einen Radiosender auszuwählen oder auf eine Nachricht eines Mobiltelefons zu antworten, kann ein gestopptes Fahrzeug im Weg des Fahrzeugs 110 unbemerkt bleiben. In diesem Fall kann die Rechenvorrichtung 115 mit einer Gesichtserkennungsprogrammierung und einem maschinellen Lernprogramm, wie nachstehend in Bezug auf 6 beschrieben, bestimmen, dass ein negatives Verkehrsereignis bevorsteht und dann Bremsen betätigen.
6 ist eine Darstellung eines maschinellen Lernprogramms, das ein Bild, einschließlich Gesichtsausdrücke 602 von einem Gesichtserkennungsprogramm, eingeben und Wahrscheinlichkeiten bezüglich eines bevorstehenden negativen Verkehrsereignisses, einschließlich scharfen Bremsens, durch Vergleichen erlangter eingegebener Gesichtsausdrücke 602 mit zuvor erlangten Gesichtsausdrücken, die mit negativen Verkehrsereignissen assoziiert sind, durch Verarbeiten der erlangten Gesichtsausdrücke mit einem trainierten neuronalen Faltungsnetzwerk (convolutional neural network - CNN) 600 ausgeben kann. Ein CNN 600 kann ein künstliches neuronales Deep-Learning-Free-Forward-Netzwerk sein, das besonders für das Lösen bildbasierter Probleme geeignet ist. Ein CNN 600 kann trainiert werden, um Wahrscheinlichkeiten dafür zu bestimmen, dass erlangte Gesichtsausdrücke mit negativen Verkehrsereignissen, einschließlich scharfen Bremsens, assoziiert sein können, indem die Gesichtsausdrücke in ein CNN 600 eingegeben werden und das CNN 660 durch Bereitstellen von Informationen über das Verhalten eines Insassen und Fahrzeugs 110, assoziiert mit negativen Verkehrsereignissen, trainiert wird. Das Verhalten des Insassen und des Fahrzeugs 110 kann durch die Rechenvorrichtung 115 bestimmt werden, indem Informationen von den Sensoren 116 und Steuerungen 112, 113, 114 aufgezeichnet werden, während der Insasse ein Fahrzeug 110 steuert. Zum Beispiel kann die Bremssteuerung 113 die Kraft und die Dauer des Bremsens an die Rechenvorrichtung 115 melden, während die Sensoren 116 die Gegenwart von Hindernissen im Weg des Fahrzeugs 110 melden können. Ein CNN 600 kann diese Informationen als Rückkopplung für das Trainieren des CNN 600 verwenden, um die Assoziation zwischen Gesichtsausdrücken und der Wahrscheinlichkeit dafür, dass ein Gesichtsausdruck mit einem negativen Verkehrsereignis assoziiert sein kann, zu lernen.
Das Trainieren eines CNN 600 kann Informationen in den erlangten Gesichtsausdrücken bezüglich eines Blicks eines Insassen beinhalten. Der Blick eines Insassen, einschließlich der Richtung, wird zum Verarbeiten der erlangten Gesichtsausdrücke verwendet, da, wenn bestimmt werden kann, dass der Insasse nicht in eine Richtung schaut, die das bevorstehende negative Verkehrsereignis umschließt, der Gesichtsausdruck des Insassen dann keine Reaktion des Insassen auf das negative Verkehrsereignis darstellen wird.
Ein CNN 600 ist ein Beispiel für ein maschinelles Lernprogramm, welches Gesichtsausdrücke eines Insassen „erlernen“ kann, indem Videobilder eines Gesichts eines Insassen kontinuierlich erlangt werden, die erlangten Videobilder verarbeitet werden, um die Gesichtsausdrücke mit einer Gesichtserkennungssoftware zu extrahieren, und das CNN 600 mit den erlangten Gesichtsausdrücken und dem Verhalten, das durch die Rechenvorrichtung 115 aufgezeichnet wird, wenn ein Insasse ein Fahrzeug 110 steuert, trainiert wird. Zu den am häufigsten aufgezeichneten Ereignissen gehören „Nicht-Ereignisse“, bei welchen ein Insasse ein Fahrzeug 110 steuert, ohne beliebige außergewöhnliche Ereignisse, wie zum Beispiel ein negatives Verkehrsereignis, zu adressieren. In diesem Fall werden die Gesichtsausdrücke als „Grundlinien“-Gesichtsausdrücke kategorisiert und können durch das CNN 600 gruppiert werden und durch das CNN 600 als eine hohe Wahrscheinlichkeit für einen Grundlinien-Gesichtsausdruck ausgegeben werden. Eine Gesichtsausdruckeingabe in das CNN 600 kann als ein Grundlinien-Ausdruck oder als ein Gesichtsausdruck klassifiziert werden, der mit einer zuvor trainierten Gruppe von Gesichtsausdrücken übereinstimmt, die vor oder gleichzeitig zu einem negativen Verkehrsereignis, einschließlich scharfen Bremsens, aufgetreten sind. In diesem Beispiel kann das CNN 600 einen Wert ausgeben, der eine zeitliche Nähe zu einem bevorstehenden negativen Verkehrsereignis auf der Grundlage eines erlangten Gesichtsausdrucks darstellt.
Bei einem CNN 600 kann es sich um eine Reihe verbundener Schichten handeln, wobei jede Schicht entweder eine Faltungsschicht C1, C3 und C5, eine Unterabtastungsschicht S2, S4 und S6 oder eine vollständig verbundene Schicht F7 und F8 sein kann. Die Faltungsschichten C1, C3 und C5 bilden die Merkmalkarten 606, 614, 622 von jedem eingegebenen Bild eines Gesichtsausdrucks 602 eines Insassen oder die Unterabtastungsmerkmalkarten 610, 618 von einer vorhergehenden Schicht durch die Faltungskerne 604, 612, 620 aus. Die Merkmalkarten 606, 614, 622 sind Ausgaben von 2D-Filtern auf der Grundlage der Faltungskerne 604, 612, 620, bestimmt durch das Trainieren, wie vorstehend erörtert.
Die Unterabtastungsschichten S2, S4 und S6 führen Unterabtastung 608, 616, 624 der Merkmalkarten 606, 614, 622 durch, um die Merkmalkarten 610, 618, 626 mit weniger Elementen zu bilden, und zwar unter Verwendung von maximalem Pooling, um die ansprechendsten Punkte in der Merkmalkarte zu betonen. Maximales Pooling bildet eine Ausgabe durch Bestimmen des maximalen Werts über einem Fenster eines eingegebenen Bilds und gibt den maximalen Wert aus, um das Fenster in einer Merkmalkarte mit entsprechend niedrigerer Auflösung darzustellen. Maximales Pooling kann die Merkmalinformationen erhalten, während zum Beispiel Positionsinformationen weniger betont werden. Alle Faltungs-/Unterabtastungsschicht-Paarschichten C1 und S2, C3 und S4 und C5 und S6 können mit den Faltungskernen 604, 612, 620 filtern und Unterabtastung 608, 616, 624 des eingegebenen Gesichtsausdrucks 602 und der Merkmalkarten 606, 610, 614, 618, 622, 626 durchführen, um die Auflösung mit kleineren Filtergrößen zu verringern, während die Merkmale erhalten werden.
F7 ist eine vollständig verbundene Schicht, in welcher die Merkmalkarten 226 in einen Merkmalvektor 630 umgewandelt 628 werden. F8 ist eine weitere vollständig verbundene Schicht, die den Merkmalvektor 630 als Eingabe nimmt und einen neuen Merkmalvektor 634 erzeugt, wobei jedes Element des Merkmalvektors 634 die Wahrscheinlichkeiten darstellt, die mit einer bestimmten Gruppe von Gesichtsausdrücken assoziiert sind, und zwar auf der Grundlage der mit einem Insassen gesammelten Erfahrung. Die Wahrscheinlichkeitsfunktion 632, die den Merkmalvektor 634 erzeugt, kann Bayessche Inferenz enthalten, wobei die Wahrscheinlichkeiten, die im Merkmalvektor 630 enthalten sind, mit bekannten Wahrscheinlichkeiten konditioniert werden können. Zum Beispiel ist es wahrscheinlich, dass die Mehrheit der erlangten Gesichtsausdrücke mit der Gruppe der Grundlinien-Gesichtsausdrücke assoziiert ist. Die Bayessche Inferenz kann die ausgegebene Wahrscheinlichkeit zum Beispiel auf der Grundlage des Wissens darüber, dass die Mehrheit der erlangten Gesichtsausdrücke zu der Gruppe der Grundlinien-Gesichtsausdrücke gehört, konditionieren.
Wenn das CNN 600 Gesichtsparameter verarbeitet, kann die Rechenvorrichtung 115 das CNN 600 trainieren, indem ein aktueller Verhaltenszustand, der mit einem das Fahrzeug 110 steuernden Insassen assoziiert ist, als Rückkopplung für den Trainingsprozess des CNN 600 eingegeben wird. In diesem Beispiel kann der Verhaltenszustand Aufzeichnungen von „normalem“ oder Grundlinien-Steuern, wobei kein außergewöhnliches Verkehrsereignis stattfindet, und Aufzeichnungen von Insassensteuerverhalten beinhalten, wenn ein negatives Verkehrsereignis stattfindet. Wenn das CNN 600 trainiert wird, sind die Werte, die vom Merkmalvektor 634 ausgegeben 636 werden, Wahrscheinlichkeiten, welche die Wahrscheinlichkeit dafür darstellen, dass eingegebene Gesichtsparameter entweder Grundlinien-Verhalten oder zeitliche Nähe eines bevorstehenden negativen Verkehrsereignisses, einschließlich scharfen Bremsens, vorhersagen.
Das Eingeben eines Gesichtsausdrucks in ein trainiertes CNN 600 vergleicht im Wesentlichen den Gesichtsausdruck mit Gesichtsausdrücken, die zuvor erlangt und in das CNN 600 eingegeben wurden, obwohl das CNN 600 die zuvor erlangten Gesichtsausdrücke in Wirklichkeit nicht als Bilder speichert. Das CNN 600 speichert Faltungskerne, die eingegebene Gesichtsausdrücke verarbeiten können und die identifizieren, zu welcher Gruppe ein Gesichtsausdruck gehört. Das Gruppieren von Gesichtsausdrücken in vorbestimmten Gruppen wie „Grundlinie“ und „Angst und Überraschung“ kann einen Gesichtsausdruck genauer und zuverlässiger identifizieren als das simple Vergleichen von Bildern auf arithmetische Weise. Das Trainieren eines CNN 600 für das Erkennen von Gesichtsausdrücken, die mit negativen Verkehrsereignissen assoziiert sind, kann Bereitstellen von Informationen über die zeitliche Nähe zu negativen Verkehrsereignissen zu dem Zeitpunkt, bei welchem der Gesichtsausdruck erlangt wurde, beinhalten.
Bei 7 handelt es sich um eine in Bezug auf die 1-6 beschriebene Darstellung eines Ablaufdiagramms eines Prozesses 700 für Bremsvorhersage und -eingriff. Der Prozess 700 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem zum Beispiel Informationen von den Sensoren 116 als Eingabe herangezogen und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 700 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge vorgenommen werden. Der Prozess 700 beinhaltet ferner Umsetzungen, die weniger Schritte beinhalten, oder kann die in anderen Reihenfolgen vorgenommene Schritte beinhalten.
Der Prozess 700 beginnt bei Schritt 702, wo eine Rechenvorrichtung 115 in einem Fahrzeug 110 einen Insassengesichtsausdruck erlangen kann, wie vorstehend in Bezug auf die 3-45 beschrieben, indem ein Videobild eines Gesichts eines Insassen erlangt wird und das Bild mit einer Gesichtserkennungssoftware verarbeitet wird, um Gesichtsparameter zu extrahieren, die ein Bild ausbilden, das einen Gesichtsausdruck eines Insassen darstellt. Bei Schritt 704 kann die Rechenvorrichtung 115 einen erlangten Gesichtsausdruck 602 in ein maschinelles Lernprogramm, in diesem Beispiel ein trainiertes CNN 600, eingeben, um den Gesichtsausdruck 602 mit zuvor erlangten Gesichtsausdrücken zu vergleichen, die mit Ereignissen korreliert worden sind, die das CNN 600 trainieren, um Wahrscheinlichkeiten auszugeben, die mit Gesichtsausdrücken assoziiert sind, wie vorstehend in Bezug auf 6 erörtert.
Die durch das CNN 600 als Reaktion auf den eingegebenen Gesichtsausdruck 602 ausgegebenen Wahrscheinlichkeiten können bei Schritt 706 getestet werden, um zu bestimmen, ob die ausgegebene Wahrscheinlichkeit ein moderates Kollisionsrisiko darstellt, indem die ausgegebenen 636 Wahrscheinlichkeiten mit vorbestimmten Werten verglichen werden, um zu bestimmen, ob ausgegebenen 636 Wahrscheinlichkeiten ein moderates Kollisionsrisiko darstellen. Wenn das Ergebnis ja lautet, kann die Rechenvorrichtung einen Insassen bei Schritt 710 beim Reagieren auf das vorhergesagte bevorstehende negative Verkehrsereignis unterstützen, indem Bremsen vorgeladen werden, wodurch die Bremsreaktionszeit reduziert wird, oder regeneratives Bremsen begonnen wird, wenn es verfügbar ist, sobald ein Insasse seinen Fuß vom Gaspedal nimmt. In dem Fall, in welchem die ausgegebene 636 Wahrscheinlichkeit außerhalb vorbestimmten Werte liegt, die mit einem moderaten Kollisionsrisiko assoziiert sind, kann der Prozess 700 bei Schritt 712 bestimmen, ob die ausgegebene 636 Wahrscheinlichkeit innerhalb der vorbestimmten Werte liegt, die mit einem hohen Kollisionsrisiko assoziiert sind. Wenn die ausgegebene 636 Wahrscheinlichkeit mit einem hohen Kollisionsrisiko konsistent ist, kann die Rechenvorrichtung 115 das Fahrzeug 110 bremsen, indem die Bremssteuerung 113 angeleitet wird, die Bremsen des Fahrzeugs 110 zu betätigen. In Fällen, in welchen die ausgegebene 636 Wahrscheinlichkeit außerhalb der Werte liegt, die entweder mit einem moderaten oder hohen Kollisionsrisiko assoziiert sind, endet der Prozess 700.
Rechenvorrichtungen, wie etwa die hier erörterten, beinhalten im Allgemeinen jeweils Anweisungen, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Beispielsweise können die vorstehend erörterten Prozessblöcke als computerausführbare Anweisungen ausgeführt sein.
Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -techniken erstellt wurden, einschließlich unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse ausführt, einschließlich eines oder mehrerer der hier beschriebenen Prozesse. Derartige Anweisungen und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielzahl computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Datensammlung, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium schließt jedes Medium ein, das am Bereitstellen von Daten (z. B. Anweisungen), die durch einen Computer gelesen werden können, beteiligt ist. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtige Medien, flüchtige Medien usw. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und sonstige Dauerspeicher. Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory - DRAM), der üblicherweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird hier in dem Sinne verwendet, dass er ein Beispiel angibt; z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „annähernd“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Weg, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten manche oder alle dieser Elemente geändert werden. Hinsichtlich der hier beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben wurden, derartige Prozesse jedoch derart durchgeführt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge durchgeführt werden als in der hier beschriebenen Reihenfolge. Es versteht sich darüber hinaus, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hier beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, dienen die vorliegenden Beschreibungen von Prozessen der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.

Claims

Verfahren, umfassend: Vorhersagen eines Kollisionsrisikos durch Vergleichen eines erlangten Insassengesichtsausdrucks mit einer Vielzahl von zuvor erlangten Insassengesichtsausdrücken; und Bremsen eines Fahrzeugs auf der Grundlage des Kollisionsrisikos.
Verfahren nach Anspruch 1, ferner umfassend Vorhersagen des Kollisionsrisikos durch Bestimmen einer Anzahl an Sekunden, bis das Stattfinden eines negativen Verkehrsereignisses, das eine Kollision, einen Beinaheunfall oder eine falsche Fahrzeugrichtung beinhaltet, bei einer aktuellen Fahrzeugbewegungsbahn vorhergesagt ist.
Verfahren nach Anspruch 2, wobei die aktuelle Fahrzeugbewegungsbahn eine Geschwindigkeit, eine Richtung und ein Lenkdrehmoment beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend Erlangen des Insassengesichtsausdrucks durch Erlangen von Videodaten, einschließlich eines Gesichts des Insassen, und Extrahieren von Merkmalen aus den Videodaten, welche den Insassengesichtsausdruck darstellen.
Verfahren nach Anspruch 4, ferner umfassend Extrahieren von Merkmalen aus den Videodaten, einschließlich Bestimmen einer Insassenblickrichtung, und Vergleichen der Insassenblickrichtung mit einer Richtung des negativen Verkehrsereignisses.
Verfahren nach Anspruch 5, wobei Vergleichen des Insassengesichtsausdrucks mit dem zuvor erlangten Insassengesichtsausdruck Verarbeiten des Insassengesichtsausdrucks mit einem maschinellen Lernprogramm beinhaltet.
Verfahren nach Anspruch 6, wobei die zuvor erlangten Gesichtsausdrücke mit negativen Verkehrsereignissen, einschließlich deren zeitlicher Nähe zu negativen Verkehrsereignissen, assoziiert sind.
Verfahren nach Anspruch 7, ferner umfassend Vorhersagen des Kollisionsrisikos durch Vergleichen von Gesichtsausdrücken mit zuvor erlangten Gesichtsausdrücken, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind.
Verfahren nach Anspruch 8, ferner umfassend Trainieren des maschinellen Lernprogramms durch Assoziieren der zuvor erlangten Gesichtsausdrücke mit Wahrscheinlichkeiten, die mit deren zeitlicher Nähe zu negativen Verkehrsereignissen assoziiert sind.
Verfahren nach Anspruch 9, ferner umfassend Vorhersagen eines Kollisionsrisikos durch Bestimmen von Wahrscheinlichkeiten, die mit negativen Verkehrsereignissen assoziiert sind, mit einem trainierten maschinellen Lernprogramm.
Verfahren nach Anspruch 1, ferner umfassend Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen.
Verfahren nach Anspruch 11, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen auf dem Bestimmen eines mittleren Kollisionsrisikos basiert.
Verfahren nach Anspruch 12, wobei Bremsen des Fahrzeugs Vorladen der Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment beinhaltet.
Verfahren nach Anspruch 13, wobei Bremsen des Fahrzeugs durch Vorladen von Bremsen oder regeneratives Bremsen und dann Anwenden von Bremsdrehmoment auf dem Bestimmen eines hohen Kollisionsrisikos basiert.
System, umfassend einen Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-14 durchzuführen.