DE102021129444A1

DE102021129444A1 - Hinderniserkennung und -benachrichtigung für motorradfahrzeuge

Info

Publication number: DE102021129444A1
Application number: DE102021129444.4A
Authority: DE
Inventors: Christopher L. Oesterling; David H. Clifford
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-01-13
Filing date: 2021-11-11
Publication date: 2022-07-14
Also published as: US11798290B2; US20220406073A1; CN114763190A; US20220222475A1; US20220406075A1; US11462021B2; US20220406074A1; US20220406072A1

Abstract

Ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad. Das System umfasst eine vorwärtsgerichtete Kamera und eine rückwärtsgerichtete Kamera, die an dem Motorrad angebracht werden können, und einen Prozessor, der mit der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera in betriebsfähiger Verbindung steht. Der Prozessor führt Programmanweisungen aus, um Prozesse auszuführen, die Folgendes umfassen: Empfangen von Videobildern von der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera, Durchführen eines auf Computersicht und maschinellem Lernen basierenden Objekterkennungs- und -verfolgungsprozesses zum Erkennen, Klassifizieren und Verfolgen von Hindernissen in dem Video und zum Ausgeben von erkannten Objektdaten, Definieren eines Bereichs des toten Winkels um ein oder mehrere andere Fahrzeuge unter Verwendung der erkannten Objektdaten, Bestimmen, ob sich das Motorrad in dem Bereich des toten Winkels befindet, und Ausgeben einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads, wenn festgestellt wird, dass sich das Motorrad in dem Bereich des toten Winkels befindet.

Description

EINFÜHRUNG
Das technische Gebiet bezieht sich im Allgemeinen auf die Hinderniserkennung und - Benachrichtigung bei Motorrädern und im Besonderen auf die Verwendung von Computer Vision und maschinellem Lernen, um dem Fahrer eine Benachrichtigung über potenzielle Hindernisse zu geben.
Fortschrittliche Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) haben sich in den letzten Jahren zu einem Standard in der Automobilindustrie entwickelt, was unter anderem darauf zurückzuführen ist, dass die Sicherheit ein Hauptanliegen der Automobilhersteller ist. Ein Hauptanliegen von Motorradfahrern sind Kollisionen mit Hindernissen jeglicher Art. Es gibt einige Hindernisse und Situationen, die für Motorradfahrer von besonderem Interesse sind und für die ein geeignetes Hinderniserkennungs- und -Benachrichtungssystem wünschenswert wäre.
Die Motorradindustrie hat im Allgemeinen keine ADAS-Funktionen eingeführt, was an den relativen Kosten von ADAS und einem Motorrad liegen kann und auch an verschiedenen Schwierigkeiten, die mit der Umgebung des Motorrads zusammenhängen. So haben Motorräder beispielsweise nur sehr wenig Platz für die Anbringung von ADAS. Die Warnung von Motorradfahrern ist ebenfalls eine Herausforderung, da diese einen Helm tragen und sich in einer lauten Umgebung bewegen, die durch Wind, Motorgeräusche usw. beeinträchtigt wird. Darüber hinaus ist der Blickwinkel eines Motorradfahrers mit Helm begrenzt, und die Platzierung visueller Indikatoren (z. B. eines Displays für visuelle Anzeigen) auf dem Motorrad selbst stellt eine Herausforderung dar, da die Positionierung auf dem Motorrad an einer Stelle erfolgen muss, die für den Fahrer während der Fahrt sichtbar ist. Außerdem verhalten sich Motorräder anders als Autos, ihre Winkel (z. B. Schräglagenwinkel) gegenüber der Straße ändern sich viel schneller und dramatischer als die Winkel von Autos gegenüber der Straße, insbesondere wenn das Motorrad sich neigt, beschleunigt und bremst.
Dementsprechend ist es wünschenswert, Systeme und Verfahren zur Hinderniserkennung und -benachrichtigung für ein Motorrad bereitzustellen, die mit geringer Komplexität und geringen Kosten auf einem Motorrad zu implementieren sind und die in der Lage sind, ein verbessertes Situationsbewusstsein für einen Motorradfahrer bereitzustellen, um die Vermeidung von Kollisionen und Unfällen zu unterstützen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Figuren und dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.
BESCHREIBUNG
In einem Aspekt wird ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad offenbart. Das System umfasst eine vorwärtsgerichtete Kamera und eine rückwärtsgerichtete Kamera, die an dem Motorrad angebracht werden können, und einen Prozessor, der mit der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera in betriebsfähiger Verbindung steht. Der Prozessor führt Programmanweisungen aus, um Prozesse auszuführen, die Folgendes umfassen: Empfangen von Videobildern von der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera, Durchführen eines auf Computersicht und maschinellem Lernen basierenden Objekterkennungs- und - verfolgungsprozesses, um Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen und um Daten über erkannte Objekte auszugeben, Definieren eines Bereichs des toten Winkels um ein oder mehrere andere Fahrzeuge unter Verwendung der Daten über erkannte Objekte, Bestimmen, ob sich das Motorrad in dem Bereich des toten Winkels befindet, und Ausgeben einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads, wenn festgestellt wird, dass sich das Motorrad in dem Bereich des toten Winkels befindet.
In einigen Ausführungsformen umfassen die Verfahren die Ausgabe einer akustischen Benachrichtigung an den Fahrer des einen oder der mehreren anderen Fahrzeuge, wenn festgestellt wird, dass sich das Motorrad im Bereich des toten Winkels befindet.
In bestimmten Ausführungsformen werden bei der Definition des toten Winkels um das eine oder die mehreren anderen Fahrzeuge die erfassten Objektdaten und die relative Geschwindigkeit des einen oder der mehreren anderen Fahrzeuge und des Motorrads verwendet.
In manchen Ausführungsformen enthalten die erfassten Objektdaten einen Begrenzungskasten um jedes erfasste Motorrad im Video und eine zugehörige Kennzeichnung, die den Begrenzungskasten als Motorrad klassifiziert. In einigen Ausführungsformen umfasst die Definition des Bereichs des toten Winkels um das eine oder die mehreren anderen Fahrzeuge die räumliche Zuweisung eines vorbestimmten Bereichs des toten Winkels an einem vorbestimmten Ort in Bezug auf den Begrenzungskasten.
In bestimmten Ausführungsformen wird dem Fahrer eine visuelle Benachrichtigung über eine Beleuchtungseinrichtung in Form mehrerer ringförmig angeordneter Leuchten gegeben. Die einzelnen Leuchten leuchten auf, um die Richtung des toten Winkels relativ zum Motorrad anzuzeigen. In bestimmten Ausführungsformen leuchten die Leuchten in verschiedenen Farben, je nachdem, wie groß die Gefahr ist, die vom Motorrad im Bereich des toten Winkels ausgeht.
Ein weiterer Aspekt ist ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad. Das System umfasst eine vorwärtsgerichtete Kamera und eine rückwärtsgerichtete Kamera, die an dem Motorrad angebracht werden können, eine zellulare Verbindungsvorrichtung, eine erweiterte Kartendatenbank, die eine Navigationskarte und eine Kollisionsrisikokartenschicht mit georeferenzierten Kollisionsdaten aus der Masse enthält, und eine GPS-Vorrichtung (Global Positioning System), die den Standort des Motorrads angibt. Ein Prozessor steht in betriebsfähiger Kommunikation mit der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera, der zellularen Verbindungsvorrichtung, der erweiterten Kartendatenbank und der GPS-Vorrichtung. Der Prozessor führt Programmanweisungen aus, um Prozesse auszuführen, einschließlich: Melden von Unfallbedingungen über die zellulare Verbindungsvorrichtung, Empfangen von Aktualisierungen der Kollisionsrisikokartenschicht über die zellulare Verbindungsvorrichtung, Bestimmen eines Kollisionsrisikos auf der Grundlage des Standorts des Motorrads von der GPS-Vorrichtung und der Kollisionsrisikokartenschicht, Empfangen von Videobildern von der vorwärtsgerichteten Kamera und der rückwärtsgerichteten Kamera, Durchführen eines auf Computer Vision und maschinellem Lernen basierenden Objekterkennungs- und - verfolgungsprozesses, um Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen, Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen und erfasste Objektdaten auszugeben, eine Hindernisnäherkennungsverarbeitung unter Verwendung der erfassten Objektdaten durchzuführen, um erfasste Hindernisdaten bereitzustellen, eine akustische, taktile oder visuelle Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads auf der Grundlage der erfassten Hindernisdaten auszugeben und die Hindernisnäherkennungsverarbeitung und die Ausgabe der akustischen, taktilen oder visuellen Benachrichtigung auf der Grundlage des bestimmten Kollisionsrisikos anzupassen.
In einigen Ausführungsformen wird die Verarbeitung der Hinderniserkennung auf der Grundlage des ermittelten Kollisionsrisikos so angepasst, dass die Verarbeitung der Hinderniserkennung räumlich auf einen Bereich des Videos fokussiert wird, der einer Stelle entspricht, an der das ermittelte Kollisionsrisiko hoch ist.
In einigen Ausführungsformen wird über ein Ausgabesystem eine akustische, taktile oder visuelle Benachrichtigung an den Fahrer des Motorrads auf der Grundlage des ermittelten Kollisionsrisikos ausgegeben.
In einigen Ausführungsformen wird die Verarbeitung der Hinderniserkennung auf der Grundlage des ermittelten Kollisionsrisikos so angepasst, dass sie aktiv wird oder die Verarbeitungshäufigkeit erhöht wird, wenn das ermittelte Kollisionsrisiko relativ hoch ist.
In einigen Ausführungsformen wird die Ausgabe von akustischen, taktilen oder visuellen Benachrichtigungen so angepasst, dass ein erhöhtes Kollisionsrisiko visuell erkannt wird, wenn das ermittelte Kollisionsrisiko relativ hoch ist.
In Ausführungsformen umfasst das Melden von Unfallbedingungen über das Mobilfunkgerät das Melden von Ort und Zeit, die Kollisionsrisikokartenschicht umfasst georeferenzierte Kollisionsdaten und zeitreferenzierte Kollisionsdaten, und die Prozesse umfassen das Bestimmen des Risikos der Kollision auf der Grundlage des Standorts des Motorrads vom GPS-Gerät, der aktuellen Zeit und der Kollisionsrisikokartenschicht.
In bestimmten Ausführungsformen umfassen die Verfahren die Bestimmung eines Unfallzustands auf der Grundlage eines Ereignisses mit hoher Beschleunigung und die Bestimmung des Ereignisses mit hoher Beschleunigung auf der Grundlage von Daten aus dem GPS-Gerät, einer Trägheitsmesseinheit und der Computer-Vision-Verarbeitung des Videos.
Ein weiterer Aspekt ist ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad. Das System umfasst eine vorwärtsgerichtete Wärmebildkamera und eine rückwärtsgerichtete Wärmebildkamera, die an dem Motorrad angebracht werden können, sowie einen Prozessor, der mit der vorwärtsgerichteten Wärmebildkamera und der rückwärtsgerichteten Wärmebildkamera kommunizieren kann. Der Prozessor führt Prozesse aus, einschließlich des Empfangens von Video von der vorwärtsgerichteten Wärmebildkamera und der rückwärtsgerichteten Wärmebildkamera, des Durchführens eines auf Computersicht und maschinellem Lernen basierenden Objekterkennungs- und - verfolgungsprozesses, um Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen und um Daten über erkannte Objekte auszugeben, des Durchführens einer Hindernisnäherkennungsverarbeitung unter Verwendung der Daten über erkannte Objekte, um Daten über erkannte Hindernisse bereitzustellen, und des Ausgebens einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads auf der Grundlage der Daten über erkannte Hindernisse.
In einigen Ausführungsformen ist ein Gerät mit zellularer Konnektivität enthalten. Die Prozesse umfassen die Meldung von Unfallbedingungen auf der Grundlage von Daten aus einem GPS-Gerät, einer Trägheitsmesseinheit und einem Computer-Vision-Prozess des Videos.
In einigen Ausführungsformen umfasst die Verarbeitung der Hinderniserkennung die Identifizierung eines Tieres, das ein Hindernis auf der Straße darstellt.
In einigen Ausführungsformen beinhaltet die Durchführung der Hinderniserkennung die Identifizierung eines Tieres, das ein Hindernis auf der Straße darstellt, und die Meldung eines Unfallzustandes beinhaltet die Meldung des identifizierten Tieres, das das Hindernis auf der Straße darstellt.
In bestimmten Ausführungsformen umfassen die Verfahren den Empfang von aus einer Menschenmenge stammenden, georeferenzierten und zeitbezogenen Daten über identifizierte Tiere, die Hindernisse auf einer Straße darstellen, und die Ausgabe von akustischem, taktilem oder visuellem Feedback über ein Ausgabesystem an den Fahrer des Motorrads auf der Grundlage der aus einer Menschenmenge stammenden, georeferenzierten und zeitbezogenen Daten.
In bestimmten Ausführungsformen erkennt und klassifiziert das auf Computer Vision und maschinellem Lernen basierende Verfahren zur Objekterkennung und -verfolgung eine Schlange oder ein anderes nicht-menschliches Tier im Video und gibt entsprechende Objektdaten aus.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleiche Bezugsziffern gleiche Elemente bezeichnen und wobei:

1 ist ein funktionelles Blockdiagramm eines Motorrads, das ein Hinderniserkennungs- und Benachrichtigungssystem gemäß einer beispielhaften Ausführungsform enthält;
2 ist ein Funktionsblockdiagramm des Hinderniserkennungs- und Benachrichtigungssystems von 1 gemäß einer beispielhaften Ausführungsform;
3 ist eine Anzeigevorrichtung für die Fahrerbeleuchtung, die in dem Hinderniserkennungs- und Benachrichtigungssystem der 1 und 2 enthalten ist, in Übereinstimmung mit einer beispielhaften Ausführungsform;
4 ist ein Flussdiagramm eines Verfahrens zur Implementierung der Hinderniserkennung und -benachrichtigung einschließlich der Erkennung des toten Winkels beim Rückwärtsfahren, das in Verbindung mit dem Motorrad von 1 und dem Hinderniserkennungs- und -benachrichtigungssystem von 2 gemäß einer beispielhaften Ausführungsform verwendet werden kann;
5 ist ein Flussdiagramm eines Verfahrens zur Implementierung einer Hinderniserkennung und -benachrichtigung einschließlich der Verwendung einer Wärmekarte des Kollisionsrisikos, die in Verbindung mit dem Motorrad von 1 und dem Hinderniserkennungs- und -benachrichtigungssystem von 2 gemäß einer beispielhaften Ausführungsform verwendet werden kann; und
6 ist ein Flussdiagramm eines Verfahrens zur Implementierung einer Hinderniserkennung und -benachrichtigung einschließlich der Durchführung einer Tiererkennung unter Verwendung von Wärmebildern, das in Verbindung mit dem Motorrad von 1 und dem Hinderniserkennungs- und -benachrichtigungssystem von 2 gemäß einer beispielhaften Ausführungsform verwendet werden kann.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, durch ausdrückliche oder stillschweigende Theorien gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt sind. Wie hierin verwendet, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bieten.
1 zeigt ein Motorrad 100 gemäß einer beispielhaften Ausführungsform. Wie weiter unten ausführlicher beschrieben, umfasst das Motorrad 100 ein Hinderniserkennungs- und -benachrichtigungssystem 200 (ODNS), das maschinelles Sehen mit zwei Kameras (MV) mit künstlicher Intelligenz (AI) umfasst, um Hindernisse zu erkennen und vorherzusagen und dem Fahrer des Motorrads 100 eine Benachrichtigung zu geben.
Wie in 1 dargestellt, umfasst das Motorrad 100 neben dem oben erwähnten ODNS 200 eine Karosserie 114 und zwei Räder 116. Der Fahrer trägt einen Helm 102, der mit dem ODNS 200 kommunikativ gekoppelt sein kann, wie weiter unten beschrieben. Die Karosserie 114 umfasst einen Motor (nicht dargestellt), ein Bremssystem (nicht dargestellt) und Griffe (nicht dargestellt) zum Lenken eines Vorderrads. In einer Ausführungsform umfasst der Motor einen Verbrennungsmotor. In anderen Ausführungsformen ist der Motor ein Elektromotor/Generator anstelle des Verbrennungsmotors oder zusätzlich zu diesem. Wie in 1 dargestellt, ist der Motor über ein oder mehrere Getriebesysteme mit mindestens einem der Räder 116 verbunden. Das Bremssystem sorgt für die Abbremsung des Motorrads 100. Das Bremssystem empfängt Eingaben des Fahrers über ein Bremspedal (nicht abgebildet) oder einen Bremshebel und sorgt über Bremseinheiten (ebenfalls nicht abgebildet) für eine angemessene Bremsung. Der Fahrer gibt auch über einen Gashebel (nicht abgebildet) die gewünschte Geschwindigkeit oder Beschleunigung des Motorrads 100 vor.
Zurückgehend auf die beispielhafte Ausführungsform von 1 enthält das Motorrad 100 eine oder mehrere Kameras 210, 212 als Teil eines Computer-Vision-Systems. Die eine oder mehreren Kameras 210, 212 können eine vorwärtsgerichtete Kamera 210 zur Erfassung einer externen Szene vor dem Motorrad 100 und eine rückwärtsgerichtete Kamera 212 zur Erfassung einer externen Szene hinter dem Motorrad 100 umfassen. Die vorwärtsgerichtete(n) Kamera(s) 210 kann/können oberhalb eines Motorradscheinwerfers, unterhalb des Motorradscheinwerfers, innerhalb des Motorradscheinwerfers (z. B. wenn sie während der Herstellung desselben in diesen integriert wird) oder auf jede andere Weise positioniert werden, die der/den vorwärtsgerichteten Kamera(s) eine klare Sicht auf den Bereich vor dem Motorrad 100 ermöglicht. Die rückwärtsgerichtete(n) Kamera(s) 212 kann/können oberhalb eines Motorradrücklichts, unterhalb des Motorradrücklichts, innerhalb des Motorradrücklichts (z. B. wenn es bei der Herstellung desselben integriert wird) oder auf jede andere Weise positioniert werden, die der/den rückwärtsgerichteten Kamera(s) 212 eine klare Sicht auf den hinteren Bereich des Motorrads 100 ermöglicht. Die Kameras 210, 212 können Weitwinkelkameras sein, die in der Lage sind, jeden Winkel über 60°, 90° oder sogar im Bereich von 130° bis 175° oder mehr einer vorwärtsgerichteten Szene oder rückwärtsgerichteten Szene zu sehen. Bei den Kameras 210, 212 kann es sich um monokulare Kameras handeln, die zumindest RGB (Rot, Grün, Blau)-Video (bestehend aus Einzelbildern von Bilddaten) liefern können. In anderen Ausführungsformen sind die Kameras 210, 212 stereoskopische Kameras. In einigen Ausführungsformen umfassen die Kameras 210, 212 Wärmebild- (oder Infrarot-) Fähigkeiten. Die vorwärtsgerichtete(n) Kamera(s) 210 und die rückwärtsgerichtete(n) Kamera(s) 212 können eine Auflösung von mindestens zwei Megapixeln (MP) und in einigen Ausführungsformen von mindestens fünf MP haben. Die vorwärtsgerichtete(n) Kamera(s) 210 und die rückwärtsgerichtete(n) Kamera(s) 212 können eine Bildrate von mindestens zwanzig Bildern pro Sekunde (FPS) und in einigen Ausführungsformen von mindestens dreißig FPS haben. Es können zusätzliche Kameras eingesetzt werden, wie z. B. vorwärts- und rückwärtsgerichtete Schmalwinkelkameras, die bei größeren Entfernungen eine höhere Genauigkeit aufweisen können.
Obwohl 1 die vorwärtsgerichtete(n) Kamera(s) 210 und die rückwärtsgerichtete(n) Kamera(s) 212 zeigt, kann das Motorrad zusätzliche Sensoren enthalten, einschließlich vorwärts- und/oder rückwärtsgerichtete(s) Radargerät(e) 214 (wie in 2 gezeigt), eine Vielzahl von Laserentfernungsmessern oder jeden anderen Sensor, der die Hinderniserkennung und -vorhersage unterstützen kann.
Mit zusätzlichem Bezug auf 2 umfasst das ODNS 200 in einer beispielhaften Ausführungsform ein Steuergerät 204, ein Ausgabesystem 206, die vorwärts und rückwärts blickenden Kameras 210, 212, die Radarvorrichtung 214, eine Mobilfunkverbindungsvorrichtung 216, eine GPS-Vorrichtung 218, eine lokale Kommunikationsvorrichtung 252 und eine erweiterte Kartendatenbank 254. Das ODNS 200 überwacht die Umgebung des Motorrads 100 auf Annäherungsereignisse, darunter mindestens eines der folgenden: Fahrzeuge im toten Winkel des Fahrers, der Fahrer befindet sich möglicherweise im toten Winkel eines anderen Fahrzeugs (rückwärtiger toter Winkel), gewöhnliche Straßenobjekte (z. B. ein sich unerwartet näherndes Fahrzeug, Fußgänger usw.), ungewöhnliche Straßenobjekte (z. B. Wüstentiere, die nachts auf der warmen Straße liegen) und sich schnell nähernde Fahrzeuge von hinten. Das ODNS 200 kann potenzielle Kollisionen vorhersagen (z. B. ein Fahrzeug, das unerwartet vor dem Motorrad 100 ausschert), indem es georeferenzierte Motorradkollisionsstandorte mit hohem Risiko verwendet, die aus früheren Kollisionsdaten über einen Telematik-Feed gewonnen wurden. Es können verschiedene Ausgaben sowohl für den Fahrer als auch für externe Fahrzeuge bereitgestellt werden, wie z. B. das Aktivieren eines Bremsrücklichts am Motorrad, wenn sich ein Fahrzeug dem Motorrad 100 schnell nähert. In einem Beispiel stellt das ODNS 200 diese Funktionen in Übereinstimmung mit den Methoden 400, 500 und 600 bereit, die weiter unten in Verbindung mit den bis beschrieben werden. Das ODNS 200 umfasst Hardware, die auf dem Motorrad zu installieren ist, und zugehörige Software, die im Steuergerät 204 verkörpert ist, das die hier beschriebenen Funktionen steuert. Das ODNS 200 kann von Technikern als Nachrüstung oder während der Herstellung des Motorrads 100 in das Motorrad eingebaut werden. Einige Elemente des ODNS 200 können in einem mobilen Telekommunikationsgerät des Fahrers enthalten sein, wie z. B. das Steuergerät 204 (oder ein Teil davon), das Fahrerlichtanzeigegerät 220 und das Videoanzeigegerät 228. Die Fahrerlichtanzeigevorrichtung 220 würde grafisch auf einem Display des mobilen Telekommunikationsgeräts dargestellt werden und nicht durch LEDs wie in dem hier weiter beschriebenen integrierten Hardwaresystem.
In 2 ist ein funktionelles Blockdiagramm für das ODNS 200 von 1 gemäß einer beispielhaften Ausführungsform dargestellt. Das Steuergerät 204 ist mit den Kameras 210, 212, dem Radargerät 214, dem Mobilfunkgerät 216, dem GPS-Gerät 218, der erweiterten Kartendatenbank 254, dem lokalen Kommunikationsgerät 252 und dem Ausgabesystem 206 verbunden. Das Steuergerät 204 empfängt Videodaten von den Kameras 210, 212 und führt darauf basierend eine auf Computer Vision und maschinellem Lernen basierende Objekterkennung und -verfolgung, eine Erkennung des toten Winkels beim Rückwärtsfahren, eine Vorhersage des Kollisionsrisikos, eine Erkennung der Nähe von Hindernissen und andere hierin weiter beschriebene Vorgänge durch. Das Steuergerät 204 gibt dem Fahrer eine Benachrichtigung über erkannte Hindernisse oder potenzielle Hindernisse. Das Steuergerät 204 kann zusätzlich eine Benachrichtigung an andere Fahrzeuge und möglicherweise auch an elektronisch gesteuerte Komponenten des Motorrads 100 geben, um z. B. automatisches Bremsen, automatische Drosselklappensteuerung, automatisches Schalten usw. zu realisieren. Das Steuergerät 204 kann sich unter einem Sitz des Motorrads 100 befinden, kann aber auch an anderen Stellen im Motorrad angebracht sein, beispielsweise hinter einer Anzeigetafel zwischen den Griffen des Motorrads 100. Das Steuergerät 204 kann an eine Batterie des Motorrads 100 angeschlossen werden oder über eine eigene Stromversorgung verfügen.
Wie in 2 dargestellt, umfasst das Steuergerät 204 ein Computersystem. In der dargestellten Ausführungsform umfasst das Computersystem des Steuergeräts 204 einen Prozessor 230, einen Speicher 232, eine Speichereinrichtung 236 und einen Bus 238. Der Prozessor 230 führt die Berechnungs- und Steuerfunktionen des Steuergeräts 204 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltungen wie einen Mikroprozessor oder eine beliebige Anzahl von integrierten Schaltkreisen und/oder Leiterplatten umfassen, die zusammenarbeiten, um die Funktionen einer Verarbeitungseinheit zu erfüllen. Während des Betriebs führt der Prozessor 230 ein oder mehrere Programme 240 aus, die im Speicher 232 enthalten sind, und steuert so den allgemeinen Betrieb des Steuergeräts 204 und des Computersystems des Steuergeräts 204, im Allgemeinen bei der Ausführung der hierin beschriebenen Prozesse, wie z. B. der weiter unten in Verbindung mit den 4 bis 6 beschriebenen Verfahren 400, 500, 600. Das eine oder die mehreren Computerprogramme 240 umfassen mindestens ein Modul 242 zur Objekterkennung und -verfolgung, ein Modul 246 zur Erkennung der Hindernisnähe, ein Modul 244 zur Erkennung des toten Winkels und ein Modul 248 zur Vorhersage des Kollisionsrisikos, um Schritte der unten im Detail beschriebenen Verfahren 400, 500, 600 durchzuführen.
Der Prozessor 230 ist in der Lage, ein oder mehrere Programme auszuführen (d. h. Software laufen zu lassen), um verschiedene Aufgaben zu erfüllen, die in dem/den Programm(en) kodiert sind, insbesondere das Modul zur Objekterkennung und -verfolgung 242, das Modul zur Erkennung der Hindernisnähe 246, das Modul zur Erkennung des toten Winkels 244 und das Modul zur Vorhersage des Kollisionsrisikos 248. Der Prozessor 230 kann ein Mikroprozessor, ein Mikrocontroller, ein anwendungsspezifischer integrierter Schaltkreis (ASIC) oder eine andere geeignete Vorrichtung sein, wie sie von Fachleuten erkannt wird.
Bei dem Speicher 232 kann es sich um jede Art von geeignetem Speicher handeln. Dazu gehören die verschiedenen Arten von dynamischem Direktzugriffsspeicher (DRAM) wie SDRAM, die verschiedenen Arten von statischem RAM (SRAM) und die verschiedenen Arten von nichtflüchtigem Speicher (PROM, EPROM und Flash). In bestimmten Beispielen befindet sich der Speicher 232 auf demselben Computerchip wie der Prozessor 230 und/oder ist mit diesem zusammen untergebracht.
Der (die) Bus(e) 238 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems des Steuergeräts 204 und zwischen den verschiedenen Hardwarekomponenten, einschließlich des Ausgabesystems 206, der vorwärts- und rückwärtsgerichteten Kameras 210, 212, der zellularen Verbindungsvorrichtung 216, der GPS-Vorrichtung 218, der lokalen Kommunikationsvorrichtung 252 und der erweiterten Kartendatenbank 254. Der/die Bus(e) 238 kann/können jedes geeignete physische oder logische Mittel zur Verbindung von Computersystemen und Komponenten sein. Dazu gehören unter anderem direkte, fest verdrahtete Verbindungen, Glasfaserkabel, Infrarot- und drahtlose Bustechnologien.
Die Speichervorrichtung 236 kann jede geeignete Art von Speichergerät sein, einschließlich Speichergeräten mit direktem Zugriff wie Festplattenlaufwerke, Flash-Systeme, Diskettenlaufwerke und optische Laufwerke. In einer beispielhaften Ausführungsform umfasst die Speichervorrichtung 236 ein Programmprodukt, von dem der Speicher 232 ein Programm 240 (einschließlich der Computermodule 242, 244, 246, 248) empfangen kann, das eine oder mehrere Ausführungsformen eines oder mehrerer Prozesse der vorliegenden Offenbarung ausführt, wie die Schritte der Verfahren 400, 500 und 600 (und beliebige Unterprozesse davon). In einer anderen beispielhaften Ausführungsform kann das Programmprodukt direkt im Speicher 232 und/oder auf einer Festplatte (z. B. Diskette), wie im Folgenden beschrieben, gespeichert werden und/oder es kann anderweitig darauf zugegriffen werden. Die erweiterte Kartendatenbank 254 kann in dem Speicher 232 gespeichert werden.
Es wird deutlich, dass diese beispielhafte Ausführungsform zwar im Zusammenhang mit einem voll funktionsfähigen Computersystem beschrieben wird, der Fachmann jedoch erkennen wird, dass die Mechanismen der vorliegenden Offenbarung als Programmprodukt mit einer oder mehreren Arten von nicht transitorischen, computerlesbaren, signaltragenden Medien verteilt werden können, die zum Speichern des Programms und seiner Anweisungen und zur Durchführung seiner Verteilung verwendet werden, wie z. B. ein nicht transitorisches, computerlesbares Medium, das das Programm trägt und darin gespeicherte Computeranweisungen enthält, um einen Computerprozessor (wie den Prozessor 230) zu veranlassen, das Programm auszuführen und durchzuführen. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenbarung gilt gleichermaßen unabhängig von der besonderen Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind: beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Platten sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. Es wird ebenfalls deutlich, dass sich das Computersystem des Steuergeräts 204 auch anderweitig von der in 2 dargestellten Ausführungsform unterscheiden kann, zum Beispiel dadurch, dass das Computersystem des Steuergeräts 204 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen kann.
In der beispielhaften Ausführungsform von 2 umfasst das Ausgabesystem 206 mindestens eines der folgenden Elemente: eine Fahrerbeleuchtungsanzeigevorrichtung 220, ein externes Beleuchtungssystem 222, einen Fahrerlautsprecher 224, eine taktile Rückmeldevorrichtung 226, eine Videoanzeigevorrichtung 228 und einen externen Lautsprecher 256. Das Ausgabesystem 206 reagiert auf Ausgabedaten vom Steuergerät 204, um einem Fahrer des Motorrads 100 oder einem Fahrer eines externen Fahrzeugs eine visuelle, akustische oder taktile Benachrichtigung zu geben. Wenn das Steuergerät 204 eine Bedrohung für das Motorrad 100 feststellt, gibt es eine Warnung an den Fahrer des Motorrads 100 aus, damit dieser Maßnahmen zur Beseitigung oder Verringerung eines Risikos ergreifen kann. Die Warnungen können auf jede Art und Weise erfolgen, die von einem Fahrer des Motorrads 100 wahrgenommen werden kann. In einigen Fällen kann die Warnung visuell über die Beleuchtungsanzeigevorrichtung 220 des Fahrers, taktil über die taktile Rückmeldevorrichtung 226 und/oder akustisch über den Fahrerlautsprecher 224 erfolgen. Einige Teile des Ausgabesystems 206 können im Helm 102 enthalten sein, wie der Fahrerlautsprecher 224, die taktile Rückmeldevorrichtung 226 und/oder die Fahrerbeleuchtungsanzeigevorrichtung 220. Die lokale Kommunikationsvorrichtung 252 ermöglicht es dem Steuergerät 204, Daten über ein beliebiges geeignetes lokales Kommunikationsprotokoll wie Bluetooth oder WiFi an den Helm 102 zu senden. In einer Ausführungsform wird die lokale Kommunikationsvorrichtung 252 durch eine lokale Kommunikationsfähigkeit eines mobilen Telekommunikationsgeräts des Fahrers ermöglicht.
Die Fahrerbeleuchtungsanzeigevorrichtung 220 eines Ausführungsbeispiels ist in 3 dargestellt. Die Fahrerbeleuchtungsanzeigevorrichtung 220 umfasst eine Vielzahl von Lichtemittern 302, die aktiviert werden können, um das Vorhandensein und die Richtung eines Hindernisses oder eines potenziellen Hindernisses anzuzeigen. Die Fahrerbeleuchtungsanzeigevorrichtung 220 umfasst eine Vielzahl von Lichtemittern 302, die in einem Ring um eine Motorradorientierungsreferenzgrafik 304 angeordnet sind. In der beispielhaften Ausführungsform sind acht Lichtemitter 302 gleichmäßig in der Ringform verteilt, um acht Richtungsgrade für die Warnung bereitzustellen. Es können jedoch auch mehr oder weniger Lichtsender 302 vorgesehen werden. So könnten beispielsweise vier Lichtemitter 304 vorhanden sein, um vier Richtungen der Warnung zu ermöglichen, einschließlich vorwärts, rückwärts, links und rechts. Die Lichtemitter 302 können in einer Ausführungsform LEDs sein. Das Steuergerät 204 kann Daten ausgeben, die die Richtung und den Schweregrad einer Kollisionsgefahr angeben, und die Fahrerbeleuchtungsanzeigevorrichtung 220 entsprechend ansteuern. In einer solchen Ausführungsform können die Lichtemitter 302 so gesteuert werden, dass sie je nach Gefährdungsstufe unterschiedliche Farben ausstrahlen, z. B. rot für Serveralarm, orange für hohen Alarm, gelb für erhöhten Alarm und grün für niedrigen Alarm oder eine Untergruppe von zwei oder drei dieser Alarmstufen. Es sind auch andere Anordnungen von Lichtemittern 302 möglich, die die Richtungsabhängigkeit und den Schweregrad der Bedrohung ermöglichen, wie z. B. Lichtleisten, die an den Spiegeln des Motorrads 100 angebracht sind. Die Fahrerbeleuchtungs-Anzeigevorrichtung 220 kann auch so gesteuert werden, dass sie eine Art von Bedrohung unterscheidet, z. B. durch unterschiedliche Blinkfrequenzen für verschiedene Bedrohungsarten. Die Fahrerbeleuchtungs-Anzeigevorrichtung 222 könnte in einem Anzeigefeld zwischen den Griffen des Motorrads 100 untergebracht sein oder auf ein Schild des Helms 102 projiziert oder von diesem angezeigt werden.
Das externe Beleuchtungssystem 222 umfasst vorhandene oder zusätzliche Leuchten des Motorrads 100, um Fahrern fremder Fahrzeuge anzuzeigen, dass sie eine Kollisionsgefahr für das Motorrad darstellen, wenn eine solche Feststellung durch das Steuergerät 204 getroffen wird. Beispielsweise informiert das externe Beleuchtungssystem 222 die Fahrer anderer Fahrzeuge über eine hintere Bremsleuchte (z. B. eine LED) am Motorrad 100, wenn das Steuergerät 204 feststellt, dass sich ein Fahrzeug dem Motorrad schnell von hinten nähert. In diesem Fall kann der Motorradfahrer eine Benachrichtigung über die Anzeigevorrichtung 220 für die Fahrerbeleuchtung erhalten und der Fahrer des Fahrzeugs erhält eine Benachrichtigung über die hintere Bremsleuchte oder eine andere Rückleuchte des externen Beleuchtungssystems 222. Externe Front- und/oder Seitenleuchten könnten auch als zusätzliche Leuchten oder als Teil der vorhandenen Leuchten des Motorrads 100 eingebaut werden, um externe Fahrer vor dem Motorrad 100 und seitlich des Motorrads 100 zu warnen. Der externe Lautsprecher 256, bei dem es sich um eine in das Motorrad 100 integrierte Hupe oder ein zusätzliches Gerät handeln kann, kann zusätzlich oder alternativ externe Fahrzeuge oder Menschen vor einer Kollisionsgefahr mit dem Motorrad warnen, wenn eine solche Kollisionsgefahr vom Steuergerät 204 festgestellt wurde. Um eine Richtungsabhängigkeit der akustischen Warnung zu ermöglichen, könnten mehrere externe Lautsprecher 256 um das Motorrad 100 herum angeordnet werden, z. B. vorne, hinten, auf der linken und der rechten Seite.
In bestimmten Ausführungsformen kann die Warnmeldung eine Vibration sein, die dem Fahrer des Motorrads 100 über ein oder mehrere vibrierende oder andere taktile Elemente, die in der taktilen Rückmeldevorrichtung 226 enthalten sind, übermittelt wird und eine vom Fahrer des Motorrads 100 wahrgenommene Vibration verursacht. In einigen Fällen kann die Vibration in Abhängigkeit von der Schwere der Bedrohung eingestellt werden, so dass die Vibration umso stärker ist, je höher das Risiko ist. Die Vibrationselemente können zusätzlich oder alternativ in eine vom Fahrer des Motorrads 100 getragene Jacke, in den Sitz des Motorrads 100 oder in einen vom Fahrer des Motorrads 100 getragenen Helm 102 integriert werden.
In Ausführungsformen wird die Warnung über den Fahrerlautsprecher 224 ausgegeben. Die Warnung wird dem Fahrer des Motorrads 100 über den einen oder die mehreren Fahrerlautsprecher 224 in Form einer akustischen Benachrichtigung übermittelt. Die Fahrerlautsprecher 224 können in den Helm 102 des Fahrers integriert sein oder auch andere Lautsprecher, die Töne erzeugen, die vom Fahrer des Motorrads 100 gehört werden können. In einigen Fällen kann es sich bei der akustischen Benachrichtigung um eine Sprachmeldung in natürlicher Sprache handeln, die Informationen über die Art und/oder den Schweregrad der identifizierten Bedrohung und/oder die Richtung der Bedrohung liefert. In einigen Fällen kann die Lautstärke in Abhängigkeit vom Schweregrad des Risikos eingestellt werden, so dass die Lautstärke umso höher ist, je höher das Risiko ist.
In einigen Ausführungsformen liefert das Videoanzeigegerät 228 eine Live-Videoübertragung von der vorwärtsgerichteten Kamera 210 und/oder der rückwärtsgerichteten Kamera 212. Die Live-Videoübertragung kann einen fokussierten Bereich der gesamten Videodaten basierend auf der Richtung der Bedrohung anzeigen. Die Live-Videoübertragung kann durch grafische Anzeigen von Kollisionsgefahren ergänzt werden, wobei zwischen verschiedenen Arten von Gefahren, verschiedenen Gefahrenstufen und der Richtung der Bedrohung unterschieden wird, wie von der Steuereinheit 204 bestimmt. In einigen Ausführungsformen wird das Video der vorwärts- und rückwärtsgerichteten Kameras 210, 212 in der Speichereinrichtung 236 aufgezeichnet.
Die verschiedenen möglichen Ausgabeoptionen des oben beschriebenen Ausgabesystems 206 können einzeln oder in beliebiger Kombination bereitgestellt werden. Nach der Beschreibung des Ausgabesystems 206 und einiger beispielhafter akustischer, visueller oder taktiler Rückmeldemechanismen zum Schweregrad der Bedrohung und zu den vom Steuergerät 204 ermittelten Richtungen wird nun eine detailliertere Beschreibung der Softwareoperationen des Steuergeräts gegeben.
Das Modul 242 zur Objekterkennung und -verfolgung kann durch eine Reihe von Objekterkennungs- und -verfolgungsalgorithmen implementiert werden (siehe ). In einer Ausführungsform empfängt das Objekterkennungs- und -verfolgungsmodul 242 Videodaten von den vorwärts- und rückwärtsgerichteten Kameras 210, 212 und lässt die Videodaten oder eine Ableitung davon durch einen Algorithmus für maschinelles Lernen laufen, um Hindernisse zu klassifizieren und zu lokalisieren, auf deren Erkennung der Algorithmus für maschinelles Lernen trainiert ist. Der maschinelle Lernalgorithmus kann ein Convolutional Neural Network (CNN) oder ein anderes neuronales Netzwerk umfassen. Ein Beispiel für einen geeigneten maschinellen Lernalgorithmus ist You Only Look Once (YOLO). Der Objekterkennungsteil des Objekterkennungs- und - verfolgungsmoduls 242 liefert Daten über das erkannte Objekt, einschließlich der Größe des Begrenzungsrahmens, der Position und der Klassifizierungsinformationen. Verschiedene Hindernisklassifizierungen sind möglich, darunter Fahrzeug, Fußgänger, Radfahrer, nichtmenschliche Tiere usw. Der Objektverfolgungsteil des Objekterkennungs- und -verfolgungsmoduls 242 verfolgt ein erkanntes Objekt über die Zeit (mehrere Einzelbilder von Videodaten), um Geschwindigkeits- und Beschleunigungsinformationen für verfolgte Objekte abzuleiten und den Weg des Hindernisses vorherzusagen. In einer Ausführungsform kann ein erweiterter Kalman-Filter unter Verwendung eines Bewegungsmodells für das verfolgte Objekt in den Objektverfolgungsteil aufgenommen werden. Das Modul 242 zur Objekterkennung und -verfolgung verwendet intrinsische und extrinsische Kameraparameter und möglicherweise auch Bewegungsparameter von einer Trägheitsmesseinheit (nicht dargestellt) oder anderen Bewegungssensoren des Motorrads 100, um erfasste Objektdaten in realen Koordinaten in einem Koordinatensystem relativ zum Motorrad 100 bereitzustellen. Das Objekterkennungs- und -verfolgungsmodul 242 ist somit in der Lage, Standort, Geschwindigkeit, Beschleunigung, Wegprojektion und Klassifizierungsdaten für jedes erkannte Objekt in vorwärts- und rückwärtsgerichteten Szenen auszugeben. Diese Daten sind in den Daten der erkannten Objekte enthalten, die dem Modul 246 zur Erkennung der Hindernisnähe und dem Modul 244 zur Erkennung des toten Winkels bei Rückwärtsfahrt bereitgestellt werden. Das Objekterkennungs- und - verfolgungsmodul 242 wurde aus Gründen der Übersichtlichkeit auf relativ hohem Niveau beschrieben. In der Literatur ist eine Reihe von Anwendungen zur Objekterkennung und - verfolgung beschrieben, die Videodaten empfangen und Computer Vision und maschinelles Lernen zur Klassifizierung und Verfolgung von erkannten Objekten verwenden.
Das Modul 246 zur Erkennung der Hindernisnähe empfängt die Daten des erkannten Objekts und Daten über die Bewegung des Motorrads 100 von der IMU oder von anderen Bewegungssensoren, wie z. B. einem Raddrehzahlsensor. Auf diese Weise ist das Modul 246 zur Erkennung der Hindernisnähe in der Lage, den Weg des Motorrads 100 und die voraussichtlichen Wege sich bewegender Hindernisse zu projizieren, um festzustellen, ob eine Kollisionsgefahr besteht oder eine potenzielle räumliche Überschneidung mit erkannten stationären Hindernissen vorliegt. Eine Kollisionsgefahr kann durch eine projizierte Kollision bestimmt werden, die in weniger als einer ersten vorbestimmten Zeitschwelle stattfindet. In einigen Ausführungsformen können mehrere unterschiedliche Zeitschwellenwerte verwendet werden, um verschiedene Gefahrenstufen zu definieren. Darüber hinaus können die gegenseitigen Bewegungsprojektionen zwischen dem Motorrad 100 und den verschiedenen sich bewegenden Hindernissen verglichen werden, um eine Richtungsabhängigkeit der Bedrohung zu bestimmen, indem eine Richtung relativ zum Motorrad 100 ermittelt wird, in die sich ein Hindernis bewegt. Bei stationären Hindernissen kann die Richtungsabhängigkeit auf der Grundlage der relativen Position zwischen dem Motorrad 100 und der erkannten Position des stationären Objekts bestimmt werden. Das Modul 246 zur Erkennung der Hindernisnähe und -richtung kann Daten zur Kollisionsgefahr ausgeben, die den Schweregrad der Kollisionsgefahr und die Richtungsabhängigkeit angeben und in die Ausgabedaten für das Ausgabesystem 206 aufgenommen werden können, um verschiedene Ausgabegeräte wie oben beschrieben zu aktivieren. Das Hindernisannäherungs- und -erkennungsmodul 246 kann zusätzlich die erkannten Bedrohungsarten in den Ausgabedaten unterscheiden.
Das Modul 246 zur Erkennung von Hindernissen erkennt mehrere Arten von Annäherungsereignissen, darunter Fahrzeuge im toten Winkel des Fahrers, ein Fahrer, der sich möglicherweise im toten Winkel eines anderen Fahrzeugs befindet (umgekehrter toter Winkel), wie weiter unten beschrieben, gewöhnliche Straßenobjekte (z. B. ein sich unerwartet näherndes Fahrzeug, Fußgänger usw.), ungewöhnliche Straßenobjekte (z. B. Wüstentiere, die nachts auf der warmen Straße liegen), wie weiter unten beschrieben, sich schnell nähernde Fahrzeuge von hinten, mögliche Kollisionen (z. B. ein Fahrzeug kann unerwartet vor dem Fahrer anhalten).), ungewöhnliche Straßenobjekte (z. B. Wüstentiere, die nachts auf der warmen Straße liegen), wie weiter unten beschrieben, sich schnell von hinten nähernde Fahrzeuge, potenzielle Kollisionen (z. B. ein Fahrzeug kann unerwartet vor dem Fahrer ausscheren, ist es aber noch nicht), wie weiter unten beschrieben, usw..
In einigen Ausführungsformen ist das Objekterkennungs- und -verfolgungsmodul 242 darauf trainiert, nichtmenschliche Tiere auf der Grundlage von Wärmebildern zu erkennen, die von der vorwärtsgerichteten Kamera 210, der rückwärtsgerichteten Kamera 212 oder einer anderen vorwärts- oder rückwärtsgerichteten Kamera, die sich besonders für Wärmebilder eignet, empfangen werden. Eine solche Ausführungsform ist so konzipiert, dass sie nichtmenschliche Tiere bei schlechten Sichtverhältnissen wie Nebel und Nacht erkennt. Das Modul 246 zur Erkennung der Hindernisnähe empfängt die Daten der erkannten nicht-menschlichen Tiere und gibt als Reaktion darauf eine Kollisionsgefahr aus, die auf der Zeit bis zur möglichen Kollision mit dem nicht-menschlichen Tier basiert, wodurch ein Bedrohungsgrad und eine Richtung der Bedrohung bestimmt wird. Das Ausgabesystem 206 gibt daraufhin einen Hinweis auf den Bedrohungsgrad und die Richtung der Bedrohung und optional auch die Art der Bedrohung aus (z. B. über eine bestimmte Farbe oder Sequenz von Lichtemittern 302 oder einen bestimmten Ton oder eine Ansage aus dem Fahrerlautsprecher 224). In einer Ausführungsform ist das nichtmenschliche Tier eine Schlange. Schlangen und andere Wüstentiere können eine besondere Gefahr für Motorräder darstellen, da sie nachts oft auf warmen Straßen liegen.
In einigen Ausführungsformen empfängt das Modul 244 zur Erkennung des rückwärtigen toten Winkels die erfassten Objektdaten vom Modul 244 zur Objekterkennung und - verfolgung. Das Modul 244 zur Erkennung des rückwärtigen toten Winkels bestimmt einen oder mehrere Bereiche des toten Winkels für ein oder mehrere erkannte Fahrzeuge. Ein toter Winkel in einem Fahrzeug ist ein Bereich um das Fahrzeug herum, der vom Fahrer nicht direkt eingesehen werden kann, während er sich am Steuer befindet. Ein toter Winkel kann sich hinter der Seitenscheibe an einer Stelle befinden, die auch in den Seitenspiegeln nicht sichtbar ist. Motorräder sind schmaler als Autos und können sich eher vollständig im toten Winkel eines Fahrzeugs befinden. Das Modul 244 zur Erkennung des toten Winkels beim Rückwärtsfahren kann einen vorbestimmten Bereich des toten Winkels abrufen und ihn mit einem erkannten Fahrzeug an einer Stelle verbinden, an der sich ein toter Winkel befinden würde. Der vorbestimmte Bereich des toten Winkels kann in Bildkoordinaten vorliegen und im Bildraum entsprechend dem Abstand und der Ausrichtung zwischen dem Fahrzeug und dem Motorrad 100 skaliert und gedreht werden, was auf der Grundlage von kamerainternen und -externen Parametern durchgeführt werden kann. Alternativ wird der vorbestimmte Bereich des toten Winkels in realen Koordinaten bereitgestellt, und die erfassten Fahrzeuge werden in den realen Raum transformiert, so dass die vorbestimmten Bereiche des toten Winkels mit diesen verbunden werden können. In einigen Ausführungsformen ist das Objekterkennungs- und -verfolgungsmodul 244 darauf trainiert, Fahrzeuge und zusätzlich Seitenspiegel an den Fahrzeugen zu erkennen, was die genaue Lokalisierung des Bereichs des toten Winkels, der auf der Grundlage eines Begrenzungsrahmens um die Seitenspiegel angebracht ist, zusätzlich unterstützen kann. Alternativ könnte eine durchschnittliche Position relativ zu einem Begrenzungsrahmen um das Fahrzeug verwendet werden, um den Bereich des toten Winkels zu bestimmen. In einigen Ausführungsformen wird der vorbestimmte Bereich des toten Winkels auf der Grundlage einer relativen Geschwindigkeit zwischen dem anderen Fahrzeug und dem Motorrad 100 vergrößert. Die Relativgeschwindigkeit ist aus den vom Objekterkennungs- und -verfolgungsmodul 242 ausgegebenen Objektdaten bekannt (siehe oben). Je höher die Annäherungsgeschwindigkeit ist, desto wahrscheinlicher wird eine Erkennung des toten Winkels in umgekehrter Richtung, da der Fahrer des anderen Fahrzeugs weniger Zeit hat, die Seitenspiegel zu überprüfen und das Motorrad 100 zu erkennen.
Das Modul 244 zur Erkennung des rückwärtsgerichteten toten Winkels kann den Standort des Motorrads 100 mit dem/den Bereich(en) des toten Winkels vergleichen, um festzustellen, ob sich das Motorrad im Bereich des toten Winkels eines anderen Fahrzeugs befindet. Der Standort des Motorrads 100 kann durch das GPS-Gerät 218 oder durch eine Lokalisierung auf der Grundlage einer Computer-Vision-Verarbeitung der Videodaten von den vorwärts- und rückwärtsgerichteten Kameras 210, 212 ermittelt werden. In einer anderen Ausführungsform kann das Modul 244 zur Erkennung des toten Winkels bei Rückwärtsfahrt eine Bahntrajektorie des Motorrads 100, die auf der Grundlage eines Bewegungsmodells für das Motorrad 100 bestimmt werden kann, mit Standort-, Beschleunigungs- und Geschwindigkeitsdaten für das Motorrad 100 vergleichen. Die Standort-, Beschleunigungs- und Geschwindigkeitsdaten für das Motorrad werden vom GPS-Gerät 218 und/oder den Bewegungssensoren des Motorrads 100 erhalten. Basierend darauf, ob sich der Standort des Motorrads 100 innerhalb eines toten Winkels befindet oder voraussichtlich innerhalb einer vorbestimmten Zeitspanne innerhalb des toten Winkels liegen wird, liefert das Modul 244 zur Erkennung des rückwärtigen toten Winkels Ausgabedaten, die die Gefahr eines rückwärtigen toten Winkels und dessen Richtung anzeigen. Das Modul 244 zur Erkennung des rückwärtigen toten Winkels kann zusätzlich einen Bedrohungsgrad ausgeben, der auf der Nähe des Fahrzeugs und des Motorrads in seinem toten Winkelbereich oder auf deren relativen Geschwindigkeiten basiert. Das Ausgabesystem 206 gibt eine visuelle, taktile oder akustische Benachrichtigung aus, die die Richtung, den Schweregrad und optional auch die Art der Bedrohung wie oben beschrieben angibt.
In Ausführungsformen sagt das Kollisionsrisiko-Vorhersagemodul 248 Orte und Zeiten voraus, an denen ein erhöhtes Risiko einer Kollision mit einem Hindernis besteht, indem es Massendaten über Motorrad- und möglicherweise andere Fahrzeugunfälle oder Beinahe-Unfälle verwendet, die in einer Kollisionsrisiko-Kartenebene 270 der erweiterten Kartendatenbank 254 enthalten sind. Die Kollisionsrisiko-Kartenebene 270 ist eine Kartenebene, die regelmäßig mit Unfall- oder Beinahe-Unfall-Informationen über die zellulare Konnektivitätsvorrichtung 216 aktualisiert wird. Die zellulare Verbindungsvorrichtung 216 kann beispielsweise ein 4G- oder 5G-Datenkommunikationsgerät sein. In einigen Ausführungsformen wird die zellulare Konnektivitätsvorrichtung 216 durch das mobile Telekommunikationsgerät eines Fahrers unterstützt. Die Kollisionsrisikokartenschicht 270 liefert georeferenzierte und zeitbezogene Massendaten darüber, wo Kollisionen oder Beinahe-Kollisionen stattgefunden haben. In einer Ausführungsform unterscheidet die Kollisionsrisikokartenschicht 270 zwischen Motorradunfällen oder Beinaheunfällen und solchen mit anderen Fahrzeugen, da die Gefahren für ein Motorrad anders sein können als für andere Fahrzeugtypen, und das Kollisionsrisikovorhersagemodul 248 arbeitet mit den motorradspezifischen Daten. In einem Beispiel kann die Kartenebene 270 des Kollisionsrisikos eine größere Wahrscheinlichkeit von Kollisionen an einem Ort und zu einer Tageszeit (z. B. nach der Happy Hour) widerspiegeln, an dem sich eine Einfahrt in eine Bar befindet. Das Kollisionsrisikovorhersagemodul 248 filtert die Kollisionsrisikokartenebene 270 unter Verwendung der aktuellen Zeit und des aktuellen Standorts des Motorrads 100, der aus den vom GPS-Gerät 218 bereitgestellten Standortdaten bekannt ist, um bevorstehende Orte mit relativ hohem Risiko zu bestimmen (z. B. Orte, an denen das Kollisionsrisiko zum aktuellen Zeitpunkt als größer als ein Schwellenwert vorhergesagt wird). Das Modul 248 zur Vorhersage des Kollisionsrisikos kann Ausgabedaten an das Ausgabesystem 206 liefern, die die Richtungsabhängigkeit, den Gefährdungsgrad und optional die Art der Gefährdung angeben.
Das Modul 248 zur Vorhersage des Kollisionsrisikos kann die Ausgabedaten an das Modul 246 zur Erkennung der Hindernisnähe und/oder das Modul 242 zur Erkennung und Verfolgung von Objekten weiterleiten. Das Modul 246 zur Erkennung der Hindernisnähe und/oder das Modul 242 zur Erkennung und Verfolgung von Objekten reagiert auf die Anzeige des Kollisionsrisikos und den Ort in den Ausgabedaten, um die Häufigkeit der Prozesse zur Erkennung von Objekten und zur Erkennung der Hindernisnähe zu erhöhen oder diese zu aktivieren und/oder um die Prozesse zur Erkennung von Objekten und zur Erkennung der Hindernisnähe auf der Grundlage des Ortes des Kollisionsrisikos räumlich zu konzentrieren. In einer zusätzlichen oder alternativen Ausführungsform kann das Hindernisannäherungserkennungsmodul 246 seine Empfindlichkeit als Reaktion auf die Kollisionsrisikodaten vom Kollisionsrisikovorhersagemodul erhöhen, um eine höhere Bedrohungsstufe anzuzeigen oder die Annäherungsschwellen zu senken, um dem Ausgabesystem 206 leichter Ausgabedaten zu liefern, die eine Kollisionsgefahr beschreiben. So wird das ODNS in höchste Alarmbereitschaft versetzt und speziell fokussiert, wenn die Kollisionsrisikokartenschicht 270 ein bevorstehendes Kollisionsrisiko vorhersagt (z. B. innerhalb eines festgelegten Bereichs der vorwärts- und rückwärtsgerichteten Kameras 210, 212).
In einigen Ausführungsformen bestimmt das Steuergerät 204 die Unfallbedingungen auf der Grundlage von Informationen über hohe Beschleunigungen, die von der IMU (nicht dargestellt) oder dem GPS-Gerät 218 erhalten werden. Das Steuergerät 204 kann anhand der Beschleunigungsinformationen feststellen, ob das Motorrad einem Aufprall oder einer Notbremsung ausgesetzt war. Das Steuergerät 204 meldet solche Unfallbedingungen zusammen mit Orts-, Zeit- und optionalen Datumsinformationen, die von der GPS-Vorrichtung 218 erhalten werden können, über die zellulare Verbindungsvorrichtung 216 an einen entfernten Kartenserver (nicht dargestellt). Eine Gruppe von Motorrädern wird in ähnlicher Weise Unfallbedingungen melden, was es dem entfernten Kartenserver ermöglicht, eine sich ständig aktualisierende Kollisionsrisikokartenschicht 270 zu erstellen, die in regelmäßigen Abständen über die zellulare Verbindungsvorrichtung 216 an das Motorrad 100 übertragen wird.
In einer Ausführungsform werden Ort und Zeit von nicht-menschlichen Tieren (z. B. Schlangen auf einer Straße), die von der Wärmebildtechnik erfasst werden, an den entfernten Kartenserver als Unfallbedingung für Motorräder gemeldet. Die Kartenebene 270 für das Kollisionsrisiko kann Zeiten und Orte von nicht-menschlichen Tieren auf der Straße integrieren, die von der Masse stammen. Diese Informationen können alternativ auch in einer anderen Kartenebene enthalten sein. Das Modul 248 zur Vorhersage des Kollisionsrisikos kann ein hohes Risiko berücksichtigen, dass sich nichtmenschliche Tiere an bestimmten Orten und zu bestimmten Tageszeiten auf der Straße aufhalten, und Ausgabedaten, die das Kollisionsrisiko darstellen, an das Ausgabesystem 206 und das Modul 242 zur Objekterkennung und -verfolgung sowie das Modul 246 zur Erkennung der Hindernisnähe liefern. Auf diese Weise kann die Objekterkennungs- und - verfolgungsverarbeitung aktiviert oder in ihrer Häufigkeit erhöht werden, wenn ein Kollisionsrisiko oberhalb eines vorbestimmten Schwellenwerts gemäß den nichtmenschlichen Tierdaten in der Kollisionsrisikokartenschicht besteht. Das Ausgabesystem 206 kann eine akustische, taktile oder visuelle Warnung bezüglich des Kollisionsrisikos ausgeben, die die Richtung und optional auch die Art des nichtmenschlichen Tieres (z. B. eine Schlangengrafik) identifizieren kann. Das Modul 246 zur Erkennung der Hindernisnähe kann seine Empfindlichkeit (wie oben beschrieben) erhöhen, wenn ein hohes Risiko einer Kollision mit einem nicht-menschlichen Tier auf der Straße besteht.
In einigen Ausführungsformen steht das ODNS 200 in betriebsfähiger Kommunikation mit einer Anwendung auf dem mobilen Telekommunikationsgerät des Fahrers. Das mobile Telekommunikationsgerät des Fahrers mit der entwickelten Anwendung kann für die Konfiguration der verschiedenen Einstellungen des Motorradmoduls (z. B. Warnschwellen, bevorzugte Warnmethoden usw.) verwendet werden. Die Anwendung könnte auch dazu verwendet werden, gespeicherte Videos von den Kameras (Action-Video usw.) 210, 212 oder aufgezeichnete Videos vom Speichergerät 236 abzurufen.
4 ist ein Flussdiagramm eines Verfahrens 400 zur Erkennung des toten Winkels beim Rückwärtsfahren, gemäß einer Ausführungsform. Das Verfahren 400 kann in Verbindung mit dem Motorrad 100 aus 1 und dem ODNS 200 aus 2 gemäß einer beispielhaften Ausführungsform implementiert werden. Das Verfahren 400 kann während des Motorradbetriebs kontinuierlich implementiert werden oder auf der Grundlage von Kollisionsrisikodaten des Kollisionsrisikovorhersagemoduls 248 in regelmäßigen Abständen aufgerufen oder erhöht werden.
Wie in 4 dargestellt, umfasst das Verfahren 400 den Schritt 410 des Empfangs von Videodaten von der vorwärtsgerichteten Kamera 210 und/oder der rückwärtsgerichteten Kamera. An den Videodaten wird eine Objekterkennung und -verfolgung durchgeführt, um in Schritt 430 andere Fahrzeuge zu klassifizieren und zu lokalisieren. In Schritt 430 wird um jedes erkannte Fahrzeug oder jedes erkannte Fahrzeug innerhalb eines bestimmten Bereichs des Motorrads 100 ein Bereich des toten Winkels definiert. Die Größe des toten Winkels kann in Abhängigkeit von der relativen Geschwindigkeit zwischen dem Motorrad 100 und dem anderen Fahrzeug verändert werden, so dass er sich vergrößert, je größer die relative Geschwindigkeit ist. In Schritt 440 wird festgestellt, ob sich das Motorrad 100 in einem Bereich des toten Winkels befindet oder voraussichtlich innerhalb einer vorgegebenen Zeitspanne in einem Bereich des toten Winkels befinden wird. Wenn festgestellt wurde, dass die Gefahr eines toten Winkels besteht, erhält der Fahrer des Motorrads 100 eine akustische, optische oder taktile Benachrichtigung, die ihn vor der Gefahr eines toten Winkels warnt, die Richtung der Gefahr angibt und optional auch die Art der Gefahr identifiziert.
5 ist ein Flussdiagramm eines Verfahrens 500 zur Bestimmung des Kollisionsrisikos gemäß einer Ausführungsform. Das Verfahren 500 kann in Verbindung mit dem Motorrad 100 aus 1 und dem ODNS 200 aus 2 gemäß einer beispielhaften Ausführungsform implementiert werden. Das Verfahren 500 kann während des Motorradbetriebs kontinuierlich durchgeführt werden.
In Schritt 510 wird ein Kollisionsrisiko aus Kollisionsrisikodaten in einer Kollisionsrisikokartenschicht 270 der erweiterten Kartendatenbank 254 bestimmt. Bei den Kollisionsrisikodaten handelt es sich um zeit- und georeferenzierte Unfall- oder Beinahe-Unfalldaten, die von einer Gruppe von Motorrädern gemeldet werden. Basierend auf der aktuellen Zeit und dem aktuellen Standort des Motorrads 100 werden alle Kollisionsrisikoinformationen aus der Kollisionsrisikokartenebene 270 extrahiert und auf der Grundlage des Kollisionsrisikos, das über einem vorgegebenen Schwellenwert liegt, auf Relevanz geprüft. Ein Hinweis auf das bevorstehende Kollisionsrisiko und die Richtung des Kollisionsrisikos wird zur weiteren Verarbeitung in Schritt 560 ausgegeben.
In Schritt 520 werden Videodaten von der vorwärtsgerichteten Kamera 210 und/oder der rückwärtsgerichteten Kamera 212 empfangen. In Schritt 530 wird eine Objekterkennung und -verfolgung auf der Grundlage der Videodaten durchgeführt, um Objekte in der aufgenommenen Szene zu klassifizieren und zu lokalisieren. In Schritt 540 wird die Erkennung der Hindernisnähe unter Verwendung der erfassten Objektdaten aus Schritt 530 durchgeführt, einschließlich der Erkennung von Fahrzeugen im toten Winkel des Fahrers, der Erkennung von gewöhnlichen Straßenobjekten (z. B. Annäherung an ein unerwartet angehaltenes Fahrzeug, Fußgänger usw.) und der Erkennung von ungewöhnlichen Straßenobjekten (z. B. Wüstentiere, die nachts auf der warmen Straße liegen). Der Schritt 540 zur Erkennung von Hindernissen bestimmt außerdem die Richtung und die Unmittelbarkeit einer drohenden Annäherung und gibt entsprechende Daten zur Kollisionsgefahr aus. In Schritt 550 wird dem Fahrer über das Ausgabesystem 206 auf der Grundlage der Kollisionsgefahrendaten eine akustische, visuelle und/oder taktile Benachrichtigung gegeben, um dem Fahrer die Richtung der Kollisionsgefahr, das Vorhandensein der Kollisionsgefahr und optional auch die Art der Kollisionsgefahr anzuzeigen.
In Schritt 560 wird der Objekterkennungs- und -verfolgungsschritt 530 und/oder der Hindernisnäherkennungsschritt 560 und/oder der FahrerBenachrichtigungsschritt 550 angepasst, wenn die Kollisionsrisikodaten aus Schritt 510 auf der Grundlage der Kollisionsrisikokartenschicht 270 bestimmt werden. Das heißt, die Schritte 530 und 540 können so angepasst werden, dass sie aus einem ruhenden Zustand heraus aktiv werden, oder die Häufigkeit der Schritte 530 und 540 kann erhöht werden. Zusätzlich oder alternativ können die Schritte 530 und 540 so angepasst werden, dass sie sich räumlich auf einen Bereich der Videodaten konzentrieren, in dem ein hohes Kollisionsrisiko festgestellt wurde. Zusätzlich oder alternativ kann die Empfindlichkeit von Schritt 540 erhöht werden, indem die bei der Erkennung von Kollisionsgefahren verwendeten Näherungsschwellenwerte geändert werden, um leichter einen Hinweis auf eine nahe gelegene Kollisionsgefahr auszugeben. Zusätzlich kann das Ausgabesystem 206 eine akustische, taktile und/oder visuelle Warnung bezüglich eines in Schritt 510 identifizierten potenziellen Kollisionsrisikos ausgeben, einschließlich der Richtung und optional auch der Art des Kollisionsrisikos (z. B. erhöhter Verkehr von einer Bar zu dieser Zeit, der Unfallbedingungen verursacht, Schlangen auf der Straße zu dieser Zeit usw.).
6 ist ein Flussdiagramm eines Verfahrens 600 zur Erkennung nichtmenschlicher Tiere auf einer Straße gemäß einer Ausführungsform. Das Verfahren 600 kann in Verbindung mit dem Motorrad 100 von 1 und dem ODNS 200 von 2 gemäß einer beispielhaften Ausführungsform implementiert werden. Das Verfahren 600 kann während des Motorradbetriebs kontinuierlich implementiert werden oder es kann auf der Grundlage der Kollisionsrisikodaten des Kollisionsrisikovorhersagemoduls, die das Potenzial für nichtmenschliche Tiere auf der Straße in der Nähe des Motorrads 100 anzeigen, aktiv werden oder seine Häufigkeit erhöhen.
In Schritt 610 werden Videodaten von einer vorwärtsgerichteten Wärmebildkamera und/oder einer rückwärtsgerichteten Wärmebildkamera empfangen. In Schritt 620 werden Objekterkennung und -verfolgung durchgeführt, um Objekte zu lokalisieren und zu klassifizieren, darunter auch nicht-menschliche Tiere, die auf den Wärmebildern deutlich zu erkennen sind. Die Verfahren zur Objekterkennung und -verfolgung können so trainiert werden, dass sie nichtmenschliche Tiere als Kategorie kennzeichnen oder eine oder mehrere Arten nichtmenschlicher Tiere, wie z. B. Schlangen, spezifizieren. In Schritt 630 wird eine Hinderniserkennung durchgeführt, um Kollisionsgefahren in der Nähe zu erkennen, einschließlich Kollisionsgefahren mit erkannten nicht-menschlichen Tieren. In Schritt 640 werden die erkannten nicht-menschlichen Tiere über die zellulare Verbindungsvorrichtung 216 an einen entfernten Kartenserver gemeldet. In Schritt 650 wird eine Kartenaktualisierung einschließlich der erkannten nicht-menschlichen Tiere empfangen. Die Kartenaktualisierung enthält Zeit und Ort für jede Erkennung. Die Kartenaktualisierung wird in die erweiterte Kartendatenbank 254 aufgenommen, möglicherweise als Teil der Kartenebene für das Kollisionsrisiko. Auf diese Weise berücksichtigt das oben in 5 beschriebene Verfahren 500 bei der Ermittlung der Kollisionsrisikodaten die georeferenzierten und zeitbezogenen nichtmenschlichen Tiere auf der Straße. In Schritt 660 wird dem nicht-menschlichen Fahrer ein akustisches, taktiles und/oder visuelles Fahrer-Feedback gegeben, wenn Schritt 630 eine unmittelbare Kollisionsgefahr aufgrund eines erkannten nicht-menschlichen Tieres auf der Straße feststellt. Die FahrerBenachrichtigung kann die Richtung, den Schweregrad (z. B. Unmittelbarkeit) und optional die Art der Bedrohung (z. B. Unterscheidung eines nichtmenschlichen Tieres von anderen Arten der Bedrohung oder Angabe der erkannten Art des nicht-menschlichen Tieres wie einer Schlange) angeben.
Es wird deutlich, dass die offengelegten Verfahren, Systeme und Motorräder von den in den Figuren dargestellten und hier beschriebenen abweichen können. Zum Beispiel können das Motorrad 100 und das ODNS 200 und/oder verschiedene Komponenten davon von den in den 1 und 2 dargestellten und in Verbindung damit beschriebenen abweichen. Darüber hinaus können bestimmte Schritte des Verfahrens 400 von den in den 4, 5 und 6 dargestellten und/oder im Zusammenhang damit beschriebenen Schritten abweichen. Es wird ebenfalls deutlich, dass bestimmte Schritte des oben beschriebenen Verfahrens gleichzeitig oder in einer anderen Reihenfolge als der in den 4, 5 und 6 dargestellten ablaufen können.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es versteht sich von selbst, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren gesetzlichen Entsprechungen dargelegt ist, verlassen wird.

Claims

Ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad, wobei das System Folgendes umfasst: mindestens eine von einer vorwärtsgerichteten Kamera und einer rückwärtsgerichteten Kamera, die an dem Motorrad anbringbar sind; mindestens einen Prozessor, der in betriebsfähiger Kommunikation mit der vorwärtsgerichteten Kamera und/oder der rückwärtsgerichteten Kamera steht, wobei der mindestens eine Prozessor so konfiguriert ist, dass er Programmanweisungen ausführt, wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, Prozesse auszuführen, einschließlich: Empfangen von Videobildern von der vorwärtsgerichteten Kamera und/oder der rückwärtsgerichteten Kamera; Durchführen eines auf Computer Vision und maschinellem Lernen basierenden Objekterkennungs- und -verfolgungsprozesses, um Hindernisse in den Videobildern zu erkennen, zu klassifizieren und zu verfolgen und um erkannte Objektdaten auszugeben; Definieren eines Bereichs des toten Winkels um ein oder mehrere andere Fahrzeuge unter Verwendung der erfassten Objektdaten; Bestimmen, ob sich das Motorrad in dem Bereich des toten Winkels befindet; und Ausgeben einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads, wenn festgestellt wird, dass sich das Motorrad in dem Bereich des toten Winkels befindet.
Das Hinderniserkennungs- und -Benachrichtigungssystem nach Anspruch 1, wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, Prozesse auszuführen, einschließlich der Ausgabe einer akustischen Benachrichtigung an einen Fahrer des einen oder der mehreren anderen Fahrzeuge, wenn festgestellt wird, dass sich das Motorrad im Bereich des toten Winkels befindet.
Das Hinderniserkennungs- und Benachrichtigungssystem nach Anspruch 1, wobei das Definieren des Bereichs des toten Winkels um das eine oder die mehreren anderen Fahrzeuge die erfassten Objektdaten und eine relative Geschwindigkeit des einen oder der mehreren anderen Fahrzeuge und des Motorrads verwendet.
Das Hinderniserkennungs- und -Benachrichtigungssystem nach Anspruch 1, wobei die erkannten Objektdaten eine Begrenzungsbox um jedes erkannte Motorrad im Video und eine zugehörige Kennzeichnung, die die Begrenzungsbox als ein Motorrad klassifiziert, enthalten.
Das Hinderniserkennungs- und -Benachrichtigungssystem nach Anspruch 4, wobei das Definieren des Bereichs des toten Winkels um das eine oder die mehreren anderen Fahrzeuge das räumliche Zuweisen eines vorbestimmten Bereichs des toten Winkels an einer vorbestimmten Stelle relativ zu der Begrenzungsbox umfasst.
Das Hinderniserkennungs- und Benachrichtigungssystem nach Anspruch 1, wobei eine visuelle Benachrichtigung an den Fahrer ausgegeben wird und eine Fahrerbeleuchtungsvorrichtung in Form einer Vielzahl von in einem Ring angeordneten Leuchten umfasst, wobei einzelne Leuchten aufleuchten, um die Richtungsabhängigkeit des Bereichs des toten Winkels relativ zum Motorrad anzuzeigen.
Das Hinderniserkennungs- und -Benachrichtigungssystem nach Anspruch 6, wobei die mehreren Leuchten je nach der Unmittelbarkeit einer Bedrohung durch das im Bereich des toten Winkels befindliche Motorrad unterschiedliche Farben ausstrahlen.
Ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad, wobei das System umfasst: mindestens eine vorwärtsgerichtete Kamera und eine rückwärtsgerichtete Kamera, die an dem Motorrad angebracht werden können eine zellulare Verbindungsvorrichtung; eine erweiterte Kartendatenbank, die eine Navigationskarte und eine Kollisionsrisikokartenschicht mit georeferenzierten Kollisionsdaten aus dem Internet enthält; eine GPS-Vorrichtung, Global Positioning System, die den Standort des Motorrads liefert; und mindestens einen Prozessor, der in betriebsfähiger Kommunikation mit der vorwärts blickenden Kamera und/oder der rückwärts blickenden Kamera, der zellularen Verbindungsvorrichtung, der erweiterten Kartendatenbank und der GPS-Vorrichtung steht, wobei der mindestens eine Prozessor so konfiguriert ist, dass er Programmanweisungen ausführt, wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, Prozesse auszuführen, einschließlich Melden aller Unfallbedingungen über die zellulare Verbindungsvorrichtung; Empfangen von Aktualisierungen der Kollisionsrisikokartenebene über die zellulare Verbindungsvorrichtung; Bestimmen eines Kollisionsrisikos auf der Grundlage des Standorts des Motorrads von der GPS-Vorrichtung und der Kollisionsrisikokartenebene; Empfangen von Videobildern von der vorwärtsgerichteten Kamera und/oder der rückwärtsgerichteten Kamera; Durchführen eines auf Computer Vision und maschinellem Lernen basierenden Objekterkennungs- und -verfolgungsprozesses, um Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen und um erkannte Objektdaten auszugeben; Durchführen einer Hindernisnäherfassungs-Verarbeitung unter Verwendung der erfassten Objektdaten, um erfasste Hindernisdaten bereitzustellen; und Ausgeben einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads basierend auf den erfassten Hindernisdaten, wobei: mindestens einer der Prozesse der Objekterfassung und -verfolgung, der Verarbeitung der Hindernisnäherkennung und der Ausgabe der akustischen, taktilen oder visuellen Benachrichtigung auf der Grundlage des ermittelten Kollisionsrisikos angepasst wird.
Ein Hinderniserkennungs- und Benachrichtigungssystem für ein Motorrad, wobei das System Folgendes umfasst: mindestens eine vorwärtsgerichtete Wärmebildkamera und eine rückwärtsgerichtete Wärmebildkamera, die an dem Motorrad angebracht werden können; mindestens einen Prozessor, der in betriebsfähiger Verbindung mit mindestens einer der vorwärtsgerichteten Wärmebildkamera und der rückwärtsgerichteten Wärmebildkamera steht, wobei der mindestens eine Prozessor so konfiguriert ist, dass er Programmanweisungen ausführt, wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, Prozesse auszuführen, einschließlich Empfangen von Video von der vorwärtsgerichteten Wärmebildkamera und/oder der rückwärtsgerichteten Wärmebildkamera; Durchführen eines auf Computer Vision und maschinellem Lernen basierenden Objekterkennungs- und -verfolgungsprozesses, um Hindernisse in dem Video zu erkennen, zu klassifizieren und zu verfolgen und um erkannte Objektdaten auszugeben; Durchführen einer Hindernisnäherfassungs-Verarbeitung unter Verwendung der erfassten Objektdaten, um erfasste Hindernisdaten bereitzustellen; und Ausgeben einer akustischen, taktilen oder visuellen Benachrichtigung über ein Ausgabesystem an einen Fahrer des Motorrads, basierend auf den erfassten Hindernisdaten.
Das Hinderniserkennungs- und -Benachrichtigungssystem nach Anspruch 9, das eine zellulare Verbindungsvorrichtung umfasst, und wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, Prozesse auszuführen, die das Melden von Unfallbedingungen auf der Grundlage von Daten von mindestens einer GPS-Vorrichtung, einer Trägheitsmesseinheit und einem Computer-Vision-Prozess des Videos umfassen.