DE102019115241A1

DE102019115241A1 - Vorrichtung und verfahren zum erfassen einer langsamen fahrzeugbewegung

Info

Publication number: DE102019115241A1
Application number: DE102019115241.0A
Authority: DE
Inventors: Syed B. Mehdi; Yasen Hu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-11-05
Filing date: 2019-06-05
Publication date: 2020-05-07
Also published as: US20200143546A1; CN111144190A

Abstract

Es werden ein Verfahren und eine Vorrichtung zum Erkennen einer Gefährdung durch ein Fahrzeug bereitgestellt. Das Verfahren beinhaltet das Erfassen eines Fahrzeugrades in einer Vielzahl von Einzelbildern eines Videos, das Erzeugen von Begrenzungsrahmen um Abschnitte der Einzelbilder, einschließlich des Fahrzeugrades, das Skalieren der Abschnitte der Einzelbilder, einschließlich des Fahrzeugrades, auf eine vorbestimmte konstante Größe, die Bestimmung, ob sich das Fahrzeugrad bewegt, durch Analysieren der skalierten Abschnitte des Bildes, und das Ausgeben von Informationen, die anzeigen, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeugrad bewegt.

Description

EINLEITUNG
Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen betreffen die Erkennung einer Bewegung eines Fahrzeugs. Insbesondere betreffen Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen die Erkennung der Fahrzeugbewegung bei langsamer Geschwindigkeit.
KURZDARSTELLUNG
Eine oder mehrere exemplarische Ausführungsformen stellen ein Verfahren und eine Vorrichtung zur Verfügung, die sich langsam bewegende Fahrzeuge über Videobilder erfassen. Insbesondere stellen eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung zur Verfügung, die langsam fahrende Fahrzeuge erkennen, indem sie Videobilder von Rädern analysieren, mit denen Räder und die Bewegung der erfassten Räder erkannt werden.
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein Verfahren zur Erfassung der Bewegung eines langsam fahrenden Fahrzeugs bereitgestellt. Das Verfahren beinhaltet die Erfassung eines Fahrzeugrades in einer Vielzahl von Einzelbildern eines Videos, das Erzeugen von Begrenzungsrahmen um Abschnitte der Einzelbilder, einschließlich des Fahrzeugrades, das Skalieren der Abschnitte der Einzelbilder, einschließlich des Fahrzeugrades, auf eine vorbestimmte konstante Größe, die Bestimmung, ob sich das Fahrzeugrad bewegt, durch Analysieren der skalierten Abschnitte der Einzelbilder, und das Ausgeben von Informationen, die anzeigen, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeugrad bewegt.
Die Bestimmung, ob sich das Fahrzeugrad bewegt, kann die Bestimmung beinhalten, ob sich das Fahrzeugrad dreht.
Die Bestimmung, ob sich das Fahrzeugrad bewegt, kann weiterhin die Bestimmung beinhalten, in welche Richtung sich das Rad bewegt.
Die Ausgabe der Informationen kann das Bereitstellen einer Benachrichtigung beinhalten, die anzeigt, dass sich das Fahrzeug bewegt, wenn die Bestimmung ermittelt, dass sich das Fahrzeug in eine Richtung bewegt, die eine Fahrt eines Host-Fahrzeugs behindert.
Die Benachrichtigung kann mindestens eine der folgenden Funktionen beinhalten: Anzeige eines alternativen Weges für das Host-Fahrzeug, haptische Rückmeldung über einen Sitz in einem Host-Fahrzeug und Anzeige einer sich auf das fahrende Fahrzeug beziehenden Warnung auf einer Anzeige im Host-Fahrzeug.
Das Analysieren der skalierten Abschnitte des Bildes kann das Identifizieren einer Vielzahl von Merkmalspunkten, die dem Rad des Fahrzeugs in den Rahmen des Bildes entsprechen, und die Bestimmung von Koordinatenänderungen der Vielzahl der Merkmalspunkte in den Rahmen des Bildes beinhalten.
Die Bestimmung von Koordinatenänderungen der Vielzahl von Merkmalspunkten in den Rahmen des Bildes kann das Berechnen einer Winkeländerung in Bezug auf die identifizierte Vielzahl von Merkmalspunkten beinhalten.
Das Analysieren der skalierten Abschnitte des Bildes kann das Identifizieren einer dem Rad des Fahrzeugs entsprechenden Form in den Rahmen des Bildes und die Bestimmung von Koordinatenänderungen der identifizierten Form in den Rahmen des Bildes beinhalten.
Das Identifizieren der Form kann das Durchführen einer oder mehrerer Funktionen aus Kantenerkennung, Linienerfassung und Elliptischen oder Kreiserkennung beinhalten. Das Rad kann eine Vielzahl von Rädern beinhalten.
Das Verfahren kann auch das Steuern eines Host-Fahrzeugs beinhalten, um basierend auf den Informationen, die anzeigen, dass sich das Fahrzeug bewegt, einen Weg zu ändern.
Gemäß einem Aspekt einer weiteren exemplarischen Ausführungsform wird eine Vorrichtung zum Erfassen der Bewegung eines langsam fahrenden Fahrzeugs bereitgestellt. Die Vorrichtung umfasst mindestens einen Speicher, der computerausführbare Anweisungen und mindestens einen Prozessor beinhaltet, der zum Lesen und Ausführen der computerausführbaren Anweisungen konfiguriert ist. Die computerausführbaren Anweisungen veranlassen den mindestens einen Prozessor, ein Rad des Fahrzeugs in einer Vielzahl von Einzelbildern eines Videos zu erfassen, Begrenzungsrahmen um Abschnitte der Einzelbilder einschließlich des Fahrzeugrades zu erzeugen, die Abschnitte der Einzelbilder einschließlich des Fahrzeugrades auf eine vorbestimmte konstante Größe zu skalieren, zu bestimmen, ob sich das Fahrzeugrad bewegt, indem die skalierten Abschnitte der Einzelbilder analysiert werden, und Informationen auszugeben, die anzeigen, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeugrad bewegt.
Die computerausführbaren Anweisungen veranlassen den mindestens einen Prozessor, zu bestimmen, ob sich das Fahrzeugrad bewegt, indem er feststellt, ob sich das Fahrzeugrad dreht.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, durch Bestimmen einer Bewegungsrichtung des Rades zu bestimmen, ob sich das Fahrzeugrad bewegt.
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, Informationen auszugeben, indem er eine Benachrichtigung bereitstellt, die anzeigt, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeug in eine Richtung bewegt, die eine Fahrt eines Host-Fahrzeugs behindert.
Die Benachrichtigung kann mindestens eine der folgenden Funktionen beinhalten: Anzeige eines alternativen Weges für das Host-Fahrzeug, haptische Rückmeldung über einen Sitz in einem Host-Fahrzeug und Anzeige einer sich auf das fahrende Fahrzeug beziehenden Warnung auf einer Anzeige im Host-Fahrzeug.
Die computerausführbaren Anweisungen bewirken ferner, dass der mindestens eine Prozessor die skalierten Abschnitte des Bildes analysiert, indem er eine Vielzahl von Merkmalspunkten identifiziert, die dem Rad des Fahrzeugs in den Rahmen des Bildes entsprechen, und Koordinatenänderungen der Vielzahl von Merkmalspunkten in den Rahmen des Bildes bestimmt.
Die computerausführbaren Anweisungen veranlassen den mindestens einen Prozessor, Koordinatenänderungen der Vielzahl von Merkmalspunkten in den Rahmen des Bildes durch Berechnen einer Winkeländerung in Bezug auf die identifizierte Vielzahl von Merkmalspunkten zu bestimmen.
Die computerausführbaren Anweisungen veranlassen den mindestens einen Prozessor, die skalierten Abschnitte des Bildes zu analysieren, indem er eine dem Rad des Fahrzeugs in den Rahmen des Bildes entsprechende Form identifiziert und Koordinatenänderungen der identifizierten Form in den Rahmen des Bildes bestimmt.
Die computerausführbaren Anweisungen veranlassen den mindestens einen Prozessor, die Form zu identifizieren, indem er eine oder mehrere Funktionen aus dem Bereich der Kantenerkennung, der Linienerkennung, der Ellipsen- oder Kreiserkennung ausführt.
Das Rad kann eine Vielzahl von Rädern sein.
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
Figurenliste

1 zeigt ein Blockdiagramm einer Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs gemäß einer exemplarischen Ausführungsform erfasst;
2 zeigt ein Flussdiagramm für ein Verfahren zum Erfassen der Bewegung eines langsam fahrenden Fahrzeugs gemäß einer exemplarischen Ausführungsform;
3 zeigt eine Abbildung der Erzeugung von Begrenzungsrahmen und der Identifizierung von Merkmalspunkten auf einem Rad eines Fahrzeugs gemäß einem Aspekt einer exemplarischen Ausführungsform; und
4 zeigt Darstellungen von Benachrichtigungen vor einem sich langsam bewegenden Fahrzeug auf einem Parkplatz gemäß einem Aspekt einer exemplarischen Ausführungsform warnen.

AUSFÜHRLICHE BESCHREIBUNG VON EXEMPLARISCHEN AUSFÜHRUNGSFORMEN
Unter Bezugnahme auf die 1 - 4 der zugehörigen Zeichnungen, in denen sich gleichartige Referenzziffern auf gleichartige Elemente beziehen, werden nun eine Vorrichtung und ein Verfahren ausführlich beschrieben, welche die Bewegung eines langsam fahrenden Fahrzeugs erfassen.
Die folgende Offenbarung ermöglicht es Fachleuten den Erfindungsgedanken auszuüben. Die hierin offenbarten Ausführungsbeispiele sind jedoch nur exemplarisch und beschränken das erfindungsgemäße Konzept nicht auf die hierin beschriebenen Ausführungsbeispiele. Darüber hinaus sollten Beschreibungen von Merkmalen oder Aspekten jedes Ausführungsbeispiels für Aspekte anderer Ausführungsbeispiele typischerweise als verfügbar in Betracht gezogen werden.
Es versteht sich auch, dass dort, wenn hierin angegeben ist, dass ein erstes Element mit einem zweiten Element „verbunden mit“, „gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
Heutzutage enthalten Fahrzeuge viele Sensoren und Kameras. So kann beispielsweise ein Host-Fahrzeug Kameras beinhalten, die Bilder von Bereichen rund um das Host-Fahrzeug aufnehmen. Darüber hinaus können Fahrzeuge auch Radargeräte beinhalten, die konfiguriert sind, um externe Hindernisse oder bewegte Objekte zu erfassen, die ein mögliches Kollisionsrisiko für ein Host-Fahrzeug sein können. Ein Problem mit Sensoren, wie Radar und LiDAR, besteht darin, dass sie möglicherweise nicht die Auflösung oder Präzision haben, um die Bewegung eines sich langsam bewegenden externen Fahrzeugs genau zu erfassen, insbesondere wenn die Bewegung senkrecht zur Sichtlinie des Host-Fahrzeugs stattfindet und/oder sich das Host-Fahrzeug schnell bewegt, beispielsweise auf einem Parkplatz, an Kreuzungen mit Stoppschild und benachbarten Grundstückseinfahrten.
Um das obige Problem zu beheben, können Kameras für die Erfassung der Bewegung langsamer beweglicher Hindernisse oder Objekte herangezogen werden, indem sie einen relativen Standort sich bewegender Objekte nutzen. Die von einer Kamera bereitgestellten Videoinformationen müssen jedoch verarbeitet und analysiert werden, um festzustellen, ob sich ein Hindernis oder Objekt, wie beispielsweise ein externes Fahrzeug, bewegt und zur besseren Erkennung, in welche Richtung es sich bewegt. Die Vorrichtung erfasst die Bewegung eines langsam fahrenden Fahrzeugs, identifiziert Räder in einem Videobild, verarbeitet und analysiert Bilder, einschließlich eines Bildes der identifizierten Räder, um die Bewegung des Hindernisses oder Objekts, wie beispielsweise des langsam fahrenden externen Fahrzeugs, zu bestimmen. Darüber hinaus kann die Raddrehung anstelle einer relativen Position eines Rades oder Objekts in einem Rahmen verwendet werden, um die Bewegung zu bestimmen.
1 zeigt ein Blockdiagramm einer Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 gemäß einer exemplarischen Ausführungsform erfasst. Wie in 1 dargestellt, beinhaltet die Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 gemäß einer exemplarischen Ausführungsform erfasst, eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, eine Ausgabe 104, eine Host-Fahrzeugsteuerung 105, eine Benutzereingabe 106, einen Bildsensor 107 und eine Kommunikationsvorrichtung 108. Die Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, ist jedoch nicht auf die vorgenannte Konfiguration beschränkt und kann konfiguriert werden, um zusätzliche Elemente aufzunehmen und/oder eines oder mehrere der vorgenannten Elemente auszulassen. Die Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, kann als Teil eines Fahrzeugs, als eigenständige Komponente, als Hybrid zwischen einer Fahrzeug- und einer Fahrzeugvorrichtung oder in einer anderen Rechenvorrichtung implementiert werden.
Die Steuerung 101 steuert den gesamten Betrieb und die Funktion der Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst. Die Steuerung 101 kann einen oder mehrere eines Speichers 103, eine Ausgabe 104, das Host-Fahrzeug 105, eine Benutzereingabe 106, einen Bildsensor 107 und eine Kommunikationsvorrichtung 108 der Vorrichtung steuern, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer Zentraleinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltkreisen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
Die Steuerung 101 ist konfiguriert, um Informationen von einem oder mehreren der Speicher 103, der Ausgabe 104, der Host-Fahrzeugsteuerung 105, der Benutzereingabe 106, dem Bildsensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zu senden und/oder zu empfangen, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden, oder sie können direkt in/von einem oder mehreren der Speicher 103, der Ausgabe 104, der Benutzereingabe 106, dem Bildsensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung gelesen oder geschrieben werden, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
Die Stromversorgung 102 versorgt eine oder mehrere der Steuerungen 101, den Speicher 103, die Ausgabe 104, die Steuerung des Trägerfahrzeugs 105, die Benutzereingabe 106, den Bildsensor 107 und die Kommunikationsvorrichtung 108 der Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
Der Speicher 103 ist für die Speicherung und den Abruf von Informationen konfiguriert, die von der Vorrichtung zum Erkennen eines langsam fahrenden Fahrzeugs 100 verwendet werden. Der Speicher 103 kann mit der Steuerung 101 angesteuert werden, um vom Bildsensor 107 empfangene Informationen zu speichern und abzurufen. Die gespeicherten Informationen können Bildinformationen beinhalten, die durch den Bildsensor 107, einschließlich Informationen visueller Merkmale, Objekte, Strukturen, Objektbewegungen, usw. erfasst werden. Die Bildinformationen können Videobilder mit einer Vielzahl von Videobildern eines Bereichs um das Fahrzeug herum beinhalten. Darüber hinaus können die gespeicherten Informationen auch gefaltete neuronale Netzwerke beinhalten, die verwendet werden, um Objekte, Strukturen, visuelle Merkmale, usw. zu identifizieren. Der Speicher 103 kann auch die Computeranweisungen beinhalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung auszuführen, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst.
Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
Die Ausgabe 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Die Ausgabe 104 kann mit der Steuerung 101 angesteuert werden, um für den Benutzer der Vorrichtung zum Erkennen der Bewegung eines langsam fahrenden Fahrzeugs 100 Ausgaben bereitzustellen. Die Ausgabe 104 kann einen oder mehrere aus einem Lautsprecher, einer Audiovorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
Die Ausgabe 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus diesen beinhalten: hörbare Benachrichtigung, haptische Benachrichtigung, Leuchtennachricht und Anzeigennachricht. Die Benachrichtigung kann das Anzeigen einer alternativen Route für ein Host-Fahrzeug, das Bereitstellen einer hapti schen Rückmeldung über eine Vibrationsvorrichtung in einem Sitz des Host-Fahrzeugs oder das Anzeigen einer mit dem fahrenden Fahrzeug verbundenen Warnung auf einer Anzeige im Host-Fahrzeug beinhalten. Die Warnung kann ein grafisches Symbol sein, das auf oder in der Nähe des sich bewegenden Fahrzeugs über eine Anzeige angezeigt wird.
Die Steuerung des Host-Fahrzeugs 105 kann Fahrzeugsystemmodule (VSM) in Form von elektronischen Hardwarekomponenten beinhalten, die sich im gesamten Fahrzeug befinden und typischerweise Eingaben von einem oder mehreren Sensoren empfangen und die erfassten Eingaben zur Durchführung von Diagnosen, Überwachungs-, Steuerungs-, Berichts- und/oder anderen Funktionen verwenden. Jedes der VSM kann durch einen Kommunikationsbus mit den anderen VSM, sowie der Steuerung 101 verbunden und dafür programmiert sein, Fahrzeugsystem- und Subsystemdiagnosetests auszuführen. Die Steuerung 101 kann dafür konfiguriert sein, Informationen von den VSMs zu senden und zu empfangen, und VSMs zu steuern, um Fahrzeugfunktionen auszuführen. So kann beispielsweise ein VSM ein Motorsteuergerät (ECM) sein, das verschiedene Aspekte des Motorbetriebs, wie z. B. Kraftstoffzündung und Zündzeitpunkt steuert, ein weiteres VSM kann ein externes Sensormodul sein, das konfiguriert ist, um Informationen von externen Sensoren wie Kameras, Radar, LiDAR und Laser zu empfangen, ein weiteres VSM kann ein Antriebsstrangsteuermodul sein, das den Betrieb einer oder mehrerer Komponenten des Fahrzeugantriebsstrangs regelt, ein weiteres VSM kann der Fahrzeugdynamiksensor sein, der Parameter für Lenkradwinkel, Geschwindigkeit, Querbeschleunigung, selbstausrichtendes Drehmoment und/oder einen Servolenkungsmoment erfasst, und ein weiteres VSM kann ein Chassis-Steuermodul sein, das verschiedene im Fahrzeug befindliche elektrische Komponenten verwaltet, beispielsweise die Zentralverriegelung des Fahrzeugs und die Scheinwerfer. Fachleute auf dem Gebiet werden erkennen, dass es sich bei den vorgenannten VSM nur um Beispiele für einige der möglichen Module in einem Fahrzeug handelt, während auch zahlreiche andere verfügbar sind.
Die Benutzereingabe 106 ist dafür konfiguriert, Informationen und Befehle an die Vorrichtung zum Erkennen der Bewegung eines langsam fahrenden Fahrzeugs 100 bereitzustellen. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einer Maus, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann dafür konfiguriert sein, eine Benutzereingabe zu empfangen und damit die Benachrichtigung durch die Ausgabe 104 zu bestätigen oder zu verwerfen. Darüber hinaus kann die Benutzereingabe 106 auch dafür konfiguriert sein, eine Eingabe zu erhalten, um die Vorrichtung zum Erkennen der Bewegung eines langsam fahrenden Fahrzeugs 100 zu aktivieren oder zu deaktivieren.
Der Bildsensor 107 kann einen oder mehrere aus einer Vielzahl von Sensoren, einschließlich eines Bildsensors, einer Kamera, eines Infrarotsensors und einer Videokamera beinhalten. Der Bildsensor 107 kann ein oder mehrere Bilder oder Bilder von einer oder mehreren Kameras oder Bildsensoren bereitstellen, die den Bereich um das Fahrzeug herum abdecken. Die Rahmen oder die Bilder, die analysiert werden können, um Räder, Fahrzeuge, Merkmale Punkte, Formen, Kanten, Linien zu identifizieren.
In einem Beispiel kann die Brennweite einer Kamera des Bildsensors 107, die Kanten- und visuelle Merkmalserkennung und/oder Pixelkoordinaten- und Abstandsinformationen verwendet werden, um ein vom Bildsensor 107 bereitgestelltes Bild zu analysieren, um Abmessungen und Positionen von Fahrzeugen, Rädern usw. zu bestimmen. Die Abmessungen und die Position von Fahrzeugen, Rädern, Merkmalspunkten usw. in mehreren Bildern zu mehreren verschiedenen Zeiten können von der Steuerung 101 analysiert werden, um die andere Informationsbewegung, Drehung, Winkeländerung der Fahrzeuge, Räder, Merkmalspunkte usw. zu bestimmen.
Die Bildinformationen des Bildsensors können verwendet werden, um die Räder zu erkennen, indem ein Begrenzungsrahmen um das Rad gezogen wird. So erscheint beispielsweise die Radfelge im Bild als Ellipse oder Kreis mit einer vertikalen Hauptachse und einer horizontalen Nebenachse. Die Achsen sind von einer dunklen Ellipse (z. B. einem Reifen) mit einer Haupt- und Nebenachse umgeben. In einem Beispiel wird ein „grober“ Begrenzungsrahmen unter Verwendung eines vorab trainierten Modells eines tiefen neuronalen Netzwerks, z. B. eines faltenden neuronalen Netzes (CNN), gefunden. Wenn bereits ein grober Begrenzungsrahmen vorhanden oder gefunden ist, wird die Ellipsenerkennung im Bereich innerhalb und etwas außerhalb des groben Begrenzungsrahmens durchgeführt und/oder die Position, Höhe und Breite des Begrenzungsrahmens kann basierend auf den einzigartigen Eigenschaften des Rades im Bild verschoben oder angepasst werden.
Die Felge und der Reifen sowie die entsprechenden Ellipsen/Kreise können mit Hilfe von Kanten- oder Formerkennungstechniken erfasst werden. Merkmalspunkte, die der Kante des Rades, den Kanten der Reifen, den Speichen und dem Schnittpunkt der Speichen und der Kante des Rades entsprechen, können mit Hilfe von Form-, Kanten- und Schnittpunkterkennungsverfahren erfasst werden.
Darüber hinaus ist die Raddrehung im Bildrahmen unabhängig von der Kameraverschiebung und der Kameraausrichtung, mit Ausnahme des Neigungswinkels. Beispielsweise wird die Oberseite des Rades in der realen Welt wird unabhängig von der Kameraverschiebung als die Oberseite des Rades im Bildrahmen angezeigt. Bei niedrigen Geschwindigkeiten auf guten Straßen variiert der Neigungswinkel jedoch nicht allzu sehr und die durch die Neigungswinkeländerung der Kamera verursachte Raddrehung im Bildrahmen kann mit einer Trägheitsmesseinheit gemessen werden.
Die Kommunikationsvorrichtung 108 kann von der Vorrichtung verwendet werden, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, um mit mehreren Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsmethoden zu kommunizieren. Die Kommunikationsvorrichtung 108 kann zum Senden/Empfangen von Informationen verwendet werden, darunter Informationen des Bildsensors 107, wie beispielsweise Bildinformationen, und andere Arten von Informationen. Die Kommunikationsvorrichtung 108 kann auch dafür konfiguriert sein, Informationen zu senden, die anzeigen, dass sich ein externes Fahrzeug bewegt, sowie Informationen, die der Bewegung des externen Fahrzeugs entsprechen.
Die Kommunikationsvorrichtung 108 kann verschiedene Kommunikationsmodule beinhalten, wie beispielsweise eines oder mehrere aus diesen: Telematikeinheit, Rundfunkempfangsmodul, Nahfeldkommunikationsmodul (NFC), GPS-Empfänger, kabelgebundenes Kommunikationsmodul oder ein drahtloses Kommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das verdrahtete Kommunikationsmodul kann ein Modul sein, das Informationen über ein verdrahtetes Netzwerk, wie beispielsweise ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das drahtlose Kommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3G (3^rd Generation), 3GPP (3^rd Generation Partnership Project), LTE (Long-Term Evolution), Bluetooth, EVDO, CDMA, GPRS, EDGE oder ZigBee, durchführt.
Gemäß einer exemplarischen Ausführungsform kann die Steuerung 101 der Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, dafür konfiguriert werden, ein Rad des Fahrzeugs in einer Vielzahl von Einzelbildern eines Videos zu erfassen, Begrenzungsrahmen um Abschnitte der Einzelbilder einschließlich des Fahrzeugrades zu erzeugen, die Abschnitte der Einzelbilder einschließlich des Fahrzeugrades auf eine vorbestimmte konstante Größe zu skalieren, zu bestimmen, ob sich das Fahrzeugrad bewegt, indem die skalierten Abschnitte der Einzelbilder analysiert werden, und Informationen auszugeben, die anzeigen, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeugrad bewegt. Das Rad kann eine Vielzahl von Rädern beinhalten.
Die Steuerung 101 der Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, kann konfiguriert werden, um zu bestimmen, ob sich das Fahrzeugrad bewegt, indem bestimmt wird, ob sich das Fahrzeugrad dreht und/oder in welche Richtung das Rad bewegt wird.
Die Steuerung 101 der Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs 100 erfasst, kann konfiguriert werden, um Informationen durch Steuern der Ausgabe 104 eine Benachrichtigung bereitzustellen, die anzeigt, dass sich das Fahrzeug bewegt, wenn die Bestimmung feststellt, dass sich das Fahrzeug in eine Richtung bewegt, die einen Weg eines Host-Fahrzeugs behindert.
Die Steuerung 101 kann auch dafür konfiguriert werden, die skalierten Abschnitte des Bildes zu analysieren, indem eine Vielzahl von Merkmalspunkten identifiziert werden, die dem Rad des Fahrzeugs in den Rahmen des Bildes entsprechen und durch Bestimmung von Koordinatenänderungen der Vielzahl von Merkmalspunkten in den Rahmen des Bildes. Die Bildinformationen, die von der Steuerung 101 analysiert werden, um die Räder zu erfassen, indem ein Begrenzungsrahmen um das Rad gezogen wird. So erscheint beispielsweise die Radfelge im Bild als Ellipse oder Kreis mit einer vertikalen Hauptachse und einer horizontalen Nebenachse. Die Achsen sind von einer dunklen Ellipse (z. B. einem Reifen) mit einer Haupt- und Nebenachse umgeben. Die Radfelge, der Reifen und die entsprechenden Ellipsen/Kreise können von der Steuerung 101 unter Verwendung von Kanten- oder Formerfassungstechniken erkannt werden. Merkmalspunkte, die der Kante des Rades, den Kanten der Reifen, den Speichen und dem Schnittpunkt der Speichen und der Kante des Rades entsprechen, können auch von der Steuerung 101 unter Verwendung von Form-, Kanten- und Schnittpunkterkennungsverfahren erkannt werden.
Die Steuerung 101 kann auch dafür konfiguriert werden, Koordinatenänderungen der Vielzahl von Merkmalspunkten in den Rahmen des Bildes zu bestimmen, indem eine Winkeländerung in Bezug auf die identifizierte Vielzahl von Merkmalspunkten berechnet wird.
Die Steuerung 101 kann auch dafür konfiguriert werden, die skalierten Abschnitte des Bildes zu analysieren, indem eine dem Rad des Fahrzeugs entsprechende Form in den Rahmen des Bildes identifiziert und Koordinatenänderungen der identifizierten Form in den Rahmen des Bildes bestimmt werden. Die Steuerung 101 kann auch dafür konfiguriert werden, die Form zu identifizieren, indem sie eine oder mehrere der folgenden Funktionen ausführt: Kantenerkennung, Linienerkennung, Ellipsen- oder Kreiserkennung.
Die Steuerung 101 kann auch dafür konfiguriert werden, die Steuerung 105 des Host-Fahrzeugs zu übernehmen, um das Host-Fahrzeug anzuhalten oder das Host-Fahrzeug um ein sich langsam bewegendes externes Fahrzeug herum zu fahren, wenn die Steuerung bestimmt, dass sich ein externes Fahrzeug in eine Richtung bewegt, die einen Weg eines Host-Fahrzeugs behindert.
2 zeigt ein Flussdiagramm für ein Verfahren der Erkennung eines gefährlichen Fahrzeugs gemäß einer exemplarischen Ausführungsform. Das Verfahren in 2 kann von der Vorrichtung zur Erfassung der Bewegung eines langsam fahrenden Fahrzeugs 100 ausgeführt werden oder in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren auszuführen.
Unter Bezugnahme auf 2 wird ein Rad eines externen Fahrzeugs in einer Vielzahl von Einzelbildern eines Videos bei der Operation S210 erfasst. So können beispielsweise alle Räder aller Fahrzeuge im Kamerarahmen mit Hilfe von Sicht- oder neuronalen Netzen erfasst werden.
Bei der Operation S220 werden Begrenzungsrahmen um Abschnitte der Rahmen einschließlich des Fahrzeugrades erzeugt. So können beispielsweise Begrenzungsrahmen um alle Räder aller Fahrzeuge im Kamerarahmen erzeugt werden. Der Begrenzungsrahmen kann mit Hilfe von Ellipsenerkennungsmethoden exakt auf das Rad zugeschnitten werden. In einem Beispiel kann der Rahmen auch auf den Begrenzungsrahmen zugeschnitten werden. Weiterhin können Begrenzungsrahmen der Rahmen mit Begrenzungsrahmen um entsprechende Räder in einem früheren Rahmen kombiniert werden.
Die Abschnitte der Rahmen, einschließlich des Fahrzeugrades, werden in der Operation S230 auf eine vorbestimmte konstante Größe skaliert. Wenn es in einem früheren Rahmen keine entsprechenden Begrenzungsrahmen um die entsprechenden Räder gibt, kann der Prozess das erkannte Rad zur Gesamtzahl der Räder im Rahmen hinzufügen. Anschließend wird bestimmt, ob sich das Fahrzeugrad bewegt, indem die skalierten Abschnitte der Rahmen in der Operation S240 analysiert werden.
In einem Beispiel kann die Bestimmung durchgeführt werden, indem Merkmalspunkte des Rades im Begrenzungsrahmen erfasst werden und die durchschnittliche Radwinkeländerung kann als die durchschnittliche Winkeländerung über alle Merkmalspunkte des Rades von Rahmen zu Rahmen bestimmt werden. Basierend auf der durchschnittlichen Radwinkeländerung kann die Drehung des Rades im Begrenzungsrahmen bestimmt werden. Alternativ kann in einem anderen Beispiel der Rahmen, der das Rad enthält, in ein trainiertes neuronales Netzwerk eingegeben werden, z. B. ein RNN, ein LSTM, GRU, usw., das dem Rad zugeordnet ist, um die gesamte Drehwinkeländerung des Rades als Ausgabe zu erhalten.
Dann können in der Operation S250 Informationen ausgegeben werden, die anzeigen, dass sich das Fahrzeug bewegt, wenn sich das Rad bewegt. Das Rad kann als sich bewegend bestimmt werden, wenn die Drehung des Rades größer als eine vorgegebene Schwellenrotation ist. In den Operationen 210-250 kann eine Vielzahl von Rädern erkannt werden, und die Operationen 210-250 können in Bezug auf eine Vielzahl von Rädern ausgeführt werden
3 zeigt eine Darstellung der Erzeugung von Begrenzungsrahmen und die Identifizierung von Merkmalspunkten eines Fahrzeugrades gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 3 wird ein Begrenzungsrahmen 301 um ein Rad erzeugt, das im Bild oder Rahmen erkannt wird.
Der Bereich des Begrenzungsrahmens wird dann skaliert und es werden Punkte, Formen oder Linien erkannt. Die Merkmalspunkte 302 zeigen Linien, die die Formen des Rades umreißen, und Punkte, die zeigen, wo eine Speiche eines Rades die Kante des Rades schneidet. Die Merkmalspunkte 303 zeigen lediglich Punkte, an denen eine Speiche eines Rades die Kante des Rades schneidet
4 zeigt Abbildungen von Benachrichtigungen, die vor einem langsam fahrenden Fahrzeug auf einem Parkplatz warnen, gemäß einem Aspekt einer exemplarischen Ausführungsform.
Unter Bezugnahme auf 4 kann eine haptische Rückmeldung in Form von Sitzschwingungen in einem Host-Fahrzeug ausgegeben werden, wenn ein sich langsam bewegendes externes Fahrzeug erkannt wird, wie in 401 dargestellt. Die haptische Rückmeldung kann auf der Seite des Sitzes erfolgen, die einer Position des externen Fahrzeugs entspricht.
Eine grafische Warnanzeige 405 kann in einem Bereich der Anzeige vorgesehen werden, der dem langsam fahrenden Fahrzeug entspricht, um einen Insassen eines Host-Fahrzeugs auf das externe langsam fahrende Fahrzeug hinzuweisen. Weiterhin kann ein Fahrer eines Host-Fahrzeugs über die Anzeige auf einen unerwünschten Weg eines Host-Fahrzeugs 411 aufmerksam gemacht werden, das mit dem externen Fahrzeug kollidieren kann und es kann ein bevorzugter Weg 412 angezeigt werden, der eine mögliche Kollision mit dem externen Fahrzeug vermeiden würde. Zusätzlich kann der bevorzugte Weg von den Steuerungen des Host-Fahrzeugs 105 verwendet werden, um das Fahrzeug entlang des bevorzugten Weges zu steuern.
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmware-Komponenten verkörpert werden.
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die vorstehend beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die exemplarischen Ausführungsformen ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.

Claims

Vorrichtung, die die Bewegung eines langsam fahrenden Fahrzeugs erfasst, wobei die Vorrichtung umfasst: mindestens einen Speicher, der computerausführbare Anweisungen umfasst; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen zu lesen und auszuführen, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen zum: Erfassung eines Fahrzeugrades in einer Vielzahl von Bildern eines Videos; Erzeugung von Begrenzungsrahmen um Abschnitte der Rahmen herum, einschließlich des Fahrzeugrades; Skalieren der Abschnitte der Rahmen, einschließlich des Fahrzeugrades, auf eine vorbestimmte konstante Größe, Bestimmung durch Analyse der skalierten Abschnitte der Rahmen, ob sich das Fahrzeugrad bewegt; und Ausgabe von Informationen, die anzeigen, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeugrad bewegt.
Die Vorrichtung nach Anspruch 1, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, zu bestimmen, ob sich das Fahrzeugrad bewegt, indem bestimmt wird, ob sich das Fahrzeugrad dreht.
Die Vorrichtung nach Anspruch 2, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, zu bestimmen, ob sich das Fahrzeugrad bewegt, indem eine Bewegungsrichtung des Rades bestimmt wird.
Die Vorrichtung nach Anspruch 1, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, Informationen auszugeben, indem er eine Benachrichtigung bereitstellt, die anzeigt, dass sich das Fahrzeug bewegt, wenn die Bestimmung ergibt, dass sich das Fahrzeug in eine Richtung bewegt, die einen Weg eines Host-Fahrzeugs behindert.
Die Vorrichtung nach Anspruch 4, wobei die Benachrichtigung mindestens eine aus der Anzeige eines alternativen Weges für das Trägerfahrzeug, einer haptischen Rückmeldung über einen Sitz in einem Host-Fahrzeug und der Anzeige einer dem fahrenden Fahrzeug zugeordneten Warnung auf einer Anzeige im Host-Fahrzeug umfasst.
Die Vorrichtung nach Anspruch 1, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor ferner dazu veranlassen, die skalierten Abschnitte des Bildes zu analysieren, indem er eine Vielzahl von Merkmalspunkten identifiziert, die dem Fahrzeugrad in den Rahmen des Bildes entsprechen, und Änderungen der Koordinaten der Vielzahl von Merkmalspunkten in den Rahmen des Bildes bestimmt.
Die Vorrichtung nach Anspruch 6, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, Änderungen der Koordinaten der Vielzahl von Merkmalspunkten in den Rahmen des Bildes durch Berechnen einer Winkeländerung in Bezug auf die identifizierte Vielzahl von Merkmalspunkten zu bestimmen.
Die Vorrichtung nach Anspruch 1, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die skalierten Abschnitte des Bildes zu analysieren, indem er eine dem Rad des Fahrzeugs in den Rahmen des Bildes entsprechende Form identifiziert und Koordinatenänderungen der identifizierten Form in den Rahmen des Bildes bestimmt.
Die Vorrichtung nach Anspruch 8, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die Form zu identifizieren, indem er eine oder mehrere Funktionen aus dem Bereich der Kantenerkennung, der Linienerkennung, der Ellipsen- oder Kreiserkennung ausführt.
Die Vorrichtung nach Anspruch 1, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, durch Bestimmung einer Bewegungsrichtung des Rads zu ermitteln, ob sich das Fahrzeugrad weiter bewegt.