DE102019102216A1

DE102019102216A1 - Fusion von Frontfahrzeugsensordaten zur Erkennung und zur Bestimmung der Entfernung von vorausfahrenden Objekten

Info

Publication number: DE102019102216A1
Application number: DE102019102216.9A
Authority: DE
Inventors: Trenton B. LINDHOLM
Original assignee: Toyota Motor Engineering and Manufacturing North America Inc; Toyota Engineering and Manufacturing North America Inc
Current assignee: Toyota Motor Engineering and Manufacturing North America Inc
Priority date: 2018-01-30
Filing date: 2019-01-29
Publication date: 2019-08-01
Also published as: CN110103958A; JP7242316B2; US11091162B2; JP2019164124A; CN110103958B; US20190232964A1

Abstract

Die vorliegende Offenbarung bezieht sich auf ein Verfahren zum Bestimmen des Abstandes zwischen den Fahrzeugen während des adaptiven Cruise Control (ACC). Darüber hinaus ist das Verfahren auf die Integration mehrerer Sensormodalitäten ausgerichtet, um den Abstand zwischen den Fahrzeugen im Nahbereich genau zu bestimmen. Dieser Ansatz nutzt standardmäßige, fahrzeugbasierte Sensoren und Verarbeitungsschaltungen, um die Auswahl der Sensormodalitäten bei der Entfernungsbestimmung zwischen Fahrzeugen zu verbessern.

Description

HINTERGRUND
Adaptive Cruise Control (ACC)-Systeme erhöhen die Sicherheit und das Vertrauen des Fahrers, indem sie frontseitige Sensoren verwenden, um die Größe, Geschwindigkeit und Entfernung von vorausgehenden Objekten zu erfassen. In dem Fall, in dem der Fahrer sich dafür entscheidet, ACC für die Längssteuerung zu verwenden, kann das ACC einen Befehl zum Ändern der Geschwindigkeit des Fahrzeugs erzeugen, um einen sicheren Fahrabstand zwischen den Fahrzeugen einzuhalten. Das US-Patent Nr. US 7,457,699 B1 mit dem Titel „Technique for detecting truck trailer for stop and go adaptive cruise control“ von Chia richtet sich an einen radarbasierten Ansatz zur Erkennung von Nahbereichs-LKW-Anhängern, die sonst ungenau vorhergesagt werden könnten. Während dieser Ansatz darauf abzielt, die Erkennung von Fahrzeugen mit inkonsistenten hinteren Ebenen zu verbessern (d.h. Baumaterialien, die aus einer Ladefläche herausragen, LKW-Anhänger in einem Abstand über den Reifen), bleibt das Radar im Nahbereich suboptimal und erfordert daher einen neuen Ansatz zur Erkennung vorausfahrender Objekte.
Die vorstehende Beschreibungseinleitung zum Thema „Hintergrund“ dient dazu, den Kontext der Offenbarung allgemein darzustellen. Arbeiten der Erfinder, soweit sie in diesem Hintergrundabschnitt beschrieben sind, sowie Aspekte der Beschreibung, die zum Zeitpunkt der Anmeldung nicht als Stand der Technik gelten können, werden weder ausdrücklich noch stillschweigend als Stand der Technik gegenüber der vorliegenden Erfindung anerkannt.
Kurzfassung der Erfindung
Die vorliegende Offenbarung bezieht sich auf ein Verfahren, eine Vorrichtung und ein computerlesbares Medium, die zum Bestimmen eines Abstands zwischen einem Fahrzeug und einem vorausfahrenden Objekt konfiguriert sind, und dies umfassend das Erfassen eines ersten erfassten bzw. sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht, über eine erste Sensormodalität, das Bestimmen einer Größe des ersten sensierten Parameters, der über die erste Sensormodalität erfasst wurde, über eine Verarbeitungsschaltung, das Erfassen eines zweiten erfassten bzw. sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht, über eine zweite Sensormodalität, das Bestimmen, über eine Verarbeitungsschaltung, einer Größe des zweiten sensierten Parameters, der über die zweite Sensormodalität erfasst wurde.
Gemäß einer Ausführungsform ist die vorliegende Offenbarung ferner darauf bezogen, per Kamera ein auf das vorausfahrende Objekt bezogenes Bild aufzunehmen, das auf das vorausfahrende Objekt bezogene Bild zu klassifizieren und den ersten erfassten Parameter, den zweiten erfassten Parameter oder eine Kombination davon auszuwählen, und dies basierend auf der Klassifizierung des auf das vorausfahrende Objekt bezogenen Bildes.
Die vorstehenden Absätze wurden zur allgemeinen Einführung angegeben und diese sollen den Umfang der folgenden Ansprüche nicht einschränken. Die beschriebenen Ausführungsformen und weitere Vorteile lassen sich am besten anhand der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen verstehen.
Figurenliste
Ein umfassenderes Verständnis der Offenbarung und vieler der damit verbundenen Vorteile wird leicht erreicht, da diese durch die folgende detaillierte Beschreibung besser verstanden wird, wenn sie im Zusammenhang mit den beigefügten Zeichnungen betrachtet wird, wobei in der Zeichnung das Folgende angegeben ist:

1 ist eine Darstellung eines Benutzerfahrzeugs in Bezug auf ein vorausfahrendes Fahrzeug gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
2 ist ein Flussdiagramm auf hoher Ebene eines adaptiven Geschwindigkeitsregelsystems der vorliegenden Offenbarung, und dies einschließlich der Steuereinheit des Fahrunterstützungssystems und der Fahrgeschwindigkeitsregelanlage;
3 ist ein Blockdiagramm eines Fahrgeschwindigkeitsreglers gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
4 ist eine Darstellung der Identifizierung eines vorausfahrenden Fahrzeugs gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
ist ein Flussdiagramm auf hoher Ebene einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
6 ist ein Flussdiagramm des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
7A ist eine Darstellung des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform;
7B ist eine Darstellung des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform;
7C ist eine Darstellung des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform;
8A ist eine Darstellung der Objekterkennung während des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
8B ist eine Darstellung der Objekterkennung während des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung;
8C ist eine Darstellung der Objekterkennung während des Erkennens und der Entfernungsbestimmung gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung; und
9 ist ein Blockdiagramm einer Hardwarebeschreibung eines Computers, der konfiguriert ist, um das Erfassen, Entfernungsbestimmen und Steuern gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung auszuführen.

DETAILLIERTE BESCHREIBUNG
Die hierin verwendeten Begriffe „ein“ oder „eine“ oder „eines“ sind definiert als einer oder mehrere. Der Begriff „Mehrzahl“, wie er hierin verwendet wird, ist definiert als zwei oder mehr als zwei. Der Begriff „andere“, wie hierin verwendet, ist definiert als mindestens ein zweites oder mehr. Die hierin verwendeten Begriffe „einschließlich“ und/oder „mit“ sind definiert als umfassend (d.h. in offener Sprache). Der Verweis in diesem Dokument auf „eine Ausführungsform“, „bestimmte Ausführungsformen“, „eine Ausführungsform“, „eine Implementierung“, „ein Beispiel“ oder ähnliche Begriffe bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder ein bestimmtes Merkmal, das in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher beziehen sich die Erscheinungsformen solcher Phrasen oder an verschiedenen Stellen in dieser Spezifikation nicht unbedingt alle auf die gleiche Ausführungsform. Darüber hinaus können die besonderen Merkmale, Strukturen oder Merkmale in geeigneter Weise in einer oder mehreren Ausführungsformen uneingeschränkt miteinander kombiniert werden.
Der adaptive Geschwindigkeitsregler (ACC) wird in modernen Fahrzeugen häufig eingesetzt, um die Sicherheit der Fahrgäste zu verbessern. Dazu misst der ACC aktiv den Abstand zwischen dem Fahrzeug eines Benutzers und einem vorausfahrenden Fahrzeug und integriert diese Abstandsinformationen mit bekannten Geschwindigkeitsinformationen des Fahrzeugs des Benutzers, um zusätzlich zu anderen Eingaben zu bestimmen, ob die Geschwindigkeit des Benutzerfahrzeugs angepasst werden muss, um eine vorgegebene Nachlaufstrecke einzuhalten oder eine Sollgeschwindigkeit zu erreichen. Häufig erfolgt die Distanzierung bzw. Beabstandungsmessung über Radar, ein hocheffektives System zur Bestimmung des Abstands eines Fahrzeugs in idealen Situationen (z.B. Autobahnfahrt im Abstand). Im Stop-and-Go-Verkehr jedoch oder wenn das vorausfahrende Fahrzeug eine große Last trägt, die sich von der hinteren Ebene des Fahrzeugs aus erstreckt, kann die Genauigkeit der radargestützten Informationen abnehmen, was sich auf die Fähigkeit von ACC auswirkt, die Fahrzeuggeschwindigkeit ordnungsgemäß zu steuern und Kollisionen zu vermeiden.
Dieser Mangel ist das Ergebnis der technischen Grundlage des in Fahrzeugen eingesetzten radarbasierten Systems. Radarsender senden einen schmalen Strahl von Radiowellen aus, die mit Objekten in Berührung kommen und in verschiedene Richtungen reflektiert oder gestreut werden. Da ein Teil der Wellen in bekannten Zeit- und Frequenzintervallen reflektiert und mit einem Empfänger empfangen wird, kann der Abstand zum vorausfahrenden Objekt bestimmt werden. Um jedoch einen Abstand aus der Vielzahl der Signale zu bestimmen, wird ein Schwerpunkt mit dem höchsten Reflexionsvermögen des vorausfahrenden Objekts gewählt. Dieser Schwerpunkt kann einen großen Teil der hinteren Perspektive bzw. des Hinterteils des vorausfahrenden Fahrzeugs umfassen, dieser kann aber auch nur einen kleinen Teil des vorausfahrenden Fahrzeugs darstellen. Diese Abweichungen können beispielsweise bei einem Tieflader mit Stahl-I-Trägern zu einer ungenauen Bestimmung des wahren Abstands zum hintersten Teil des vorausgehenden Fahrzeugs führen. Wenn sich beispielsweise ein Benutzerfahrzeug einem vorausfahrenden Fahrzeug nähert, kann das vorausfahrende Fahrzeug und irgendein hinterer Aspekt den schmalen Kegel der vom Benutzerfahrzeug ausgesendeten Radiowellen verlassen, und somit das Sichtfeld des Radars verlassen und unauffindbar werden. An dieser Stelle ist eine effiziente Abstandsmesstechnologie für den Nahbereich erforderlich.
Aus diesem Grund, wie hierin beschrieben, stellt die vorliegende Offenbarung ein System zur Integration von Kamera, Radar und Sonar bereit, um die Abstände zwischen Fahrzeugen über einen weiten Bereich von Entfernungen genau zu bestimmen.
1 ist eine Darstellung eines Benutzerfahrzeugs in Bezug auf ein vorausfahrendes Fahrzeug gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Ein vorhandenes Fahrzeug 105 fährt in einem Abstand und mit einer bekannten Geschwindigkeit hinter einem vorausgehenden Fahrzeug 110. In einer Ausführungsform ist das vorliegende Fahrzeug 105 ein Benutzerfahrzeug 115, das zur Personenbeförderung ausgestattet ist, und das vorausfahrende Fahrzeug 110 ist ein Tieflader 121, der zum Transport von schwerem Gerät ausgestattet ist. In einer Ausführungsform befindet sich ein hinterer Aspekt eines Tiefladers 122 des Tiefladers 121 nicht im Radarsichtfeld 111 des Nutzerfahrzeugs 115. Dieser hintere Teil des Tiefladers 122 des Tiefladers 121, der aufgrund seiner Nähe zum Nutzerfahrzeug 115 nicht radartechnisch rückverfolgbar ist, befindet sich jedoch im Sonarblickfeld 112 des Nutzerfahrzeugs 115. In einer Ausführungsform reflektiert die schwere Ausrüstung oder ähnliches eines Tiefladers 122 des Tiefladers 121 Funkwellen mit hoher Intensität. Obwohl diese nicht der hinterste Teil des Tiefladers 121 ist, kann diese schwere Ausrüstung die Fähigkeit des Radarsystems, den Abstand zum Tieflader 122 genau zu bestimmen, überproportional beeinträchtigen. Dadurch kann der tatsächliche Abstand zwischen dem Nutzerfahrzeug 115 und dem Heck des Tiefladers 121 verschleiert werden. Frontseitige Kameras des Benutzerfahrzeugs 115 erfassen die Bilder 113 des vorausfahrenden Fahrzeugs. Diese aufgenommenen Bilder 113 werden verwendet, um die Identität des vorausgehenden Fahrzeugs zu bestimmen und die Genauigkeit der oben genannten Abstandsmesstechniken weiter zu bestimmen, da die Fähigkeit der Abstandsmesstechniken durch den Fahrzeugtyp (d.h. Form, Größe, Ladung) beeinflusst wird.
Während bekannt ist, dass Radar bei der Bestimmung größerer Entfernungen effektiv ist, ist das Sonar aufgrund der technischen Einschränkungen bei der Verwendung von Schallwellen bei der Bestimmung kleinerer Entfernungen effektiver. Daher ist es in einer exemplarischen Ausführungsform erforderlich, dass das Benutzerfahrzeug, sowie sich ein vorausgehendes Fahrzeug der Grenze zwischen diesen beiden Abstandsmessansätzen nähert, eine Entscheidung darüber trifft, welchen Abstandsmessansatz es verwenden soll. Basierend auf der Identifizierung des vorausgehenden Fahrzeugs und seiner vorhergesagten Entfernung kann es angebracht sein, nur Radar, nur Sonar oder die beiden Ansätze zu verwenden, um die genaueste Entfernung zu erreichen.
2 ist ein Flussdiagramm auf hoher Ebene bzw. auf Übersichtsebene eines adaptiven Geschwindigkeitsregelsystems der vorliegenden Offenbarung. Von links nach rechts skizziert 2 die Eingaben bzw. Stimuli, die an eine Steuereinheit 230 des Fahrunterstützungssystems geliefert werden, das für die genaue Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug verantwortlich ist, wobei dies ein Wert ist, der dann an das Fahrgeschwindigkeitssteuergerät 235 geliefert wird, um die Fahrzeuggeschwindigkeit zu ändern.
Wie in 2 dargestellt, beinhaltet das Fahrzeugsteuerungssystem 200, ist aber nicht darauf beschränkt, eine Kamera 203 zum Erfassen von vorausfahrenden Objekten, eine Radarausrüstung 201 zum Bestimmen des Abstands zwischen vorausfahrenden Objekten und dem vorliegenden Fahrzeug, eine Sonarausrüstung 202 zum Bestimmen des Abstands zwischen vorausfahrenden Objekten und dem vorliegenden Fahrzeug, einen Fahrgeschwindigkeitssensor 204, der die Fahrgeschwindigkeit des vorliegenden Fahrzeugs erfasst, eine Steuereinheit 230 des Fahrunterstützungssystems und eine Fahrgeschwindigkeitssteuereinheit 235. Die Steuereinheit 230 des Fahrunterstützungssystems beinhaltet, ist aber nicht darauf beschränkt, eine Objekterkennungseinrichtung 233, die aufgenommene Bilder von der Kamera 203 verwendet, ein Entfernungsbestimmungsmittel 231, eine Radarintensitätsbestimmungseinrichtung 234 und eine Sonarauflösungsbestimmungseinrichtung 232. Das Entfernungsbestimmungsmittel 231 verwendet Daten von der Radarausrüstung 201 und der Sonarausrüstung 202 im Zusammenhang mit der Ausgabe von der Radarintensitätsbestimmungseinrichtung 234 und der Sonarauflösungsbestimmungseinrichtung 232, um den Abstand zwischen dem vorausgehenden Fahrzeug und dem vorliegenden Fahrzeug zu bestimmen. Sobald ein Abstand durch das Entfernungsbestimmungsmittel 231 bestimmt wurde, wird der Wert an die Fahrgeschwindigkeitssteuereinheit 235 zum Einstellen der aktuellen Fahrzeuggeschwindigkeit geliefert, falls geeignet.
Gemäß einer Ausführungsform erfasst die Kamera 203 mindestens ein Bild der vorausfahrenden Ansicht, und dies einschließlich aller Objekte innerhalb dieser Ansicht, und die Kamers 203 gibt das aufgenommene Bild an die Steuereinheit 230 des Fahrunterstützungssystems aus. Das von der Kamera 203 aufgenommene Bild kann zur Objekterkennung verwendet werden, um das Entfernungsbestimmungsmittel zu informieren und die seitliche Anwesenheit eines Fahrzeugs im Sichtfeld zu registrieren. Das Vorhandensein eines Fahrzeugs und seine räumliche Lage sind in Situationen von Umweltbelastungen (d.h. unerwarteten Spurwechseln) entscheidend, so dass die Fahrzeuggeschwindigkeit schnell gesteuert werden kann. Die Daten werden kontinuierlich von der Kamera 203 erfasst, um der Steuereinheit 230 des Fahrunterstützungssystems Echtzeit-Objektdaten zur Verfügung zu stellen. In einer Ausführungsform ist die Kamera 203 eine Kamera mit sichtbarem Licht, eine Infrarotkamera oder eine Kombination davon.
Gemäß einer Ausführungsform ist die Radarausrüstung 201 ein Millimeterwellenradar zum Erfassen eines vorausfahrenden Objekts, einschließlich eines Fahrzeugs, und zum Messen der Entfernung zwischen dem gegenwärtigen Fahrzeug und dem vorausfahrenden Fahrzeug. Die fahrzeugbasierte Millimeterwellenradarausrüstung 201 mischt gesendete Wellen (Millimeterwellen), die von einem Sender ausgesendet werden, und empfangene Wellen, die vom vorausfahrenden Fahrzeug reflektiert werden, um eine Schwebungsfrequenz im gemischten Signal zu extrahieren, wodurch Informationen über eine Entfernung zwischen dem aktuellen Fahrzeug und dem vorausgehenden Fahrzeug erfasst werden. Diese Abstandsinformationen werden dann an das die Steuereinheit 230 des Fahrunterstützungssystems ausgegeben. In einer Ausführungsform werden Informationen über den Abstand zum vorausfahrenden Fahrzeug durch Lokalisation eines Schwerpunktes von reflektierten Funkwellen bestimmt, die am Empfänger erfasst werden. Ähnlich wie bei einer Wärmekarte wird eine pixelgenaue Darstellung der Radiowellenintensitäten erzeugt und es wird als der Heckaspekt bzw. das hinterste Teil des vorausfahrenden Fahrzeugs ein Bereich mit der höchsten Intensität ausgewählt. In einer weiteren Ausführungsform werden Informationen über den Abstand zum vorausfahrenden Fahrzeug aus den Wellenformspitzen eines Frequenzspektrums bestimmt, die mit Objekten in einem Sichtfeld korreliert sind. Die Daten werden kontinuierlich von der Radarausrüstung 201 erfasst, um der Steuereinheit 230 des Fahrunterstützungssystems Echtzeitdaten zur Verfügung zu stellen.
Gemäß einer Ausführungsform verwendet die Sonarausrüstung 202, wie aus dem Stand der Technik bekannt, Schallwellen aus nächster Nähe bzw. im Nahbereich, um einen Abstand zwischen einem gegenwärtigen Fahrzeug und einem vorausfahrenden Objekt, wie beispielsweise einem Fahrzeug, zu bestimmen. Die fahrzeugbasierte Sonarausrüstung 202 misst einen Zeitraum von einer Zeit, in der eine für den Menschen unhörbare Ultraschallwelle abgegeben wird, bis zu einer Zeit, in der die vom Vorgänger reflektierten Wellen wieder bei der Sonarausrüstung 202 ankommen. Diese Zeitbereichsdaten informieren über die Entfernungsbestimmung, deren Ausgang an die Steuereinheit 230 des Fahrunterstützungssystems geliefert wird. Die Daten werden kontinuierlich von der Sonarausrüstung 202 erfasst, um der Steuereinheit 230 des Fahrunterstützungssystems Echtzeitdaten zur Verfügung zu stellen.
Gemäß einer Ausführungsform erfasst der Fahrgeschwindigkeitssensor 204 eine Fahrgeschwindigkeit des aktuellen Fahrzeugs und gibt die Fahrgeschwindigkeit an die Steuereinheit 230 des Fahrunterstützungssystems aus. Diese Fahrgeschwindigkeit wird mit dem bestimmten Abstand von der Fahrunterstützungssystem-Steuereinheit 230 gebündelt und durch die Fahrunterstützungssystem-Steuereinheit 230 zur Fahrgeschwindigkeitssteuereinheit 235 geleitet, wobei die beiden Werte von der Fahrgeschwindigkeitssteuereinheit 235 verwendet werden, um gegebenenfalls Fahrgeschwindigkeitseinstellungen zu bestimmen. Die Daten werden kontinuierlich vom Fahrgeschwindigkeitssensor 204 erfasst, um der Steuereinheit 230 und damit der Fahrgeschwindigkeitssteuereinheit 235 Echtzeitdaten zur Verfügung zu stellen.
Gemäß einer Ausführungsform der vorliegenden Offenbarung sind die Kamera 203, die Millimeterwellenradarausrüstung 201, die Sonarausrüstung 202 und der Fahrgeschwindigkeitssensor 204 kommerziell erhältliche Produkte, die gemäß den jeweiligen Spezifikationen implementiert werden können.
Gemäß einer Ausführungsform ist die Steuereinheit 230 des Fahrunterstützungssystems ein bekannter Mikrocomputer mit CPU (Zentraleinheit), ROM (Read Only Memory), RAM (Random Access Memory) und I/O (Input und Output) Schnittstelle bzw. Eingabe/Ausgabe-Schnittstelle. Das in einer Speichereinheit wie dem ROM gespeicherte Steuerprogramm ermöglicht es der CPU, als das nachfolgend beschriebene Objekterkennungsmittel 233, Entfernungsbestimmungsmittel 231, Radarintensitätsbestimmungsmittel und Sonarauflösungsbestimmungsmittel 232 zu dienen. Eine exemplarische Ausführungsform der Steuereinheit 230 des Fahrunterstützungssystems ist in dargestellt.
Gemäß einer Ausführungsform ist das Objekterkennungsmittel 233 konfiguriert, um basierend auf aufgenommenen Bildern von der Kameraausrüstung 203 die Identität eines vorausfahrenden Fahrzeugs zu bestimmen. Gemäß den Standardansätzen des maschinellen Lernens wird ein Algorithmus oder ein ähnliches Verfahren, wie beispielsweise ein neuronales Faltungsnetzwerk, auf einer Datenbank verfügbarer, bekannter Fahrzeuge trainiert, wobei die Klassifizierung vorausfahrender Fahrzeuge, einschließlich, aber nicht beschränkt auf, Motorräder, Autos oder Lastwagen, ermöglicht wird. Darüber hinaus können Unterklassifizierungen nach Marke und Modell bestimmt werden, um eine erhöhte Spezifität und Sensibilisierung in Bezug auf Geschwindigkeit, Gewicht und Form der vorausgehenden Fahrzeuge zu ermöglichen.
In einer exemplarischen Ausführungsform der Datenbank der Objekterkennungseinrichtung 233 enthält die Datenbank einen Korpus von Referenzbildern, wobei jedes Referenzbild ein identifizierbares Referenzobjekt umfasst und in der Datenbank mit einer entsprechenden Textbeschreibung des Referenzobjekts verknüpft ist. Weiterhin enthält die Datenbank eine Vielzahl von Datenstrukturen mit Bildabfrageauflösung, die jeweils eine Sammlung von Datensätzen umfassen, wobei jeder Datensatz einen Bilddeskriptor für eines der Referenzbilder enthält. Jede Datenstruktur ist daher unter Verwendung eines entsprechenden aus einem Satz von vorgegebenen Suchprozessen durchsuchbar, um einen Datensatz innerhalb der Datenstruktur zu identifizieren, der auf der Grundlage der Bilddeskriptoren am nächsten liegt.
Gemäß einer Ausführungsform ist das Entfernungsbestimmungsmittel 231 konfiguriert, um einen genauen Abstand zwischen den Fahrzeugen basierend auf Entfernungsdaten von der Radarausrüstung 201 und der Sonarausrüstung 202 zu bestimmen, die mit Objektdaten von der Kameraausrüstung 203 über das Objekterkennungsmittel 233 integriert sind.
Bei der Entfernungsbestimmung muss das Entfernungsbestimmungsmittel 231 der Steuereinheit 230 des Fahrunterstützungssystems eine geeignete Quelle zum Abstandsdatenabgleich auswählen. Zu diesem Zweck wird ein Datenstrom ausgewählt, entweder von der Radarausrüstung 201, von der Sonarausrüstung 202 oder von einer Fusion bzw. Verschmelzung der beiden Datenströme, wie sie an die Steuereinheit 230 des Fahrunterstützungssystems geliefert werden, um die Entfernung zwischen den Fahrzeugen genau zu schätzen. Bei der Bestimmung der geeigneten Datenquelle kann jeder Datenstrom in Bezug auf einen vorgegebenen Schwellenwert ausgewertet werden. Für Radar, wobei ein Signal aus einem Schwerpunkt des maximalen Reflexionsvermögens erzeugt wird, wird ein Schwellenwert auf eine vorgegebene Reflexionsvermögens-Intensität eingestellt. Intensitäten, die über diese vorgegebene Reflektionsintensität hinausgehen, gelten als genaue Darstellung der Entfernung des vorausfahrenden Objekts, d.h., ein Schwellenwert, der gemäß den Spezifikationen der Radarausrüstung 201 festgelegt wurde. Für Sonar(-vorrichtungen), bei denen ein Signal im Zusammenhang mit luftbasiertem Rauschen erzeugt wird, wird ein Schwellenwert auf eine vorgegebene Auflösung eingestellt. Auflösungen, die über diesem vorgegebenen Auflösungsschwellenwert liegen, gelten als genaue Schätzung der Entfernung des vorausfahrenden Objekts, d.h., ein Schwellenwert, der gemäß den Spezifikationen der Sonarausrüstung 202 festgelegt wurde.
In einer exemplarischen Ausführungsform der entfernungsbestimmenden Mittel der vorliegenden Offenbarung, wobei vorgegebene Radar- und Sonarschwellen verwendet werden, ist ein vorausgehendes Fahrzeug eine Limousine und fährt mit einer Geschwindigkeit, die relativ langsamer ist als das vorliegende Fahrzeug. Zunächst befindet sich die Limousine 20 Meter vor dem aktuellen Fahrzeug, wobei die Radarintensität über einem vorgegebenen Schwellenwert liegt und die Sonarauflösung unter einer vorgegebenen Auflösung liegt. In diesem Fall wird das Radar als ideale Modalität für die Entfernungsbestimmungsmittel gewählt. Wenn sich die Entfernung zwischen den Fahrzeugen verringert, wird eine Entfernung (z.B. 6 Meter) erreicht, bei der sowohl die Sonarauflösung als auch die Radarintensität über ihren jeweiligen Schwellenwerten liegen. Im Zusammenhang mit Informationen von der Kameraausrüstung und der Identifizierung des vorausfahrenden Fahrzeugs kann eine Bestimmung für einen Übergang (der Messung) zum Sonar erfolgen, um (die Messung) nur beim Radar zu belassen, oder um die beiden Datenströme zu einem Entfernungsausgang zu verschmelzen bzw. zu fusionieren. Da sich die Entfernung zwischen den Fahrzeugen weiter verringert, kann die Radarintensität unter den vorgegebenen Schwellenwert fallen, während das Sonar, das im Nahbereich wirksam ist, wo die Auswirkungen des Rauschens minimal sind, weiterhin eine Auflösung oberhalb eines entsprechenden Schwellenwerts anzeigt. Als Ergebnis wird das Sonar als ideale Modalität gewählt. Die oben beschriebene Methodik zur Sensorauswahl ist auch dann anwendbar, wenn der Abstand zwischen den Fahrzeugen zunimmt. Darüber hinaus bestimmt die Qualität der Datenströme in den jeweiligen fahrzeugübergreifenden Entfernungen von nah bis fern die Entscheidung zur Auswahl bzw. den Entscheidungsprozess.
Gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung und wie oben beschrieben, wird die Objekterkennung gemäß den aufgenommenen Bildern der Kameraausrüstung verwendet, um bei der Auswahl der Entfernungsmodalität für die Entfernungsbestimmung zu helfen. Wenn sich ein Fahrzeug beispielsweise in Reichweite von Radar und Sonar befindet, können Daten aus jeder Datenquelle zusammengeführt werden, um eine verbesserte Ausgabe zu erzielen. Wird jedoch über die Objekterkennung festgestellt, dass es sich bei dem vorausfahrenden Fahrzeug um einen Tieflader mit Anhänger handelt, kann es sinnvoll sein, Sonardaten zu priorisieren, da die Fähigkeit des Radars, den hinteren Teil des Tiefladers genau zu erfassen, minimal ist.
Gemäß einer Ausführungsform steuert eine Fahrgeschwindigkeitssteuereinheit 235 die Fahrgeschwindigkeit des aktuellen Fahrzeugs basierend auf der vom Fahrer im Voraus eingestellten Fahrgeschwindigkeit und den Entfernungs- und Geschwindigkeitseingaben der Steuereinheit des Fahrunterstützungssystems. So wählt der Fahrer beispielsweise bei der Aktivierung von ACC eine gewünschte Fahrgeschwindigkeit aus. In Kenntnis der gewünschten Fahrgeschwindigkeit passt die Fahrgeschwindigkeitssteuereinheit 235 die Fahrgeschwindigkeit des Fahrzeugs über das Drosselklappensubsystem und das Bremssubsystem an, um die gewünschte Fahrgeschwindigkeit einzuhalten. In einer Ausführungsform, die über frontseitige Sensoren bestimmt wird, dass sich ein vorausfahrendes Fahrzeug im Erfassungsbereich des Fahrzeugs befindet, wird bestimmt, ob die Fahrgeschwindigkeit des Fahrzeugs geändert werden soll oder nicht. In einer exemplarischen Ausführungsform fährt ein vorausfahrendes Fahrzeug mit einer Geschwindigkeit, die relativ langsamer ist als das aktuelle Fahrzeug. Das Fahrgeschwindigkeitssteuergerät 235 kann gegebenenfalls die aktuelle Fahrgeschwindigkeit, die durch die Fahrunterstützungssystem-Steuereinheit 230 und den bestimmten Abstand zwischen den Fahrzeugen von der Fahrunterstützungssystem-Steuereinheit 230 geleitet wird, verwenden, um ein Signal zur Aktivierung des Bremssubsystems zu erzeugen. Während die Fahrgeschwindigkeit ausgleicht oder das vorausfahrende Fahrzeug aus dem Sichtfeld der nach vorne gerichteten Sensoren austritt, kann das Fahrgeschwindigkeitssteuergerät 235 jede Abweichung zwischen der aktuellen Fahrgeschwindigkeit und der Soll-Fahrgeschwindigkeit erkennen und ein entsprechendes Signal erzeugen.
Anschließend ist 3 ein Blockdiagramm einer Fahrgeschwindigkeitssteuereinheit und deren Verbindung mit der Steuereinheit des Fahrunterstützungssystems gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Die Fahrgeschwindigkeitssteuereinheit 335 beinhaltet, ist aber nicht darauf beschränkt, ein Speichersubsystem 336, ein Drosselklappensubsystem 337, ein Bremssubsystem 339 und ein Alarm-Subsystem 338. Die Daten über die Entfernung zwischen den Fahrzeugen und die aktuelle Fahrgeschwindigkeit werden von der Steuereinheit 340 des Fahrunterstützungssystems an die Fahrgeschwindigkeitssteuereinheit 335 geliefert. Die vom Fahrer zum Zeitpunkt der ACC-Aktivierung gewählte Soll-Fahrgeschwindigkeit wird im Speicher-Subsystem 336 gespeichert. Das Speichersubsystem 336 beinhaltet im Allgemeinen eine anwendungsgerechte Menge an flüchtigem Speicher (z.B. Dynamic Random Access Memory (DRAM)) und nichtflüchtigem Speicher (z.B. Flash-Speicher, elektrisch löschbarer programmierbarer Nur-Lese-Speicher (EEPROM)). In einer Ausführungsform wird ein ausführbarer Prozessorcode zum Bestimmen der Relativgeschwindigkeitseinstellung des vorliegenden Fahrzeugs im nichtflüchtigen Speicher des Speichersubsystems 336 der Fahrgeschwindigkeitssteuereinheit 335 gespeichert.
Gemäß einer Ausführungsform verwenden der Geschwindigkeitsregelgeräteprozessor 341 und das Speichersubsystem 336 einen proportional-integral-derivativen Regler (PID-Regler), einen aus einer Vielzahl geeigneter adaptiver Regler, um einen angemessenen Abstand zwischen den Fahrzeugen im Zusammenhang mit der gewählten Geschwindigkeit des Tempomaten einzuhalten. Der PID-Regler, ein Regelkreis-Rückführmechanismus, ermöglicht eine kontinuierliche Modulation des Ausgangssignals durch Berechnung eines Fehlerwertes als Differenz zwischen einem gemessenen Prozess und einem gewünschten Sollwert und wendet eine Korrektur basierend auf Proportional-, Integral- und Ableitungstermen an, um den Sollwert zu erreichen. Ebenso kann der Geschwindigkeitssteuergeräteprozessor 341 im Rahmen der vorliegenden Ausführungsform Signale an das Drosselklappensubsystem 337 und gegebenenfalls das Bremssubsystem 339 erzeugen, um die Fahrzeuggeschwindigkeit um einen Sollwert zu modulieren. Falls erforderlich, kann der Prozessor der Geschwindigkeitssteuereinheit 341 Steuersignale an das Alarm-Subsystem 338 liefern, so dass es einem Fahrer des betreffenden Fahrzeugs eine visuelle und/oder akustische Rückmeldung gibt.
In einer exemplarischen Ausführungsform der Fahrgeschwindigkeitssteuereinheit der vorliegenden Offenbarung aktiviert ein Fahrer ACC und stellt die Geschwindigkeitssteuerung auf 80 Meilen pro Stunde ein. Ein vorausgehendes Fahrzeug, das jedoch mit einer Geschwindigkeit von 75 Meilen pro Stunde fährt, wird vor dem aktuellen Fahrzeug erkannt. Die Steuereinheit des Fahrunterstützungssystems liefert kontinuierlich Informationen über den Abstand zum vorausfahrenden Fahrzeug und die aktuelle Geschwindigkeit des aktuellen Fahrzeugs. Um einen sicheren Abstand zwischen den Fahrzeugen einzuhalten, liefert der Geschwindigkeitssteuergerätprozessor 341 ein Signal an das Bremssystem 339, um das Fahrzeug zu verlangsamen. Der Geschwindigkeitssteuergerätprozessor 341 überwacht aktiv die aktuelle Fahrzeuggeschwindigkeit und den Abstand zum vorausfahrenden Fahrzeug, wie er von der Fahrunterstützungssystem-Steuereinheit 340 kontinuierlich bereitgestellt wird, und bestimmt, wann der Abstand zwischen den Fahrzeugen angemessen ist oder die Fahrzeuggeschwindigkeit bei Bedarf geändert wird. Wenn das vorausfahrende Fahrzeug das Sichtfeld verlässt oder den Abstand zwischen den Fahrzeugen über einen Sicherheitsabstand hinaus vergrößert, kann der Geschwindigkeitssteuergerätprozessor 341 ein Signal an das Drosselklappensubsystem 337 erzeugen, um die Fahrzeuggeschwindigkeit zu erhöhen, bis der vom Fahrer gewählte Sollwert erreicht ist, wie im Speicher-Subsystem 336 gespeichert. Die Erzeugung von Befehlen an das Drosselklappensubsystem 337 und das Bremssubsystem 339 werden gemäß dem Regelkreisrückführmechanismus des PID-Reglers bestimmt. Die Verwendung eines PID-Reglers wird im Stand der Technik her offenbart, wie die US 5,335,164 A zeigt, die hierin durch Verweis aufgenommen wird.
Gemäß einer Ausführungsform wird der Sicherheitsabstand zwischen den Fahrzeugen in Abhängigkeit von der Fahrgeschwindigkeit des vorliegenden Fahrzeugs bestimmt. Der Sicherheitsabstand zwischen den Fahrzeugen kann ferner durch die Marke und das Modell des vorausgehenden Fahrzeugs bestimmt werden, wobei Größe, Form und Gewicht des vorausgehenden Fahrzeugs seine Fähigkeit zum Beschleunigen oder Abbremsen im Zeitbereich beeinflussen. In einer Ausführungsform können Informationen, die sich auf den Sicherheitsabstand zwischen den Fahrzeugen beziehen, und sich im Zusammenhang mit dem identifizierten vorausgehenden Fahrzeug befinden, durch Systemsoftware-Updates im Speichersubsystem 336 der Fahrgeschwindigkeitssteuereinheit 335 oder durch Cloud-basierte Systemsoftware-Updates aktualisiert werden.
Gemäß einer Ausführungsform beinhaltet die Fahrgeschwindigkeitssteuereinheit 335 einen bekannten Mikrocomputer mit CPU (Zentraleinheit), ROM (Read Only Memory), RAM (Random Access Memory) und I/O (Input und Output) Schnittstelle. Das in einer Speichereinheit wie dem ROM gespeicherte Steuerprogramm ermöglicht es der CPU, als die oben beschriebene Fahrgeschwindigkeitssteuereinheit 335 zu dienen.
4 ist eine Darstellung der Identifizierung eines vorausfahrenden Fahrzeugs gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Die Identifizierung des vorausfahrenden Fahrzeugs erfolgt über Objekterkennung und maschinelles Lernen. In einer exemplarischen Ausführungsform wird ein Standardansatz für neuronale Faltungsnetze (CNN) verwendet, wie er im Stand der Technik offenbart ist, und durch die US 7,747,070 B2 belegt ist, die hierin durch Verweis mit aufgenommen wird. Obwohl ein CNN hierin beschrieben wird, sollte es nicht als einschränkend betrachtet werden und ist lediglich repräsentativ für eine Vielzahl von Ansätzen zur Objekterkennung. Im Rahmen der vorliegenden Offenbarung wird ein CNN 450 auf einer kuratierten Datenbank mit gesammelten Bildern von hypothetischen Vorgängerobjekten 451 geschult. In einer Ausführungsform wird die kuratierte Datenbank aktiv gepflegt und aktualisiert, entweder über Systemsoftware-Updates der Objekterkennungsmittel oder über Cloud-basierte Systemsoftware-Updates. Kurz gesagt werden das Feature Learning 452 und die Zielklassifikation 453 auf der Datenbank 451 durchgeführt. Im Allgemeinen umfasst das Feature Learning 452 iterative Faltung, Aktivierung über gleichgerichtete Lineareinheiten und Pooling, während die Klassifizierung 453 die Zuordnung von erlernten Merkmalen zu bekannten Labels umfasst. Gelernte Features bzw. Merkmale (z.B. Kanten, Ecken) können manuell ausgewählt oder vom CNN über Deep Learning oder einen ähnlichen Ansatz bestimmt werden. Nach dem Training 450 des CNN wird die Prüfung 455 des CNN durchgeführt, um die Genauigkeit zu gewährleisten. Die Merkmale werden aus einem Testbild 456 extrahiert 457 und gemäß dem Trainingsklassifizierer 450 klassifiziert 458. Nach Bestätigung der Wirksamkeit des ausgebildeten Klassifikators kann die CNN in die Objekterkennungsmittel der Steuereinheit 440 des Fahrunterstützungssystems implementiert werden.
Gemäß einer Ausführungsform beinhaltet die Trainingsdatenbank 451 beschriftete Bilder, um Merkmale zu extrahieren und Klassifizierer zu entwickeln, um eine Vielzahl von Fahrzeugen zu identifizieren, und dies einschließlich, aber nicht beschränkt auf, Pkw, Lkw, Sport-Nutzfahrzeuge, Traktoranhänger und Motorräder.
Gemäß einer Ausführungsform beinhaltet die Trainingsdatenbank 451 beschriftete Bilder, um Merkmale zu extrahieren und Klassifizierer zur Identifizierung von Fahrzeugmarken und -modellen zu entwickeln.
5 ist ein Flussdiagramm auf hoher Ebene einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Gemäß einer Ausführungsform werden nach der Initialisierung des ACC S516 und der Festlegung einer Soll-Fahrgeschwindigkeit Daten von frontseitigen Sensoren erfasst. Diese Eingänge, einschließlich solche von Kamera S518, Radar und Sonar S517, werden an die Steuereinheit des Fahrunterstützungssystems gesendet. Innerhalb der Steuereinheit des Fahrunterstützungssystems integriert das Entfernungsbestimmungsmittel S531 Daten aus aufgenommenen Bildern (d.h. Objekterkennung) mit geschätzten Abständen zwischen den Fahrzeugen, wie sie durch Radar und Sonar bestimmt werden. In einer Ausführungsform kontextualisiert das Entfernungsbestimmungsmittel S531 die Eingaben von Radar und Sonar gemäß der Radarintensität und Sonarauflösung, um eine einzelne, geschätzte Zwischenfahrzeugdistanz zwischen einem aktuellen Fahrzeug und einem vorausgehenden Fahrzeug zu bestimmen. Dieser einzelne, geschätzte Abstand zwischen den Fahrzeugen wird zusammen mit der aktuellen Fahrzeugfahrgeschwindigkeit S518, die durch fahrzeugseitige Geschwindigkeitssensoren bestimmt wird, an das Fahrgeschwindigkeitssteuergerät S535 geliefert. Das Fahrgeschwindigkeitssteuergerät S535 wertet dann diese Eingaben (z.B. Zwischenraum, aktuelle Fahrzeugfahrgeschwindigkeit) aus, um Abweichungen in Bezug auf die ideale Zwischenraumdistanz (d.h. sichere Fahrstrecke) oder die Sollfahrgeschwindigkeit (d.h. aktuelle Fahrzeuggeschwindigkeit v. Sollfahrgeschwindigkeit) zu identifizieren. Wenn eine Abweichung vorliegt, wird eine Fahrgeschwindigkeitseinstellung S542 vorgenommen, um eine Soll-Distanz und/oder eine Soll-Fahrgeschwindigkeit zu erreichen. Die Fahrgeschwindigkeit kann entsprechend dem PID-Regler des Fahrgeschwindigkeitsreglers S535 eingestellt werden, bis das Ziel erreicht ist. Weiterhin wird eine Schleife von den nach vorne gerichteten Sensoreingaben zum Fahrgeschwindigkeitssteuergerät iterativ fortgesetzt, bis der ACC deaktiviert wird.
6 ist ein exemplarisches Flussdiagramm einer Ausführungsform der abstandsbestimmenden Mittel des Steuergeräts des Fahrunterstützungssystems der vorliegenden Offenbarung. Das exemplarische Flussdiagramm sollte als iterative Schleife nach der Initialisierung von ACC verstanden werden. Gemäß einer Ausführungsform steht ein Fahrzeug zunächst unter der manuellen Kontrolle eines Fahrers, der sich der Geschwindigkeit und Umgebung des Fahrzeugs bewusst ist, dies einschließlich der vorausgehenden Fahrzeuge S660. Bei Benutzereingriff des ACC S661 initialisiert das Fahrzeug die Datenerfassung des Frontsensors, einschließlich Kamera, Radar und Sonar. Zu Beginn bestimmt das Entfernungsbestimmungsmittel, ob sich ein vorausfahrendes Objekt oder ein vorausfahrendes Fahrzeug im Bereich des Sonars S662 (d.h. über einem vorher festgelegten Schwellenwert) befindet, wie es zum Teil durch die Spezifikationen der Sonargeräte definiert ist. Zu diesem Zweck sondiert das Entfernungsbestimmungsmittel die frontseitigen Sensoren S663 des Fahrzeugs, einschließlich Radar, Kamera und Sonar, um insbesondere Daten über die Position des vorausgehenden Fahrzeugs zu erfassen. Wird bestimmt, dass sich das vorausfahrende Fahrzeug nicht in Reichweite des Sonars befindet, kehrt das Entfernungsbestimmungsmittel zu Radar- und Kameradaten zurück, um die Entfernung S664 zwischen den Fahrzeugen zu bestimmen. Sobald jedoch bestimmt wurde, dass sich das vorausfahrende Fahrzeug in Reichweite des Sonars befindet, wird mit einer Auflösung, die ausreicht, um den Abstand des Fahrzeugs genau zu bestimmen, bestimmt, ob die Qualität der Radarreflexion ausreichend ist S666, um den Abstand zwischen den Fahrzeugen genau zu bestimmen. Wenn die Radarreflexionsintensität, wie vorstehend beschrieben, unter einen vorgegebenen Schwellenwert gefallen ist, wird das Sonargerät zur Bestimmung der Entfernung S667 zwischen den Fahrzeugen verwendet. In einer Ausführungsform kann jedoch bestimmt werden, dass die Radarreflexion eine Intensität aufweist, um genau zu sein. In diesem Fall kann die Entfernungsbestimmung die Objekterkennungsdaten S668 der Kamera berücksichtigen, um die Zuverlässigkeit der Radardaten zu bestimmen. Obwohl beispielsweise die Radarintensität über einem vorgegebenen Schwellenwert für die Intensität liegt, kann das vorausfahrende Fahrzeug von einem Typ sein, der für einen funkwellebasierten Ansatz inhärente Schwierigkeiten bereitet. Im Falle eines Tiefladers kann das Radar eine hintere Ebene des vorausfahrenden Fahrzeugs identifizieren. Diese hintere Ebene darf jedoch nicht die hintere Seite des vorausfahrenden Fahrzeugs sein, deren ungenauer Abstand zu einer Kollision führen kann. Daher kann es angebracht sein, sich auf das Sonar zu verlassen, um die Konturen der hinteren Ebene abzubilden und den hintersten Aspekt des vorausfahrenden Fahrzeugs zu erfassen. Wenn bestimmt wird, dass das Radar möglicherweise nicht zuverlässig ist, verlagert sich das Entfernungsbestimmungsmittel bei der Bestimmung der Entfernung S667 zwischen den Fahrzeugen auf das Sonargerät. In dem Fall, dass das vorausgehende Fahrzeug jedoch als ein Fahrzeug identifiziert wird, das zuverlässig über Radar in seiner Entfernung bestimmt werden kann, wie beispielsweise eine Limousine, kann sich die durch die Entfernungsbestimmungsmittel bestimmte Entfernung zwischen den Fahrzeugen auf Radar, Sonar oder eine Fusion bzw. Verschmelzung davon stützen S669. Nach dem Messen des Abstands wird, über einen der drei Ansätze, der ermittelte Abstand zwischen den Fahrzeugen über die Steuereinheit des Fahrunterstützungssystems an das Fahrgeschwindigkeitssteuergerät S670 zur Verwendung bei der Fahrgeschwindigkeitsregelung übertragen.
7A, 7B und 7C sind Darstellungen des Erkennens und der Entfernungsbestimmung eines vorausfahrenden Fahrzeugs gemäß einer exemplarischen Ausführungsform. In einer Ausführungsform ist das vorausgehende Fahrzeug 710 ein Coupe. In 7A fährt das vorausfahrende Fahrzeug 710 außerhalb des Bereichs des Sonarfeldes der Sicht bzw. des Erfassungsbereichs 712 oder des Radarfeldes der Sicht bzw. des Erfassungsbereichs 711. Das vorausfahrende Fahrzeug 710 fährt jedoch mit einer Geschwindigkeit, die relativ langsamer ist als das aktuelle Fahrzeug 705. In Abwesenheit eines vorausgehenden Fahrzeugs 710 in Reichweite der Sensoren des aktuellen Fahrzeugs 705 setzt das aktuelle Fahrzeug 705 die ACC-Erhaltung der aktuellen Fahrgeschwindigkeit fort.
Gemäß einer Ausführungsform und wenn sich das vorliegende Fahrzeug 715 dem vorausfahrenden Fahrzeug nähert, wie in 7B dargestellt, beginnen die frontseitigen Sensoren des gegenwärtigen Fahrzeugs 705 das vorausfahrende Fahrzeug 710 zu erfassen und zu erfassen. In einer Ausführungsform und mit dem vorausfahrenden Fahrzeug 710 nur im Sichtfeld des Radars 711 wird das Radar zum Bestimmen der Entfernung zwischen den Fahrzeugen verwendet. Dieser radargestützte Wert wird dann an das Fahrgeschwindigkeitssteuergerät übertragen.
Tritt jedoch eine abrupte Geschwindigkeitsänderung ein oder tritt in Zeiten von Stop-and-Go-Verkehr auf, kann sich die Entfernung zwischen den Fahrzeugen so weit verringern, dass sich das vorausfahrende Fahrzeug 710 im Sichtfeld von Sonar 712 und Radar 711 befindet, wie in 7C dargestellt. In einer Ausführungsform werden Daten aus beiden Quellen bei der Bestimmung der Entfernung zwischen den Fahrzeugen berücksichtigt. Wenn festgestellt wird, dass die Radarreflexionsintensität für die Entfernungsbestimmung ausreichend ist, wie vorstehend beschrieben, wird eine Fusion bzw. Verschmelzung von Radar- und Sonardaten verwendet, um eine Distanz zwischen den Fahrzeugen zum Fahrgeschwindigkeitssteuergerät bereitzustellen. Wenn jedoch festgestellt wird, dass die Daten vom Radar gemäß der Radarreflexionsintensität unzureichend sind, wird das Sonar 712 ausgewählt, um eine möglichst genaue Bestimmung der Entfernung zwischen den Fahrzeugen zu ermöglichen.
8A, 8B und 8C sind Abbildungen der Objekterkennung während des Erkennens und der Entfernungsbestimmung eines vorausgehenden Fahrzeugs gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. In jeder Figur ist ein vorhandenes Fahrzeug 805 ein Benutzerfahrzeug 815. Ein Algorithmus oder ähnliches Verfahren, einschließlich eines CNN oder ähnlichen Ansatzes zur Objekterkennung, der auf einer Datenbank mit beschrifteten Bildern trainiert wird, klassifiziert das vorausfahrende Fahrzeug entsprechend.
Gemäß einer Ausführungsform und wie in 8A dargestellt, ist ein vorausgehendes Fahrzeug ein Auto 823. Das Fahrzeug 823 befindet sich sowohl im Radarfeld der Sicht 811 als auch im Sonarfeld der Sicht 812. Metriken jeder Datenquelle zeigen an, dass die Rohdaten über den vorgegebenen Schwellenwerten liegen. Da das vorausfahrende Fahrzeug ein Auto 823 ist, wobei eine hintere Ebene des Autos im Allgemeinen planar ist, werden Leistungseinschränkungen des Radars in Bezug auf inkongruente Oberflächen vermieden und es wird das Radar als zuverlässig angesehen. Dadurch können Sonar- und Radardatenquellen zur Bestimmung der Entfernung zwischen den Fahrzeugen fusioniert werden.
Gemäß einer Ausführungsform und wie in 8B dargestellt, ist ein vorausgehendes Fahrzeug ein Tieflader-Lastkraftwagen 821. Der Tieflader 821 befindet sich sowohl im Radarfeld der Sicht 811 als auch im Sonarfeld der Sicht 812. Darüber hinaus zeigen Metriken jeder Datenquelle an, dass die Rohdaten über den vorgegebenen Schwellenwerten liegen. Im Zusammenhang mit den technischen Einschränkungen des Radars in Bezug auf die Identifizierung des vorausgehenden Fahrzeugs wird jedoch festgestellt, dass das Radar unzuverlässig ist und die Entfernung zwischen den Fahrzeugen ausschließlich aus dem Sonarfeld der Ansicht 812 bestimmt werden sollte. Wie in dargestellt, obwohl sich das vorausfahrende Fahrzeug im Sichtfeld von Radar 811 befindet, ist die Identifizierung des vorausfahrenden Fahrzeugs als Tieflader 821 entscheidend, um die Unfähigkeit des Schwerpunktansatzes zur Identifizierung von Nuancen in wiederhergestellten Funkwellen zu berücksichtigen. Ein Großteil der Rückseite der Fläche bzw. Ladefläche 822 wird möglicherweise nicht genau in den vom Radar empfangenen Abstandsdaten dargestellt und ist daher nicht zuverlässig, obwohl die Reflexionsintensität über dem vorgegebenen Schwellenwert liegt.
Gemäß einer Ausführungsform und wie in 8C dargestellt, ist ein vorausgehendes Fahrzeug ein Motorrad 824. Das Motorrad 824 befindet sich sowohl im Radarfeld der Sicht 811 bzw. des Erfassungsbereichs 811 als auch im Sonarfeld der Sicht 812 bzw. des Erfassungsbereichs 812. Darüber hinaus zeigen Metriken jeder Datenquelle an, dass die Rohdaten über den vorgegebenen Schwellenwerten liegen. Im Zusammenhang mit den technischen Einschränkungen des Radars und der Identifizierung des vorausgehenden Fahrzeugs wird jedoch festgestellt, dass das Radar unzuverlässig ist und die Entfernung zwischen den Fahrzeugen ausschließlich aus dem Sonarfeld der Sicht 812 bestimmt werden sollte. Wie in 8C dargestellt, obwohl sich das vorausfahrende Fahrzeug im Sichtfeld von Radar 811 befindet, ist die Identifizierung des vorausfahrenden Fahrzeugs als Motorrad 824 entscheidend, um die Unfähigkeit des Schwerpunkt-basierten Ansatzes zur Identifizierung von Nuancen in wiederhergestellten Funkwellen zu berücksichtigen. Hintere Aspekte des Motorrads 824 können möglicherweise nicht genau in den vom Radar empfangenen Entfernungsdaten dargestellt werden, weshalb empfohlen wird, die Entfernungsbestimmung nur auf Sonardaten zu verlagern. Da ein Motorrad zu schnellen Geschwindigkeitsänderungen in der Lage ist, informiert die Identifizierung des vorausfahrenden Fahrzeugs als Motorrad 824 besser über einen sicheren Abstand zwischen den Fahrzeugen und gewährleistet die Sicherheit von Fahrer und Mitfahrer.
9 ist ein Blockdiagramm einer Hardwarebeschreibung eines Computers, der konfiguriert ist, um das Erfassen, Entfernungsbestimmen und Steuern gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung auszuführen. In einer Ausführungsform ist die Hardware eine Steuereinheit für ein Fahrunterstützungssystem. In 9 beinhaltet die Steuereinheit des Fahrunterstützungssystems eine CPU 985, die die oben/unten beschriebenen Verfahren ausführt. Die Prozessdaten und Anweisungen können im Speicher 986 gespeichert werden. Diese Prozesse und Anweisungen können auch auf einem Speichermedium 987 wie einer Festplatte (HDD) oder einem tragbaren Speichermedium gespeichert oder aus der Ferne gespeichert werden. Darüber hinaus sind die beanspruchten Vorschüsse nicht durch die Form der computerlesbaren Medien begrenzt, auf denen die Anweisungen des erfinderischen Verfahrens gespeichert sind. Die Anweisungen können beispielsweise auf CDs, DVDs, im FLASH-Speicher, RAM, ROM, PROM, EPROM, EEPROM, Festplatte oder jeder anderen Informationsverarbeitungsvorrichtung gespeichert werden, mit der die Steuereinheit des Fahrunterstützungssystems kommuniziert, wie beispielsweise einem Server oder Computer.
Darüber hinaus können die beanspruchten Weiterentwicklungen als Dienstprogramm, Hintergrunddeamon oder Komponente eines Betriebssystems oder einer Kombination derselben bereitgestellt werden, die in Verbindung mit der CPU 985 und einem Betriebssystem wie Microsoft Windows 7, UNIX, Solaris, LINUX, Apple MAC-OS und anderen bekannten Systemen ausgeführt werden.
Die Hardware-Elemente, um die Steuereinheit des Fahrunterstützungssystems zu erreichen, können durch verschiedene, dem Fachmann bekannte Schaltungselemente realisiert werden. So kann beispielsweise die CPU 985 ein Xenon- oder Core-Prozessor von Intel aus den USA oder ein Opteron-Prozessor von AMD aus den USA sein oder es können andere Prozessortypen verwendet werden, die dem Fachmann bekannt sind. Alternativ kann die CPU 985 auf einem FPGA, ASIC, PLD oder mit diskreten Logikschaltungen implementiert werden, wie es dem Fachmann bekannt ist. Darüber hinaus kann CPU 900 als mehrere Prozessoren implementiert werden, die gemeinsam parallel arbeiten, um die Anweisungen der oben beschriebenen erfinderischen Prozesse auszuführen.
Die Steuereinheit des Fahrunterstützungssystems in beinhaltet auch eine Netzwerksteuerung 988 bzw. einen Netzwerkcontroller 988, wie beispielsweise eine Intel Ethernet PRO Netzwerkschnittstellenkarte der Intel Corporation aus den USA, zur Anbindung an das Netzwerk 996. Wie zu verstehen ist, kann das Netzwerk 996 ein öffentliches Netzwerk, wie das Internet, oder ein privates Netzwerk, wie ein LAN- oder WAN-Netzwerk, oder eine beliebige Kombination davon sein und kann auch PSTN- oder ISDN-Teilnetze beinhalten. Das Netzwerk 996 kann auch drahtgebunden sein, wie beispielsweise ein Ethernet-Netzwerk, oder drahtlos, wie ein Mobilfunknetzwerk mit EDGE-, 3G- und 4G-Mobilfunksystemen. Das drahtlose Netzwerk kann auch WiFi, Bluetooth oder jede andere bekannte drahtlose Kommunikationsform sein.
Die Steuereinheit des Fahrunterstützungssystems beinhaltet weiterhin eine Anzeigesteuerung 989, wie beispielsweise einen NVIDIA GeForce GTX- oder Quadro-Grafikadapter der NVIDIA Corporation aus den USA zur Anbindung an die Anzeige 990, wie beispielsweise einem Hewlett Packard HPL2445w LCD-Monitor. Eine Universal-I/O-Schnittstelle 991 verbindet sich mit einem berührungsempfindlichen Bildschirm bzw. Touchscreen-Panel 992 auf oder getrennt von der Anzeige 990.
In der Steuereinheit des Fahrunterstützungssystems, wie beispielsweise Sound Blaster X-Fi Titanium von Creative (Labs), ist ebenfalls ein Klang bzw. Sound Controller 993 vorgesehen, der mit den Lautsprechern 994 verbunden ist und so für Sounds und/oder Musik sorgt.
Die Universal-Speichersteuerung 995 verbindet die Speichermedium-Festplatte 987 mit dem Kommunikationsbus 997, der ein ISA, EISA, VESA, PCI oder ähnliches sein kann, um alle Komponenten der Steuereinheit des Fahrunterstützungssystems zu verbinden. Eine Beschreibung der allgemeinen Merkmale und Funktionen der Anzeige 990 sowie der Anzeigesteuerung 989, der Speichersteuerung 995, der Netzwerksteuerung 988, der Klangsteuerung 993 und der universellen I/O-Schnittstelle 991 entfällt hierin aus Gründen der Kurzfassung, da diese Merkmale bekannt sind.
Natürlich sind angesichts der oben genannten Lehren zahlreiche Modifikationen und Variationen möglich. Es ist daher zu verstehen, dass die Erfindung im Rahmen der beigefügten Ansprüche anders ausgeübt werden kann als hierin ausdrücklich beschrieben.
Die vorstehende Diskussion offenbart und beschreibt somit lediglich exemplarische Ausführungsformen der vorliegenden Erfindung. Wie von den Fachleuten verstanden, kann die vorliegende Erfindung in anderen spezifischen Formen verkörpert werden, ohne vom Geist der Erfindung oder seinen wesentlichen Merkmalen abzuweichen. Dementsprechend soll die Offenbarung der vorliegenden Erfindung illustrativ sein, aber nicht den Umfang der Erfindung sowie andere Ansprüche einschränken. Die Offenbarung, einschließlich aller leicht erkennbaren Varianten der hierin enthaltenen Lehren, definiert zum Teil den Umfang der vorstehenden Anspruchsterminologie so, dass kein erfinderischer Gegenstand der Öffentlichkeit gewidmet ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7457699 B1 [0001]
US 5335164 A [0030]
US 7747070 B2 [0033]

Claims

Verfahren zum Bestimmen eines Abstands zwischen einem Fahrzeug und einem vorausfahrenden Objekt, umfassend: Erfassen, mittels einer ersten Sensormodalität, eines ersten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht; Bestimmen, über eine Verarbeitungsschaltung, einer Größe des ersten sensierten Parameters, der über die erste Sensormodalität erfasst wurde; Erfassen, mittels einer zweiten Sensormodalität, eines zweiten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht; Bestimmen, über eine Verarbeitungsschaltung, einer Größe des zweiten sensierten Parameters, der über die zweite Sensormodalität erfasst wurde; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination derselben basierend auf der Bestimmung der Größe des ersten sensierten Parameters und der Größe des zweiten sensierten Parameters in Bezug auf vorgegebene Schwellenwerte.
Verfahren gemäß Anspruch 1, ferner aufweisend: Erfassen eines Bildes, das sich auf das vorausfahrende Objekt bezieht, mittels einer Kamera; Klassifizieren des Bildes, das sich auf das vorausfahrende Objekt bezieht; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination davon basierend auf der Klassifizierung des Bildes in Bezug auf das vorausfahrende Objekt.
Verfahren nach Anspruch 2, wobei das Klassifizieren das Folgende umfasst: Klassifizieren des Bildes basierend auf einem Klassifikator, wobei der Klassifikator basierend auf einer Datenbank trainiert wird, wobei die Datenbank einen Korpus von Referenzbildern beinhaltet, wobei jedes Referenzbild ein identifizierbares Referenzobjekt umfasst und in der Datenbank mit einer entsprechenden Textbeschreibung des Referenzobjekts verknüpft ist, und die Datenbank eine Vielzahl von Bildabfrageauflösungsdatenstrukturen beinhalten, die jeweils eine Sammlung von Datensätzen umfassen, wobei jeder Datensatz einen Bilddeskriptor eines der Referenzbilder beinhaltet, und wobei jede Datenstruktur unter Verwendung eines entsprechenden aus einem Satz von vorbestimmten Suchprozessen durchsucht werden kann, um einen Datensatz innerhalb der Datenstruktur basierend auf den Bilddeskriptoren zu identifizieren.
Verfahren nach Anspruch 1, worin die erste Sensormodalität oder die zweite Sensormodalität eine aus einer Vielzahl von Sensormodalitäten einschließlich Radar und Sonar ist.
Verfahren nach Anspruch 1, worin der erste sensierte Parameter oder der zweite sensierte Parameter einer von einer Vielzahl von sensierten Parametern ist, und dies einschließlich Radarreflexionsintensität und Sonarauflösung.
Verfahren nach Anspruch 2, worin die Kamera eine Kamera für sichtbares Licht, eine Infrarotkamera oder eine Kombination davon ist.
Verfahren nach Anspruch 1, wobei das vorausfahrende Objekt ein Fahrzeug ist.
Nichtflüchtiges, computerlesbares Medium, umfassend ausführbare Programmanweisungen, die, wenn sie durch eine Verarbeitungsschaltung ausgeführt werden, bewirken, dass die Verarbeitungsschaltung ein Verfahren implementiert, das das Folgende umfasst: Erfassen, mittels einer ersten Sensormodalität, eines ersten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht; Bestimmen einer Größe des ersten sensierten Parameters, der über die erste Sensormodalität erfasst wurde; Erfassen, mittels einer zweiten Sensormodalität, eines zweiten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht; Bestimmen einer Größe des zweiten sensierten Parameters, der über die zweite Sensormodalität erfasst wurde; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination derselben basierend auf der Bestimmung der Größe des ersten sensierten Parameters und der Größe des zweiten sensierten Parameters in Bezug auf vorgegebene Schwellenwerte.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 8, worin das Verfahren das Folgende umfasst: Erfassen eines Bildes, das sich auf das vorausfahrende Objekt bezieht, mittels einer Kamera; Klassifizieren des Bildes, das sich auf das vorausfahrende Objekt bezieht; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination davon basierend auf der Klassifizierung des Bildes in Bezug auf das vorausfahrende Objekt.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 9, worin das Klassifizieren das Folgende umfasst: Klassifizieren des Bildes basierend auf einem Klassifikator, wobei der Klassifikator basierend auf einer Datenbank trainiert wird, wobei die Datenbank einen Korpus von Referenzbildern beinhaltet, wobei jedes Referenzbild ein identifizierbares Referenzobjekt umfasst und in der Datenbank mit einer entsprechenden Textbeschreibung des Referenzobjekts verknüpft ist, und die Datenbank eine Vielzahl von Bildabfrageauflösungsdatenstrukturen beinhalten, die jeweils eine Sammlung von Datensätzen umfassen, wobei jeder Datensatz einen Bilddeskriptor eines der Referenzbilder beinhaltet, und wobei jede Datenstruktur unter Verwendung eines entsprechenden aus einem Satz von vorbestimmten Suchverfahren durchsucht werden kann, um einen Datensatz innerhalb der Datenstruktur basierend auf den Bilddeskriptoren zu identifizieren.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 8, worin die erste Sensormodalität oder die zweite Sensormodalität eine von einer Vielzahl von Sensormodalitäten einschließlich Radar und Sonar ist.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 8, worin der erste erfasste Parameter oder der zweite erfasste Parameter einer von einer Vielzahl von erfassten Parametern ist, einschließlich Radarreflexionsintensität und Sonarauflösung.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 9, worin die Kamera eine Kamera für sichtbares Licht, eine Infrarotkamera oder eine Kombination davon ist.
Nichtflüchtiges, computerlesbares Medium nach Anspruch 8, wobei das vorausfahrende Objekt ein Fahrzeug ist.
Vorrichtung zum Bestimmen eines Abstands zwischen einem Fahrzeug und einem vorausfahrenden Objekt, umfassend: eine Verarbeitungsschaltung, die konfiguriert ist, um das Folgende auszuführen: Erfassen eines ersten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht, über eine erste Sensormodalität; Bestimmen einer Größe des ersten sensierten Parameters, der über die erste Sensormodalität erfasst wurde; Erfassen eines zweiten sensierten Parameters, der sich auf den Abstand zwischen dem Fahrzeug und dem vorausfahrenden Objekt bezieht, über eine zweite Sensormodalität; Bestimmen einer Größe des zweiten sensierten Parameters, der über die zweite Sensormodalität erfasst wurde; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination derselben basierend auf der Bestimmung der Größe des ersten sensierten Parameters und der Größe des zweiten sensierten Parameters in Bezug auf vorgegebene Schwellenwerte.
Vorrichtung nach Anspruch 15, worin die Verarbeitungsschaltung ferner konfiguriert ist das Folgende auszuführen: Aufnehmen, mittels der Kamera, eines Bildes, das sich auf das vorausfahrende Objekt bezieht; Klassifizieren des Bildes, das sich auf das vorausfahrende Objekt bezieht; und Auswählen des ersten sensierten Parameters, des zweiten sensierten Parameters oder einer Kombination davon basierend auf der Klassifizierung des Bildes in Bezug auf das vorausfahrende Objekt.
Vorrichtung nach Anspruch 16, wobei die Verarbeitungsschaltung ferner konfiguriert ist das Folgende auszuführen: Klassifizieren des Bildes basierend auf einem Klassifikator, wobei der Klassifikator basierend auf einer Datenbank trainiert wird, wobei die Datenbank einen Korpus von Referenzbildern beinhaltet, wobei jedes Referenzbild ein identifizierbares Referenzobjekt umfasst und in der Datenbank mit einer entsprechenden Textbeschreibung des Referenzobjekts verknüpft ist, und die Datenbank eine Vielzahl von Bildabfrageauflösungsdatenstrukturen beinhalten, die jeweils eine Sammlung von Datensätzen umfassen, wobei jeder Datensatz einen Bilddeskriptor eines der Referenzbilder beinhaltet, und wobei jede Datenstruktur unter Verwendung eines entsprechenden aus einem Satz von vorbestimmten Suchverfahren durchsucht werden kann, um einen Datensatz innerhalb der Datenstruktur basierend auf den Bilddeskriptoren zu identifizieren.
Vorrichtung nach Anspruch 15, wobei die erste Sensormodalität oder die zweite Sensormodalität eine aus einer Vielzahl von Sensormodalitäten einschließlich Radar und Sonar ist.
Vorrichtung nach Anspruch 15, worin der erste erfasste Parameter oder der zweite erfasste Parameter einer von einer Vielzahl von erfassten Parametern ist, und dies einschließlich Radarreflexionsintensität und Sonarauflösung.
Vorrichtung nach Anspruch 16, worin die Kamera eine Kamera für sichtbares Licht, eine Infrarotkamera oder eine Kombination davon ist.