EP4785287A1 - Vorrichtung zur bestimmung einer sichtweite in einem kraftfahrzeug, assistenzsystem, kraftfahrzeug sowie verfahren zur bestimmung einer sichtweite in einem kraftfahrzeug - Google Patents

Abstract

Beschrieben wird eine Vorrichtung zur Bestimmung einer Sichtweite einer ersten Kamera in einem Kraftfahrzeug, wobei die erste Kamera ein Bilderkennungsmodul aufweist, das in den Daten eines ersten Kamerasensors Objekte erkennt, wobei eine zweite Kamera vorgesehen ist, die in einem von der ersten Kamera abweichenden Frequenzbereich empfindlich ist, wobei ein Bilderkennungsmodul eingerichtet ist in den Daten eines zweiten Kamerasensors Objekte zu erkennen, wobei die zweite Kamera Abstandinformationen erzeugt, wobei eine Recheneinheit vorgesehen ist, die dazu eingerichtet ist, auf der Basis der von der ersten Kamera erfassten Objekte und der von der zweiten Kamera erfassten Objekte und den Abstandinformationen eine Sichtweite der ersten Kamera zu bestimmen.

Description

Vorrichtung zur Bestimmung einer Sichtweite in einem Kraftfahrzeug, Assistenzsystem, Kraftfahrzeug sowie Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug

Beschrieben werden eine Vorrichtung zur Bestimmung einer Sichtweite in einem Kraftfahrzeug, ein Assistenzsystem, ein Kraftfahrzeug sowie ein Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug.

Vorrichtungen zur Bestimmung einer Sichtweite in einem Kraftfahrzeug, Assistenzsysteme, Kraftfahrzeuge sowie Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug der eingangs genannten Art sind im Stand der Technik bekannt.

Autonome Kraftfahrzeuge müssen in der Lage sein, dynamische Verkehrssituationen zu bewältigen, wie z.B. plötzlich auftretende Hindernisse, unvorhersehbare Bewegungen anderer Verkehrsteilnehmer und wechselnde Verkehrszeichen. Dies erfordert nicht nur eine präzise Erfassung der aktuellen Umgebung, sondern auch die Fähigkeit, zukünftige Entwicklungen vorherzusagen und entsprechend zu reagieren. Zudem müssen autonome Systeme in der Lage sein, bei Nacht oder in Tunneln zuverlässig zu funktionieren, was zusätzliche Anforderungen an die Sensorik und Datenverarbeitung stellt. Diese Fähigkeiten sind entscheidend, um die Sicherheit der Insassen sowie anderer Verkehrsteilnehmer zu gewährleisten und gleichzeitig die Effizienz des Verkehrsflusses zu optimieren. Autonome Kraftfahrzeuge nutzen eine Vielzahl von Sensoren, darunter Kameras, Lidar, Radar und Ultraschallsensoren, um ihre Umgebung zu erfassen. Die Integration und Verarbeitung der Daten aus diesen unterschiedlichen Quellen, bekannt als Sensorfusion, ist komplex und erfordert leistungsfähige Algorithmen und Rechenkapazitäten. Jede Sensorart hat ihre eigenen Stärken und Schwächen, die es zu berücksichtigen gilt. Beispielsweise bieten Kameras oft eine hohe Auflösung, sind jedoch anfällig für schlechte Lichtverhältnisse, während Lidar präzise Entfernungsdaten liefert, aber durch Regen oder Nebel beeinträchtigt werden kann.

Unterschiedliche Wetterbedingungen wie Regen, Schnee, Nebel und starke Sonneneinstrahlung können die Leistung der Sensoren erheblich beeinträchtigen. Diese Bedingungen stellen eine besondere Herausforderung dar, da sie die Sichtweite reduzieren und die Genauigkeit der Objekterkennung und -Verfolgung verringern können.

Die Sichtweitenbestimmung in Kraftfahrzeugen stellt daher eine der zentralen Herausforderungen für die Entwicklung und Implementierung autonomer Fahrsysteme dar. Die Sichtweitenbestimmung in Kraftfahrzeugen ist ein komplexes und multidisziplinäres Problem, das technologische, umweltbedingte, dynamische und regulatorische Herausforderungen umfasst. Die Entwicklung robuster und zuverlässiger Systeme zur Sichtweitenbestimmung ist entscheidend für die sichere und effiziente Einführung autonomer Kraftfahrzeuge im Straßenverkehr.

Aus der DE 102019 134539 A1 ist eine Vorrichtung zur Ermittlung der Sichtweite einer Kamera eines Fahrzeugs bekannt, wobei die Vorrichtung eingerichtet ist, Bilder in Bezug auf ein Umfeld des Fahrzeugs zu erfassen, wobei das Fahrzeug ein Leuchtelement, insbesondere einen Scheinwerfer, umfasst, das ausgebildet ist, zumindest einen Teil des von der Kamera erfassten Umfelds anzustrahlen. Die Vorrichtung ist ausgebildet, Beleuchtungsinformation in Bezug auf einen Teilbereich eines Bildes der Kamera zu ermitteln, der von dem Leuchtelement beleuchtet wird. Des Weiteren ist die Vorrichtung ausgebildet, einen Schätzwert der Sichtweite der Kamera auf Basis der Beleuchtungsinformation zu ermitteln.

Derzeit sind keine passiven Kamerasysteme bekannt, die in der Lage sind, zuverlässige Sichtweitenbestimmungen vorzunehmen.

Bekannte Verfahren sind oft nicht präzise genug für moderne Assistenzsysteme, insbesondere solche zum teilautonomen oder autonomen Fahren.

Somit stellt sich die Aufgabe, Vorrichtungen zur Bestimmung einer Sichtweite in einem Kraftfahrzeug, Assistenzsysteme, Kraftfahrzeuge sowie Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug der eingangs genannten Art dahingehend weiterzubilden, dass eine präzisere Messung einer Sichtweite in einem Kraftfahrzeug möglich ist.

Die Aufgabe wird gelöst durch eine Vorrichtung zur Bestimmung einer Sichtweite in einem Kraftfahrzeug gemäß Anspruch 1 , ein Assistenzsystem gemäß dem nebengeordneten Anspruch 5, ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 6, sowie ein Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug gemäß dem nebengeordneten Anspruch 7. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.

Beschrieben wird eine Vorrichtung zur Bestimmung einer Sichtweite einer ersten Kamera in einem Kraftfahrzeug, wobei die erste Kamera einen ersten Kamerasensor aufweist, der in einem ersten Frequenzbereich empfindlich ist, wobei die erste Kamera einen ersten Bildbereich aufnimmt, wobei ein Bilderkennungsmodul vorgesehen ist, das Daten von der ersten Kamera empfängt, wobei das Bilderkennungsmodul dazu eingerichtet ist, in den Daten des ersten Kamerasensors Objekte zu erkennen, wobei eine zweite Kamera vorgesehen ist, die einen zweiten Kamerasensor aufweist, der in einem zweiten Frequenzbereich empfindlich ist, wobei der erste Frequenzbereich und der zweite Frequenzbereich unterschiedlich sind, wobei die zweite Kamera einen zweiten Bildbereich aufnimmt, wobei der zweite Bildbereich zumindest teilweise mit dem ersten Bildbereich überlappt, wobei ein Bilderkennungsmodul vorgesehen ist, das Daten von der zweiten Kamera empfängt, wobei das Bilderkennungsmodul dazu eingerichtet ist, in den Daten des zweiten Kamerasensors Objekte zu erkennen, wobei die zweite Kamera Abstandinformationen erzeugt, wobei eine Recheneinheit vorgesehen ist, die dazu eingerichtet ist, auf der Basis der von der ersten Kamera erfassten Objekte und der von der zweiten Kamera erfassten Objekte und den Abstandinformationen eine Sichtweite der ersten Kamera zu bestimmen.

Erste Kamera und zweite Kamera können in Fahrtrichtung nach vorne ausgerichtet sein. Erste Kamera und zweite Kamera können im Wesentlichen gleiche Brennweiten bezogen auf die Sensorgröße aufweisen bzw. im Wesentlichen gleiche Bildwinkel aufnehmen. Erste Kamera und zweite Kamera können zur Aufzeichnung von Bewegtbildern oder einer Reihe von Einzelbildern ausgebildet sein.

Die Ausrichtung von erster Kamera und zweiter Kamera kann genau definiert oder kalibriert sein.

Die erste Kamera kann eine Fahrkamera sein, die zur Überwachung des vor dem Kraftfahrzeug liegenden Gebiets dient, z.B. zur Verkehrszeichenerkennung, Verkehrserkennung, zum autonomen Fahren und dergleichen, wobei das Sensorsignal der Kamera zusätzlich wie im Nachgang beschrieben verwendet wird.

Der erste Kamerasensor kann z.B. ein CCD- oder ein CMOS-Sensor sein und in einem Frequenzbereich empfindlich sein, der in etwa dem des sichtbaren Lichts entspricht, also ca. 400-700 nm. Der erste Kamerasensor kann ein Farbsensor, z.B. durch Vorsehung eines Bayer-Filters vor der fotosensitiven Schicht, oder ein Monochromsensor sein.

Die zweite Kamera kann das gleiche oder ein anderes Sensorprinzip verwirklichen und benachbart zu der ersten Kamera angeordnet sein. Der zweite Kamerasensor kann ein Farbsensor oder ein Monochromsensor sein.

Der empfindliche Frequenzbereich der zweiten Kamera ist unterschiedlich und geht über den Frequenzbereich der ersten Kamera zumindest auf einer Seite des Spektrums hinaus. In einem Ausführungsbeispiel kann der zweite Kamerasensor im ultravioletten Bereich des Spektrums eine weitreichendere Empfindlichkeit aufweisen, in einem alternativen Ausführungsbeispiel im infraroten Bereich. Der zweite Kamerasensor kann in einem dritten Ausführungsbeispiel in beiden in beide Richtungen empfindlicher sein als der erste Kamerasensor.

Die Abstandsinformationen der zweiten Kamera, insbesondere bezüglich der von ihr erfassten Objekten, können auf verschiedene Weisen gewonnen werden.

Eine technische Möglichkeit hierzu ist beispielweise die Phasenverschiebungsmessung. Dabei wird ein kontinuierlicher Lichtstrahl ausgesendet, der moduliert ist. Die Phasenverschiebung des reflektierten Lichts im Vergleich zum ausgesendeten Licht wird gemessen. Diese Phasenverschiebung ist entfernungsabhängig und kann zur Berechnung der Distanz verwendet werden.

Eine weitere Möglichkeit ist die strukturierte Beleuchtung. Hierbei wird ein bekanntes Muster, wie ein Gitter oder Streifen, vorzugsweise mit Infrarot auf die Szene projiziert. Die Verzerrung dieses Musters durch die Objekte in der Szene wird von einer Kamera erfasst und analysiert, um die Entfernung zu berechnen.

Ein andere Möglichkeit ist der Einsatz eines Messuchersystems.

Zudem können mithilfe einer Bewertung von unterschiedlichen Intensitätswerten und/oder Kontrastwerten von Bildern Distanzen bestimmt werden.

In unterschiedlichen konkreten Ausführungsformen können je Kamera eigene Bilderkennungsmodule vorgesehen sein oder es kann ein gemeinsames Bilderkennungsmodul vorgesehen sein, das die Daten der ersten Kamera und die Daten der zweiten Kamera auswertet. Die Bilderkennungsmodule können in Hardware und oder Software ausgestaltet sein. Die Bilderkennungsmodule können in Hardware und oder Software ausgestaltet sein.

Die zweite Kamera kann abhängig von dem jeweils verwendeten Distanzmessprinzip dazu eingerichtet sein, zu den jeweils erkannten Objekten Distanzen direkt zu messen oder Distanzen abzuschätzen. So kann es in manchen Ausgestaltungen möglich sein, die Distanz zu einem Objekt präzise anzugeben oder in anderen Ausgestaltungen das Objekt in gewisse Distanzbereiche einzuordnen, beispielsweise in jeweils fünf Meter tiefe Distanzsegmente.

Durch Vergleich der Daten der ersten Kamera und der zweiten Kamera, insbesondere durch Vergleich der von den jeweiligen Kameras erkannten Objekte können solche Objekte festgestellt werden, die von der ersten Kamera nicht mehr, aber dennoch von der zweiten Kamera erkannt wurden. Mit anderen Worten ist die Grenze der Sichtweite der ersten Kamera zu einem Zeitpunkt erreicht, sobald ein Objekt mit der ersten Kamera nicht mehr erkennbar ist, den entsprechenden Wert der Sichtweite der ersten Karner liefert die zweite Kamera, die zu diesem Zeitpunkt einen Abstandswert zu dem Objekt zur Verfügung stellt.

Die Sichtweite der ersten Kamera, die beispielsweise zur Erkennung und Klassifizierung von Objekten eingerichtet ist, ist dabei von besonderer Relevanz, da davon Verfügbarkeit und mögliche Einstellungen von Assistenzsystemen abhängen, beispielsweise ist eine Geschwindigkeit in einem automatisierten Fährbetrieb vorliegend maßgeblich von einer Sichtweite der ersten Kamera abhängig. Da zu den jeweiligen Objekten aus den Informationen der zweiten Kamera Distanzbereiche oder Distanzen hinterlegt sind, kann somit präzise festgestellt werden, wie weit der Sichtbereich ist, der durch die Sichtweite der ersten Kamera bestimmt wird.

Zur Distanzmessung kann die Position der zweiten Kamera relativ zum Kraftfahrzeug berücksichtigt werden und die entsprechenden Messwerte so kompensiert werden, dass diese von einer vorderen Front des Kraftfahrzeugs festgestellt werden.

Bei dem Kraftfahrzeug kann es sich um ein Landkraftfahrzeug oder ein Wasserkraftfahrzeug oder ein Luftkraftfahrzeug handeln, beispielsweise ein Kraftfahrzeug, ein Lastkraftwagen, ein Zug, ein Schiff oder Boot oder ein Flugzeug.

In einer ersten weiterführenden Ausgestaltung ist vorgesehen, dass der zweite Frequenzbereich der zweiten Kamera in den Nahinfrarotbereich hineinreicht oder den Nahinfrarotbereich abdeckt.

Der Nahinfrarotbereich eignet sich gut, weil entsprechendes Licht in geringerem Maße an Wassertröpfchen gestreut wird, das häufig für eine Beschränkung der Sichtweite verantwortlich ist, beispielsweise in Form von Regen oder Nebel.

Dies bedeutet, dass die zweite Kamera zumindest bei beschränkten Sichtverhältnissen tiefer in den Raum schauen kann als die erste Kamera und somit Objekte erkennen kann, die die erste Kamera aufgrund der beschränkteren Sichtweite nicht mehr wahrnehmen kann.

In einer weiteren weiterführenden Ausgestaltung ist vorgesehen, dass eine Beleuchtungseinrichtung zur Abgabe von Lichtpulsen im Nahinfrarotbereich vorgesehen ist. Hiermit wird eine sehr präzise Messmethode ermöglicht, die eine Laufzeitmessung erlaubt, auch bekannt als Time-of-Flight (ToF). Die Aussendung des Lichtimpulses erfolgt durch eine mit der zweiten Kamera über eines Auswerteeinrichtung verbundene Beleuchtungseinrichtung, vorzugsweise ist die Beleuchtungseinrichtung Bestandteil der zweiten Kamera, die als ToF-Kamera ausgebildet ist. Hierbei wird ein Lichtpuls ausgesendet und über die Auswerteeinrichtung die Zeit gemessen, die das Licht benötigt, um zum Objekt und zurück zur Kamera zu gelangen. Diese Zeit, die als Laufzeit bezeichnet wird, ist direkt proportional zur Entfernung des Objekts. ToF-Kameras beleuchten die Szene in der Regel mit einem Lichtpuls und messen für jeden Bildpunkt die Zeit, die das Licht benötigt, um zurückzukehren. Diese Methode ermöglicht die Erfassung einer gesamten Szene in drei Dimensionen und ist besonders nützlich für Anwendungen, die eine schnelle und präzise Distanzmessung erfordern.

Das Licht im Nahinfrarotbereich durchdringt auch Wassertröpfchen und wird daher auch von hinter der Sichtweite befindlichen Gegenständen reflektiert und kann von der zweiten Kamera erfasst und ausgewertet werden.

In einer weiteren weiterführenden Ausgestaltung ist vorgesehen, dass die zweite Kamera Bestandteil eines Range-Gated-Kamerasystems ist.

Ein Range-Gated-Kamerasystem ist ein komplexes System zur präzisen Distanzmessung, das aus mehreren wesentlichen Komponenten besteht.

Als Lichtquelle kann insbesondere eine Laserquelle verwendet werden, die kurze, intensive Lichtpulse aussendet. Diese Pulse sind von definierter Dauer und Wellenlänge, optimiert für die spezifische Anwendung.

Die zweite Kamera ist mit einem schnellen Shutter ausgestattet, der im Nanosekundenbereich geöffnet und geschlossen werden kann und der synchron mit der Laserquelle arbeitet. Diese Synchronisation kann von einer Steuereinheit übernommen werden, die sicherstellt, dass der Kamerashutter genau im richtigen Moment geöffnet wird, um das reflektierte Licht von bestimmten Entfernungen zu erfassen.

Ergänzt werden kann das System durch optische Komponenten wie Linsen und Filter, die das Licht fokussieren und unerwünschte Wellenlängen oder Streulicht herausfiltern.

Eine Aufnahme eines Range-Gated-Kamerasystems beginnt mit der Aussendung eines Laserpulses. Dieser Puls breitet sich mit Lichtgeschwindigkeit aus und trifft auf verschiedene Objekte in der Umgebung. Das Licht wird von den Objekten reflektiert und kehrt zur Kamera zurück. Während dieser Zeit bleibt der Kamerashutter geschlossen, um Streulicht und Reflexionen von atmosphärischen Partikeln zu vermeiden. Die Steuereinheit öffnet den Kamerashutter genau im Moment, wenn das reflektierte Licht von der gewünschten Entfernung zurückkehrt. Dies ermöglicht es der Kamera, nur das Licht von dieser spezifischen Entfernung zu erfassen und zu verarbeiten. Die Kamera verwendet einen gepulsten Laser zur Beleuchtung und einen Verschluss im Bildsensor, der sich synchron zu den Lichtpulsen öffnet und schließt. Durch Änderung der Pulsfrequenz des Lasers und der sich dazu synchron verändernden Öffnungs- und Schließzeiten der Kamera lassen sich Objekte in unterschiedlicher Entfernung erkennen.

Die Kamera nimmt das reflektierte Licht auf und erzeugt ein Bild, das die Informationen über die Entfernung enthält. Diese Daten werden anschließend von der Steuereinheit verarbeitet, um die genaue Distanz zu berechnen. Die Distanzmessung erfolgt durch die Berechnung der Zeit, die der Laserpuls benötigt, um vom Sender zum Objekt und zurück zur Kamera zu gelangen. Diese Zeit wird als Laufzeit (Time-of-Flight, ToF) bezeichnet.

Durch die präzise Steuerung des Kamerashutters und die Synchronisation mit dem Laserpuls kann das Range-Gated-Kamerasystem genaue Distanzmessungen durchführen, selbst unter schwierigen Bedingungen wie Nebel, Regen oder Dunkelheit. Diese Technologie bietet somit eine zuverlässige Lösung für Anwendungen, die eine präzise und schnelle Distanzmessung erfordern, und stellt einen bedeutenden Fortschritt in der Sensortechnologie dar.

Ein erster unabhängiger Gegenstand betrifft ein Assistenzsystem mit einer Vorrichtung der zuvor beschriebenen Art.

Das betreffende Assistenzsystem kann z.B. ein teilautonomes oder autonomes Fahrsystem des Kraftfahrzeugs sein, das zumindest teilweise auf Informationen von Kamerasystemen, z.B. einschließlich der ersten Kamera, basiert. Das heißt, die Sichtweite ist ein wesentliches Kriterium für die aktuelle Konfiguration des Assistenzsystems. So kann z.B. die maximal mögliche Geschwindigkeit, die das Assistenzsystem fahren kann, von der Sichtweite abhängen.

Auch weniger komplexe Assistenzsysteme können von Informationen über die aktuelle Sichtweite gesteuert sein, zum Beispiel die Aktivierung von Nebelscheinwerfern und/oder Nebelschlussleuchten.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Assistenzsystem und/oder einer Vorrichtung der zuvor beschriebenen Art.

Ein weiterer unabhängiger Gegenstand betrifft ein Verfahren zur Bestimmung einer Sichtweite in einem Kraftfahrzeug mit einer Vorrichtung der zuvor beschriebenen Art, wobei mit der ersten Kamera wenigstens ein erstes Objekt erkannt wird, wobei mit der zweiten Kamera das wenigstens eine erste Objekt und eine erste Abstandinformation zum ersten Objekt erfasst wird und wenigstens ein zweites Objekt erkannt wird, das von der ersten Kamera nicht erkannt wird, wobei wenigstens eine zweite Abstandinformation zum wenigstens einen zweiten Objekt erfasst wird, wobei die Sichtweite anhand der ersten Abstandinformation und der zweiten Abstandinformation bestimmt wird.

Die Sichtweite kann konservativ z.B. durch das am weitesten entfernte Objekt bestimmt sein, das von erster und zweiter Kamera erkannt wurde.

Alternativ kann die Sichtweite auch durch das am weitesten entfernte Objekt, das von erster Kamera und zweiter Kamera gemeinsam erkannt wurde, und das näheste Objekt, das ausschließlich von der zweiten Kamera erkannt wurde, bestimmt werden. Zwischen diesen beiden Weiten kann der Mittelwert gebildet werden. Ist beispielsweise das am weitesten entfernte gemeinsam erkannte Objekt 48 Meter entfernt und das näheste nur von der zweiten Kamera erkannte Objekt 62 Meter, so kann als Sichtweite die Mitte hier 55 Meter festgelegt werden.

Gemäß einer weiterführenden Ausgestaltung kann die Sichtweite von dem nähesten Objekt bestimmt sein, das ausschließlich von der zweiten Kamera identifiziert wurde, also von der ersten Kamera nicht identifiziert wurde.

Bei festgestellten Sichtweiten oberhalb eines gewissen Grenzwertes, beispielsweise 200 Meter, kann die Sichtweite als unbegrenzt eingestellt werden. Dieser Grenzwert kann von der Geschwindigkeit oder der zulässigen Höchstgeschwindigkeit auf einem Streckenabschnitt abhängen.

In einer anderen weiterführenden Ausgestaltung ist vorgesehen, dass die erste Kamera mehrere Objekte erkennt, wobei die zweite Kamera diese Objekte erkennt und jeweils eine Abstandsinformation zu den von der ersten Kamera und der zweiten Kamera erkannten Objekten erfasst, wobei die Sichtweite anhand der Abstandsinformation des am weitesten entfernten Objektes, das von der ersten Kamera und von der zweiten Kamera erkannt wird, und der zweiten Abstandsinformation bestimmt wird.

Für den Fall, dass erste Kamera und zweite Kamera einen übereinstimmenden Satz an Objekten erkennen, also erste Kamera und zweite Kamera die gleiche Sichtweite zu haben scheinen, kann in einer Weiterbildung als Rückfalloption die Distanz zu dem am weitesten entfernten Objekt gewählt werden. Diese Situation kann beispielsweise eintreten, wenn jenseits dieser gemeinsam erkannten Objekte kein weiteres erkennbares Objekt vorhanden ist. Beispielsweise abhängig von der Umgebung oder Straßenform bedingt.

In einer weiteren weiterführenden Ausgestaltung ist vorgesehen, dass die Daten der ersten Kamera und die Daten der zweiten Kamera in ein gemeinsames Koordinatensystem überführt werden.

Auf diese Weise können Parallaxenfehler zwischen den beiden Kameras reduziert und die Zuordnung von gemeinsam erkannten Objekten vereinfacht werden, insbesondere wenn erste Kamera und zweite Kamera unterschiedliche Auflösungen und/oder Bildwinkel aufweisen.

In einer weiteren weiterführenden Ausgestaltung ist vorgesehen, dass die bestimmte Sichtweite an ein Assistenzsystem übermittelt wird, wobei das Assistenzsystem Fahrparameter an die Sichtweite anpasst.

Ein solcher Fahrparameter kann beispielsweise eine Geschwindigkeit sein.

Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Recheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen.

Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt werden, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Verfahrensschritte auf wenigstens einer weiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.

Es zeigen schematisch:

Fig. 1 A, 1 B eine Seitenansicht eines Kraftfahrzeugs in einer nebligen Umgebung;

Fig. 2 eine Draufsicht auf einen Abschnitt des Kraftfahrzeugs aus Fig. 1 ;

Fig. 3 eine schematische Darstellung eines Assistenzsystems, sowie

Fig. 4 ein Ablaufdiagramm eines Verfahrens zur Sichtweitenbestimmung.

Fig. 1 A zeigt eine Seitenansicht eines Kraftfahrzeugs 2 in einer nebligen Umgebung.

Das Kraftfahrzeug 2 ist mit einem Assistenzsystem 4 ausgestattet, das autonomes Fahren in einem höheren SAE-Level, beispielsweise Level 4 erlaubt.

Das Assistenzsystem 4 weist ein Kamerasystem 6 auf mit einer ersten Kamera 6.1 und einer in Fig. 1A nicht dargestellten zweiten Kamera, auf, das einen Bereich vor dem Kraftfahrzeug 2 in Fahrtrichtung erfasst und aufzeichnet.

Die erste Kamera 6.1 erfasst dabei neben der Straße 8 und darauf befindlichen Straßenmarkierungen auch Objekte wie einen Motorradfahrer 10 und einen Baum 12. Durch den Nebel ist die Sichtweite limitiert auf eine Sichtweite 14, sodass eine Person 16 und ein Baum 18, die weiter entfernt sind als die Sichtweite 14, von der ersten Kamera 6.1 nicht mehr erfasst werden. Bei der ersten Kamera 6.1 handelt es sich um eine CMOS-Kamera mit Bayer-Filter und ist zur Aufnahme von Bildern und Videos in Farbe geeignet. Die erste Kamera 6.1 ist hochauflösend.

Daten der ersten Kamera 6.1 können auch zu anderen Zwecken verwendet werden, beispielsweise zur Verkehrszeichenerkennung, Gefahrenerkennung, Einparkhilfe und/oder für eine Umgebungskamera.

Das Assistenzsystem 4 kann weitere Komponenten enthalten, die im Zusammenhang mit Fig. 3 eingehender erläutert sind.

Fig. 1 B zeigt die gleiche Situation wie Fig. 1 A, jedoch ist statt der ersten Kamera 6.1 eine zweite Kamera 6.2 dargestellt.

Die zweite Kamera 6.2 ist Bestandteil eines Range-Gated-Kamera-Systems 20, das unter anderem eine Beleuchtungseinrichtung 22 mit einem Laserlicht aufweist, das im Nah-Infrarotbereich bei ca. 850 nm arbeitet. Die Empfindlichkeit der zweiten Kamera 6.2 ist in Richtung des Infrarotbereichs größer als die der ersten Kamera 6.1 , sodass die zweite Kamera 6.2 auch für Lichtstrahlen in diesem Infrarotfrequenzbereich empfindlich ist.

Da Licht im nahen Infrarotbereich nicht so stark an Wassertropfen gestreut wird wie sichtbares Licht, ist die Sichtweite der zweiten Kamera 6.2 in Verbindung mit der Beleuchtungseinrichtung 22 größer als die der ersten Kamera 6.1 , sodass die Person 16 sowie der Baum 18 von der zweiten Kamera 6.2 des Range-Gated-Kamerasystems 20 klar erkennbar sind.

Durch den Aufbau des Range-Gated-Kamera-Systems 20 ist es durch Laufzeitenmessung darüber hinaus möglich, den Abstand der Objekte 10, 12, 16 und 18 (d10, d12, d16 und d18) zu messen und mit den Objekten 10, 12, 16 und 18 zu verknüpfen. Durch Vergleich der Objekte 10, 12, die mithilfe der ersten Kamera 6.1 erkannt wurden, und der Objekte 10, 12, 16, 18, die mit der zweiten Kamera 6.2 erkannt wurden, ist es möglich, diejenigen Objekte zu identifizieren, die nur von der zweiten Kamera 6.2 erkannt werden, hier die Person 16 und der Baum 18.

Mithilfe der entsprechenden Entfernungsinformationen d16, d18 kann somit die Sichtweite 14 präzise abgeschätzt werden. Der Baum 12 ist das am weitesten entfernte Objekt, das von der ersten Kamera 6.1 und der zweiten Kamera 6.2 erkannt wurde, wohingegen die Person 16 das erste Objekt ist, das ausschließlich von der zweiten Kamera 6.2 erkannt wurde. Mithin kann die Sichtweite 14 festgelegt werden auf die Distanz der ersten Person 16 vom Kraftfahrzeug 2, vorliegend also d16.

Fig. 2 zeigt eine Draufsicht auf einen Abschnitt des Kraftfahrzeugs 2, wobei erste Kamera 6.1 und zweite Kamera 6.2 des Kamerasystems 6 zueinander benachbart an einer Windschutzscheibe des Kraftfahrzeugs 2 angeordnet sind.

Die erste Kamera 6.1 hat einen ersten Bildbereich 24, wohingegen die zweite Kamera 6.2 einen zweiten Bildbereich 26 aufweist. Die Bildbereiche 24 und 26 überlappen weitestgehend.

Hierdurch wird sichergestellt, dass die erste Kamera 6.1 und die zweite Kamera 6.2 im Wesentlichen die gleichen Objekte erfassen können. Die nicht überlappenden Bildbereiche können von der Analyse ausgeschlossen werden.

Die relativen Positionen und Ausrichtungen von erster Kamera 6.1 und zweiter Kamera 6.2 können kalibriert sein, zum Beispiel bei der Montage oder Wartung. Mithilfe fortgeschrittener Algorithmen ist es auch möglich, dass sich die entsprechenden Kameras 6.1 und 6.2 selbst kalibrieren oder bedarfsweise nachkalibrieren. Eine solche Kalibrierung kann in regelmäßigen Zeitabschnitten oder bedarfsweise vorgenommen werden. Die entsprechenden Bilddaten der beiden Kameras 6.1 und 6.2 können in ein gemeinsames Koordinatensystem überführt werden, um die Objekterkennung und Zuordnung der beiden Datenströme besser einander zuordnen zu können.

Fig. 3 zeigt eine schematische Darstellung des Assistenzsystems 4.

Das Assistenzsystem 4 weist das Kamerasystem 6 mit erster Kamera 6.1 und dem Range-Gated Kamerasystem 20 mit zweiter Kamera 6.2 und Beleuchtungseinrichtung 22 auf. Die erste Kamera 6.1 weist einen ersten Kamerasensor 28 auf, die zweite Kamera 6.2 einen zweiten Kamerasensor 30. Erste Kamera 6.1 und zweite Kamera 6.2 können unterschiedliche Abtastraten haben.

Die entsprechenden Datenströme aus erster Kamera 6.1 und zweiter Kamera 6.2 werden jeweils einem ersten Bilderkennungsmodul 32 bzw. einem zweiten Bilderkennungsmodul 34 übermittelt und dort ausgewertet. Die Bilderkennungsmodule 32 und 34 sind dazu eingerichtet, Objekte in den Datenströmen zu identifizieren. Hierzu können mithilfe von künstlicher Intelligenz trainierter Algorithmen verwendet werden. Das zweite Bilderkennungsmodul 34 ist zudem in der Lage, die aus dem Range-Gated Kamerasystem 20 ermittelten Entfernungsinformationen auszuwerten und den entsprechenden erkannten Objekten zuzuordnen.

Die entsprechenden Daten zu den ausgewerteten identifizierten Objekten aus dem ersten Bilderkennungsmodul 32 und dem zweiten Bilderkennungsmodul 34 werden einer Recheneinheit 36 zugeführt, die aus den Daten, wie zuvor beschrieben, die Sichtweite 14 ableitet.

Die so ermittelte Sichtweite 14 wird einer Assistenzsystemkontrolleinheit 38 zugeführt, die wiederum wenigstens einen Aktuator 40 entsprechend steuert.

Ein konkretes Beispiel könnte sein, dass das Assistenzsystem 4 ein System zum autonomen Fahren ist, wobei die Assistenzsystemkontrolleinheit 38 dazu eingerichtet ist, dass Kraftfahrzeug durch Steuerung entsprechender Aggregate wie Lenkung, Leistung, Bremsen und dergleichen zu bewegen. Ein entsprechender Aktuator 40 kann beispielsweise eine Bremse sein.

Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens.

Parallel zueinander werden Bilddaten der ersten Kamera 6.1 und Bilddaten der zweiten Kamera 6.2 ausgewertet, wobei bei der ersten Kamera 6.1 eine Objekterkennung und bei der zweiten Kamera 6.2 sowohl eine Objekterkennung und eine Entfernungsermittlung stattfindet.

Die entsprechend erkannten Objekte aus der ersten Kamera 6.1 und der zweiten Kamera 6.2 werden in einem gemeinsamen Koordinatensystem miteinander verglichen und das näheste nur von der zweiten Kamera 6.2 erkannte Objekt wird bestimmt.

Anschließend wird die Sichtweite 14 auf die Entfernung des betreffenden Objektes gesetzt und an das Assistenzsystem 4 übermittelt.

Das Verfahren findet fortlaufend mit einer vorgegebenen Frequenz statt, sodass die Sichtweite 14 immer aktuell ist.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird.

Claims

Patentansprüche

1. Vorrichtung (6) zur Bestimmung einer Sichtweite (14) einer ersten Kamera (6.1) in einem Kraftfahrzeug (2), wobei die erste Kamera (6.1) einen ersten Kamerasensor (28) aufweist, der in einem ersten Frequenzbereich empfindlich ist, wobei die erste Kamera (6.1) einen ersten Bildbereich (24) aufnimmt, wobei ein Bilderkennungsmodul (32) vorgesehen ist, das Daten von der ersten Kamera (6.1) empfängt, wobei das Bilderkennungsmodul (32) dazu eingerichtet ist, in den Daten des ersten Kamerasensors (28) Objekte (8, 10, 12) zu erkennen,

dadurch gekennzeichnet, dass

eine zweite Kamera (6.2) vorgesehen ist, die einen zweiten Kamerasensor (30) aufweist, der in einem zweiten Frequenzbereich empfindlich ist, wobei der erste Frequenzbereich und der zweite Frequenzbereich unterschiedlich sind, wobei die zweite Kamera (6.2) einen zweiten Bildbereich (34) aufnimmt, wobei der zweite Bildbereich (34) zumindest teilweise mit dem ersten Bildbereich (32) überlappt, wobei ein Bilderkennungsmodul (34) vorgesehen ist, das Daten von der zweiten Kamera (6.2) empfängt, wobei das Bilderkennungsmodul (34) dazu eingerichtet ist, in den Daten des zweiten Kamerasensors (30) Objekte (8, 10, 12, 16, 18) zu erkennen, wobei die zweite Kamera (6.2) Abstandinformationen (d10, d12, d14, d16, d18) erzeugt, wobei eine Recheneinheit (36) vorgesehen ist, die dazu eingerichtet ist, auf der Basis der von der ersten Kamera (6.1) erfassten Objekte (8, 10, 12,) und der von der zweiten Kamera (6.2) erfassten Objekte (8, 10, 12, 16, 18) und den Abstandinformationen (d10, d12, d14, d16, d18) die Sichtweite (14) der ersten Kamera (6.1) zu bestimmen.

2. Vorrichtung (6) nach Anspruch 1 ,

dadurch gekennzeichnet, dass

der zweite Frequenzbereich der zweiten Kamera (6.2) in den Nahinfrarotbereich hineinreicht oder den Nahinfrarotbereich abdeckt.

3. Vorrichtung (6) nach Anspruch 1 oder 2,

dadurch gekennzeichnet, dass

eine Beleuchtungseinrichtung (22) zur Abgabe von Lichtpulsen im Nahinfrarotbereich vorgesehen ist.

4. Vorrichtung (6) nach einem der vorangegangenen Ansprüche,

dadurch gekennzeichnet, dass

die zweite Kamera (6.2) Bestandteil eines Range-Gated-Kamerasystems (20) ist.

5. Assistenzsystem (4) mit einer Vorrichtung (6) nach einem der vorangegangenen Ansprüche.

6. Kraftfahrzeug mit einem Assistenzsystem (4) und/oder einer Vorrichtung (6) nach einem der vorangegangenen Ansprüche.

7. Verfahren zur Bestimmung einer Sichtweite (14) in einem Kraftfahrzeug (2) mit einer Vorrichtung (6) nach einem der Ansprüche 1 bis 4,

dadurch gekennzeichnet, dass

mit der ersten Kamera (6.1) wenigstens ein erstes Objekt (8, 10, 12) erkannt wird, wobei mit der zweiten Kamera (6.2) das wenigstens eine erste Objekt (8, 10, 12) und eine erste Abstandinformation (d8, d10, d12) zum ersten Objekt (8, 10, 12) erfasst wird und wenigstens ein zweites Objekt (16, 18) erkannt wird, das von der ersten Kamera (6.1 ) nicht erkannt wird, wobei wenigstens eine zweite Abstandinformation (d16, d18) zum wenigstens einen zweiten Objekt (16, 18) erfasst wird, wobei die Sichtweite (14) der ersten Kamera (6.1) anhand der ersten Abstandinformation (d8, d10, d12) und der zweiten Abstandinformation (d16, d18) bestimmt wird.

8. Verfahren nach Anspruch 7,

dadurch gekennzeichnet, dass

die erste Kamera (6.1) mehrere Objekte (8, 10, 12, 16, 18) erkennt, wobei die zweite Kamera (6.2) diese Objekte (8, 10, 12, 16, 18) erkennt und jeweils eine Abstandsinformation (d10, d12) zu den von der ersten Kamera (6.1) und der zweiten Kamera (6.2) erkannten Objekten (8 , 10, 12) erfasst, wobei die Sichtweite (14) anhand der Abstandsinformation (d12) des am weitesten entfernten Objektes (12), das von der ersten Kamera (6.1) und von der zweiten Kamera (6.2) erkannt wird, und der zweiten Abstandsinformation (d16) bestimmt wird.

9. Verfahren nach Anspruch 7 oder 8,

dadurch gekennzeichnet, dass

die Daten der ersten Kamera (6.1) und die Daten der zweiten Kamera (6.2) in ein gemeinsames Koordinatensystem überführt werden.

10. Verfahren nach einem der Ansprüche 7 bis 9,

dadurch gekennzeichnet, dass

die bestimmte Sichtweite (14) an ein Assistenzsystem (4) übermittelt wird, wobei das Assistenzsystem (4) Fahrparameter an die Sichtweite (14) anpasst.