-
Die vorliegende Erfindung betrifft ein verbessertes Verfahren zum Aufnehmen einer Szene, insbesondere bei einer kritischen Belichtungssituation, beispielsweise für ein Assistenzsystem für ein Kraftfahrzeug.
-
Im Stand der Technik sind Kamerasysteme zur Detektion und zur Nachverfolgung von Verkehrsteilnehmern und des Umfeldes eines Fahrzeuges bekannt. Neben der Detektion wird hierbei auch eine Extraktion von Detailmerkmalen, beispielsweise Blinkerstatus, Blickrichtung von Fußgängern, durchgeführt. Bekannt sind ferner Kamerasysteme zur Detektion der Kopfpose und/oder der Blickrichtung des Fahrers im Inneren eines Fahrzeuges. Zudem gibt es auch Verfahren zur Extraktion weitere Merkmale, beispielsweise der Gesichtsfarbe, Puls, Lidschlag, offene Augen, geschlossene Augen. Bekannt sind weiterhin Verfahren zur Detektion von Objekten mit Hilfe einer Wärmebildkamera.
-
Zusätzlich existieren Verfahren zur Bestimmung des Beleuchtungszustands auf Basis der Belichtungsmessung, beispielsweise globale Belichtung, Belichtung einzelner Teilbereiche oder iterative Verfahren zur Anpassung der Belichtungsdauer auf Basis der Bildauswertung. Derartige Verfahren weisen aus mehren Gründen im praktischen Einsatz Nachteile auf.
-
Zum Einen weist bei wechselnden Beleuchtungssituationen, beispielsweise Tunnelausgang, Durchfahrt einer Allee, Wolken, die Nachregelung der Belichtung eine Trägheit von mehreren hundert Millisekunden auf. Das führt dazu, dass darauf aufbauende Klassifikatoren und Detektoren über mehrere Sekunden keine Auswertung durchführen können.
-
Die bei einer Kamera verwendeten Bildaufnehmer (beispielsweise CCD-Sensoren) haben einen begrenzten Dynamikbereich, so dass es bei starken Helligkeitsunterschieden im Bildbereich nicht möglich ist, alle Bereiche optimal zu belichten, sofern alle Pixel die gleiche Belichtungsdauer und Blendenzahl erfahren. Bereiche mit Überbelichtung bzw. Unterbelichtung sind aus diesem Grund unvermeidbar.
-
Verfügt die Kamera über keinen weiteren Sensor zur Bestimmung der Helligkeit, ist es nur möglich, die aktuelle Aufnahme zu analysieren, um eine mögliche Überbelichtung oder Unterbelichtung zu diagnostizieren und die Beleuchtungsdauer in Abhängigkeit des Ergebnisses anzupassen. Der beschriebene Regelkreis erfordert eine von der Bildwiederholrate der Kamera abhängige Dauer bis eine optimale Belichtungsdauer gefunden ist. Die genannten Nachteile treten auch bei einer Fahrerbeobachtung im Fahrzeug auf. In den Fahrzeugen werden daher unerwünschte Falschwarnungen ausgegeben, wobei aber kein Rückfluss existiert, der verhindert, dass Falschwarnungen wieder auftreten.
-
Ein weiterer Nachteil ist, dass bei falscher Belichtung keine Assistenz, beispielsweise Warnung aufgrund der fehlenden Detektion eines Objektes erfolgt. Bei zu schneller Regelung beispielsweise Veränderung von Frame zu Frame (Bild zu Bild), ist es möglich, dass Objektmerkmale komplett anders wahrgenommen werden und damit zu einer Fehlinterpretation dieser Merkmale durch einen Klassifikator führen. Das langsame Nachregeln der Beleuchtungszeit ist demnach für eine konsistente Objektwahrnehmung zwingend erforderlich.
-
Die
DE 10 2006 014 504 B3 offenbart ein Bilderfassungssystem mit mindestens zwei Bilderfassungsmodulen, die aus einer gemeinsamen Richtung erfasste Bildsignale einer elektronischen Auswerteeinheit zuführen. Die Bilderfassungsmodule sind innerhalb eines weitestgehend übereinstimmenden Wellenlängenspektrums elektromagnetischer Strahlung sensitiv. Ihre Sensitivität liegt aber innerhalb voneinander abweichender Beleuchtungsstärkebereiche. Zumindest nahezu zeitgleich erfasste Bildinformationen werden mittels der elektronischen Auswerteeinheit fusioniert und zur Erstellung von Ergebnisbildern genutzt.
-
Die
DE 10 2008 062 154 A1 offenbart ein Verfahren zur Steuerung eines Kamera-Systems eines Kraftfahrzeugs, wobei mindestens eine Applikation eines Fahrerassistenzsystems auf der Auswertung der Bilder des Kamera-Systems beruht. Es wird jeder Applikation des Fahrerassistenzsystems ein Parametersatz von Bildaufnahmeparametern zugeordnet, der zur Steuerung der Bildaufnahme des Kamera-Systems verwendet wird.
-
Die
DE 10 2014 002 134 A1 offenbart eine Vorrichtung und ein Verfahren zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und ein Steuerungsverfahren. Die Vorrichtung weist einen Infrarotbeleuchtungssensor zum Ermitteln eines Infrarotbeleuchtungsbetrags, der von der Sonne ausgestrahlt wird, eine Kamera und eine Beleuchtungsumgebungs-Erkennungseinheit auf, die den Infrarotbeleuchtungsbetrag durch den Infrarotbeleuchtungssensor ermittelt, eine Kamerabelichtungszeit von der Kamera empfängt, Doppelbelichtungsbilder empfängt, die so aufgenommen worden sind, dass sie unterschiedliche Belichtungswerte haben, einen allgemeinen Beleuchtungswert auf der Basis des ermittelten Infrarotbeleuchtungsbetrags, der empfangenen Kamerabelichtungszeit und eines Beleuchtungswerts, der durch eine Bild-Clustering-Analyse der Doppelbelichtungsbilder erhalten wurde, berechnet, eine Änderungsrate in dem berechneten allgemeinen Beleuchtungswert berechnet und eine aktuelle Beleuchtungsumgebung als eine Beleuchtungsumgebung für jeden Zeitabschnitt auf der Basis des berechneten allgemeinen Beleuchtungswerts und der Änderungsrate in dem allgemeinen Beleuchtungswert erkennt.
-
Es ist eine Aufgabe der Erfindung, ein Verfahren anzugeben, das die Belichtung einer Kamera eines Fahrzeuges so steuert, dass auch bei schwierigen Belichtungsverhältnisseen ein optimales Bild mittels der Kamera erzeugt wird.
-
Die Aufgabe der Erfindung wird durch ein Verfahren nach Anspruch 1 gelöst. Die abhängigen Ansprüche beanspruchen bevorzugte Ausführungsformen.
-
Ein erfindungsgemäßes Verfahren zum Ermitteln zumindest eines Bildaufnahmeparameters einer Bildaufnahme einer an einem Kraftfahrzeug angeordneten Kamera umfasst das Ermitteln des Ortes der Kamera mittels eines Positionssensors, das Extrahieren zumindest eines Szenenparameters, der eine erwartete Szene, die von der Kamera aufgenommen wird, zumindest teilweise klassifiziert, aus eine Datenbank in Abhängigkeit des ermittelten Ortes und das Ermitteln zumindest eines Bildaufnahmeparameters in Abhängigkeit des Szenenparameters. Die Anmelderin behält sich vor, das Schutzbegehren auch auf eine Anwendung unabhängig von einem Kraftfahrzeuges zu richten.
-
Der Bildaufnahmeparameter kann ein beliebiger Parameter, der die Helligkeit der Bildaufnahme beeinflusst, ein beliebiger Parameter, der den Kontrast der Bildaufnahme beeinflusst, eine Belichtungszeit, eine Blendenzahl und/oder eine Gamma-Korrektur sein.
-
Die Position kann mittels eines satellitenbasierten System (GNSS) und/oder trägheitsbasierten Systems und/oder durch Fahrzeugsensoren (Entfernungsmesseinrichtung) ermittelt werden. Mittels einer Navigationskarte, die in einer Datenbank hinterlegt ist, kann ermittelt werden, welche Szene von der Kamera aufgenommen werden soll, wobei die Szene durch den Szenenparameter klassifiziert wird. Dadurch können die Belichtungsverhältnisse besser geschätzt werden, insbesondere eine zu erwartende plötzliche Änderung der Beleuchtungsverhältnisse, beispielsweise am Ende eines Tunnels.
-
Die Szene kann sich innerhalb oder außerhalb des Kraftfahrzeuges befinden. Befindet sich die Szene innerhalb des Kraftfahrzeuges, kann der Fahrer überwacht werden. Auf Grund des Ortes und des Abrufs eines Wertes aus der Datenbank kann der Fahrer auch bei kritischen Aufnahmesituationen effizient überwacht werden, beispielsweise bei Einfahrt in einen Tunnel oder bei einer Ausfahrt aus einem Tunnel. Der Szenenparameter kann auch verwendet werden, um einen Bildaufnahmeparameter zu ermitteln, wenn der Fahrer im Kraftfahrzeug aufgenommen werden soll. Befindet sich die Szene außerhalb des Kraftfahrzeuges können zumindest ein anderer Verkehrsteilnehmer und/oder zumindest ein beliebiges anderes Objekt effizient überwacht werden. Auf Grund des Ortes und des Abrufs eines Wertes aus der Datenbank können der zumindest eine andere Verkehrsteilnehmer und/oder ein beliebiges anderes Objekt auch bei kritischen Aufnahmesituationen effizient überwacht werden, beispielsweise bei Einfahrt in einen Tunnel oder bei einer Ausfahrt aus einem Tunnel.
-
Der zumindest eine Bildaufnahmeparameter wird so gewählt, dass die Kamera zu erkennende Objekte optimal abbildet. Der zumindest eine Bildaufnahmeparameter muss nicht notwendigerweise so ausgewählt werden, dass das gesamte von der Kamera aufgenommene Bild optimal abgebildet wird. Sobald die Auswerteeinrichtung ein zu erkennendes Objekt erkannt hat, kann der zumindest eine Bildaufnahmeparameter so gewählt werden, dass das zu erkennende Objekt trotz sich ändernder Belichtungsverhältnisse abgebildet wird.
-
Das Verfahren kann einen Ort der von der Kamera aufzunehmenden Szene ermitteln. Zumindest ein Szenenparameter, der eine erwartete Szene, die von der Kamera aufgenommen wird, zumindest teilweise klassifiziert, kann aus einer Datenbank in Abhängigkeit des ermittelten Ortes extrahiert werden. Der Ort der Szene kann zu dem vom Positionssensor ermittelten Ort des Kraftfahrzeuges als Relativposition addiert werden. Dadurch kann der Bildaufnahmeparameter besser an die aufzunehmende Szene angepasst werden.
-
Die Szene, die durch den Szenenparameter klassifiziert wird, kann zumindest ein Tunnelende, einen Beginn eines Tunnels, ein einen Schatten erzeugendes Objekt, einen Schatten aufgrund einer Allee, einen Schatten aufgrund eines Baums, einen Schatten aufgrund einer Brücke, einen Schatten aufgrund eines Gebäudes und/oder eine Lichtung aufweisen. Bei diesen Szenen sind unabhängig davon, ob sich das abzubildende Objekt im Fahrzeug oder außerhalb des Fahrzeuges befindet, schwierige Belichtungsverhältnisse vorhanden, die dazu führen können, dass ein zu ermittelndes Objekt nicht oder zu spät erkannt wird, wenn zumindest ein Kameraparameter, beispielsweise die Belichtung nicht zum optimalen Zeitpunkt angepasst wird.
-
Das Verfahren umfasst ferner die Schritte des Prädizierens der Trajektorie des Kraftfahrzeuges und des Auswählens des Ortes und/oder der Szene auf Grundlage der prädizierten Trakjetorie des Kraftfahrzeuges. Folglich kann der zumindest eine Bildaufnahmeparameter, beispielsweise die Belichtung, besser an die zu erwartende Szene angepasst werden. Die zu erwartende Trajektorie ist beispielsweise bei komplexen Verkehrsknoten mit übereinander angeordneten Fahrbahnen und/oder bei Kreuzungen relevant. Die zu erwartende Trajektorie kann beispielsweise aus einem Navigationssystem und/oder auf Grundlage eines Lenkeinschlages ermittelt werden.
-
Das Verfahren kann den Schritt des Auswertens zumindest eines mit der Kamera aufgenommenen Bildes und des Ermitteln des Ortes der Szene auf Grundlage der Auswertung des mit der Kamera aufgenommenen Bildes aufweisen. Die Kombination der aktuellen Beleuchtungssituation mit dem Vorwissen auf Grundlage des Ortes und der Daten der Datenbank, beispielsweise über ein Tunnelende, kann zur vorausschauenden Steuerung der Belichtung verwendet werden. Hierzu kann im Bildbereich gezielt nach Merkmalen einer herannahenden Szene, beispielsweise eines Tunnelendes, gesucht werden. Darauf basierend kann eine Prädiktion der Beleuchtungssituation, beispielsweise der nächsten zwanzig Bilder, basierend auf den Beleuchtungsinformationen, die aus dem aktuellen Bild extrahiert wird, beispielsweise der Bereich hinter dem Tunnelende wird heller, erfolgen.
-
Das Verfahren kann die Schritte des Ermittelns zumindest einen Messwertes mittels eines Sensors des Kraftfahrzeuges und des Anpassens des zumindest einen Bildaufnahmeparameters auf Grundlage des zumindest einen Messwertes aufweisen. Das Verfahren kann auch die Schritte des Abrufens eines externen Wertes von einer Einheit außerhalb des Kraftfahrzeuges und des Anpassens des zumindest einen Bildaufnahmeparameters auf Grundlage des zumindest einen externen Wertes aufweisen. Die Einheit außerhalb des Kraftfahrzeuges kann eine anderes Kraftfahrzeug (c2c-Kommunikation) und/oder ein zentraler Computer sein. Der Sensor und/oder die externe Einheit können zur Erkennung von Gegenverkehr, einer Tageszeit, einer Jahreszeit, der Wetterverhältnisse, der Bebauung oder dergleichen ausgebildet sein. Folglich kann unter heuristischen und/oder regelbasierte Annahmen eine Vorauswahl bzw. Vorsteuerung des zumindest einen Bildaufnahmeparameters durchgeführt werden.
-
Es ist auch möglich, dass der Szenenparameter und/oder der Bildaufnahmeparameter von der Datenbank des zentralen Computers abgerufen werden. Der von der Datenbank des zentralen Computers abgerufene Szenenparameter und/oder der von der Datenbank des zentralen Computers abgerufene Bildaufnahmeparameter können gegenüber anderen Parametern (die auch einen Szenenparameter und/oder einen Bildaufnahmeparameter umfassen können) priorisiert werden.
-
Es ist auch möglich, dass der Szenenparameter und/oder der Bildaufnahmeparameter von einem anderen Kraftfahrzeug erhalten werden. Der von einem anderen Kraftfahrzeug erhaltene Szenenparameter und/oder der von einem anderen Kraftfahrzeug erhaltene Bildaufnahmeparameter können gegenüber anderen Parametern (die auch einen Szenenparameter und/oder einen Bildaufnahmeparameter umfassen können) priorisiert werden.
-
Das Verfahren kann, falls ermittelt wird, dass das Bild überbelichtete und/oder unterbelichtete Bereiche aufweist, zwei Bildern mit wesentlich unterschiedlichen Bildaufnahmeparametern aufnehmen und die zwei Bilder auswerten, um Objekte zu ermitteln, die zu überwachen und/oder nachzuverfolgen sind. Die Bildaufnahmeparameter können eine Blendezahl, eine Belichtungszeit und dergleichen umfassen. Falls keine Detektion eines Objektes in einem Bild vorhanden ist und falls eine Homogenitätsanalyse des Bildes das Ergebnis ergibt, dass das Bild potenziell überbelichtete oder unterbelichtete Bereiche enthält, wird die Belichtungsdauer zwischen zwei aufeinanderfolgenden Bildern (Frames) stark verändert und durch einen Algorithmus geprüft, ob sich potenziell relevante Objekte im Bildbereich befinden. Liefert der Algorithmus eine oder mehrere Detektionen eines zu verfolgenden Objektes kann so schneller eine geeignete Belichtungszeit bzw. ein geeigneter Bildaufnahmeparameter gefunden werden. Dadurch werden eventuelle vorher nicht detektierbare Objekte, weil sie zu hell oder zu dunkel abgebildet sind, mit diesen Belichtungseinstellungen detektierbar.
-
Das Verfahren umfasst ferner die Schritte des Ermittelns des Typs der Szene, des Abrufens zumindest eines Datenbankwertes aus einer Datenbank in Abhängigkeit des Typs der Szene und des Veränderns des Bildaufnahmeparameters in Abhängigkeit des Datenbankwertes. Hierdurch kann semantisches Wissen über Himmel, Bäume, parkende Fahrzeuge, Gebäude etc. genutzt werden, um relevante Bereiche mit variierender Beleuchtung und/oder Helligkeit für eine Bildverarbeitung zu prädizieren.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt, das, wenn es in einen Speicher eines Computers mit einem Prozessor geladen wird, die Schritte des zuvor beschriebenen Verfahrens ausführt.
-
Die Erfindung wird nun unter Bezugnahme auf die Figuren durch Beschreibung einer nicht beschränkenden Ausführungsformen detaillierter beschrieben, wobei
-
1 eine erste Szene zeigt, bei der die vorliegende Erfindung angewendet wird; und
-
2 eine zweite Szene zeigt, bei der die vorliegende Erfindung angewendet wird.
-
1 zeigt ein erstes Kraftfahrzeug 102, bei dem die vorliegende Erfindung implementiert ist. Das Kraftfahrzeug umfasst eine Kamera 122, die eine Szene vor dem Kraftfahrzeug 102 aufnimmt. Die Kamera ist im wesentlichen eine Videokamera, die eine Serie von Standbildern aufnimmt. Die Kamera kann einen Messaufnehmer mit einem CCD-Chip mit einem begrenzten Dynamikbereich aufweisen. Die Arbeitsweise einer derartigen Kamera ist dem Fachmann bekannt und muss hierin nicht weiter erläutert werden. Die Kamera 122 ist an eine Auswerteeinrichtung 124 angeschlossen, die Informationen über zu erfassende Objekte und/oder nachzuverfolgende Objekte ermittelt und an ein Assistenzsystem weiter gibt. Das Assistenzsystem kann ein Spurverlassens-Warnassistent, ein Fußgänger-Warnassistent oder dergleichen sein.
-
Das erste Kraftfahrzeug 102 umfasst eine Satellitenantenne 104, die mit einem Positionssensor 108 verbunden ist, wobei der Positionssensor 108 mittels Signale einer Mehrzahl Satelliten 106 die Position des Kraftfahrzeuges 102 ermittelt. Zur Erhöhung der Genauigkeit der Positionsermittlung und zum Ermitteln der Position des Kraftfahrzeuges 102, wenn kein Signal der Mehrzahl Satelliten 106 vorhanden ist (Tunnel), umfasst das erste Kraftfahrzeug 102 eine Trägheitssensoranordnung 110. Ferner kann der Positionssensor 108 die Genauigkeit der Positionserfassung durch einen Entfernungsmesssensor 112, beispielsweise einen Messaufnehmer für einen Tachometer, erhöhen. Dies kann bei längeren Fahrten durch einen Tunnel erforderlich sein.
-
Das erste Kraftfahrzeug 102 umfasst ferner einen Umgebungssensor 126, der zumindest einen Wert der Umgebung des Kraftfahrzeuges erfassen kann, beispielsweise die Helligkeit, den Sonnenstand, die Wetterverhältnisse oder dergleichen. Das erste Kraftfahrzeug 102 umfasst ferner eine Mobilfunkantenne 114, mit der das Kraftfahrzeug mittels eines Mobilfunknetzes 116 mit einem zentralen Computer 118 mit einer Datenbank 120 und einer zentralen Einrichtung 120 kommunizieren kann. Das erste Kraftfahrzeug 102 umfasst ferner ein Navigationssystem 140 mit einer Navigationsdatenbank. Das erste Kraftfahrzeug 102 umfasst ferner eine Antenne 128 für eine direkte Kommunikation mit einem anderen Kraftfahrzeug, beispielsweise mit einem zweiten Kraftfahrzeug 130. Das erste Kraftfahrzeug kann ein Personenkraftwagen, ein Omnibus oder ein Lastkraftwagen sein.
-
Die Kamera des ersten Kraftfahrzeuges 102 muss eine erste Szene mit einer ersten Allee 136, in der ein Fahrradfahrer 138 fährt, aufnehmen. Die Belichtungssituation wird durch die starke Strahlung der Sonne 142 erschwert, so dass der Fahrradfahrer 138 innerhalb der Allee 136 dunkel abgebildet wird.
-
Ferner muss die Kamera 122 des ersten Kraftfahrzeuges 102 eine zweite Allee 146 aufnehmen, in der sich das zweite Kraftfahrzeug 130 befindet. Auch diese Szene stellt eine schwierige Belichtungssituation dar, da das zweite Kraftfahrzeug 130 aufgrund der starken Strahlung den Sonne 142 dunkel in einer ansonsten hellen Umgebung abgebildet wird. Ferner wird die Belichtungssituation dadurch erschwert, dass sich das erste Kraftfahrzeug 102 auf einer Lichtung eines Waldes mit einer Mehrzahl Bäume 148 befindet.
-
Erfindungsgemäß fragt die Auswerteeinrichtung 124 die aktuelle Position des Kraftfahrzeuges 102 beim Positionssensor 108 ab. Anschließend ruft die Auswerteeinrichtung 124 beim Navigationssystem 140 eine zu erwartende Szene bei der Datenbank des Navigationssystems 140 ab. Die zu erwartende Szene kann eine Information über ein einen Schatten erzeugendes Objekt, beispielsweise Gebäude, Brücke, zumindest ein Baum, Tunnel oder dergleichen umfassen. Die Genauigkeit der Ermittlung der Szene kann erhöht werden, indem die Auswerteeinrichtung 124 einen Offset zu der Position addiert, die mittels des Positionssensors 108 ermittelt wurde. Der Offset kann die Richtung der Bildaufnahme der Kamera 122 beschreiben.
-
Die Auswerteeinrichtung 124 erhält von der Datenbank des Navigationssystems 140 eine Information, dass sich das erste Kraftfahrzeug 102 in einer Lichtung 144 befindet und dass die von der Kamera erfasste Szene eine erste Allee 136 und eine zweite Allee 146 umfasst. Folglich ist der Auswerteeinrichtung 124 bekannt, dass eine komplexe Belichtungssituation vorliegt. Da die Kamera 122 Objekte 130, 138 in einer vergleichsweise dunklen Umgebung aufgrund der Allen 136, 146 fassen muss, wird die Belichtungszeit erhöht. Dadurch werden Objekte 130, 138 innerhalb der Allen 136, 146 besser abgebildet, wobei sich die Umgebung in der Sättigung eines Bildaufnehmer der Kamera 122 aufgrund der begrenzten Dynamik des Bildaufnehmers befinden kann.
-
Die Auswerteeinrichtung 124 kann die Kamera 122 so ansteuern, dass aufeinanderfolgende Bilder (Frames) mit stark unterschiedlichen Belichtungszeiten aufgenommen werden. Dadurch kann sichergestellt werden, dass alle zu erkennenden Objekte trotz des begrenzten Dynamikbereich des Messaufnehmer der Kamera 122 erkannt werden können, da mittels dieses Schrittes alle Objekte einer Szene so aufgenommen werden, dass sie sich weder in der Sättigung noch unterhalb des Empfindlichkeitsschwellenwertes des Bildaufnehmers befinden.
-
Das erste Kraftfahrzeug 102 umfasst ferner einen Umgebungssensor 126, der in diesem Beispiel die Strahlung der Sonne 142 ermittelt. Die Belichtungskorrektur zum Erfassen der Objekte 130, 138 in der Allee 136, 146 ist von der Strahlung der Sonne 142 abhängig. Je stärker die Strahlung der Sonne 142 ist, desto länger muss die Belichtungszeit der Kamera 122 verlängert werden. Zum Optimieren der Belichtung kann die Auswerteeinrichtung 124 über das Mobilfunknetz 116 Daten aus der Datenbank 120 des zentralen Computers 118 abrufen, beispielsweise Wetterdaten.
-
Das zweite Kraftfahrzeug 130 kann mittels der Antennen 128, 134 für eine direkte Kommunikation dem ersten Kraftfahrzeug 102 mitteilen, dass es die Frontscheinwerfer 132 eingeschaltet hat. Die Auswerteeinrichtung 124 kann diese Information bei der Ermittlung der Belichtungszeit für die Kamera 122 berücksichtigen, so dass die Auswirkungen der eingeschalteten Scheinwerfer 132 auf das aufgenommene Bild möglichst weit reduziert werden. Ferner kann das zweite Kraftfahrzeug 130 dem ersten Kraftfahrzeug 102 Daten mitteilen, die für eine Bildaufnahme relevant sind.
-
Es wird auf 2 Bezug genommen, die eine zweite Szene 200 zeigt. Das erste Kraftfahrzeug 102 befindet sich in einem Tunnel kurz vor dem Ende des Tunnels 202. Die Auswerteeinrichtung 124 erhält von der Datenbank des Navigationssystems 140 eine Information, dass sich das Kraftfahrzeug 102 nahe am Tunnelende 202 befindet und dass die Kamera 122 eine Szene mit einem Tunnelende abbilden wird.
-
Zur genaueren Ermittlung des Endes 202 des Tunnels und zur verbesserten Anpassung des Belichtungswertes der Kamera 122 ermittelt die Auswerteeinrichtung 122 die Position des Endes 202 des Tunnels mittels Bildverarbeitungsoperatoren, die dem Fachmann bekannt sind. Die ermittelte Position des Endes 202 des Tunnels ist in 2 mittels der Hilfslinien 206 eingezeichnet. Folglich passt die Auswerteeinrichtung 124 die Belichtungszeit der Kamera 122, wie zuvor unter Bezugnahme auf 1 beschrieben wurde, an, um sicherzustellen, dass das Heck eines dritten Kraftfahrzeuges 208 am Ende des Tunnels 202 sowie ein entgegenkommendes Motorrad 210 trotz des starken Kontrastes zwischen dem dunklen Tunnel und der hellen Szene außerhalb des Tunnels erkannt werden.
-
Die Erfindung ermöglicht die Nutzung von Karteninformationen einer hochgenauen digitalen Karte, beispielsweise über Tunnel, Brücken, in Kombination mit einer globalen Fahrzeugposition (GNSS) sowie die Nutzung von fahrzeuglokalen Sensoren oder eines entfernten Computer (Backend) zur Erkennung von Gegenverkehr, Tageszeiten, Jahreszeiten, Wetterverhältnisse, Bebauung, um unter heuristischen und/oder regelbasierte Annahmen eine Vorsteuerung der Belichtung durchzuführen. Die Kombination der aktuellen Beleuchtungssituation mit dem Vorwissen, beispielsweise ein Tunnelende wird zur Vorsteuerung der Belichtung verwendet. Hierzu wird im Bildbereich gezielt nach Merkmalen eines herannahenden Tunnelendes gesucht und darauf basierend ein im Folgenden als „3DFahrschlauch“ bezeichnetes Verfahren genutzt. Die Prädiktion der Beleuchtungssituation der nächsten, beispielsweise zwanzig Bilder basiert auf der Beleuchtungsinformationen, die aus dem aktuellen Bild extrahiert wird (Bereich hinter Tunnelende wird heller). Hierfür kann eine Trajektorienschätzung des Fahrzeugs verwendet werden. Damit liegt das Wissen vor, welche Beleuchtungssituation in den nächsten (zwanzig) Schritten vorhanden ist und die Belichtung wird für diese Zeitpunkte vorgesteuert.
-
Das Wissen über unterschiedliche Beleuchtungen in den Bildbereichen aus dem „3D-Fahrschlauch“ Verfahren wird genutzt, um gezielt die Abbildung der relevanten Bereiche zu optimieren.
-
D.h. es wird keine globale Optimierung sondern eine lokale Optimierung für die Bereiche, die für die Bildverarbeitung relevant sind, durchgeführt. Bei bereits detektierten Objekten (beispielsweise Radfahrer hinter Tunnel) wird bei sich nicht ändernder Position und/oder Belichtungsbedingungen des Radfahrers auch bei kurzfristig abweichenden lokalen Beleuchtungsverhältnissen (Tunneldurchfahrt) die Belichtung nicht verändert.
-
Mit Hilfe des erfindungsgemäßen Verfahrens wird eine konsistente Objektwahrnehmung durch gleichmäßige Beleuchtung ermöglicht, ohne dass eine Verzögerung von mehreren Millisekunden in Kauf genommen werden muss. Das erfindungsgemäße Verfahren ermöglicht gezielt für die Bildverarbeitung relevante Bereiche in Hinblick auf die Belichtungsdauer zu optimieren, während unwichtige Bereiche, die bei einer globalen Optimierung berücksichtigt werden müssen, nicht hinzugenommen werden. Falschwarnungen werden durch eine gleichmäßige Belichtung relevanter Bildbereiche verringert. Relevante Objekte in oder außerhalb des Fahrzeugs, die bei einer Belichtung ohne Vorsteuerung zu dunkel oder zu hell waren, werden durch das Verfahren für einen Detektor detektierbar. Der Vorteil der vorgestellten Methoden besteht darin, dass auch in diesen Situationen eine Assistenz, beispielsweise Warnung, verfügbar ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102006014504 B3 [0008]
- DE 102008062154 A1 [0009]
- DE 102014002134 A1 [0010]
