-
Die Erfindung betrifft ein Kamerasystem für einen Kraftwagen, welches zumindest zwei Bildsensoren aufweist, die für eine Bilderfassung in zumindest teilweise unterschiedlichen Spektralbereichen ausgelegt sind. Bei dem Kamerasystem handelt es sich bevorzugt um ein Farbnachtsichtsystem. Zu der Erfindung gehören auch ein Kraftwagen und ein Verfahren zum Erzeugen einer Gesamtbildsequenz durch pixelweises Kombinieren von Bildsequenzen, die durch die genannten Bildsensoren erzeugt wurden.
-
Aus der
US 7,199,366 B2 ist ebenfalls bekannt, Bilddatenströme zweier unterschiedlicher Kameras zu einem Gesamtbilddatenstrom zu kombinieren. Eine der Kameras ist eine Farbbildkamera, die andere eine Infrarotkamera. In dem Gesamtbilddatenstrom sind die Farbinformationen der Farbbilder mit den Informationen der Infrarotbilder kombiniert. Hierbei kann eine gewichtete Überlagerung korrespondierender Bildpunkte der beiden Bilder erfolgen. Die Gewichtung kann eine Funktion des Tageslichts und/oder einer aktuellen Wetterlage und/oder der Farbe des Bildpunkts des Farbbilds sein.
-
Einem Fahrer eines Kraftwagens kann bei heutigen Nachtsichtsystemen in seinem Fahrzeug so das Umfeld in einer Anzeigeeinrichtung, beispielsweise auf einem Bildschirm oder über ein Head-up-Display, präsentiert werden. Die monochromen Bilder von Bildsequenzen eines Infrarotsystems aus dem nicht sichtbaren Infrarotspektrum können durch einen farbempfindlichen Sensor für das sichtbare Spektrum aufgewertet werden. Der große Vorteil für den Nutzer besteht darin, dass er sich leichter in der dargestellten Szene orientieren und z. B. Warnungen vor Objekten in der Anzeigeeinrichtung schneller im natürlichen Umfeld des Fahrzeuges identifizieren und orten kann.
-
Ergänzt man allerdings in einem System zur verbesserten und natürlicheren Darstellung des Umfelds die Farbinformationen in der Weise, wie es im Stand der Technik bekannt ist, indem einfach aus dem gesamten Umfeld Farbinformationen in das Zielbild eingeblendet werden, so kann dies zu einem überladenen Bildeindruck führen, wodurch sich die Reaktionszeit des Benutzers verschlechtern kann, die er benötigt, um sich in dem entstehenden in der Regel grellfarbigen Bild zu orientieren.
-
Der Erfindung liegt die Aufgabe zugrunde, es einem Fahrer zu ermöglichen, sich in einer mittels mehrerer Kamerasensoren gewonnen Darstellung eines Umfelds seines Kraftwagens auf signifikante Inhalte des Umfelds konzentrieren zu können.
-
Die Aufgabe wird durch ein Kamerasystem gemäß Patentanspruch 1, einen Kraftwagen gemäß Patentanspruch 9 sowie ein Verfahren gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
-
Das erfindungsgemäße Kamerasystem weist ebenfalls mehrere Bildsensoren auf, die für eine Bilderfassung in zumindest teilweise unterschiedlichen Spektralbereichen ausgelegt sind. Mittels jedem der Bildsensoren wird ein Bilddatenstrom erzeugt. Ein Bilddatenstrom repräsentiert dabei eine Folge oder Sequenz von Einzelbildern, die durch die jeweiligen Bildsensoren der Kameras erzeugt werden. Das Kamerasystem weist des Weiteren eine Mischeinrichtung zum Kombinieren der Bildsequenzen zu einer Gesamtbildsequenz auf. Jedem Bildpunkt des so fusionierten Zielbildes der Gesamtbildsequenz wird jeweils ein Informationswert aus den zuvor gewichteten Bildströmen der einzelnen Bildsequenzen zugeordnet. Mit anderen Worten werden korrespondierende Bildpunkte der Bildsequenzen durch gewichtetes Überlagern ihrer Intensitätswerte zu einem jeweiligen Bildpunkt in der Gesamtbildsequenz kombiniert.
-
Erfindungsgemäß wird ein Mischverhältnis der Bildströme bestimmt, indem zunächst signifikante Bildbereiche oder Bildpunkte in den einzelnen Bildströmen identifiziert werden und dann die Mischverhältnisse der einzelnen Bildströme für jeden Bildpunkt anhand dieser Bildmerkmale festgelegt werden. Hierzu weist das erfindungsgemäße Kamerasystem eine Erkennungseinrichtung zum Erkennen von Bildmerkmalen in den Bildsequenzen auf, welche dazu ausgelegt ist, zu den jeweils erkannten Bildmerkmalen entsprechende Merkmalsdaten zu erzeugen. Des Weiteren ist bei dem erfindungsgemäßen Kamerasystem eine Bewertungseinrichtung bereitgestellt, die anhand der Merkmalsdaten gemäß einem vorbestimmten Relevanzkriterium eine Relevanz zumindest eines der Bildmerkmale festlegt und ein Mischverhältnis der Intensitätswerte der Bildpunkte dieses Bildmerkmals in Abhängigkeit von der festgelegten Relevanz einstellt. Es werden somit nur relevante Bildmerkmale einbezogen, so dass der überladene, grellfarbige Bildeindruck ausbleibt. Bei dem genannten Relevanzkriterium handelt es sich insbesondere um eine Helligkeit und/oder eine Größe eines in zumindest einer Bildsequenz abgebildeten Objekts aus der Umgebung des Kraftwagens und/oder eine durch eine Objekterkennung erkannte Objektklasse des Objekts, z. B. Fußgänger, Ampel, Straße oder Straßenrandbereich. Es ist so möglich, beispielsweise einen Fußgänger besonders hell darzustellen und eine hindernisfreie Straße und einen leeren Straßenrandbereich besonders dunkel.
-
Das erfindungsgemäße Kamerasystem weist den Vorteil auf, dass eine Fokussierung auf wesentliche Bildinhalte möglich wird, indem die beschriebene Informationsüberflutung verhindert ist. Das erfindungsgemäße Kamerasystem ist bevorzugt als ein Farbnachtsichtsystem ausgestaltet. Hierzu weist es in einer Weiterbildung zumindest einen Bildsensor für eine Bilderfassung in einem Spektralbereich des sichtbaren Lichts und einen weiteren Bildsensor für eine Bilderfassung in einem Spektralbereich einer Infrarotstrahlung auf.
-
Gemäß einer Ausführungsform des erfindungsgemäßen Kamerasystems ist die Erkennungseinrichtung dazu ausgelegt, als Bildmerkmale geometrische Merkmale, insbesondere Kreise, Linien und/oder Kanten, zu erkennen.
-
Eine komplexere Bildauswertung ist bei einer Weiterbildung des Kamerasystems möglich, bei welcher die Erkennungseinrichtung eine Filterkomponente zur selektiven Bearbeitung einzelner Bildbereiche zumindest einer der Bildsequenzen umfasst. Durch eine solche Bearbeitung können beispielsweise Kanten betont werden und/oder Farbverläufe zum Ausgleichen einer ungleichmäßigen Beleuchtung einer Fläche homogenisiert werden. Hierdurch kann die Merkmalserkennung robuster ausgestaltet werden.
-
Eine weitere vorteilhafte Ausführungsform des erfindungsgemäßen Kamerasystems sieht vor, die Erkennungseinrichtung dahingehend auszulegen, eine Objekterkennung durchzuführen und Merkmalsdaten zu in den Bildsequenzen erkannten Objekten einer Umgebung des Kraftwagens zu erzeugen. Insbesondere kann es sich bei der Objekterkennung um eine Fußgängererkennung und/oder eine Ampelerkennung und/oder eine Schilderkennung für Verkehrsschilder handeln.
-
In Weiterbildung der Erfindung ist in der Mischeinrichtung das Mischverhältnis für die korrespondierenden Bildpunkte jeweils durch zumindest eine Gewichtungsmaske festgelegt, welche zu jedem Bildpunkt einer der Bildsequenzen einen Faktor für das gewichtete Überlagern aufweist. Die gewichtete Überlagerung erfolgt dann durch Multiplizieren des Intensitätswerts des Bildpunktes mit dem Faktor und anschließendes Addieren mit Intensitätswerten (gewichtet oder ungewichtet) der korrespondierenden Bildpunkte der übrigen Bildsequenzen.
-
Gemäß einer Ausführungsform werden die beschriebenen Komponenten als eine Vorverarbeitung für ein Assistenzsystem, beispielsweise eine Ampelerkennung und/oder eine Schilderkennung, bereitgestellt. Hierzu weist das Kamerasystem gemäß dieser Weiterbildung die Assistenzeinrichtung auf, welche mit der Mischeinrichtung gekoppelt ist und welche dazu ausgelegt ist, eine Fahrassistenzfunktionalität auf der Grundlage der kombinierten Gesamtbildsequenz bereitzustellen.
-
Der erfindungsgemäße Kraftwagen zeichnet sich dadurch aus, dass er eine Ausführungsform des erfindungsgemäßen Kamerasystems aufweist.
-
Das erfindungsgemäße Verfahren erzeugt die kombinierte Gesamtbildsequenz durch Mischen von zumindest zwei Bildsequenzen, die durch jeweils einen Bildsensor eines Kraftwagens erzeugt werden, wobei die spektrale Empfindlichkeit der Bildsensoren unterschiedlich ist. Die Bildsequenzen werden dann bildpunktweise miteinander kombiniert, indem korrespondierende Bildpunkte aus unterschiedlichen Bildsequenzen gemäß einem bildpunktweise vorgegebenen Mischverhältnis überlagert werden. Gemäß dem Verfahren werden hierzu Merkmalsdaten zu Bildmerkmalen der Bildsequenzen ermittelt. Das Mischverhältnis der Bildpunkte eines solchen Bildmerkmals wird in Abhängigkeit von seiner ermittelten Relevanz des Bildmerkmals eingestellt. Diese wird in der beschriebenen Weise anhand des Relevanzkriteriums ermittelt.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kamerasystems beschrieben wurden. Aus diesem Grund werden die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Im Folgenden wird die Erfindung anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigen:
-
1 ein Blockdiagramm zu einer Ausführungsform des erfindungsgemäßen Kamerasystems und
-
2 eine schematische Darstellung eines Einzelbilds einer Gesamtbildsequenz, wie sie gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens erzeugt werden kann.
-
Die Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.
-
In 1 ist ein Kamerasystem 10 gezeigt, welches zwei Kamerasensoren 12, 14 nebst zugehöriger Optik, einer Erkennungseinrichtung 16, eine Wertungseinrichtung 18 und eine Mischeinrichtung 20 aufweist. Die Mischeinrichtung 20 kann mit einer weiteren Verarbeitungseinrichtung 22 gekoppelt sein, beispielsweise einer Anzeigeeinrichtung oder einem Assistenzsystem des Kraftwagens. Das Kamerasystem 10 kann beispielsweise in einen Kraftwagen, etwa einen Personenkraftwagen, eingebaut sein. Bei dem Kamerasystem 10 kann es sich beispielsweise um ein Farbnachtsichtsystem handeln. Der Bildsensor 12 kann hierzu ein Farbbildsensor sein. Der Bildsensor 14 kann ein Infrarotsensor sein, der für eine Nah-Infrarot-Bilderfassung (NIR) oder eine Fern-Infrarot-Bilderfassung (FIR) ausgelegt sein kann. Für eine NIR-Bilderfassung kann das Kamerasystem 10 eine Infrarot-Lichtquelle aufweisen, welche einen vor dem Kraftwagen befindlichen Nahbereich mit Infrarotlicht ausleuchtet, welches dann von in dem Nahbereich befindlichen Objekten reflektiert und von dem Bildsensor 14 erfasst wird. Bei einer FIR-Bilderfassung erfasst der Bildsensor 14 Infrarotstrahlung, die durch Objekte aufgrund ihrer Eigenwärme ausgestrahlt wird. Bei der Erkennungseinrichtung 16, der Bewertungseinrichtung 18 und der Mischeinrichtung 20 kann es sich beispielsweise um Programmmodule eines Bildverarbeitungssystems des Kraftwagens handeln.
-
Die Bildsensoren 12, 14 sind mit der Erkennungseinrichtung 16 gekoppelt und übertragen Bilddatenströme mit Bildsequenzen an die Erkennungseinrichtung 16. Von der Erkennungseinrichtung 16 aus den Bilddatenströmen extrahierte Merkmalsdaten werden an die Bewertungseinrichtung 18 übertragen, welche die Signifikanz einzelner Bildinhalte in den Bilddatenströmen auf der Grundlage der Merkmalsdaten bewertet. Die Ergebnisse der Bewertung werden zusammen mit den Bilddatenströmen der Mischeinrichtung bereitgestellt, welche die Bilddatenströme zu einem Gesamtbilddatenstrom fusioniert und hierbei ein Mischverhältnis der Bilddatenströme gemäß der Signifikanz/Relevanz der einzelnen Bildinhalte festlegt. Der Gesamtbilddatenstrom kann dann durch die nachgeschaltete Verarbeitungseinrichtung 22 beispielsweise dargestellt werden oder für eine Fahrassistenzfunktionalität genutzt werden. Im Zusammenhang mit einer Darstellung des Bilddatenstroms ist in 2 eine Anzeige eines Einzelbilds des Gesamtbilddatenstroms gezeigt, wie sie beispielsweise über ein Head-up-Display der Verarbeitungseinrichtung 22 einem Fahrer des Kraftwagens präsentiert werden kann.
-
Durch die unterschiedliche spektrale Empfindlichkeit der Bildsensoren 12, 14 sind die Bilddatenströme oder Signalströme von Bildsensoren aus verschiedenen Spektren verfügbar. In einem hier nicht näher erläuterten vorgeschalteten Verfahren oder auch durch bautechnische Maßnahmen sind die Bildsensoren 12, 14 derart aufeinander abgestimmt, dass zu jedem Pixel des der Gesamtbildsequenz je ein passender Informationswert aus Bildsequenzen der einzelnen Bildsensoren 12, 14 zugeordnet werden kann. Grundsätzlich gibt es hier die Möglichkeit mithilfe einer Stereo-Verarbeitung die Abstimmung der einzelnen Bildsequenzen zu erhalten und hierdurch die Bildsequenzen pixelgenau aufeinander zu registrieren. In einem prototypischen Aufbau wurde jeweils eine Umsetzung mit einem Stereo-Verfahren und einem Dual-Imager-Kamerasystem mit je einem dedizierten Sensor pro Spektrum sowie eine Single-Imager-Kamera (Farbkamera mit Infrarotempfindlichkeit) untersucht. Jeder Aufbau lieferte für das hier vorgeschlagene Verfahren einzelne Datenströme, die dann entsprechend in der folgenden Weise verarbeitet werden konnten.
-
Die Mischverhältnisse der Quelldatenströme, d. h. der Intensitätswerte der Bildpunkte der einzelnen Bildsequenzen der Bildsensoren 12, 14, werden in den Zielbildern der Gesamtbildsequenz derart eingestellt, dass der Fahrer nicht überlastet wird von dem Bildeindruck, wie er sich durch die kombinierten Bildinformationen ergibt. Dabei werden dennoch signifikante Bildinhalte hervorgehoben, also beispielsweise Warnhinweise, wie sie sich durch eine Fußgänger-Objekterkennung oder eine Schild-Objekterkennung ergeben, wie sie durch die Erkennungseinrichtung 18 bereitgestellt sein kann. Auf keinen Fall werden wichtige Informationen durch das Zusammenmischen in der Mischeinrichtung 20 überblendet.
-
Die in 1 dargestellte Verarbeitungskette realisiert diese vorteilhafte Signalverarbeitung. Mischverhältnisse werden in der Mischeinrichtung 20 durch Gewichtungsmasken für die einzelnen Bilddatenströme festgelegt. Die Mischverhältnisse können hierbei in einem oder mehreren Verarbeitungsschritten ermittelt werden, die auf die Erkennungseinrichtung 16 und die Bewertungseinrichtung 18 aufgeteilt sein können. Die Erkennungseinrichtung 16 kann beispielsweise Bildmerkmale in den Bilddatenströmen erkennen, wie etwa Kreise, Linien und Kanten. Genauso können Bereiche mit Warnhinweisen mittels beispielsweise einer Fußgängererkennung oder einer Schildererkennung markiert werden. Durch die Bewertungseinrichtung 18 können durch zusätzliche Erkennungs- oder Filterkomponenten einzelne Bereiche dediziert höher bewertet werden, um sie im Zieldatenstrom entsprechend zu berücksichtigen. So können die einzelnen signifikanten Anteile der verschiedenen Spektren aufeinander abgestimmt werden. Vorteilhafterweise können so beispielsweise Signallichter, die im Infrarotspektrum, etwa dem FIR-Spektrum, nicht angezeigt werden, im sichtbaren und im NIR-Infrarotspektrum eine höhere Bewertung erlangen und entsprechend durch höheres Gewichten dieser Bilddatenströme in den Zieldatenstrom integriert und dort betont werden.
-
Insgesamt werden so signifikante Bildinhalte hervorgehoben und nicht relevante Bildinhalte durch Mischen der Bilddatenströme überblendet. All dies trägt zur Erzeugung einer auf die wesentlichen und wichtigen Inhalte reduzierten und gleichzeitig natürlichen Bilddarstellung bei. Der Gesamtbilddatenstrom ist auch für eine weitere Verarbeitung geeignet, etwa durch ein Assistenzsystem.
-
In 2 ist beispielhaft ein Einzelbild aus dem Gesamtbilddatenstrom dargestellt. Das Einzelbild 24 zeigt eine Verkehrsszene, wie sie sich bei Nacht vor dem Kraftwagen ergeben kann. Durch die Erkennungseinrichtung können beispielsweise in dem Farbbildstrom Verkehrszeichen 26, 28 erkannt worden sein. Durch eine Fußgängererkennung, beispielsweise im Infrarotbereich, kann ein Fußgänger 30 erkannt worden sein. Ein verhältnismäßig großflächiger Kraftwagen 32 kann anhand der homogenen Fahrverteilung der Außenfläche des Kraftwagens 32 und seiner Eigenbewegung erkannt worden sein. Des Weiteren kann ein Straßenbereich 34 und ein Randbereich 36 der Straße durch die Erkennungseinrichtung erkannt worden sein. Die Bewertungseinrichtung 18 ermittelt, dass die Verkehrsschilder 26, 28, der Fußgänger 30 und der Kraftwagen 32 für die Fahrsicherheit des Fahrers relevante Objekte sind. Dagegen sind die Straße 34 und der Randbereich 36 frei von relevanten Objekten. Entsprechend werden in dem Einzelbild 24 der Straßenbereich 34 und der Randbereich 36 abgedunkelt dargestellt. Es hat sich jedoch gezeigt, dass eine Hervorhebung von Fahrspurmarkierungen insbesondere im Zusammenhang mit Nachtsichtbildern oder bei Überlandfahrt vorteilhaft ist. Die relevanten Objekte, d. h. die Straßenschilder 26, 28, der Fußgänger 30 und der Kraftwagen 32 werden dagegen mit intensiven Farben dargestellt. Dem Fahrer fällt es hierdurch leichter, die Verkehrssituation zu überblicken und sich auf die für ihn wesentlichen Verkehrsobjekte zu konzentrieren.
-
Bezugszeichenliste
-
- 10
- Kamerasystem
- 12, 14
- Bildsensor
- 16
- Erkennungseinrichtung
- 18
- Bewertungseinrichtung
- 20
- Mischeinrichtung
- 22
- Verarbeitungseinrichtung
- 24
- Einzelbild
- 26, 28
- Verkehrsschild
- 30
- Fußgänger
- 32
- Kraftwagen
- 34
- Straßenbereich
- 36
- Randbereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
