DE102014115292A1

DE102014115292A1 - Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug

Info

Publication number: DE102014115292A1
Application number: DE102014115292.1A
Authority: DE
Inventors: Patrick Eoghan Denny; Brian Michael Thomas Deegan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2014-10-21
Filing date: 2014-10-21
Publication date: 2016-04-21
Also published as: WO2016062699A3; US10692192B2; EP3210185B1; US20170308999A1; EP3210185A2; WO2016062699A2

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Bilddaten (24) von einem Kamerasystem (3) für ein Kraftfahrzeug (1), wobei das Kamerasystem (3) zumindest eine Kamera, insbesondere eine plenoptische Kamera (4), mit einer Linse (6) und einen Sensorarray (7) umfasst, bei welchem mittels des Sensorarrays (7) elektromagnetische Strahlung (15, 17, 19, 21) erfasst wird und Bilddaten (24) eines Umgebungsbereichs (11) des Kraftfahrzeuges (1) anhand der erfassten elektromagnetischen Strahlung (15, 17, 19, 21) bereitgestellt werden und mittels einer Auswertevorrichtung (5) die Bilddaten (24) ausgewertet werden, wobei durch die Auswertevorrichtung (5) anhand der von dem Sensorarray (7) bereitgestellten Bilddaten (24) eine Einfallrichtung der elektromagnetischen Strahlung (15, 17, 19, 21) auf das Sensorarray (7) ermittelt wird und die Bilddaten (24) mittels der Auswertevorrichtung (5) in Abhängigkeit von der ermittelten Einfallsrichtung angepasst werden.

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zumindest eine Kamera, insbesondere eine plenoptische Kamera, mit einer Linse und einen Sensorarray umfasst, bei welchem mittels des Sensorarrays elektromagnetische Strahlung erfasst wird und Bilddaten eines Umgebungsbereichs des Kraftfahrzeuges anhand der erfassten elektromagnetischen Strahlung bereitgestellt werden und mittels einer Auswertevorrichtung die Bilddaten ausgewertet werden. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem Kamerasystem.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, mit welchen besonders informationsreiche Bilddaten bereitgestellt werden können.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
Ein erfindungsgemäßes Verfahren stellt Bilddaten von einem Kamerasystem für ein Kraftfahrzeug bereit. Das Kamerasystem weist zumindest eine Kamera auf, welche eine Linse und ein Sensorarray umfasst. Die Kamera ist insbesondere als plenoptische Kamera ausgebildet. Mittel des Sensorarrays wird elektromagnetische Strahlung erfasst und Bilddaten eines Umgebungsbereichs des Kraftfahrzeugs werden anhand der erfassten elektromagnetischen Strahlung bereitgestellt. Zudem werden mittels einer Auswertevorrichtung die Bilddaten ausgewertet. Ein wesentliches Merkmal der Erfindung ist, dass durch die Auswertevorrichtung, anhand der von dem Sensorarray bereitgestellten Bilddaten, eine Einfallrichtung der elektromagnetischen Strahlung auf das Sensorarray ermittelt wird und die Bilddaten mittels der Auswertevorrichtung in Abhängigkeit von der ermittelten Einfallsrichtung angepasst werden.
Durch das erfindungsgemäße Verfahren wird es also möglich, die Bilddaten anhand der Einfallrichtung der elektromagnetischen Strahlung auf das Sensorarray anzupassen beziehungsweise zu verbessern. Die Einfallrichtung der elektromagnetischen Strahlung kann insbesondere mittels der plenoptischen Kamera bestimmt werden. Die plenoptische Kamera beziehungsweise Lichtfeldkamera kann ein 4D-Lichtfeld des Umgebungsbereichs erfassen. Eine konventionelle Kamera erfasst im Gegensatz zu der plenoptischen Kamera nur ein 2D-Bild. Bei dem 4D-Lichtfeld ist nicht nur die Position und Intensität eines Lichtstrahls auf einem Sensor des Sensorarrays bekannt, sondern auch die Richtung, aus der dieser Lichtstrahl eingefallen ist. Möglich wird das Erfassen des 4D-Lichtfeldes durch ein Gitter aus mehreren Mikrolinsen vor dem Sensor. Die Linse der Kamera ist also als Mikrolinse ausgebildet. Die besonderen Fähigkeiten der plenoptischen Kamera liegen darin, dass die maximale Schärfentiefe sehr hoch ist und kein Fokussiervorgang abgewartet werden muss. Zudem kann die Fokusebene eines aufgenommenen Bildes der Bilddaten nachträglich angepasst werden. Aus den Bilddaten lassen sich auch Tiefeninformationen ermitteln, sodass die plenoptische Kamera auch als 3D-Kamera geeignet ist. Mit den Bilddaten ist dann auch eine nachträgliche Tiefenschärfenerweiterung (focus stacking) möglich. Vorteilhaft ist weiterhin, dass die Bilddaten abhängig von dem 4D-Lichtfeld besonders effektiv angepasst beziehungsweise verbessert werden können und ein hochqualitatives Bild der Bilddaten von dem Umgebungsbereich bereitgestellt werden kann.
Insbesondere ist vorgesehen, dass in Abhängigkeit von der ermittelten Einfallsrichtung trübe und/oder neblige Bereiche der Bilddaten angepasst werden. Die Bilddaten können beispielsweise aufgrund von einer Rayleigh-Streuung die trüben und/oder die nebligen Bereiche aufweisen. Die Rayleigh-Streuung bezeichnet eine elastische Streuung elektromagnetischer Wellen an Teilchen, deren Durchmesser klein im Vergleich zur Wellenlänge ist – wie bei der Streuung von Licht an kleinen Molekülen. Die Rayleigh-Streuung tritt auf, da einfallendes Licht Elektronen eines Moleküls anregt und ein Dipolmoment induziert, welches genauso schwingt wie das einfallende Licht beziehungsweise wie einfallende elektromagnetische Strahlung. Das induzierte Dipolmoment wirkt nun wie ein Hertzscher Dipol und sendet Licht aus, das dieselbe Wellenlänge wie das einfallende Licht besitzt. Der Vorteil ist, dass die Einfallrichtung der elektromagnetischen Strahlung beziehungsweise das 4D-Lichtfeld genutzt werden können, um die Rayleigh-Streuung besonders effektiv aus den Bilddaten zu entfernen beziehungsweise diese in den Bilddaten zu unterdrücken oder zu minimieren. Dies kann beispielsweise erfolgen, weil durch das 4D-Lichtfeld der Tiefenwert eines Bildes der Bilddaten bestimmt werden kann und somit das Anpassen beziehungsweise die Korrektur nur dort in dem Bild angewandt wird, wo der Tiefenwert auf eine bestimmte Entfernung, beispielsweise eine Entfernung von 100 Meter oder mehr, zwischen dem Kamerasystem und einem Objekt in dem Umgebungsbereich schließen lässt. Es kann also davon ausgegangen werden, dass die Rayleigh-Streuung beziehungsweise der neblige Bereich nur dort in dem Bild auftritt, wo der Tiefenwert 100 Meter oder mehr beträgt. Bereiche des Bildes, welche näher als 100 Meter liegen, können von der Anpassung ausgenommen werden, um keine von der Rayleigh-Streuung nicht betroffenen Bereiche des Bildes fälschlicherweise anzupassen. Der Bereich über 100 Meter ist besonders interessant bezüglich der Erkennung und/oder der Warnung von beziehungsweise vor kreuzendem Verkehr und/oder für eine allgemeine Objekterkennung. Weiterhin werden einem Betrachter der Bilddaten aufgrund der Rayleigh-Streuung Details der Bilddaten vorenthalten, und/oder eine Deutlichkeit von Objekten in den Bilddaten wird reduziert. Durch das Reduzieren der Rayleigh-Streuung in den Bilddaten kann also die Sicherheit des Kraftfahrzeugs erhöht werden.
Vorzugsweise ist vorgesehen, dass das Sensorarray einen ersten Sensor und zumindest einen weiteren Sensor umfasst, wobei mit dem ersten Sensor erste Sensordaten von einem infraroten Wellenlängenbereich der elektromagnetischen Strahlung erfasst werden und die Bilddaten zusätzlich abhängig von den ersten Sensordaten angepasst werden. Durch die Fähigkeit des ersten Sensors, den infraroten Wellenlängenbereich zu erfassen, kann die plenoptischen Kamera zusätzliche Informationen über den infraroten Wellenlängenbereich bereitstellen. Der Umgebungsbereich wird durch die Bilddaten also besonders genau beschrieben. Weiterhin lassen sich die Bilddaten anhand der ersten Sensordaten besonders präzise anpassen bezüglich den trüben und/oder nebligen Bereichen und/oder der Rayleigh-Streuung.
Weiterhin ist vorgesehen, dass als der infrarote Wellenlängenbereich ein naher Infrarotbereich der elektromagnetischen Strahlung erfasst wird. Der nahe Infrarotbereich erstreckt sich insbesondere zwischen einer Wellenlänge zwischen 780 Nanometer und 3,0 Mikrometer. Der nahe Infrarotbereich kann weiterhin unterteilt werden in einen IR-A-Bereich und einen IR-B-Bereich. Der IR-A-Bereich erstreckt sich von 0,78 Mikrometer bis 1,4 Mikrometer, während sich der IR-B-Bereich von 1,4 Mikrometer bis 3,0 Mikrometer erstreckt. Vorteilhaft an dem Erfassen des nahen Infrarotbereichs, insbesondere dem IR-A-Bereich, ist, dass diese Information mittels eines aus Silizium gefertigten Sensors bereitgestellt werden kann. Somit kann beispielsweise ein herkömmlicher CCD- oder CMOS-Sensor einer Kamera genutzt werden.
Weiterhin ist vorgesehen, dass das Kamerasystem zumindest zwei Kameras aufweist und jeweils eine Basislinie, welche einen Abstand zwischen den zumindest zwei Kameras beschreibt, bestimmt wird, und die Bilddaten in Abhängigkeit von der bestimmten Basislinie angepasst werden. Das Wissen über den genauen Abstand zwischen den zwei Kameras ermöglicht ein Stereoprinzip des Kamerasystems. Es können somit die Bilddaten der zumindest zwei Kameras gegenseitig in Relation gesetzt werden. Abhängig von der Basislinie ist auch eine Parallaxe des Kamerasystems bekannt. Die Parallaxe wird als Winkel zwischen zwei Geraden, die von verschiedenen Standorten, also dem Anfang und dem Ende der Basislinie, auf denselben Punkt, beispielsweise ein Objekt in dem Umgebungsbereich, gerichtet sind, definiert. Die Parallaxe ist auch der Winkel, unter dem die Basislinie von dem Objekt aus erscheint.
Vorzugsweise ist vorgesehen, dass anhand der Basislinie ein Bildtiefenwert der Bilddaten bestimmt wird, durch welchen eine Entfernung zu einem Objekt in dem Umgebungsbereich beschrieben wird. Durch den Bildtiefenwert kann an jeder Stelle in den Bilddaten bestimmt werden, wie weit das Objekt von der Kamera entfernt ist. Vorteilhaft daran ist, dass die Bilddaten nun abhängig von dem Bildtiefenwert angepasst werden können. Das Anpassen beziehungsweise Verbessern der Bilddaten bezüglich der trüben und/oder der nebligen Bereiche und/oder der Rayleigh-Streuung kann nun so durchgeführt werden, dass Bereiche in den Bilddaten mit einem großen Bildtiefenwert angepasst werden, während Bereiche in den Bilddaten, welche einen niedrigen Bildtiefenwert aufweisen, von dem Anpassen ausgenommen werden. Der Grund ist, dass der neblige Bereich und/oder die Rayleigh-Streuung meist erst ab einer bestimmten Distanz beziehungsweise Entfernung, insbesondere von 100 Meter und mehr, auftritt. Mit dem Wissen über die Entfernung von dem Objekt zu der Kamera können also Bereiche der Bilddaten von der Anpassung ausgenommen werden, welche sich nahe an der Kamera befinden und somit fälschlicherweise angepasst werden würden. Die Qualität der angepassten Bilddaten kann also abhängig von dem Bildtiefenwert erhöht werden.
Insbesondere ist vorgesehen, dass mit dem zumindest einen weiteren Sensor weitere Sensordaten im sichtbaren Wellenlängenbereich der elektromagnetischen Strahlung erfasst werden. Der sichtbare Wellenlängenbereich reicht von ungefähr 380 Nanometer bis 780 Nanometer des elektromagnetischen Spektrums. Der zumindest eine weitere Sensor kann empfindlich für einen roten Bereich des sichtbaren Wellenlängenbereichs und/oder einen grünen Bereich des sichtbaren Wellenlängenbereichs und/oder einem blauen Bereich des sichtbaren Wellenlängenbereichs sein. Es kann damit also beispielsweise ein Farbbild bereitgestellt werden. Somit ist es möglich, die Einfallrichtung der elektromagnetischen Strahlung und/oder den Bildtiefenwert und/oder die ersten Sensordaten aus dem infraroten Wellenlängenbereich und/oder die weiteren Sensordaten aus dem sichtbaren Wellenlängenbereich zu berücksichtigen. Vorteilhaft ist also eine Vielzahl von Informationen in den Bilddaten und somit die Möglichkeit, die Bilddaten besonders präzise anzupassen.
Weiterhin ist vorgesehen, dass die Bilddaten abhängig von zumindest einem ersten Näherungsbild, welches durch eine Tiefpassfilterung der ersten Sensordaten bereitgestellt wird, und/oder von zumindest einem zweiten Näherungsbild, welches durch eine Tiefpassfilterung der weiteren Sensordaten bereitgestellt wird, angepasst werden. Das erste Näherungsbild und/oder das zumindest eine zweite Näherungsbild kann durch das Entfernen der hohen Frequenzen in Bilddaten bereitgestellt werden. Abhängig von dem ersten Näherungsbild und/oder dem zumindest einen weiteren Näherungsbild beziehungsweise zweiten Näherungsbild können die Bilddaten besonderes präzise angepasst werden, insbesondere können die trüben und/oder die nebligen Bereiche und/oder die Rayleigh-Streuung besonders präzise aus den Bilddaten entfernt werden.
Weiterhin ist vorgesehen, dass anhand des ersten Näherungsbilds ein erstes Kontrastbild, welches einen Vordergrund des ersten Näherungsbilds und/oder einen Hintergrund des ersten Näherungsbilds bestimmt, bereitgestellt wird und/oder anhand des zweiten Näherungsbilds ein zweites Kontrastbild, welches einen Vordergrund des zweiten Näherungsbilds und/oder einen Hintergrund des zweiten Näherungsbilds bestimmt, bereitgestellt wird. Das erste Kontrastbild und/oder das zweite Kontrastbild kann beispielsweise nach einem Verfahren von A. Toet, Hierarchical image fusion, Machine Vision and Applications, Volume 3, Nummer 1, Seiten 1 bis 11, 1990, bereitgestellt werden. Vorteilhaft an dem ersten Kontrastbild und/oder dem zweiten Kontrastbild ist, dass die Bilddaten abhängig davon besonders präzise angepasst werden können. Der trübe und/oder der neblige Bereich und/oder die Rayleigh-Streuung können also abhängig von dem ersten Kontrastbild und/oder dem zweiten Kontrastbild besonders präzise aus den Bilddaten entfernt werden.
Weiterhin ist bevorzugt vorgesehen, dass das erste Näherungsbild und/oder das zweite Näherungsbild und/oder das erste Kontrastbild und/oder das zweite Kontrastbild in verschiedenen Auflösungen bereitgestellt werden. Anhand der verschiedenen Auflösungen können das erste Kontrastbild und das zweite Kontrastbild genutzt werden, um qualitativ besonders hochwertige angepasste Bilddaten bereitzustellen. Die Idee dahinter ist, dass die ersten Sensordaten aus dem infraroten Wellenlängenbereich einen höheren Kontrast im Fall von dem trüben und/oder dem nebligen Bereich aufweisen als die weiteren Sensordaten, welche die Farbinformation aus dem sichtbaren Wellenlängenbereich bereitstellen. Durch eine Fusion der ersten und der zweiten Sensordaten abhängig von dem ersten Näherungsbild und/oder dem zweiten Näherungsbild und/oder dem ersten Kontrastbild und/oder dem zweiten Kontrastbild in verschiedenen Auflösungen können die Bilddaten besonders präzise angepasst werden.
In einer weiteren Ausgestaltung ist vorgesehen, dass die Bilddaten abhängig von einer aktuellen Position des Kamerasystems, insbesondere einer GNSS-Position, angepasst werden. Die GNSS-Position kann beispielsweise mittels eines GPS-Empfängers und/oder eines GLONASS-Empfängers und/oder eines Galileo-Empfängers bereitgestellt werden. Die aktuelle Position kann dann genutzt werden, um zu überprüfen, ob der Umgebungsbereich eine Situation zeigt, welche die trüben und/oder die nebligen Bereiche und/oder die Rayleigh-Streuung aufweist, oder ob es sich beispielsweise in dem Umgebungsbereich um ein einfarbig blaues Objekt handelt, welches dann fälschlicherweise angepasst werden würde. Es wird also die aktuelle Position mit in Betracht gezogen, um zu entscheiden, ob das Anpassen der Bilddaten sinnvoll ist oder nicht.
Weiterhin ist bevorzugt vorgesehen, dass ein aktueller Abstand zwischen dem Kamerasystem und einem Objekt in dem Umgebungsbereich mittels eines Abstandssensors bestimmt wird und die Bilddaten abhängig von dem bestimmten Abstand angepasst werden. Der Abstandssensor kann beispielsweise ein Radarsensor und/oder ein Ultraschallsensor und/oder ein Lidar-Sensor und/oder ein Laserscanner sein. Abhängig von dem bestimmten Abstand zu Objekten in den Bilddaten kann entschieden werden, ob das Anpassen für diesen Bereich der Bilddaten durchgeführt wird oder nicht. So kann das Anpassen von Bereichen der Bilddaten, in welchen nahe Objekte abgebildet sind, unterdrückt werden, um die Bilddaten in diesem Bereich nicht fehlerhaft anzupassen beziehungsweise unnötig anzupassen. Andererseits kann bei einer Sicht über einen offenen Raum mit einer höheren Wahrscheinlichkeit von Nebel und/oder der Rayleigh-Streuung ausgegangen werden. Vorteilhaft ist also die Möglichkeit, die Bilddaten besonders präzise anzupassen.
Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug, mit zumindest einer Kamera, welche eine Linse und ein Sensorarray zum Erfassen von elektromagnetischer Strahlung und zum Bereitstellen von Bilddaten eines Umgebungsbereichs des Kraftfahrzeugs anhand der erfassten elektromagnetischen Strahlung umfasst, und mit einer Auswertevorrichtung zum Auswerten der Bilddaten, wobei die Auswertevorrichtung zum Durchführen eines erfindungsgemäßen Verfahrens ausgelegt ist.
Insbesondere ist vorgesehen, dass die Linse als ein Mikrolinsenarray ausgebildet ist. Das Mikrolinsenarray ist eine Anordnung von Linsen, die sowohl rotationssymmetrisch als auch zylindrisch sein können. Die Linsen des Mikrolinsenarrays sind mit möglichst geringem oder keinem Zwischenraum angeordnet. Durch das Mikrolinsenarray kann die plenoptische Kamera bereitgestellt werden. Durch die plenoptische Kamera lässt sich eine Einfallrichtung der elektromagnetischen Strahlung auf das Sensorarray ermitteln. Vorteilhaft ist, dass die Bilddaten mit besonders umfangreicher Information bereitgestellt werden können.
Die Erfindung umfasst auch ein Kraftfahrzeug mit einem erfindungsgemäßen Kamerasystem oder einer vorteilhaften Ausführung davon. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem, welches ein Kamerasystem umfasst;
2 eine schematische Darstellung des Kamerasystems, welches zumindest ein Sensorarray umfasst; und
3 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens mit dem Kamerasystem.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel ein Kamerasystem 3. Das Kamerasystem 3 umfasst weiterhin eine plenoptische Kamera 4 und eine Auswertevorrichtung 5.
Die plenoptische Kamera 4 umfasst eine Linse 6 und ein Sensorarray 7. Die Linse 6 ist gemäß dem Ausführungsbeispiel ein Mikrolinsenarray. Das Mikrolinsenarray ist eine Anordnung von Linsen, die sowohl rotationssymmetrisch als auch zylindrisch sein können. Die Linsen sind mit möglichst geringem oder keinem Zwischenraum angeordnet. Die Abmessungen der einzelnen Linsen liegen je nach Anwendung zwischen 1 Millimeter und wenigen Mikrometern oder darunter.
Die plenoptische Kamera 4 kann eine räumliche Abbildung bereitstellen, deshalb wird das Mikrolinsenarray in einer Bildebene der plenoptischen Kamera 4 eingesetzt. Damit kann neben den beiden Raumrichtungen (xy-Koordinaten) in der Bildebene auch die Richtung eines einfallenden Lichtstrahls bestimmt werden. Das Mikrolinsenarray stellt also zwei Winkelkoordinaten anhand der Richtung beziehungsweise der Einfallrichtung und die Raumrichtungen in der Bildebene bereit, welche die Grundlage für die Berechnung einer Tiefenkarte bilden. Die plenoptische Kamera ahmt so das binokulare Sehen des menschlichen Auges nach.
Im Ausführungsbeispiel gemäß 1 ist die plenoptische Kamera 4 in einem Bereich hinter einer Windschutzscheibe 8 des Kraftfahrzeugs 1 angeordnet und in Fahrtrichtung des Kraftfahrzeugs 1 nach vorne ausgerichtet. Die Anordnung der plenoptischen Kamera 4 in und/oder an dem Kraftfahrzeug 1 ist jedoch vielfältig möglich, so kann die plenoptische Kamera 4 beispielsweise auch an einer Front 9 oder einem Heck 10 oder seitlich an dem Kraftfahrzeug 1 angeordnet sein. Weiterhin sind vorzugsweise auch mehrere plenoptische Kameras 4 vorgesehen, welche einen Umgebungsbereich 11 des Kraftfahrzeugs 1 erfassen.
In dem vorliegenden Ausführungsbeispiel ist die Auswertevorrichtung 5 schematisch gezeigt. Die Auswertevorrichtung 5 kann ebenfalls beliebig in dem Kraftfahrzeug 1 angeordnet sein. Die Auswertevorrichtung 5 kann beispielsweise durch ein Steuergerät (ECU, Electronic Control Unit) des Kraftfahrzeugs 1 gebildet sein.
2 zeigt das Kamerasystem 3 in einer schematischen Darstellung. Das Kamerasystem 3 umfasst üblicherweise mehrere plenoptische Kameras 4, wobei gemäß dem Ausführungsbeispiel von 2 drei plenoptische Kameras 4 gezeigt sind. Jede der plenoptischen Kameras 4 umfasst das Sensorarray 7. Die Sensorarrays 7 der pleoptischen Kameras 4 sind insbesondere baugleich ausgebildet. Weiterhin umfasst das Kamerasystem 3 ein Gehäuse 12 und Löcher 13 für die Montage des Kamerasystems 3.
Das Sensorarray 7 umfasst einen ersten Sensor 14 zum Erfassen von elektromagnetischer Strahlung im infraroten Wellenlängenbereich 15. Der erste Sensor 14 kann beispielsweise aus einem Halbleitermaterial hergestellt sein. Das Halbleitermaterial ist vorzugsweise Silizium. Falls der erste Sensor 14 aus Silizium hergestellt ist, so erfasst dieser den infraroten Wellenlängenbereich 15 bis 1,0 Mikrometer der elektromagnetischen Strahlung, also vorzugsweise im Bereich des nahen Infrarots des infraroten Wellenlängenbereichs 15. Ergänzend oder alternativ kann der erste Sensor 14 auch als Mikrobolometer beziehungsweise mikrotechnisch gefertigtes Bolometer ausgebildet sein. In diesem Fall werden im Wesentlichen der mittlere und der ferne Bereich des infraroten Wellenlängenbereichs 15 erfasst. Das nahe Infrarot erstreckt sich beispielsweise von 0,78 Mikrometer bis 3,0 Mikrometer Wellenlänge. Das mittlere Infrarot (MIR) erstreckt sich beispielsweise von 3 Mikrometer bis 50 Mikrometer Wellenlänge. Das ferne Infrarot (FIR) erstreckt sich beispielsweise von 50 Mikrometer bis 1.000 Mikrometer Wellenlänge.
Weiterhin ist vorgesehen, dass ein zweiter Sensor 16 zum Erfassen der elektromagnetischen Strahlung im blauen sichtbaren Wellenlängenbereich 17 ausgelegt ist. Ein dritter Sensor 18 ist dazu ausgelegt, die elektromagnetische Strahlung eines grünen sichtbaren Wellenlängenbereichs 19 zu erfassen. Und weiterhin ist gemäß dem Ausführungsbeispiel ein vierter Sensor 20 dazu ausgelegt, die elektromagnetische Strahlung in einem roten sichtbaren Wellenlängenbereich 21 zu erfassen. Die Sensoren 14, 16, 18, 20 können beispielsweise als CCD-Sensoren oder CMOS-Sensoren ausgebildet sein. Die Anordnung des ersten Sensors 14 und/oder des zweiten Sensors 16 und/oder des dritten Sensors 18 und/oder des vierten Sensors 20 gemäß dem Ausführungsbeispiel 2 ist lediglich beispielhaft zu verstehen. Die Anordnung der Sensoren 14, 16, 18, 20 ist beliebig, jedoch vorzugsweise so, dass der Umgebungsbereich 11 erfasst werden kann.
Weiterhin ist eine erste Basislinie 22 bekannt, welche den Abstand von der einen plenoptischen Kamera 4 zu der anderen plenoptischen Kamera 4 beschreibt. Außerdem bekannt ist eine zweite Basislinie 23, welche einen Abstand von der einen plenoptischen Kamera 4 zu der anderen plenoptischen Kamera 4 beschreibt. Anhand der ersten Basislinie 22 und/oder der zweiten Basislinie 23 können beispielsweise mit dem Kamerasystem 3 die Vorteile eines Stereoprinzips genutzt werden, welches eine Tiefenschätzung beziehungsweise die Ermittlung eines Tiefenwertes in den Bilddaten 24 ermöglicht.
3 zeigt, wie die elektromagnetische Strahlung von dem Umgebungsbereich 11 mit dem Kamerasystem 3 erfasst und/oder bereitgestellt wird. Der blaue sichtbare Wellenlängenbereich 17 wird von dem zweiten Sensor 16 des Kamerasystems 3 erfasst. Der grüne sichtbare Wellenlängenbereich 19 wird mit dem dritten Sensor 18 erfasst, und der rote sichtbare Wellenlängenbereich 21 wird mit dem vierten Sensor 20 erfasst. Gemäß dem Ausführungsbeispiel von 3 werden die sichtbaren Wellenlängenbereiche 17, 19, 21 von dem Sensorarray 7 empfangen, während der infrarote Wellenlängenbereich 15 von dem ersten Sensor 14 des Sensorarrays 7 empfangen wird. In einem Schritt S1 werden die Sensordaten des ersten Sensors 14 und/oder des zweiten Sensors 16 und/oder des dritten Sensors 18 und/oder des vierten Sensors 20 zu Bilddaten 24 zusammengeführt beziehungsweise fusioniert.
Die Bilddaten 24 weisen also Sensordaten aus dem infraroten Wellenlängenbereich 15 und/oder dem blauen sichtbaren Wellenlängenbereich 17 und/oder dem grünen sichtbaren Wellenlängenbereich 19 und/oder dem roten sichtbaren Wellenlängenbereich 21 auf. Der Anteil der verschiedenen Sensordaten an den jeweiligen Wellenlängenbereichen 15, 17, 19, 21 kann nun abhängig von Eigenschaften des Umgebungsbereichs 11 gewichtet werden. Eine Eigenschaft des Umgebungsbereichs 11 kann beispielsweise die Helligkeit beziehungsweise die Ausleuchtung des Umgebungsbereichs 11 sein. Die Bilddaten 24 werden also so zusammengesetzt beziehungsweise fusioniert, dass die Helligkeit berücksichtigt wird.
Weiterhin ist vorgesehen, dass jeder der Sensoren 14, 16, 18, 20 ein eigenes Filter aufweist, um den für diesen Sensor 14, 16, 18, 20 bestimmten Wellenlängenbereich 15, 17, 19, 21 zu realisieren und diejenigen Wellenlängenbereiche 15, 17, 19, 21, welche nicht erwünscht sind, auszuschließen beziehungsweise zu unterdrücken. So weisen beispielsweise handelsübliche Kameras von der Stange einen Infrarotsperrfilter auf, welcher das Durchdringen der elektromagnetischen Strahlung des infraroten Wellenlängenbereichs 15 zu dem jeweiligen Sensor 16, 18, 20 verhindert.
Weiterhin ist vorgesehen, dass der Anteil des infraroten Wellenlängenbereichs an den Bilddaten 24 bei sinkender Helligkeit erhöht wird und somit eine höhere Qualität der Bilddaten 24 bereitgestellt werden kann.. Üblicherweise hat ein Sensor bei sinkender Helligkeit die Möglichkeit, dies über eine Verstärkung des Signals zu kompensieren. Dies kann mit einer automatischen Verstärkungssteuerung (AGC) und/oder einer Belichtungsautomatik (AEC) erfolgen. Ziel ist es, ein optimal belichtetes Bild beziehungsweise optimal belichtete Bilddaten 24 bereitzustellen. Hierfür kann entweder eine Belichtungszeit des Sensors 14, 16, 18, 20 erhöht werden oder ergänzend oder alternativ kann ein Signal des Sensors 14, 16, 18, 20 elektronisch verstärkt werden. Somit kann also anhand des automatischen Verstärkungssteuerung festgestellt werden, ob die Helligkeit in dem Umgebungsbereich 11 zunimmt oder abnimmt. Abhängig davon kann nun also auch der Anteil des infraroten Wellenlängenbereichs 15 an den Bilddaten 24 geregelt werden. So ist vorgesehen, dass dieser Anteil des infraroten Wellenlängenbereichs 15 an den Bilddaten 24 zunimmt bei geringer Helligkeit beziehungsweise fallender Helligkeit und abnimmt bei steigender Helligkeit beziehungsweise hoher Helligkeit. Dies kann mathematisch beschrieben werden wie folgt: Bilddaten 24 = f((g·IR) + (1 – g)·C), wobei f eine Funktion zur Erzeugung der Bilddaten 24 ist, g ist ein Parameter der automatischen Verstärkungssteuerung, IR sind erste Sensordaten des ersten Sensors 14 von dem infraroten Wellenlängenbereich 15 und C sind weitere Sensordaten des zweiten Sensors 16 und/oder des dritten Sensors 18 und/oder des vierten Sensors 20 aus dem sichtbaren Wellenlängenbereich 17, 19, 21.
In einem weiteren Ausführungsbeispiel kann anhand der Bilddaten 24, welche die Informationen des 4D-Lichtfeldes von der plenoptischen Kamera enthalten und/oder die ersten Sensordaten IR und/oder die weiteren Sensordaten C auf eine Topographie einer Straße in dem Umgebungsbereich 11 geschlossen werden. Die Topologie der Straße, also beispielsweise Schlaglöcher, Verschmutzungen und/oder andere Zustände der Oberfläche der Straße, können für das Fahrerassistenzsystem 2 genutzt werden, um eine Fahrwerksregelung des Kraftfahrzeugs 1 und/oder ein Ausweichmanöver des Kraftfahrzeugs 1 zu steuern.
Trübe und/oder neblige Bereiche in den Bilddaten 24 und/oder eine Rayleigh-Streuung können durch folgende Anpassung der Bilddaten 24 entfernt beziehungsweise unterdrückt werden. Es werden die ersten Sensordaten IR aus dem infraroten Wellenlängenbereich 15 mit den weiteren Sensordaten C aus dem sichtbaren Wellenlängenbereich 17, 19, 21 fusioniert. Hierzu werden die weiteren Sensordaten C in einen Luminanz-Chrominanz-Farbraum transformiert. Es kann also ein Luminanzbild V₀ des sichtbaren Wellenlängenbereichs 17, 19, 21 bereitgestellt werden. Weiterhin kann ein NIR-Bild N₀ der ersten Sensordaten IR bereitgestellt werden. Das Luminanzbild V₀ und das NIR-Bild N₀ sind die Eingabe für das Verfahren zum Anpassen der Bilddaten 24 beziehungsweise für die Fusion der Bilddaten 24. Die Ausgabe des Verfahrens ist ein fusioniertes Luminanzbild F₀. Die Chrominanzinformation von den weiteren Sensordaten C wird während der Fusion nicht genutzt, wird aber nach der Fusion einfach mit dem fusionierten Luminanzbild F₀ kombiniert.
Von dem Luminanzbild F₀ und dem NIR-Bild N₀ werden verschiedene Auflösungen bereitgestellt. Hierzu wird zuerst ein Näherungsbild V a / k+1 des Luminanzbilds V₀ bereitgestellt und ein Näherungsbild N a / k+1 des NIR-Bilds N₀ bereitgestellt.
W entspricht einem WLS-Filter, wie er von Z. Farbmann, R. Fattal, D. Lischinski und R. Szeliski in dem Konferenzbeitrag „Edge-preserving decompositions for multi-scale tone and detail manipulation" der International Conference on Computer Graphics and Interactive Techniques, Seite 1 bis 10, 2008, vorgestellt wurde. Der Parameter λ₀ kontrolliert die Grobheit des jeweiligen Näherungsbildes V a / k+1, N a / k+1 auf der jeweiligen
Auflösungsstufe beziehungsweise der jeweiligen Schicht k + 1. Der Parameter λ₀ drückt den Grad der Grobheit des ersten Näherungsbildes aus, während die weiteren Näherungsbilder um ein Vielfaches von c gröber sind. So kann beispielsweise λ₀ = 0,1 und c = 2 betragen, während eine Auflösungsstufe, also eine gesamte Anzahl von Schichten auf n = 6 gesetzt wird.
Schließlich werden Kontrastbilder bestimmt. Ein Kontrastbild V d / k der weiteren Sensordaten und ein Kontrastbild N d / k der ersten Sensordaten. Die Kontrastbilder werden nach einem Ansatz von A. Toet bestimmt, welcher in einem Artikel Hierarchical Image Fusion in Machine Vision and Applications, Volume 3 Nummer 1, Seiten 1 bis 11, 1990, ein Verfahren zur Berechnung der Kontrastbilder V d / k, N d / k beschreibt. Mathematisch kann dies wie folgt ausgedrückt werden:
Die Kontrastbilder V d / k N d / k und die Näherungsbilder V a / k+1 N a / k+1 werden in verschiedenen Auflösungen der n Schichten repräsentiert. Ein grundlegendes Kriterium des fusionierten Luminanzbildes F₀ ist, dass das NIR-Bild N₀ einen höheren Kontrast aufweist, wenn Nebel und/oder ein trüber Bereich und/oder eine Rayleigh-Streuung vorhanden ist. Deshalb wird das Maximum des jeweiligen Kontrastbilds V d / k, N d / k für das fusionierte Luminanzbild F₀ genutzt. Weiterhin werden die niederfrequenten Luminanzinformationen beziehungsweise Farbinformationen des Näherungsbildes V a / n des sichtbaren Wellenlängenbereiches 17, 19, 21 genutzt. Das fusionierte Luminanzbild F₀ kann nun wie folgt bestimmt werden:
Das fusionierte Luminanzbild F₀ ist also nun so angepasst, dass die trüben Bereiche und/oder die nebligen Bereiche und/oder die Rayleigh-Streuung in den Bilddaten 24 reduziert ist.
Weiterhin ist vorgesehen, dass das Anpassen der Bilddaten 24 abhängig von einem aktuellen Abstand zwischen dem Kamerasystem 3 und dem Objekt in dem Umgebungsbereich 11 erfolgt. Der aktuelle Abstand wird mittels eines Abstandssensors des Kraftfahrzeugs 1 bereitgestellt. Der Abstandssensor kann beispielsweise ein Radarsensor und/oder ein Ultraschallsensor und/oder ein Lidar-Sensor und/oder ein Laserscanner sein.
Ergänzend oder alternativ wird das fusionierte Luminanzbild F₀, also das Anpassen der Bilddaten 24, abhängig von einer aktuellen Position des Kamerasystems 3 durchgeführt. Die aktuelle Position kann beispielsweise eine Position sein, welche mittels eines GNSS-Empfängers ermittelt wurde. Der GNSS-Empfänger kann beispielsweise ein GPS-Empfänger und/oder ein GLONASS-Empfänger und/oder ein Galileo-Empfänger und/oder ein Baidou-Empfänger sein. Die aktuelle Position kann dann genutzt werden, um zu überprüfen, ob sich der Umgebungsbereich 11 über einen freien offenen Raum erstreckt, oder ob die Objekte in dem Umgebungsbereich 11 nahe zu dem Kamerasystem 3, also beispielsweise näher als 100 Meter zu dem Kamerasystem 3, angeordnet sind und somit ein Vorkommen der trüben und/oder der nebligen Bereiche und/oder der Bereiche mit Rayleigh-Streuung unwahrscheinlich ist oder ausgeschlossen werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

A. Toet, Hierarchical image fusion, Machine Vision and Applications, Volume 3, Nummer 1, Seiten 1 bis 11, 1990 [0013]
Z. Farbmann, R. Fattal, D. Lischinski und R. Szeliski in dem Konferenzbeitrag „Edge-preserving decompositions for multi-scale tone and detail manipulation“ der International Conference on Computer Graphics and Interactive Techniques, Seite 1 bis 10, 2008 [0043]
Artikel Hierarchical Image Fusion in Machine Vision and Applications, Volume 3 Nummer 1, Seiten 1 bis 11, 1990 [0045]

Claims

Verfahren zum Bereitstellen von Bilddaten (24) von einem Kamerasystem (3) für ein Kraftfahrzeug (1), wobei das Kamerasystem (3) zumindest eine Kamera, insbesondere eine plenoptische Kamera (4), mit einer Linse (6) und einen Sensorarray (7) umfasst, bei welchem mittels des Sensorarrays (7) elektromagnetische Strahlung (15, 17, 19, 21) erfasst wird und Bilddaten (24) eines Umgebungsbereichs (11) des Kraftfahrzeuges (1) anhand der erfassten elektromagnetischen Strahlung (15, 17, 19, 21) bereitgestellt werden und mittels einer Auswertevorrichtung (5) die Bilddaten (24) ausgewertet werden, dadurch gekennzeichnet, dass durch die Auswertevorrichtung (5), anhand der von dem Sensorarray (7) bereitgestellten Bilddaten (24), eine Einfallrichtung der elektromagnetischen Strahlung (15, 17, 19, 21) auf das Sensorarray (7) ermittelt wird und die Bilddaten (24) mittels der Auswertevorrichtung (5) in Abhängigkeit von der ermittelten Einfallsrichtung angepasst werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit von der ermittelten Einfallsrichtung trübe und/oder neblige Bereiche der Bilddaten (24) angepasst werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Sensorarray (7) einen ersten Sensor (14) und zumindest einen weiteren Sensor (16, 18, 20) umfasst, wobei mit dem ersten Sensor (14) erste Sensordaten (IR) von einem infraroten Wellenlängenbereich (15) der elektromagnetischen Strahlung (15, 17, 19, 21) erfasst werden und die Bilddaten (24) zusätzlich abhängig von den ersten Sensordaten (IR) angepasst werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als der infrarote Wellenlängenbereich (IR) ein naher Infrarotbereich der elektromagnetischen Strahlung (15, 17, 19, 21) erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (3) zumindest zwei Kameras (4) aufweist und jeweils eine Basislinie (22, 23), welche einen Abstand zwischen den zumindest zwei Kameras (4) beschreibt, bestimmt wird, und die Bilddaten (24) in Abhängigkeit von der der bestimmten Basislinie (22, 23) angepasst werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass anhand der Basislinie (22, 23) ein Bildtiefenwert der Bilddaten (24) bestimmt wird, durch welchen eine Entfernung zu einem Objekt in dem Umgebungsbereich (11) beschrieben wird.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass mit dem zumindest einen weiteren Sensor (16, 18, 20) weitere Sensordaten (C) im sichtbaren Wellenlängenbereich (17, 19, 21) der elektromagnetischen Strahlung (15, 17, 19, 21) erfasst werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bilddaten (24) abhängig von zumindest einem ersten Näherungsbild (N a / k+1), welches durch eine Tiefpassfilterung der ersten Sensordaten (IR) bereitgestellt wird, und/oder von zumindest einem zweiten Näherungsbild (V a / k+1), welches durch eine Tiefpassfilterung der weiteren Sensordaten (C) bereitgestellt wird, angepasst wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass anhand des ersten Näherungsbilds (N a / k+1) ein erstes Kontrastbild (N d / k), welches einen Vordergrund des ersten Näherungsbilds (N a / k+1) und/oder einen Hintergrund des ersten Näherungsbilds (N a / k+1) bestimmt, bereitgestellt wird und/oder anhand des zweiten Näherungsbilds (V a / k+1) ein zweites Kontrastbild (V d / k), welches einen Vordergrund des zweiten Näherungsbilds (V a / k+1) und/oder einen Hintergrund des zweiten Näherungsbilds (V a / k+1) bestimmt, bereitgestellt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das erste Näherungsbild (N a / k+1) und/oder das zweite Näherungsbild (V a / k+1) und/oder das erste Kontrastbild (N d / k) und/oder das zweite Kontrastbild (V d / k) in verschiedenen Auflösungen bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten (24) abhängig von einer aktuellen Position des Kamerasystems (3), insbesondere einer GNSS-Position, angepasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein aktueller Abstand zwischen dem Kamerasystem (3) und einem Objekt in dem Umgebungsbereich (11) mittels eines Abstandssensors bestimmt wird und die Bilddaten (24) abhängig von dem bestimmten Abstand angepasst werden.
Kamerasystem (3) für ein Kraftfahrzeug (1), mit zumindest einer Kamera, insbesondere einer plenoptischen Kamera (4), welche eine Linse (6) und ein Sensorarray (7) zum Erfassen von elektromagnetischer Strahlung (15, 17, 19, 21) und zum Bereitstellen von Bilddaten (24) eines Umgebungsbereichs (11) des Kraftfahrzeuges (1) anhand der erfassten elektromagnetischen Strahlung (15, 17, 19, 21) umfasst, und mit einer Auswertevorrichtung (5) zum Auswerten der Bilddaten (24), wobei die Auswertevorrichtung (5) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgelegt ist.
Kamerasystem (3) nach Anspruch 13, dadurch gekennzeichnet, dass die Linse (6) als ein Mikrolinsenarray ausgebildet ist. Kraftfahrzeug (1) mit einem Kamerasystem (3) nach Anspruch 13 oder 14.