-
Die Erfindung betrifft ein Verfahren zum Anpassen zumindest eines Kameraparameters einer Kamera eines Kraftfahrzeugs und/oder eines mit der Kamera aufgenommenen Bilds. Es wird ein Umgebungsbereich des Kraftfahrzeugs mit der Kamera zumindest teilweise erfasst. Das Bild wird von dem erfassten Umgebungsbereich aufgenommen. Die Erfindung betrifft auch ein Computerprogrammprodukt, ein Kamerasystem für ein Kraftfahrzeug, ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
-
Verfahren zum Anpassen zumindest eines Kameraparameters einer Kamera eines Kraftfahrzeugs und/oder einer mit der Kamera aufgenommenen Bilds sind aus dem Stand der Technik bekannt. So wird üblicherweise ein Bereich in dem Bild definiert, in welchem Eigenschaften des Bilds bestimmt werden, anhand welcher wiederum der Kameraparameter angepasst werden kann. Ein Beispiel hierfür ist die Belichtungsautomatik von bekannten Kameras. Weiterhin kann das Bild aber auch in dem definierten Bereich lokal angepasst werden. So kann beispielsweise in dem definierten Bereich eine Kontrasterhöhung durchgeführt werden.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein Kamerasystem, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug zu schaffen, mit welchem beziehungsweise bei welchem eine mit einer Kamera erzeugbare Information eines Umgebungsbereichs eines Kraftfahrzeugs qualitativ besser bereitgestellt wird.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Computerprogrammprodukt, durch ein Kamerasystem, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren wird zumindest ein Kameraparameter einer Kamera eines Kraftfahrzeugs und/oder ein mit der Kamera aufgenommenes Bild angepasst. Mit der Kamera wird ein Umgebungsbereich des Kraftfahrzeugs zumindest teilweise erfasst. Von dem erfassten Umgebungsbereich wird das Bild aufgenommen. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass ein Teilbereich des Bilds bestimmt wird, welcher auf einer Anzeigeeinheit des Kraftfahrzeugs angezeigt wird und/oder zur Weiterverarbeitung mit einem Verfahren des maschinellen Sehens bereitgestellt wird. Es wird ein vollständig innerhalb des Teilbereichs liegender Auswahlbereich bestimmt. Der zumindest eine Kameraparameter und/oder das Bild wird abhängig von einer Eigenschaft des Bilds in dem Auswahlbereich angepasst.
-
Durch das Bestimmen des Teilbereichs und des wiederum vollständig innerhalb des Teilbereichs liegenden Auswahlbereichs kann der Kameraparameter und/oder das Bild effektiver und qualitativ hochwertiger angepasst werden.
-
Mit dem Teilbereich wird ein Sichtfeldbereich des Bilds beschrieben. So kann der Teilbereich beispielsweise dadurch definiert sein, dass dieser Bereich des Bilds nach möglichen weiteren Verarbeitungsschritten auf einer Anzeigeeinheit des Kraftfahrzeugs ausgegeben wird. Der Teilbereich kann aber auch dadurch beschrieben werden, dass dieser Bereich beispielsweise für die Weiterverarbeitung mit einem Verfahren des maschinellen Sehens genutzt wird. Insbesondere sind die für die Anzeige und/oder die Weiterverarbeitung relevanten Informationen nur in dem Teilbereich vorhanden. Es ist also ausreichend, wenn das Anpassen des Kameraparameters und/oder des Bilds lediglich Rücksicht auf den Bereich des Bilds innerhalb des Teilbereichs nimmt. Dies kann dann beispielsweise dazu führen, dass Bereiche außerhalb des Teilbereichs unterbelichtet dargestellt werden. Relevant sind diese unterbelichteten Bereiche außerhalb des Teilbereichs dann allerdings nicht, da diese vorzugsweise weder für die Anzeige auf der Anzeigeeinheit noch zur Weiterverarbeitung mit dem Verfahren des maschinellen Sehens genutzt werden.
-
Innerhalb des Teilbereichs wird nun der Auswahlbereich bestimmt. Durch den Auswahlbereich kann dann nochmal ein Interessenschwerpunkt auf einen lokalen Bereich innerhalb des Teilbereichs gelegt werden. In dem Auswahlbereich kann dann beispielsweise eine Helligkeit des Bilds bestimmt werden, um den Kameraparameter, welcher Auswirkungen auf die Helligkeit eines Bilds hat, welches mittels der Kamera aufgenommen wird, angepasst werden kann. Ergänzend oder alternativ kann auch das Bild anhand der Eigenschaft des Bilds in dem Auswahlbereich angepasst werden. So kann das Bild beispielsweise bezüglich der Helligkeit erhöht werden, so dass der Teilbereich für die Anzeige auf der Anzeigeeinheit und/oder die Weiterverarbeitung mit dem Verfahren des maschinellen Sehens geeignet ist. Dies kann selbst dann durchgeführt werden, wenn dadurch ein Bereich des Bilds außerhalb des Teilbereichs zu dunkel für das Anzeigen und/oder die Weiterverarbeitung ausgebildet wird.
-
So ist es insbesondere vorgesehen, dass der Teilbereich kontinuierlich von Bild zu Bild angepasst wird und somit für jedes Bild der Kameraparameter und/oder das Bild bezüglich des relevanten Bereichs also des Teilbereichs angepasst werden kann.
-
Im Gegensatz zum Stand der Technik wird der Auswahlbereich also insbesondere jedes Mal vollständig innerhalb des Teilbereichs bestimmt. Ist der Teilbereich nicht bekannt oder wird der Auswahlbereich unabhängig von dem Teilbereich beziehungsweise dem Sichtfeldbereich bestimmt, so kann beim Stand der Technik nicht sichergestellt werden, dass der Kameraparameter und/oder das Bild vollständig qualitativ hochwertiger auf der Anzeigeeinheit angezeigt werden kann und/oder zur Weiterverarbeitung mit dem Verfahren des maschinellen Sehens bereitgestellt werden kann.
-
Vorzugsweise ist es vorgesehen, dass eine Größe und/oder eine Position des Auswahlbereichs innerhalb des Teilbereichs abhängig von einer Fahrtrichtung des Kraftfahrzeugs bestimmt wird. So kann der Auswahlbereich innerhalb des Teilbereichs dorthin gelegt werden, wo sich Hindernisse für das Kraftfahrzeug befinden können. So sind Objekte in dem Umgebungsbereich beispielsweise erst dann relevante Hindernisse, wenn diese in der Fahrtrichtung des Kraftfahrzeugs angeordnet sind. Zusätzlich zum Bestimmen der Fahrtrichtung kann beispielsweise auch eine Geschwindigkeit des Kraftfahrzeugs bestimmt werden. Abhängig von der Geschwindigkeit des Kraftfahrzeugs kann nun beispielsweise in Verbindung mit anderen Sensordaten des Kraftfahrzeugs, beispielsweise einem Lenkwinkelsensor, eine Fahrtrajektorie des Kraftfahrzeugs prognostiziert werden. Ergänzend oder alternativ kann dementsprechend auch die Größe des Auswahlbereichs angepasst werden. Somit kann der Kameraparameter und/oder das Bild beispielsweise besonders genau für den Teilbereich, insbesondere den Auswahlbereich, angepasst werden. Dadurch kann ein Fahrerassistenzsystem des Kraftfahrzeugs beispielsweise präziser betrieben werden und die Sicherheit des Kraftfahrzeugs wird erhöht.
-
Weiterhin kann es vorgesehen sein, dass in dem Bild zumindest teilweise der Umgebungsbereich und zumindest teilweise das Kraftfahrzeug abgebildet wird, und der Teilbereich derart bestimmt wird, dass nur der Umgebungsbereich in dem Teilbereich abgebildet wird. So kann dies beispielsweise der Fall sein, wenn die Kamera ein sogenanntes Fischaugenobjektiv umfasst und das Bild mittels des Fischaugenobjektivs aufgenommen wird. Üblicherweise wird durch das Fischaugenobjektiv ein Azimutalwinkel von beispielsweise 180° und mehr erfasst. Dies hat häufig zur Folge, dass nicht nur der Umgebungsbereich selbst, sondern auch Teile des Kraftfahrzeugs in dem Bild abgebildet werden. Der Teilbereich liegt also bei dem Bestimmen des Teilbereichs vorzugsweise nur innerhalb des in dem Bild abgebildeten Umgebungsbereichs. Vorteilhaft ist dies, weil dadurch nicht relevante Bereich des Bilds, wie beispielsweise das eigene Nummernschild des Kraftfahrzeugs, bei der Aufbereitung beziehungsweise Anpassung des Bilds beziehungsweise des Kameraparameters keine die Qualität des Bilds negativ beeinflussende Rolle spielen.
-
Insbesondere ist es vorgesehen, dass ein weiteres Bild mit der Kamera aufgenommen wird und ein weiterer Teilbereich für das weitere Bild bestimmt wird, wobei ein weiterer Auswahlbereich abhängig von dem weiteren Teilbereich, insbesondere vollständig innerhalb in dem weiteren Teilbereich liegend, bestimmt wird, und der Kameraparameter und/oder das weitere Bild jeweils abhängig von einer Eigenschaft des weiteren Bilds, insbesondere abhängig von einer Eigenschaft nur in dem weiteren Auswahlbereich, angepasst wird. Hierdurch wird es also ermöglicht, dass der Kameraparameter und/oder das Bild immer wieder neu und somit auf die konkrete Situation bezogen angepasst werden können. Das Anpassen beziehungsweise Bestimmen des weiteren Teilbereichs und/oder des weiteren Auswahlbereichs erfolgt vorzugsweise in Echtzeit oder aber in der Zeit, welche zwischen einzelnen aufeinanderfolgenden Aufnahmen der Kamera verbleibt. So wird der Rahmen für die Echtzeit beispielsweise durch die Aufnahmefrequenz beziehungsweise Bildwiederholrate der Kamera vorgegeben, welche beispielsweise 30 Hz oder 60 Hz, insbesondere 29,97 Hz betragen kann. Der Teilbereich und/oder der Auswahlbereich wird also dynamisch an die vorliegende Situation angepasst. Dadurch kann die Qualität des Bilds innerhalb der relevanten Bereiche beziehungsweise der Teilbereiche fortwährend den qualitativen Anforderungen entsprechend, beispielsweise keine Unter- oder Überbelichtung, aufrecht erhalten werden. Dadurch kann wiederum das Fahrerassistenzsystem genauer betrieben werden und eine Sicherheit des Kraftfahrzeugs kann erhöht werden.
-
Vorzugsweise ist es vorgesehen, dass das Bild abhängig von der Eigenschaft des Bildes in dem Auswahlbereich nur innerhalb des Auswahlbereichs angepasst wird. So kann sich das Anpassen des Bilds beispielsweise also rein auf den Auswahlbereich beschränken. Dies bedeutet also beispielsweise, dass das Bild vorzugsweise außerhalb des Auswahlbereichs nicht angepasst wird. Vorteilhaft ist dies, da dadurch eine beschleunigte Prozessierung bei dem Anpassen des Bilds erfolgen kann. Dies kann aber auch bedeuten, dass für das Anpassen des Kameraparameters lediglich der Auswahlbereich berücksichtigt wird und nicht das Bild innerhalb des Teilbereichs, aber außerhalb des Auswahlbereichs. Allerdings kann der Auswahlbereich in einer weiteren Ausführungsform auch mit dem Teilbereich übereinstimmen.
-
Weiterhin ist es vorzugsweise vorgesehen, dass ein Ausgabebild anhand des Teilbereichs, insbesondere durch Rektifikation des Bilds innerhalb des Teilbereichs, erzeugt wird, und das Ausgabebild auf einer Anzeigeeinheit des Kraftfahrzeugs ausgegeben wird. So liegt das Bild beispielsweise als Rohbild vor. Für die Ausgabe der relevanten Informationen des Bildes kann nun beispielsweise der Teilbereich in dem Bild bestimmt werden. Der Teilbereich kann aber nun, beispielsweise aufgrund des zuvor erwähnten Fischaugenobjektivs, eine Verzerrung aufweisen. Aus diesem Grund kann der Teilbereich des Bilds nun beispielsweise durch die Rektifikation entzerrt werden und als Ausgabebild für die Ausgabe auf der Anzeigeeinheit bereitgestellt werden. Die Rektifikation beziehungsweise die Rektifizierung beschreibt beispielsweise die Eliminierung geometrischer Verzerrungen in Bilddaten. Dies kann beispielsweise mittels einer Transformation des Teilbereichs erfolgen. Der Teilbereich kann als das Ausgabebild also unverzerrter und somit anschaulicher ausgegeben werden.
-
Vorzugsweise ist es vorgesehen, dass als Kameraparameter der Kamera eine Belichtungszeit und/oder eine Verstärkungseinstellung und/oder eine Weißabgleichseinstellung und/oder ein Gammawert angepasst wird. Unter der Belichtungszeit versteht man die Zeitspanne, in der ein fotosensibles Medium, zum Beispiel ein CMOS- oder CCD-Sensor, zur Aufzeichnung eines Bilds dem Licht ausgesetzt wird. Als der Kameraparameter kann aber beispielsweise auch eine Blendenöffnungszahl und/oder eine Lichtempfindlichkeit der Kamera angepasst werden. Die Lichtempfindlichkeit wird beispielsweise über die Verstärkungseinstellung der Kamera angepasst. Durch die Verstärkungseinstellung wird vorgegeben, in welchem Ausmaß die einfallende Lichtmenge, beispielsweise die einfallenden Photonen, künstlich für die Auswertung vermehrt oder vermindert werden sollen. Der Weißabgleich der Weißabgleichseinstellung dient dazu, die Kamera auf die Farbtemperatur des Lichts am Aufnahmeort, also beispielsweise des Umgebungsbereichs des Kraftfahrzeugs, zu sensibilisieren. Der Gammawert beziehungsweise die Gammakorrektur ist eine Korrekturfunktion zur Überführung einer physikalisch proportional wachsenden Größe in eine dem menschlichen Empfinden gemäß nicht linear wachsende Größe. Mathematisch handelt es sich bei dieser Funktion um eine Potenzfunktion mit einem oft nur kurz Gammawert genannten Exponenten als einzigen Parameter. Durch das Anpassen des Kameraparameters kann das weitere Bild also derart aufgenommen werden, dass zumindest der weitere Auswahlbereich und/oder der weitere Teilbereich mit den gewünschten Bildeigenschaften bereitgestellt werden kann. Dies ist deshalb möglich, da sich die Szene beziehungsweise der erfasste Teil des Umgebungsbereichs üblicherweise nicht derart plötzlich ändert, als dass durch das Bild und dem nach dem Bild aufgenommenen weiteren Bild eine völlig andere Szene erfasst werden würde.
-
Die Kamera kann auch als eine Time-of-Flight (ToF) Kamera oder eine Hyperspektralkamera oder eine plenoptische Kamera ausgebildet sein. Die Kamera kann auch mit mehreren Sensoren ausgebildet sein. Mit der Hyperspektralkamera können mehr als nur die drei üblichen Frequenzbänder rot, grün und blau erfasst werden. Insbesondere, kann mit der Hyperspektralkamera eine elektromagnetische Strahlung aus dem infraroten Wellenlängenbereich, insbesondere mit mehreren Frequenzbändern, erfasst werden. Vorteilhaft ist, dass Farben in dem Umgebungsbereich präziser und differenzierter mit der Hyperspektralkamera erfasst werden, insbesondere wenn die Kamera gegen die Sonne gerichtet ist.
-
In einer hyperspektralen Architektur kann das System sensibler für bestimmte Farben sein in Abhängigkeit davon, ob die Fahrtrichtung zum Sonnenlicht hinweist oder davon weggerichtet ist. Alternativ kann der Teilbereich von einer Region des Bildbereichs, welche die Sonne enthält, wegbewegt werden. Dies kann eindeutig aus einer Kombination der Fahrtrichtung des Kraftfahrzeugs, der aktuellen Position des Kraftfahrzeugs, zum Beispiel mittels des globalen Satellitennavigationssystem (GNSS) des Kraftfahrzeugs, und zum Beispiel der aktuellen Zeit bestimmt werden.
-
Weiterhin ist es vorzugsweise vorgesehen, dass das Bild, insbesondere nur, in dem Auswahlbereich durch eine Helligkeitseinstellung und/oder eine Farbeinstellung und/oder eine Kontrasteinstellung und/oder ein Rauschunterdrückungsverfahren angepasst wird. So kann das Bild beispielsweise bezüglich seiner Helligkeit mit der Helligkeitseinstellung angepasst werden. Dadurch kann der Auswahlbereich dann beispielsweise heller oder dunkler als zuvor angepasst werden. Weiterhin kann beispielsweise auch ein Kontrast angepasst werden. Auch kann die Farbeinstellung angepasst werden, so dass beispielsweise bestimmte Farben betont werden. Weiterhin kann das Bild innerhalb des Auswahlbereichs dadurch beispielsweise natürlicher durch einen Betrachter empfunden werden. Auch kann dadurch beispielsweise im Fall von Hochkontrastbildern (HDRI – High Dynamic Range Image) ein Beitrag zu einem sogenannten Tone-Mapping-Verfahren gemacht werden. Durch das Tone-Mapping beziehungsweise die Dynamikkompression wird die Kompression des Dynamikumfangs von Hochkontrastbildern bezeichnet, also von digitalen Bildern mit hohem Helligkeitsumfang. Beim Tone-Mapping wird der Kontrastumfang eines Hochkontrastbilds verringert, um es auf herkömmlichen Ausgabegeräten darstellen zu können. Durch das Anpassen des Bilds innerhalb des Auswahlbereichs kann das Tone-Mapping beispielsweise einfacher und effektiver angewandt werden. Auch kann beispielsweise der Kontrast des Bilds, insbesondere in dem Auswahlbereich, mittels der Kontrasteinstellung angepasst werden. Zudem kann aber beispielsweise auch ein Glättungsfilter, wie beispielsweise ein Gaußfilter angewandt werden, um ein Rauschen des Bilds, insbesondere in dem Auswahlbereich, mittels des Rauschunterdrückungsverfahrens zu unterdrücken. Das Rauschen kann jedoch auch vorerst absichtlich in dem Bild zugelassen werden, insbesondere in dem Auswahlbereich. Für einige Anwendungen des maschinellen Sehens ist es vorteilhaft, wenn das Rauschen nicht sofort aus dem Bild entfernt wird. Nachdem auf Rauschstatistiken basierende Methoden, welche beispielsweise in einem Back-End-Algorithmus des maschinellen Sehens genutzt werden, Rauschen qualitativ besser entfernen können als schnelle Front-End-Algorithmen, welche beispielsweise in der Kamera implementiert sind. Aufgrund ihrer Geschwindigkeit und Kompaktheit können die schnellen Front-End-Algorithmen Daten des maschinellen Sehens durcheinanderbringen oder die zugrundeliegende Struktur zu sehr entfernen, was zwar nicht vom menschlichen Auge, jedoch von Algorithmen des maschinellen Sehens registriert wird. Es können beispielsweise auch Kanten in dem Bild, insbesondere in dem Auswahlbereich, schärfer gezeichnet werden, beispielsweise mittels sogenannten Bildschärfeverfahren. Vorteilhaft ist also, dass das Bild innerhalb des Teilbereichs vielfältig angepasst werden kann, um den Teilbereich hochwertiger auf der Anzeigeeinheit auszugeben und/oder um ein Verfahren des maschinellen Sehens genauer und fehlerfreier auf den Teilbereich und/oder den Auswahlbereich anzuwenden.
-
Weiterhin ist es vorzugsweise vorgesehen, dass der Auswahlbereich in eine Mehrzahl von Unterauswahlbereichen eingeteilt wird, und der Kameraparameter und/oder das Bild abhängig von der Mehrzahl der Unterauswahlbereiche angepasst wird. Die Unterauswahlbereiche können beispielsweise gleich groß ausgebildet sein. Insbesondere sind die Unterauswahlbereiche matrixartig angeordnet. Durch die Unterauswahlbereiche kann der Auswahlbereich genauer und vielfältiger angepasst werden. So kann der Auswahlbereich beispielsweise lediglich einen der Unterauswahlbereiche umfassen oder aber auch mehrere Unterauswahlbereiche. Je mehr Unterauswahlbereiche genutzt werden, desto genauer kann das Anpassen des Kameraparameters und/oder des aufgenommenen Bilds durchgeführt werden. Die Unterauswahlbereiche können aber beispielsweise auch in unterschiedlichen Größen vorliegen und/oder mit unterschiedlichen Gewichten bewertet werden.
-
Weiterhin kann es vorgesehen sein, dass abhängig von dem Auswahlbereich Gewichte für eine Mehrzahl von Kameraparametern bestimmt werden, und die Mehrzahl der Kameraparameter abhängig von den bestimmten Gewichten angepasst wird. So kann dies beispielsweise genutzt werden, wenn ein Gesamtbild durch mehrere Kameras bereitgestellt wird. Das Gesamtbild wird beispielsweise aus mehreren Bildern zusammengefasst, um ein Draufsichtbild zu erzeugen. Hier ist es üblicherweise von Bedeutung, dass das Draufsichtbild homogen ist. Für diesen Fall können beispielsweise unterschiedliche Gewichte für unterschiedliche Auswahlbereiche vergeben werden. So können die Auswahlbereiche beispielsweise derart bezüglich ihrer Größe und Position bestimmt werden, dass diese beim Erzeugen des Draufsichtbilds zueinander passen und somit nach dem Zusammenfügen ein homogenes Gesamtbild beziehungsweise Draufsichtbild entsteht.
-
Die Erfindung betrifft ein Computerprogrammprodukt, zum Ausführen eines erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird.
-
Die Erfindung betrifft ein Kamerasystem für ein Kraftfahrzeug mit einer Kamera und einer Auswerteeinheit. Das Kamerasystem ist dazu ausgebildet ein erfindungsgemäßes Verfahren auszuführen. Das Kamerasystem kann auch mehrere Kameras und/oder Auswerteeinheiten umfassen.
-
Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einem erfindungsgemäßen Kamerasystem.
-
Zudem betrifft die Erfindung ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Kamerasystem, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der Kamera gegebenen Positionen und Orientierungen angegeben.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 eine schematische Draufsicht eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem;
-
2 eine schematische Darstellung eines mit einer Kamera eines Kamerasystems des Fahrerassistenzsystems aufgenommenen Bilds mit einem Teilbereich;
-
3 eine schematische Darstellung eines anhand des Teilbereichs erzeugten Ausgabebilds;
-
4 eine schematische Darstellung des Bilds mit dem Teilbereich und einem vollständig innerhalb des Teilbereichs liegenden Auswahlbereich mit einer Mehrzahl von Unterauswahlbereichen; und
-
5 eine schematische Darstellung des Bilds mit dem Teilbereich, welcher auf einer Anzeigeeinheit des Kraftfahrzeugs angezeigt wird und zur Weiterverarbeitung mit einem Verfahren des maschinellen Sehens bereitgestellt wird.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst in dem Ausführungsbeispiel ein Kamerasystem 3. Weiterhin umfasst das Kamerasystem 3 eine Kamera 4 und eine Auswerteeinheit 5. Die Auswerteeinheit 5 kann beispielsweise in die Kamera 4 integriert sein oder aber separat zu der Kamera 4 ausgebildet sein.
-
Die Kamera 4 ist gemäß dem Ausführungsbeispiel an einer Front 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 7 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann. Das Kamerasystem 3 kann auch mehrere Kameras 4 umfassen. Es können somit auch mehrere Kameras 4 an dem Kraftfahrzeug 1 angeordnet sein.
-
Die Kamera 4 kann eine CMOS-Kamera (Complementary Metal-Oxide-Semiconductor) oder aber eine CCD-Kamera (Charge-Coupled Device) oder eine beliebige Bilderfassungseinrichtung sein, wie beispielsweise eine Time-of-Flight Kamera, eine Hyperspektralkamera, eine plenoptische Kamera oder insbesondere eine Infrarotkamera. Durch die Infrarotkamera kann elektromagnetische Strahlung aus dem infraroten Wellenlängenbereich von 780 nm bis 1 mm Wellenlänge, insbesondere dem nahen Infraroten (NIR) Wellenlängenbereich von 780 nm bis 3 µm Wellenlänge, erfasst werden. Die Kamera 4 stellt eine Bildsequenz von Bildern des Umgebungsbereichs 7 bereit. Die Bildsequenz der Bilder wird beispielsweise dann in Echtzeit durch die Auswerteeinheit 5 verarbeitet.
-
Das Fahrerassistenzsystem 2 kann beispielsweise ein Draufsichtbildsystem und/oder ein Objekterkennungssystem und/oder ein Hinderniswarnsystem umfassen. Weiterhin kann das Fahrerassistenzsystem 2 beispielsweise auch als Umfeldsichtsystem (CMS – Camera Monitoring System) ausgebildet sein. Bei dem Umfeldsichtsystem kann die Kamera 4 dann beispielsweise zusätzlich auch noch in einem linken Seitenspiegel 8 des Kraftfahrzeugs 1 und/oder in einem rechten Seitenspiegel 9 des Kraftfahrzeugs 1 und/oder an einem Heck 10 des Kraftfahrzeugs 1 angeordnet sein.
-
2 zeigt ein Bild 11. Das Bild 11 wird mittels der Kamera 4 aufgenommen. Das Bild 11 liegt als sogenanntes Rohbild vor und zeigt ein Abbild des Umgebungsbereichs 7 und des Kraftfahrzeugs 1. Das Bild 11 wurde in dem Ausführungsbeispiel abhängig von einem Fischaugenobjektiv der Kamera 4 aufgenommen. Dadurch wird der Umgebungsbereich 7 mit einem Horizontalwinkel beziehungsweise einem Azimutalwinkel von beispielsweise mehr als 180° in dem Bild 11 abgebildet. In den Ran dbereichen des Bilds 11 ist deswegen teilweise das Kraftfahrzeug 1 selbst abgebildet.
-
In dem Bild 11 wird ein Teilbereich 12 bestimmt. Der Teilbereich 12 ist dadurch definiert, dass dieser auf einer Anzeigeeinheit 13 – wie in 1 gezeigt – angezeigt wird und/oder zur Weiterverarbeitung mit einem Verfahren des maschinellen Sehens bereitgestellt wird. So kann der Teilbereich 12 auch als Sichtfeld beschrieben werden. Der Begriff maschinelles Sehen beschreibt im Allgemeinen die computergestützte Lösung von Aufgaben, die sich an Fähigkeiten des menschlichen visuellen Systems orientieren. Hierzu zählt beispielsweise das Erkennen von Objekten in dem Umgebungsbereich 7. Somit wird durch den Teilbereich 12 also ein Bereich des Bilds 11 bestimmt, welcher für einen weiteren Schritt relevant ist. Der weitere Schritt kann das Anzeigen des Teilbereichs 12 auf der Anzeigeeinheit 13 sein oder aber ergänzend oder alternativ die Weiterverarbeitung des Teilbereichs 12 mit einem Verfahren des maschinellen Sehens. Vorzugsweise ist der Teilbereich 12 derart angeordnet, dass innerhalb des Teilbereichs 12 nur der Umgebungsbereich 7 abgebildet wird. Es ist also somit insbesondere nicht beabsichtigt, dass Teile des Kraftfahrzeugs 1, welche sich in dem Bild 11 abgebildet befinden, innerhalb des Teilbereichs 12 angeordnet sind.
-
3 zeigt ein Ausgabebild 14. Das Ausgabebild 14 wird so auf der Anzeigeeinheit 13 ausgegeben. Das Ausgabebild 14 wird anhand des Teilbereichs 12 erzeugt. So wird der Teilbereich 12 des Bilds 11 rektifiziert beziehungsweise durch eine Transformation entzerrt. Als Ergebnis der Rektifikation des Teilbereichs 12 wird das Ausgabebild 14 bereitgestellt. Die Rektifikation kann notwendig sein, um Verzerrungen, welche beispielsweise durch ein Fischaugenobjektiv der Kamera 4 in dem Teilbereich 12 auftreten, zu reduzieren.
-
4 zeigt das Bild 11 mit dem Teilbereich 12. Vollständig innerhalb des Teilbereichs 12 ist ein Auswahlbereich 15 angeordnet. Eine Größe und/oder eine Position des Auswahlbereichs 15 innerhalb des Teilbereichs 12 kann beispielsweise von einer Fahrtrichtung des Kraftfahrzeugs 1 abhängen. Zudem ist der Teilbereich 12 gemäß dem Ausführungsbeispiel von 4 in Unterauswahlbereiche 16 eingeteilt. Die Unterauswahlbereiche 16 können beispielsweise in vielfältiger Anzahl und in vielfältigen Größen innerhalb des Auswahlbereichs 15 angeordnet sein. Weiterhin können die Unterauswahlbereiche 16 beispielsweise matrixartig innerhalb des Auswahlbereichs 15 angeordnet sein. Die Unterauswahlbereiche 16 können beispielsweise in einer vier mal vier Matrix angeordnet sein.
-
Das Ausführungsbeispiel des erfindungsgemäßen Verfahrens läuft also nun wie folgt ab. Es wird das Bild 11 mittels der Kamera 4 aufgenommen. Dann wird der Teilbereich 12 bestimmt. Der Teilbereich 12 wird so bestimmt, dass dieser entweder auf der Anzeigeeinheit 13 angezeigt wird und somit beispielsweise zum Ausgabebild 14 konvertiert wird, oder aber, dass dieser zur Weiterverarbeitung mit einem Verfahren des maschinellen Sehens genutzt wird. Vollständig innerhalb des Teilbereichs 12 wird der Auswahlbereich 15 bestimmt. Der Auswahlbereich 15 kann nur bestimmt werden, wenn der Teilbereich 12 bereits bestimmt wurde und somit bekannt ist. Weiterhin wird eine Eigenschaft des Bilds 11 in dem Auswahlbereich 15 bestimmt. Die Eigenschaft des Bilds 11 kann beispielsweise eine Helligkeit und/oder eine Helligkeitsverteilung des Bilds 11 innerhalb des Teilbereichs 12 sein. Abhängig von der Eigenschaft des Bilds 11 wird nun ein Kameraparameter der Kamera 4 angepasst und/oder es wird das Bild 11 selbst angepasst.
-
Der Kameraparameter kann beispielsweise als Belichtungszeit und/oder Verstärkungseinstellung und/oder Weißabgleichseinstellung und/oder Gammawert vorliegen. Wird der Kameraparameter abhängig von der Eigenschaft des Bilds 11 angepasst, so wird der angepasste Kameraparameter für die Aufnahme eines weiteren Bilds mittels der Kamera 4 genutzt. Das weitere Bild ist nun bezüglich des Kameraparameters für das qualitativ hochwertige Aufnehmen eines weiteren Teilbereichs des Umgebungsbereichs 7 ausgebildet, welcher zuvor durch den Teilbereich 12 abgebildet wurde. Das weitere Bild kann also bezüglich eines weiteren Teilbereichs und somit auch eines weiteren Auswahlbereichs präziser und mit höherer Qualität aufgenommen werden, als wenn der Kameraparameter nicht abhängig von der Eigenschaft des Bilds 11 in dem Auswahlbereich 15 angepasst worden wäre.
-
Ergänzend oder alternativ kann das Bild 11 auch innerhalb des Auswahlbereichs angepasst werden. So kann das Bild 11 beispielsweise durch eine Helligkeitseinstellung und/oder durch eine Farbeinstellung und/oder durch eine Kontrasteinstellung und/oder durch ein Rauschunterdrückungsverfahren und/oder durch vielfältige weitere Bildverarbeitungsverfahren innerhalb des Teilbereichs 12 und insbesondere nur innerhalb des Auswahlbereichs 15 angepasst werden. Das Bild 11 kann dann in dem für den Nutzer, insbesondere den Fahrer des Kraftfahrzeugs 1, relevanten Bereich, also dem Teilbereich 12 dahingehend angepasst werden, dass dieser in dem Bild 11 bevorzugt bei der qualitativen Darstellung behandelt wird. So kann der für den Nutzer relevante Bereich, also der Teilbereich 12 des Bilds 11 einen Verkehrsteilnehmer oder aber eine andere Form von Hindernis für das Kraftfahrzeug 1 aufweisen.
-
Weiterhin kann das Anpassen des Kameraparameters und/oder das Anpassen des Bilds 11 abhängig von dem Teilbereich 12 und/oder dem Auswahlbereich 15 auch für das Erstellen eines Draufsichtbilds genutzt werden, bei welchem mehrere Bilder 11 zusammengefügt werden. So können beispielsweise verschiedene Teile der mehreren Bilder 11 genutzt werden. So kann nun beispielsweise jeder genutzte Teil des jeweiligen Bilds 11 als der Teilbereich 12 und/oder der Auswahlbereich 15 beschrieben werden.
-
Das Bestimmen des Teilbereichs 12 und/oder des Auswahlbereichs 15 wird insbesondere in Echtzeit durchgeführt. Das bedeutet, dass der Teilbereich 12 und/oder der Auswahlbereich 15 also insbesondere für jedes Bild 11 einer Bildsequenz, welche mittels der Kamera 4 aufgenommen wird, innerhalb der Zeit angepasst wird, welche verbleibt bis das nächste Bild 11 der Bildsequenz bereitgestellt wird.
-
5 zeigt das Bild 11 mit dem Teilbereich 12. Gemäß der Ausführungsform von 5 entspricht der Auswahlbereich 15 dem Teilbereich 12. Der Auswahlbereich 15 umfasst gemäß diesem Ausführungsbeispiel lediglich einen der Unterauswahlbereiche 16. In dem Ausführungsbeispiel wird ein Verfahren des maschinellen Sehens ausgeführt. So wird innerhalb des Teilbereichs 12 eine Mehrzahl von Objekten 17 des Umgebungsbereichs 7 detektiert. Durch das erfindungsgemäße Verfahren kann das Bild 11 und/oder die Kameraeinstellungen für das weitere Bild derart angepasst werden, dass das Verfahren des maschinellen Sehens auf den Teilbereich 12 fehlerfreier und genauer angewendet werden kann. Wie in 5 zu sehen ist, wird also der Teilbereich 12 bevorzugt gegenüber dem außerhalb des Teilbereichs 12 liegenden Bereich des Bilds 11 behandelt. So kann es sein, dass der außerhalb des Teilbereichs 12 liegende Bereich nach dem Anpassen des Bilds beispielsweise unter- oder überbelichtet ist. Ebenso gilt das für den nicht weiter dargestellten weiteren Teilbereich des weiteren Bilds, welches nach dem Bild 11 mittels der angepassten Kameraeinstellungen aufgenommen wird. Auch hier kann es sein, dass der außerhalb des weiteren Teilbereichs liegende Bereich des weiteren Bilds unter- oder überbelichtet ist, weil der Kameraparameter der Kamera 4 dementsprechend aufgrund des vorhergehenden Bilds 11 angepasst wurde.
