-
Die vorliegende Erfindung betrifft ein Verfahren, um eine Fahrzeugumgebung in einem Kraftfahrzeug erkennbar zu machen. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.
-
Heutzutage werden in Kraftfahrzeugen zunehmend Assistenzsysteme eingesetzt bzw. Assistenzfunktionen angeboten, die auch Kameras zur Umgebungserfassung verwenden. Insbesondere wenn dabei ein Kamerasystem mit mehreren Kameras verwendet wird, kann es zu unterschiedlichen Darstellungen und Bildwiedergaben kommen. Dies kann beispielsweise eine Erkennbarkeit der Darstellungen, ein Identifizieren von über mehrere Kameraansichten hinweg dargestellten Objekten und dergleichen mehr für einen Nutzer erschweren. Dies ist nicht nur hinsichtlich eines Nutzungskomfort nachteilig, sondern kann je nach Situation auch ein gewisses Sicherheitsrisiko bedeuten, beispielsweise wenn Objekte oder räumliche Zusammenhänge nicht oder erst verspätet wahrgenommen oder identifiziert werden oder allgemein mehr Zeit und Aufmerksamkeit für ein visuelles Erfassen und Verstehen entsprechender Darstellungen durch den Nutzer benötigt wird. Diese Zeit und Aufmerksamkeit steht dann beispielsweise nicht zum bewussten und aufmerksamen Steuern des Fahrzeugs oder zur Beobachtung von nicht durch die Kameras abgedeckten Umgebungsbereichen zur Verfügung.
-
Als einen Ansatz beschreibt die
DE 10 2020 125 232 A1 ein Verfahren zur Farbkorrektur für ein Kamerasystem eines Fahrzeugs. Das Kamerasystem weist dort mehrere Kameras zur Umgebungserfassung auf, die jeweils ein Sichtfeld zur Erzeugung eines Kamerabildes aufweisen. Die Farbkorrektur der Kamerabilder erfolgt, indem ein Referenzwert ausgewählt wird, der sich in mindestens einem Sichtfeld der Kameras befindet. Die Farbkorrektur der Kamerabilder erfolgt dann anhand des Referenzwertes. Damit soll ein Verfahren für ein Surround-view-System zur Verfügung gestellt werden, durch das eine verbesserte Farbkorrektur erzielt werden kann.
-
Als weiteren Ansatz beschreibt die
WO 2019 / 072 451 A1 ein Verfahren zum Verarbeiten von Bildern. Darin wird eine Umgebung mit zwei Kameras aufgenommen, um ein erstes Bild und ein zweites Bild zu erhalten, die die Umgebung aus unterschiedlichen Perspektiven zeigen. Es werden dann erste Bildbereiche in dem ersten Bild und zweite Bildbereiche in dem zweiten Bild ermittelt, die dieselben vordefinierten Untersuchungsbereiche der Umgebung abbilden. Anschließend erfolgt ein Erkennen eines denselben Szeneninhalt darstellenden Paares aus einem ersten Bildbereich und einem zweiten Bildbereich.
-
Als weiteren Ansatz beschreibt die
DE 10 2017 123 452 A1 ein Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes. Dies erfolgt basierend auf von zwei fahrzeugseitigen Kameras erfassten, zumindest bereichsweise überlappenden Rohbildern und vorgegebenen kameraspezifischen Punktdichtekarten, welche eine bildregionsabhängige Verteilung von zur Erzeugung des Ausgangsbildes beitragenden Bilddaten des jeweiligen Rohbildes beschreiben. Dabei werden die Rohbilder räumlich adaptiv gefiltert basierend auf der jeweiligen Punktdichtekarte und es werden zueinander korrespondierende Bildbereiche identifiziert. Weiter erfolgt ein räumlich adaptives Filtern des Bildbereiches des Rohbildes der einen Kamera basierend auf der für die andere Kamera spezifischen Punktdichtekarte zum Reduzieren einer Schärfedifferenz zwischen den korrespondierenden Bildbereichen. Anschließend erfolgt eine Rückabbildung der gefilterten Rohbilder auf eine zu der Zielansicht korrespondierende Bildoberfläche zum Erzeugen von rückabgebildeten gefilterten Rohbildern. Durch Kombinieren der rückabgebildeten gefilterten Rohbilder wird dann das Ausgangsbild erzeugt. Damit soll eine Lösung bereitgestellt werden, wie entsprechende Ausgangsbilder mit hoher Qualität erzeugt werden können, um sie einem Fahrer des Kraftfahrzeugs anzuzeigen.
-
Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Darstellung von Kamerabildern in einem Kraftfahrzeug zu ermöglichen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehr der Unteransprüche, anzusehen.
-
Das erfindungsgemäße Verfahren kann dazu angewendet werden, um eine jeweilige Fahrzeugumgebung eines Kraftfahrzeugs in diesem Kraftfahrzeug, insbesondere gegenüber herkömmlichen Ansätzen verbessert, für einen Fahrzeuginsassen, insbesondere einen Fahrer des Kraftfahrzeugs, erkennbar zu machen, also darzustellen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels mehrerer unterschiedlicher Assistenzsystemen des Kraftfahrzeugs, die jeweils wenigstens eine Kamera umfassen, jeweils Kamerabilddaten zumindest von Teilen oder Bereichen der jeweiligen Fahrzeugumgebung des Kraftfahrzeugs aufgenommen. Dies kann beispielsweise gleichzeitig oder auf eine jeweilige Anforderung hin, etwa bei Aktivierung des jeweiligen Assistenzsystems, erfolgen. Bei den jeweiligen Kamerabilddaten kann es sich um einzelne Kamerabilder, eine Serie oder Folge von Kamerabildern oder einen Videostrom oder dergleichen handeln.
-
Dass die Assistenzsysteme unterschiedlich sind, kann etwa bedeuten, dass sie für unterschiedliche Funktionen vorgesehen, also eingerichtet sind. Die unterschiedlichen Assistenzsysteme können also separate, eigenständige Systeme sein. Diese können aber beispielsweise über ein Bordnetz des Kraftfahrzeugs direkt oder indirekt miteinander gekoppelt oder durch ein zentrales Steuergerät ansteuerbar sein oder dergleichen. Die unterschiedlichen Assistenzsysteme können sich nicht nur hinsichtlich ihrer Funktion, sondern auch hinsichtlich ihrer Hardware- und/oder Softwareressourcen unterscheiden. So können insbesondere die Kameras unterschiedlicher Assistenzsysteme voneinander unterschiedlich sein. Beispielsweise können die Kameras sich hinsichtlich wenigstens einer der folgenden Eigenschaften und/oder Komponenten voneinander unterscheiden: Auflösung, Fokus, Aufnahmewinkel, Blendengröße, Empfindlichkeit, Linse, Muster eines Bayer-Sensors. Durch solche unterschiedlichen Ressourcen, also etwa Kameras und/oder Datenverarbeitungsmethoden und/oder dergleichen mehr, könnten ohne weitere Maßnahmen entsprechend unterschiedliche Kamerabilddaten bzw. Bildausgaben der unterschiedlichen Assistenzsysteme bzw. entsprechend unterschiedliche Darstellungen der Kamerabilddaten unterschiedlicher Assistenzsysteme bei der Darstellung oder Ausgabe mittels einer entsprechenden Anzeigeeinrichtung entstehen.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird daher eine Harmonisierung, also Vereinheitlichung hinsichtlich vorgegebener Bild- und/oder Anzeigeeigenschaften zum einheitlichen, gleichartigen Anzeigen oder Darstellen der verschiedenen Kamerabilddaten der unterschiedlichen Assistenzsysteme mittels wenigstens einer Anzeigeeinrichtung des Kraftfahrzeugs durchgeführt. Dies kann ein entsprechendes Anpassen der Kamerabilddaten selbst und/oder ein entsprechendes Anpassen beispielsweise der Ansteuerung und/oder einer Ausgabeeinstellung der wenigstens einen Anzeigeneinrichtung und/oder der Ansteuerung oder des Betriebs einer oder mehr der Kameras bedeuten oder umfassen. Diese Harmonisierung kann beispielsweise durch die unterschiedlichen Assistenzsysteme, also einen entsprechend harmonisierten oder vernetzten Betrieb der Assistenzsysteme durchgeführt werden. Zusätzlich oder alternativ kann dies durch eine zentrale Harmonisierungseinrichtung des Kraftfahrzeugs, die mit den mehreren unterschiedlichen Assistenzsystemen und der wenigstens einen Anzeigeneinrichtung gekoppelt ist, durchgeführt werden. Dadurch kann also bewirkt und sichergestellt werden, dass die Kamerabilddaten unterschiedlicher Assistenzsysteme aufeinander und/oder einen vorgegebenen Standard oder Referenzwert oder dergleichen abgestimmt sind bzw. abgestimmt werden. Hier können also die vorgegebenen Bild- und/oder Anzeigeeigenschaften entsprechend vereinheitlicht werden, sodass die Kamerabilddaten unterschiedlicher Assistenzsysteme entsprechend vereinheitlicht werden und/oder entsprechend vereinheitlicht mittels der wenigstens einen Anzeigeneinrichtung ausgegeben, also dargestellt oder angezeigt werden können.
-
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden dann jeweils zur Anzeige oder Darstellung mittels der wenigstens einen Anzeigeeinrichtung angeforderte Kamerabilddaten der unterschiedlichen Assistenzsystem entsprechend harmonisiert gleichartig angezeigt. Dies kann je nach Situation oder Anforderung bzw. Anwendung beispielsweise ein gleichzeitiges Anzeigen auf einer oder mehreren Anzeigeeinrichtungen bzw. Displays oder Bildschirmen oder ein Anzeigen nur einer jeweils angeforderten Auswahl, also etwa nur der Kamerabilddaten eines bestimmten der mehreren unterschiedlichen Assistenzsysteme, bedeuten oder umfassen. In letzterem Fall wird dann also durch die Harmonisierung bewirkt, dass bei einem Wechsel der Anforderung, also etwa bei einem Umschalten der verwendeten Assistenzfunktion bzw. des verwendeten Assistenzsystems entsprechend andere Kamerabilddaten angezeigt werden, ohne dass es dabei zu einem Sprung oder Wechsel der Bild- und/oder Anzeigeeigenschaften kommt. Dabei können beispielsweise die Kamerabilddaten unterschiedlicher Assistenzsysteme entsprechend nacheinander oder im Wechsel mittels derselben Anzeigeeinrichtung oder mittels mehrerer Anzeigeeinrichtungen angezeigt werden, beispielsweise wenn einem Assistenzsystem oder einer Assistenzfunktion jeweils eine bestimmte Anzeigeneinrichtung zugeordnet ist.
-
Durch die vorliegende Erfindung kann gegenüber einer herkömmlichen unkoordinierten Anzeige von Kamerabilddaten unterschiedlicher Assistenzsysteme ein verbesserter Nutzungskomfort für den Fahrzeuginsassen, eine schnellere und einfachere Erkennbarkeit von dargestellten Kamerabilddaten und damit gegebenenfalls auch eine verbesserte Sicherheit erreicht werden. Eine schnellere und einfachere Erkennbarkeit kann sich beispielsweise daraus ergeben, dass eine Anpassungszeit des Auges des jeweiligen Fahrzeuginsassen bzw. Betrachters beim Wechsel der Betrachtung von Kamerabilddaten unterschiedlicher Assistenzsystemen entfallen oder reduziert werden kann. Ebenso muss der Fahrzeuginsasse dann beispielsweise Anzeigeeigenschaften der wenigstens einen Anzeigeneinrichtung, wie etwa deren Helligkeits- oder Kontrasteinstellung oder dergleichen, für eine gleichmäßige Erkennbarkeit der Kamerabilddaten unterschiedlicher Assistenzsysteme nicht manuell anpassen. Zudem kann die Erkennbarkeit der Kamerabilddaten unterschiedlicher Assistenzsysteme so auch unabhängig von bzw. einheitlich für jeweilige Beleuchtungsbedingungen sein. All diese Effekte können dazu führen, dass der Fahrzeuginsasse die dargestellten Kamerabilddaten auch unterschiedlicher Assistenzsystemen besonders einfach und schnell und zuverlässig erfassen und Interpretieren bzw. verstehen kann und dadurch dafür gegebenenfalls weniger stark und/oder weniger lange abgelenkt oder beansprucht ist. Insbesondere kann ein Fahrzeuginsasse bzw. ein jeweiliger Betrachter so auch Objekte, insbesondere auch zumindest potenziell sicherheitsrelevante Hindernisse, in den Kamerabildern unterschiedlicher Assistenzsysteme besonders schnell wiedererkennen, also jeweils als dasselbe Objekt identifizieren. Dies kann ebenfalls einen Komfort- und/oder Sicherheitsgewinn bedeuten.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden die Kamerabilddaten mittels Kameras unterschiedlicher Assistenzsysteme aufgenommen, die sich an unterschiedlichen Positionen des Kraftfahrzeugs befinden und/oder in unterschiedliche Richtungen ausgerichtet sind. Mit anderen Worten kann also eine Kamera eines ersten Assistenzsystems an einer ersten Position des Kraftfahrzeugs angeordnet und/oder in eine erste Richtung ausgerichtet sein und eine andere Kamera eines zweiten Assistenzsystems an einer anderen zweiten Position angeordnet und/oder in eine andere zweite Richtung ausgerichtet sein. In einem solchen Fall können sich, beispielsweise aufgrund von relativ zu den unterschiedlichen Positionen und/oder Ausrichtungen unterschiedliche Lichteinfallswinkel und/oder Abschattungen und/oder dergleichen mehr, ohne Harmonisierung besonders große Abweichungen hinsichtlich der Bild- und/oder an Anzeigeeigenschaften für jeweilige Rohbilder der Kameras bzw. deren Darstellung ergeben. Dementsprechend stellt die hier vorgeschlagene Ausgestaltung einen Anwendungsfall dar, in dem die vorliegende Erfindung besonders effektiv und nutzbringend angewendet werden kann. Unterschiedliche Positionen, an denen die Kameras angeordnet sein können, können beispielsweise ein Windschutzscheibenbereich, ein Frontbereich oder vorderer Stoßstangenbereich, eine Heckklappe, eine heckseitige Stoßstange, ein Seitenspiegel, eine Karosseriesäule, ein Seitenschwelle und/oder dergleichen mehr sein oder umfassen. Unterschiedliche Ausrichtungen können im vorliegenden Sinne beispielsweise die Fahrzeuglängsrichtung nach vorne oder nach hinten, die Fahrzeugquerrichtung nach links oder nach rechts, eine parallel zu einem Boden des Kraftfahrzeugs weisende oder stehende Richtung, eine dazu um die Fahrzeuglängsachse gedrehte, also in Fahrzeughochrichtung nach oben oder nach unten gekippte Richtung, zwischen diesen Richtungen liegende Zwischenrichtungen und, oder dergleichen mehr sein oder umfassen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden zum Aufnehmen der Kamerabilddaten Kameras verwendet, die sich hinsichtlich wenigstens einer Hardware- und/oder Softwareeigenschaft voneinander unterscheiden. Mit anderen Worten werden also nicht nur verschiedene, sondern tatsächlich unterschiedliche Kameras in den unterschiedlichen Assistenzsystemen verwendet. Die Kameras können sich beispielsweise hinsichtlich ihrer Optiken, also etwa Linsen und/oder Objektive, hinsichtlich ihrer Bildsensoren, also etwa ihrer CCD- oder CMOS-Chips oder dergleichen, hinsichtlich ihrer Bildverarbeitungsprozessoren (Image Signal Prozessors, ISPs), hinsichtlich der beispielsweise von diesen ISPs verwendeten Algorithmen und/oder Softwareparametern zur Bilddatenverarbeitung oder -aufbereitung und/oder dergleichen mehr unterscheiden. Derartig unterschiedliche Kameras können eine optimale Funktionsweise und Performance der unterschiedlichen Assistenzsysteme sicherstellen, da diese entsprechend unterschiedliche Anforderungen an ihre Kameras stellen können. Gleichzeitig kann durch die vorliegende Erfindung dennoch eine harmonisierte, einheitliche Darstellung der Kamerabilddaten dieser unterschiedlichen Kameras erreicht werden. Damit wird hier also eine in zweierlei Hinsicht optimierte Darstellung und somit Erkennbarkeit der jeweiligen Fahrzeugumgebung ermöglicht.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfassen die unterschiedlichen Assistenzsysteme zumindest ein erstes Assistenzsystem zum Unterstützen eines Dauerfahrbetriebs des Kraftfahrzeugs und ein zweites Assistenzsystem zum Unterstützen eines Park- oder Rangierbetriebs des Kraftfahrzeugs. Solche Assistenzsysteme können signifikant unterschiedliche Anforderungen an ihre Kameras stellen, beispielsweise hinsichtlich der Ausrichtung und des Erfassungs- oder Aufnahmebereiches, hinsichtlich der maximalen Entfernung von dem Kraftfahrzeug, bis zu der Objekte in der Fahrzeugumgebung erfasst werden und in den Kamerabilddaten erkennbar sein sollen, und/oder dergleichen mehr. Dabei können sich aber die Erfassungs- oder Aufnahmebereiche der Kameras solcher Assistenzsystemen teilweise überlappen, beispielsweise in einem Frontbereich des Kraftfahrzeugs. Dadurch kann es beispielsweise bei einem Übergang aus dem Dauerfahrbetrieb, etwa zum Anfahren eines Parkplatzes, in den Park- oder Rangierbetrieb, beispielsweise zum dortigen Einparken, besonders wichtig sein, eine harmonisierte gleichartige Darstellung in den Kamerabilddaten dieser unterschiedlichen Assistenzsysteme zu bieten. Somit ergibt sich hier ein besonders effektiver und nützlicher Anwendungsfall der vorliegenden Erfindung, da so beispielsweise dem jeweiligen Fahrer das Ein- oder Ausparken bzw. Rangieren erleichtert wird und beispielsweise Parkrempler oder ein Touchieren von Pfosten, Begrenzungen oder anderen Hindernissen besonders zuverlässig vermieden werden kann.
-
In einer möglichen Weiterbildung der vorliegenden Erfindung ist das erste Assistenzsystem zum Bereitstellen von AR-Funktionen (AR: Augmented Reality) für die Navigation eingerichtet. Das zweite Assistenzsystem ist hier zur kamerabasierten Umgebungsdarstellung für Park- oder Rangiermanöver eingerichtet. Das zweite Assistenzsystem kann also beispielsweise sogenannte Surround-View-Kameras, also Rundumsichtkameras zum Erfassen der unmittelbaren Umgebung, also des Nahbereichs um das Kraftfahrzeug umfassen. Im Vergleich dazu kann das erste Assistenzsystem beispielsweise eine in Fahrzeuglängsrichtung nach vorne ausgerichtete Kamera mit einem schmaleren und bis in eine größere Entfernung von dem Kraftfahrzeug reichenden Sichtfeld, also Erfassungs- oder Aufnahmebereich umfassen. Es kann im praktischen Einsatz des Kraftfahrzeugs häufig zu einem Wechsel zwischen der Nutzung dieser beiden Assistenzsysteme kommen, sodass hier die vorliegende Erfindung besonders nutzbringend angewendet werden kann.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfassen die Bild- und/oder Anzeigeeigenschaften wenigstens eine Helligkeit und/oder eine Farbwiedergabe und/oder einen Farbraum und/oder eine Farbtemperatur und/oder einen Kontrast. Mit anderen Worten werden die Kamerabilddaten der unterschiedlichen Assistenzsystemen also hinsichtlich wenigstens einer, insbesondere mehrerer oder aller, dieser Eigenschaften harmonisiert, also vereinheitlicht. Es können dann also die Kamerabilddaten eines Assistenzsystems beispielsweise mit derselben Helligkeit und/oder derselben Farbtemperatur oder dergleichen angezeigt werden wie die Kamerabilddaten eines anderen Assistenzsystems. Diese Eigenschaften können nicht nur allgemein die Erkennbarkeit von angezeigten Kamerabilddaten bestimmen oder signifikant beeinflussen, sondern die Harmonisierung dieser Eigenschaften kann insbesondere ein Identifizieren oder Zuordnen, also ein Nachverfolgen von Objekten, die in den Kamerabilddaten mehrerer Assistenzsysteme enthalten bzw. abgebildet sind, für den jeweiligen Fahrzeuginsassen erleichtern. Somit kann die Harmonisierung der hier vorgeschlagenen Eigenschaften ein besonders einfaches, schnelles und zuverlässiges Orientieren des Fahrzeuginsassen beim Betrachten der Kamerabilddaten unterschiedlicher Assistenzsysteme ermöglichen oder unterstützen.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für die Harmonisierung in die einzelnen Regelungen oder Steuerungen der Kameras jeweils wenigstens eine vordefinierte Größe miteinbezogen, die von jeweils wenigstens einer, mehreren oder allen anderen der Kameras beeinflusst oder bestimmt ist. Dabei kann es sich insbesondere um eine Größe handeln, welche die Bild- und/oder Anzeigeeigenschaften beeinflussen kann, also beispielsweise eine der an anderer Stelle genannten Eigenschaften oder ein entsprechender Parameter oder eine entsprechende Kameraeinstellung oder dergleichen. Mit anderen Worten werden die Kameras der unterschiedlichen Assistenzsysteme hier nicht unabhängig voneinander geregelt oder gesteuert, wie dies in herkömmlichen Kraftfahrzeugen oftmals der Fall ist. Vielmehr können sich die Regelungen oder Steuerungen der Kameras hier, insbesondere gegenseitig, beeinflussen. So kann beispielsweise eine jeweils zuerst aktivierte oder verwendete Kamera bzw. Kameraregelung wenigstens eine verwendete Größe bzw. einen entsprechenden Parameterwert an die Kameras oder Kameraregelungen der anderen Assistenzsysteme übermitteln, die diese Größe oder diesen Parameterwert und/oder wenigstens eine daraus abgeleitete Größe dann ebenfalls verwenden können. Beispielsweise könnte zum Erreichen oder Einstellen einer einheitlichen Helligkeit aus einer übermittelten Belichtungszeit und Größe der Blendenöffnung einer ersten Kamera eine entsprechend korrespondierende aber, etwa aufgrund einer anderen Blendengröße und/oder Empfindlichkeit einer zweiten Kamera, abweichende Belichtungszeit für die zweite Kamera abgeleitet werden. Damit kann besonders einfach und effektiv, beispielsweise ohne zentrale Vorgabe, die Harmonisierung der Bild- und/oder Anzeigeeigenschaften über die unterschiedlichen Assistenzsysteme bzw. deren Kameras hinweg erreicht werden.
-
Ebenso kann dabei dynamisch auf Veränderungen reagiert werden. Beispielsweise kann die wenigstens eine vorgegebene Größe oder ein entsprechender Parameterwert durch eine Kameraregelung bedarfsgerecht verändert werden, etwa aufgrund veränderter Lichtverhältnisse im Aufnahmebereich der entsprechenden Kamera oder dergleichen. Diese Veränderung kann dann automatisch an die anderen Assistenzsysteme bzw. deren Kameras oder Kameraregelungen übermittelt und von diesen übernommen werden. Dadurch kann trotz der Harmonisierung weiterhin eine für unterschiedlichste Umgebungs- oder Aufnahmebedingungen geeignete oder angepasste Aufnahme und Anzeige der Kamerabilddaten ermöglicht werden.
-
Im Gegensatz dazu wird in bisherigen Fahrzeugen mit mehreren Kameras oftmals eine individuelle Optimierung für jede einzelne Kamera oder für jedes einzelne Assistenzsystem durchgeführt, wobei jeweils spezifische, von den anderen Kameras oder Assistenzsystemen unabhängige Größen oder Faktoren bzw. Parameterwerte verwendet werden. Dies kann insbesondere bei unterschiedlichen Umgebungs- oder Aufnahmebedingungen an verschiedenen Stellen in der Fahrzeugumgebung zu stark unterschiedlichen Darstellungen der Kamerabilddaten unterschiedlicher Assistenzsystemen führen. Dies kann durch die vorliegende Erfindung vermieden oder reduziert werden.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für die Harmonisierung basierend auf Überlappungsbereichen, in denen sich die Aufnahmebereiche, also Sichtfelder von wenigstens zwei Kameras unterschiedlicher Assistenzsysteme überlappen oder überlagern, eine einheitliche Umgebungshelligkeit und/oder eine einheitliche Farbtemperatur, also beispielsweise ein vereinheitlichter Weißabgleich oder dergleichen bestimmt. Diese einheitliche Umgebungshelligkeit und/oder Farbtemperatur wird dann für die Harmonisierung der Bild- und/oder Anzeigeeigenschaften verwendet, insbesondere für die Belichtungssteuerungen oder Belichtungsregelungen der einzelnen Kameras der unterschiedlichen Assistenzsysteme. Ebenso können zusätzlich oder alternative ein oder mehr weitere oder andere einheitliche Parameter bestimmt und für die Harmonisierung verwendet werden. Zur Harmonisierung kann hier also ein entsprechendes Gesamtsystem oder eine entsprechende zentrale Harmonisierungseinrichtung die Aufnahme- oder Bildbereiche der verschiedenen Kameras verwenden, die sich jeweils überlappen. Diese Überlappungsbereiche können bei einer relativ zueinander bzw. relativ zu dem Kraftfahrzeug orts- oder lagefesten Positionierung der Kameras bekannt, also fest vorgegeben sein.
-
Ebenso können die Überlappungsbereiche automatisch dynamisch ermittelt oder geschätzt überwacht werden, wenn beispielsweise wenigstens eine der Kameras beweglich gelagert ist oder ihren Aufnahmebereich verändern kann. In diesem Fall können die Überlappungsbereiche beispielsweise anhand der entsprechenden Regelung oder Steuerung der beweglichen oder variablen Kamera oder Kameras ermittelt oder geschätzt werden, etwa mittels eines entsprechenden vorgegebenen Optikmodells, oder basierend auf einer automatischen Objekterkennung und Objektzuordnung von von mehreren Kameras erfassten Objekten zueinander oder dergleichen.
-
Für diese Überlappungsbereiche, also anhand der diese abbildenden Kamerabilddaten mehrerer Assistenzsysteme kann dann die einheitliche, also globale Umgebungshelligkeit und/oder die einheitliche, also globale Farbtemperatur berechnet werden. Damit können die Kameras, insbesondere deren Belichtungsregelungen oder Belichtungssteuerungen und/oder eine Bildverarbeitung mittels der jeweiligen ISPs der einzelnen Kameras so geregelt, gesteuert oder angepasst werden, dass sich entsprechend harmonisierte Kamerabilddaten ergeben. Durch die Verwendung der Überlappungsbereiche bzw. der dort aufgenommenen Kamerabilddaten bzw. der dort ermittelten Helligkeits- und/oder Farbtemperaturwerte und/oder anderer Parameter bzw. Parameterwerte kann eine besonders effektive und robuste Harmonisierung erreicht werden, da dann Daten mehrerer Assistenzsysteme verwendet werden können, die unter denselben lokalen Bedingungen aufgenommen oder ermittelt wurden bzw. zu denselben lokalen Bedingungen korrespondieren.
-
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden für die Harmonisierung die einzelnen Kameras einheitlich gesteuert oder geregelt basierend auf einem vorgegebenen einheitlichen Bildstatistikmodell und/oder einheitlichen Referenzpunkten in der jeweiligen Fahrzeugumgebung. Letzteres kann beispielsweise bedeuten, dass vorgegebene oder dynamisch bestimmte Referenzpunkte etwa für eine Helligkeits- oder Farbtemperatureinstellung von allen Assistenzsystemen bzw. deren Kameras oder Kameraregelungen bzw. Kamerasteuerungen verwendet werden, zumindest jeweils von den Assistenzsystemen, die einen bestimmten Referenzpunkt mittels ihrer Kamera oder Kameras erfassen können. Das vorgegebene einheitlichen Bildstatistikmodell und/oder die einheitlichen Referenzpunkte können insbesondere für die sogenannten CCLs (Camera Control Loops) und/oder ein jeweiliges dynamisches Post-Processing der Kameras oder Assistenzsysteme verwendet werden. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann besonders einfach und effektiv sichergestellt werden, dass die Bild- und/oder Anzeigeeigenschaften, wie etwa die Helligkeit und/oder die Farbwiedergabe oder dergleichen, einheitlich über alle Assistenzsysteme hinweg geregelt oder gesteuert werden können.
-
Die Erfindung betrifft auch ein Kraftfahrzeug, das mehrere unterschiedliche Assistenzsysteme aufweist, die jeweils wenigstens eine Kamera umfassen. Weiter weist das erfindungsgemäße Kraftfahrzeug wenigstens eine Anzeigeneinrichtung auf. Dabei ist das erfindungsgemäße Kraftfahrzeug zum harmonisierten, also vereinheitlichten Anzeigen von mittels der Kameras unterschiedlicher Assistenzsystemen aufgenommener Kamerabilddaten auf oder mittels der wenigstens einen Anzeigeneinrichtung mittels des erfindungsgemäßen Verfahrens eingerichtet. Das erfindungsgemäße Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein oder diesem entsprechen. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Eigenschaften und/oder Merkmale aufweisen. Zur Anwendung des erfindungsgemäßen Verfahrens in dem Kraftfahrzeug kann dieses beispielsweise eine Harmonisierungseinrichtung aufweisen, die ihrerseits beispielsweise eine Prozesseinrichtung, also etwa einen Mikroprozessor, Mikrochip oder Mikrocontroller oder dergleichen, und einen damit gekoppelten computerlesbaren Datenspeicher aufweisen kann. In diesem Datenspeicher kann dann ein Betriebs- oder Computerprogramm gespeichert sein, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Verfahrensschritte, Maßnahmen oder Abläufe und/oder entsprechende Steueranweisungen codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann mittels der Prozesseinrichtung ausführbar sein, um die Ausführung des entsprechenden Verfahrens zu bewirken. Die Anzeigeneinrichtung kann beispielsweise einen Bildschirm in einem Kombiinstrument und/oder an einer Armaturentafel oder Mittelkonsole des Kraftfahrzeugs, ein Head-Up Display, einen Infotainmentbildschirm, einen Bildschirm eines Navigationssystems und/oder dergleichen mehr umfassen. Ebenso kann als Anzeigeneinrichtung oder als Teil davon beispielsweise ein mit dem Kraftfahrzeug gekoppeltes mobiles elektronisches Gerät, wie etwa ein Smartphone oder Tabletcomputer oder dergleichen verwendet werden.
-
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Figur eine schematische Darstellung eines Kraftfahrzeugs mit mehreren kamerabasierten Assistenzsystemen, das für eine harmonisierte Darstellung entsprechender Kamerabilder eingerichtet ist.
-
Fahrzeuge können heutzutage eine Vielzahl von unterschiedlichen, auch kamerabasierten Assistenzfunktionen aufweisen. Gerade bei einem direkten Umschalten zwischen solchen kamerabasierten Assistenzfunktionen, die auf unterschiedlichen Kamerabilddaten basieren, kann es zu unerwünschten sprunghaften Veränderungen von Bild- und/oder Anzeigeeigenschaften, wie etwa Helligkeit, Farbwiedergabe, Kontrast und/oder dergleichen mehr kommen. Dieses Problem kann insbesondere dann bestehen oder besonders ausgeprägt sein, wenn Kamerabilddaten von Kameras für unterschiedliche Assistenzfunktionen verwendet werden, die sich voneinander unterscheiden, von unterschiedlichen Herstellern stammen oder zumindest nicht aufeinander abgestimmt sind.
-
Um dieser Problematik zu begegnen, zeigt 1 eine beispielhafte schematische Darstellung eines Kraftfahrzeugs 10, das mit mehreren kamerabasierten Assistenzsystemen ausgestattet ist. Vorliegend sind dies beispielhaft ein Fahrassistenzsystem 12 und ein Parkassistenzsystem 14. Das Fahrassistenzsystem 12 kann beispielsweise zum Erfassen der in Fahrtrichtung vorausliegenden Fahrzeugumgebung und zum Anzeigen entsprechender Navigationshinweise, etwa in einem Head-Up Display oder dergleichen, eingerichtet sein. Dazu umfasst das Fahrassistenzsystem 12 hier eine Frontnavigationskamera 16. Diese Frontnavigationskamera 16 kann beispielsweise an oder hinter einer Windschutzscheibe 18 des Kraftfahrzeugs 10 angeordnet sein.
-
Das Parkassistenzsystem 14 kann zum Unterstützen der Rundumsicht bei Park- oder Rangiermanöver eingerichtet sein. Dazu kann das Parkassistenzsystem 14 mehrere verteilt angeordnete Surround-View - bzw. Rundumsichtkameras 20 umfassen. Beispielhaft sind hier solche Rundumsichtkameras 20 im Bereich der Seitenspiegel, an einem Frontende und an einem Heck des Kraftfahrzeugs 10 angeordnet.
-
Die Assistenzsysteme 12, 14 können die mittels ihrer Kameras 16, 20 aufgenommenen Kamerabilddaten jeweils verarbeiten, beispielsweise mittels einer entsprechenden Bildsignalverarbeitung, und ihre jeweiligen Kameras 16, 20 beispielsweise je nach Anforderung eines Fahrers des Kraftfahrzeugs 10, jeweiligen Umgebungs- oder Aufnahmebedingungen und/oder dergleichen mehr steuern oder regeln. Dazu weisen die Assistenzsysteme 12, 14 hier beispielhaft jeweils einen Prozessor 22 und einen damit gekoppelten computerlesbaren Datenspeicher 24 auf.
-
Zum Anzeigen entsprechender Kamerabilddaten der unterschiedlichen Assistenzsysteme 12, 14 weist das Kraftfahrzeug 10 hier wenigstens eine Anzeigeneinrichtung 26 auf.
-
Die unterschiedlichen Kameras 16, 20 befinden sich an unterschiedlichen Positionen mit unterschiedlichen Blick- oder Aufnahmerichtungen und können zumindest zum Teil auch unterschiedliche Optiken, Sensoren, ISPs und/oder dergleichen mehr verwenden. Dennoch soll dem Fahrer bzw. einem jeweiligen Fahrzeuginsassen des Kraftfahrzeugs 10 über alle anzeigenden Assistenzfunktionen hinweg ein harmonisiertes, einheitliches Bild präsentiert werden, insbesondere unabhängig davon, ob für das Anzeigen der Kamerabilddaten der unterschiedlichen Assistenzsysteme 12, 14 dieselbe Anzeigeneinrichtung 26 oder verschiedene Anzeigeneinrichtungen 26 verwendet werden.
-
Dazu ist eine entsprechende Harmonisierung von vorgegebenen Bild- und/oder Anzeigeeigenschaften der Kamerabilddaten der Kameras 16, 20 der unterschiedlichen Assistenzsysteme 12, 14 vorgesehen. Dies wird hier beispielhaft durch eine zentrale Harmonisierungseinrichtung 28 durchgeführt. Diese Harmonisierungseinrichtung 28 kann als separate, mit den Assistenzsystemen 12, 14 gekoppelte Einrichtung ausgestaltet sein und dann beispielsweise ihrerseits einen Prozessor 22 und einen Datenspeicher 24 aufweisen. Ebenso kann die Harmonisierungseinrichtung 28 in eines oder mehrere der Assistenzsysteme 12, 14 und/oder die Anzeigeeinrichtung 26 integriert oder als entsprechend verteiltes System realisiert oder implementiert sein.
-
Zur Harmonisierung der Kamerabilddaten bzw. von deren Bild- und/oder Anzeigeeigenschaften beim Anzeigen mittels der Anzeigeneinrichtung 26 kann ein entsprechendes Gesamtsystem, insbesondere die Harmonisierungseinrichtung 28, Bild- oder Aufnahmebereiche der verschiedenen Kameras 16, 20 verwenden, die sich überlappen. Zur Veranschaulichung sind hier schematisch einige Aufnahmebereiche der verschiedenen Kameras 16, 20 in einer Fahrzeugumgebung um das Kraftfahrzeug 10 herum und einige sich damit ergebende Überlappungsbereiche 30 der verschiedenen Aufnahmebereiche angedeutet. Basierend auf diesen Überlappungsbereichen 30 bzw. dort aufgenommenen Kamerabilddaten bzw. dort gegebenen oder aufnahme- oder anzeigerelevanten Bedingungen kann das System, also beispielsweise die Harmonisierungseinrichtung 28 eine globale Umgebungshelligkeit und eine globale Farbtemperatur und/oder ein oder mehr andere oder weitere Parameter oder Größen berechnen.
-
Demgemäß können dann etwa Belichtungssteuerungen oder Belichtungsregelungen und/oder eine Bildsignalverarbeitung der einzelnen Kameras 16, 20 bzw. der Assistenzsysteme 12, 14 geregelt oder gesteuert werden. Dies kann so erfolgen, dass sich über alle Kameras 16, 20 und Assistenzsysteme 12, 14 hinweg beim Anzeigen der verschiedenen Kamerabilddaten mittels der Anzeigeneinrichtung 26 harmonisierte, also hinsichtlich ihrer Bild- und/oder Anzeigeeigenschaften vereinheitlichte Bilder oder Darstellungen ergeben. Dazu können die Assistenzsysteme 12, 14 und/oder die Harmonisierungseinrichtung 28 beispielsweise ein vorgegebenes globales BildstatistikModell bzw. gemeinsame Referenzpunkte in der jeweiligen Fahrzeugumgebung etwa für ihre Camera-Control-Loops, also ihre Kamerasteuerungs- oder Kameraregelungsschleifen und/oder für ein jeweiliges dynamisches Post-Processing, und/oder eine entsprechende dynamische Anpassung einer entsprechenden ISP-Parametrisierung und/oder dergleichen mehr verwenden. Damit können dann also wichtige Bildeigenschaften, wie etwa Helligkeit und Farbwiedergabe einheitlich geregelt werden.
-
Insgesamt zeigen die beschriebenen Beispiele wie ein System zur harmonisierten Aufnahme und Anzeige von Kamerabildern mittels verschiedener, insbesondere unterschiedlicher Kameras in einem Fahrzeug realisiert werden kann.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Fahrassistenzsystem
- 14
- Parkassistenzsystem
- 16
- Frontnavigationskamera
- 18
- Windschutzscheibe
- 20
- Rundumsichtkamera
- 22
- Prozessor
- 24
- Datenspeicher
- 26
- Anzeigeneinrichtung
- 28
- Harmonisierungseinrichtung
- 30
- Überlappungsbereich
