-
Die Erfindung betrifft ein Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, bei welchem durch eine Auswerteeinrichtung des Kraftfahrzeugs von zumindest einer Kamera eines Kamerasystems erfasste Bilddaten aus dem Umgebungsbereich empfangen werden. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug.
-
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs mittels Kameras eines fahrzeugseitigen Kamerasystems, beispielsweise eines Rundumsicht-Kamerasystems, zu überwachen. Dazu offenbart die
US 2014/0333729 A1 ein Kamerasystem mit einer Vielzahl von Kameras und einem Prozessor, welcher Bilddaten der Kameras zu Bildern des das Kraftfahrzeug umgebenden Umgebungsbereiches verarbeitet. Diese Bilder können den Umgebungsbereich in einer vorbestimmten Zielansicht bzw. aus einer vorbestimmten Zielperspektive darstellen. Eine solche vorbestimmte Zielansicht bzw. Zielperspektive kann eine sogenannten Dritte-Person-Ansicht bzw. Dritte-Person-Perspektive sein, durch welche der Umgebungsbereich des Kraftfahrzeugs sowie das Kraftfahrzeug selbst aus einer Sicht eines fahrzeugexternen Beobachters, einer sogenannten virtuellen Kamera, dargestellt wird. Die Bilder können einem Fahrer des Kraftfahrzeugs auf einer Anzeigeeinrichtung, beispielsweise einem Display in einer Fahrgastzelle des Kraftfahrzeugs, angezeigt werden.
-
Probleme ergeben sich beispielsweise, wenn bestimmte Teilbereiche des Umgebungsbereiches durch Objekte blockiert bzw. verdeckt sind und daher von den Kameras des Kraftfahrzeugs bzw. Eigenfahrzeugs nicht erfassbar sind. Dies kann beispielsweise vorkommen, wenn sich das Eigenfahrzeug bei hohem Verkehrsaufkommen mit einer Vielzahl von anderen Fahrzeugen auf einer Fahrspur befindet. Wenn sich nun ein schwächerer Verkehrsteilnehmer, beispielsweise ein Motorradfahrer oder ein Fahrradfahrer, hinter einem andere Kraftfahrzeug befindet, welches dem Eigenfahrzeug folgt, so kann dieser schwächere Verkehrsteilnehmer nicht von den Kameras des Kamerasystems des Eigenfahrzeugs erfasst werden, da der schwächere Verkehrsteilnehmer von dem anderen Kraftfahrzeug verdeckt ist. Wenn der schwächere Verkehrsteilnehmer nun für ein Überholmanöver ausschert und gleichzeitig das Eigenfahrzeug einen Spurwechsel vollziehen möchte, so droht die Gefahr, dass der schwächere Verkehrsteilnehmer zu spät oder gar nicht von dem Fahrer des Eigenfahrzeugs entdeckt wird und daher mit dem Eigenfahrzeug kollidiert.
-
Es ist Aufgabe der vorliegenden Erfindung, einen Umgebungsbereich eines Kraftfahrzeugs besonders sicher und zuverlässig überwachen zu können.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren sowie ein Kamerasystem gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Gemäß einer Ausführungsform eines erfindungsgemäßen Verfahrens zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs werden insbesondere durch eine Auswerteeinrichtung des Kraftfahrzeugs von zumindest einer Kamera eines Kamerasystems erfasste Bilddaten aus dem Umgebungsbereich empfangen. Insbesondere wird anhand der Bilddaten zumindest ein einen Teilbereich in dem Umgebungsbereich blockierendes Objekt erkannt, von einer fahrzeugexternen Sensoreinrichtung bereitgestellte Sensordaten werden aus dem von dem Objekt blockierten Teilbereich empfangen und anhand der fahrzeugseitigen Bilddaten sowie anhand der fahrzeugexternen Sensordaten wird zumindest ein den Umgebungsbereich sowie den blockierten Teilbereich beschreibendes Bild zum Darstellen auf einer fahrzeugseitigen Anzeigeeinrichtung generiert.
-
Gemäß einer besonders bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs werden durch eine Auswerteeinrichtung des Kraftfahrzeugs von zumindest einer Kamera eines Kamerasystems erfasste Bilddaten aus dem Umgebungsbereich empfangen. darüber hinaus wird anhand der Bilddaten zumindest ein einen Teilbereich in dem Umgebungsbereich blockierendes Objekt erkannt, von einer fahrzeugexternen Sensoreinrichtung bereitgestellte Sensordaten werden aus dem von dem Objekt blockierten Teilbereich empfangen und anhand der fahrzeugseitigen Bilddaten sowie anhand der fahrzeugexternen Sensordaten wird zumindest ein den Umgebungsbereich sowie den blockierten Teilbereich beschreibendes Bild zum Darstellen auf einer fahrzeugseitigen Anzeigeeinrichtung generiert.
-
Mittels des Kamerasystems des Kraftfahrzeugs kann der Umgebungsbereich des Kraftfahrzeugs besonders zuverlässig überwacht werden. Das Kraftfahrzeug, welches das Kamerasystem aufweist und dessen Umgebungsbereich überwacht wird, wird im Folgenden auch als Eigenfahrzeug („Ego-Vehicle“) bezeichnet. Zunächst werden von der zumindest einen Kamera des Kamerasystems des Kraftfahrzeugs bzw. Eigenfahrzeugs die Bilddaten aus dem Umgebungsbereich empfangen. Insbesondere werden Bilddaten aus dem Umgebungsbereich hinter dem Kraftfahrzeug mittels einer rücklings blickenden Kamera des Kraftfahrzeugs erfasst. Eine solche Kamera kann beispielsweise eine Heckkamera bzw. Rückfahrkamera sein. Vorzugsweise können Bilddaten mehrerer Kameras des Kamerasystems empfangen werden. Das Kamerasystem kann dazu als ein sogenanntes Rundumsicht-Kamerasystem bzw. 360°-Kame rasystem ausgebildet sein, welches die Heckkamera, eine nach vorne blickende Frontkamera sowie zwei seitlich blickende Seitenspiegelkameras umfassen kann. Die Bilddaten der Kameras können der Auswerteeinrichtung des Kamerasystems bereitgestellt werden. Beispielsweise kann die Auswerteeinrichtung aus den Bilddaten der Kameras des Rundumsicht-Kamerasystems ein Rundumsichtbild bzw. eine 360°-Darstellung gene rieren, welches bzw. welche den gesamten Umgebungsbereich um das Kraftfahrzeug herum zeigt. Ein solches Rundumsichtbild kann beispielsweise eine Dritte-Person-Darstellung, insbesondere ein Draufsichtbild sein, welches den Umgebungsbereich sowie das Kraftfahrzeug aus Sicht eines fahrzeugexternen Beobachters, beispielswiese aus einer Vogelperspektive, zeigt.
-
In diesen Bilddaten werden nun Objekte erkannt, durch welche Teilbereiche des Umgebungsbereiches blockiert bzw. verdeckt werden. Solche Objekte sind insbesondere Objekte, welche sich entlang der Blickrichtung der Kamera zwischen der Kamera und dem Teilbereich befinden und dadurch ausgehend von der Kamera den Teilbereich hinter dem Objekt verdecken. Solche Teilbereiche sind sogenannte tote Winkel, welche für die Kameras des Kamerasystems des Eigenfahrzeugs nicht einsehbar sind bzw. aus welchen durch die Kameras keine Bilddaten erfasst werden können. Wenn das Eigenfahrzeug beispielsweise auf einer Fahrspur fährt und dem Eigenfahrzeug ein anderes Kraftfahrzeug folgt, so ist der blockierte Teilbereich der Bereich hinter dem anderen Kraftfahrzeug. Aus diesem Bereich hinter dem anderen Kraftfahrzeug können von der Heckkamera des Eigenfahrzeugs keine Bilddaten erfasst werden.
-
Um einem Fahrer des Eigenfahrzeugs dennoch eine Information aus diesem blockierten Teilbereich bereitzustellen, werden die Sensordaten der fahrzeugexternen Sensoreinrichtung von der Auswerteeinrichtung des Kraftfahrzeugs empfangen. Beispielsweise können die Sensordaten der fahrzeugexternen Sensoreinrichtung durch die Auswerteeinrichtung angefordert werden, sodass die fahrzeugexterne Sensoreinrichtung die Sensordaten an die Auswerteeinrichtung übermittelt. Vorzugsweise werden die Sensordaten über ein drahtloses Kommunikationssignal, insbesondere WLAN und/oder über Car-to-Car-Kommunikation, von der fahrzeugexternen Sensoreinrichtung an die fahrzeugseitige Auswerteeinrichtung übertragen. Im Falle, dass die fahrzeugexterne Sensoreinrichtung an einem anderen Fahrzeug, beispielsweise an einem dem Eigenfahrzeug folgenden Kraftfahrzeug angeordnet ist, können die Sensordaten über die Car-to-Car-Kommunikationsverbindung, beispielsweise über 4G, 5G, übertragen werden.
-
Diese fahrzeugexterne Sensoreinrichtung kann den blockierten Teilbereich in dem Umgebungsbereich erfassen, sodass die Sensordaten der fahrzeugexternen Sensoreinrichtung Informationen aus dem blockierten Teilbereich enthalten. Anhand dieser Sensordaten aus dem blockierten Teilbereich sowie anhand der fahrzeugseitigen Bilddaten, welche keine Informationen über den blockierten Teilbereich aufweisen, kann das zumindest eine Bild generiert werden, welches sowohl den Umgebungsbereich des Kraftfahrzeugs als auch den blockierten Teilbereich beschreibt. Die Bilddaten der fahrzeugseitigen Kamera werden somit mittels der Sensordaten der fahrzeugexternen Sensoreinrichtung angereichert. Als das zumindest eine Bild kann beispielsweise ein erweitertes Rundumsichtbild generiert werden, welches dem Fahrer zusätzlich eine Information über den Teilbereich hinter dem blockierenden Objekt bereitstellt. Insbesondere wird anhand der Bilddaten und der Sensordaten eine Videosequenz erzeugt. Das zumindest eine Bild kann auf der fahrzeugseitigen Anzeigeeinrichtung angezeigt werden. Die Anzeigeeinrichtung kann beispielsweise ein Bildschirm bzw. Display in einem Innenraum des Eigenfahrzeugs sein. Wenn sich beispielsweise hinter dem blockierenden Objekt ein weiteres Objekt, insbesondere ein schwächerer Verkehrsteilnehmer, befindet, so kann dies dem Fahrer des Kraftfahrzeugs anhand des auf der Anzeigeeinrichtung angezeigten Bildes dargestellt werden, sodass der Fahrer beispielsweise ein geplantes Spurwechselmanöver nicht oder besonders vorsichtig durchführt.
-
Durch das Anreichern der fahrzeugseitigen Bilddaten mit den fahrzeugexternen Sensordaten können somit tote Winkel in dem Umgebungsbereich minimiert werden. Somit kann durch das Verfahren der Umgebungsbereich des Kraftfahrzeugs besonders zuverlässig überwacht werden und Unfälle, welche beispielsweise durch Kollisionen des Eigenfahrzeugs mit anderen, insbesondere schwächeren, Verkehrsteilnehmern verursacht werden, verhindert werden.
-
Vorzugsweise wird anhand der bereitgestellten Sensordaten überprüft, ob sich ein weiteres Objekt in dem blockierten Teilbereich befindet, und falls ja, wird ein Hinweissignal zur Ausgabe an einen Fahrer des Kraftfahrzeugs generiert. Insbesondere wird als das weitere Objekt ein sich dem Kraftfahrzeug von hinten näherndes dynamisches Objekt, insbesondere ein Fahrradfahrer und/oder ein Motorradfahrer, anhand der bereitgestellten Sensordaten erkannt. Bei starkem Verkehrsaufkommen kann es beispielsweise vorkommen, dass Motorradfahrer den freien Bereich zwischen zwei Fahrspuren für Überholmanöver nutzen. Wenn sich nun ein Motorrad innerhalb einer Fahrspur hinter einem dem Eigenfahrzeug folgenden Kraftfahrzeug befindet und für ein solches Überholmanöver ausschert, so kann es vorkommen, dass es mit dem Eigenfahrzeug, welches zeitgleich einen Spurwechsel durchführt, kollidiert, da weder der Fahrer des Eigenfahrzeugs noch die Kameras des Eigenfahrzeugs den Motorradfahrer vor dem Ausscheren erfassen konnten. Um die Kollision zu verhindern, werden die Sensordaten der fahrzeugexternen Sensoreinrichtung nach solchen dynamischen Objekten durchsucht. Falls ein solches dynamisches Objekt anhand der Sensordaten der fahrzeugexternen Sensoreinrichtung erkannt wird, wird das Hinweissignal generiert. Das Hinweissignal kann beispielsweise gemeinsam mit dem zumindest einen den Umgebungsbereich und den blockierten Teilbereich charakterisierenden Bild auf der Anzeigeeinrichtung des Eigenfahrzeugs angezeigt werden. Ein solches Hinweissignal kann beispielsweise ein Piktogramm in Form von einem Warnsymbol sein. Die Anzeige eines solchen Hinweissignals ist besonders intuitiv für den Fahrer, sodass dieser das Vorhandensein des dynamischen Objektes besonders schnell erfassen und entsprechend reagieren kann.
-
Gemäß einer Ausführungsform werden als die Sensordaten aus dem blockierten Teilbereich fahrzeugexterne Bilddaten zumindest einer Kamera der fahrzeugexternen Sensoreinrichtung und/oder zumindest eine aus den Bilddaten der Kamera der fahrzeugexternen Sensoreinrichtung extrahierte Information über ein weiteres Objekt in dem blockierten Teilbereich von der Auswerteeinrichtung des Kraftfahrzeugs empfangen. Hier werden also die fahrzeuginternen Bilddaten mit fahrzeugexternen Bilddaten angereichert. Dazu kann die Auswerteeinrichtung des Kraftfahrzeugs mit fahrzeugexternen Kameras kommunizieren. Vorzugsweise werden die fahrzeugexternen Bilddaten der Kamera einer als Kamerasystem eines anderen Fahrzeugs und/oder einer als Verkehrsüberwachungssystem und/oder einer als Kamerasystem einer Drohne ausgebildeten fahrzeugexternen Sensoreinrichtung durch die Auswerteeinrichtung empfangen.
-
Wenn dem Eigenfahrzeug ein anderes Fahrzeug folgt und somit der Teilbereich hinter dem anderen Fahrzeug verdeckt bzw. blockiert wird, so ist es besonders vorteilhaft, wenn die Bilddaten von einer Heckkamera des Kamerasystems des anderen Fahrzeugs erfasst werden. Auch kann vorgesehen sein, dass eine stationäre Verkehrsüberwachungskamera des Verkehrsüberwachungssystems, welche beispielsweise an einer Verkehrsampel angebracht sein kann und daher von oben auf die Fahrbahn blickt, Bilddaten aus dem Teilbereich hinter dem anderen Fahrzeug erfassen kann. Alternativ oder zusätzlich können Bilddaten von Drohnen verwendet werden, welche über die sich auf der Fahrbahn befindlichen Fahrzeuge fliegen und daher ebenfalls von oben auf die Fahrbahn herabblicken.
-
Dabei können die fahrzeugexternen Bilddaten beispielsweise unverarbeitet an die Auswerteeinrichtung versendet werden. Dies bedeutet, dass als die fahrzeugexternen Bilddaten Rohbilder an die Auswerteeinrichtung übersendet werden, welche die Rohbilder daraufhin verarbeiten kann. Alternativ oder zusätzlich können die Bilddaten vorverarbeitet werden, vor dem Übermitteln an die Auswerteeinrichtung nach dem weiteren Objekt, beispielsweise dem schwächeren Verkehrsteilnehmer, durchsucht werden, Informationen über das weitere Objekt bestimmt werden und die Information über das weitere Objekt an die Auswerteeinrichtung übermittelt werden. Solche Informationen können beispielsweise eine Art des Objektes, eine Position des Objektes in dem Umgebungsbereich sowie eine Größe des Objektes sein.
-
In einer weiteren Ausführungsform werden als die Sensordaten aus dem blockierten Teilbereich Abstandssensordaten zumindest einer als Abstandssensoreinrichtung ausgebildeten fahrzeugexternen Sensoreinrichtung eines anderen Fahrzeugs und/oder zumindest eine aus den Abstandssensordaten der fahrzeugexternen Abstandssensoreinrichtung extrahierte Information über ein weiteres Objekt in dem blockierten Teilbereich von der Auswerteeinrichtung des Kraftfahrzeugs empfangen. Diese Ausführungsform ist besonders vorteilhaft, wenn die anderen, dem Eigenfahrzeug folgenden Fahrzeuge kein Kamerasystem aufweisen und/oder sich in dem Umgebungsbereich keine Überwachungskamera oder Drohne befindet. Wenn die anderen Fahrzeuge Abstandssensoreinrichtungen, beispielsweise Ultraschallsensoren eines Parkassistenten und/oder Radarsensoren eines Todwinkelassistenten, aufweisen, so können diese Abstandssensordaten erfasst werden. Die Abstandssensordaten können wiederum direkt und unverarbeitet an die Auswerteeinrichtung übermittelt werden. Alternativ oder zusätzlich können die aus den Abstandssensordaten extrahierten Informationen über das weitere Objekt, beispielsweise eine Lage, Art und Größe des Objektes, an die Auswerteeinrichtung übermittelt werden.
-
In einer Weiterbildung der Erfindung wird eine Position des blockierten Teilbereiches relativ zum Kraftfahrzeug bestimmt, in den von der fahrzeugexternen Sensoreinrichtung aus dem Umgebungsbereich erfassten Sensordaten werden diejenigen Sensordaten, durch welche der Umgebungsbereich an der erkannten Position beschrieben wird, identifiziert und die identifizierten Sensordaten werden als die Sensordaten aus dem blockierten Teilbereich bestimmt. Es wird also die Position bzw. räumliche Lage des Teilbereiches relativ zum Eigenfahrzeug bestimmt. Dann werden diejenigen fahrzeugexternen Sensordaten identifiziert, welche aus diesem Teilbereich stammen. Dazu können beispielsweise nur diejenigen Sensordaten einer fahrzeugseitigen Sensoreinrichtung angefordert und übermittelt werden, welche diesen blockierten Teilbereich erfassen kann. Auch können Sensordaten einer Vielzahl von fahrzeugexternen Sensoreinrichtung von der Auswerteeinrichtung empfangen werden und dann diejenigen Sensordaten identifiziert werden, welche den blockierten Teilbereich beschreiben.
-
Dabei kann vorgesehen sein, dass eine Position des den Teilbereich blockierenden Objektes mittels einer Sensoreinrichtung des Kraftfahrzeugs und/oder anhand der Bilddaten der fahrzeugseitigen Kamera erkannt wird und anhand der Position des den Teilbereich blockierenden Objektes die Position des blockierten Teilbereiches erkannt wird. Wenn das blockierende Objekt beispielsweise ein dem Eigenfahrzeug folgendes Kraftfahrzeug ist, welches die fahrzeugexterne Sensoreinrichtung aufweist, so kann mittels der Sensoreinrichtung des Eigenfahrzeugs und/oder anhand der Bilddaten der zumindest einen Kamera des Eigenfahrzeugs ein Abstand des folgenden Kraftfahrzeugs zu dem Eigenfahrzeug bestimmt werden. Die Sensoreinrichtung des Eigenfahrzeugs kann eine Abstandssensoreinrichtung, beispielsweise ein Laserscanner und/oder ein Radarsensor, sein. Alternativ oder zusätzlich kann der Abstand anhand der Bilddaten der Kamera des Eigenfahrzeugs bestimmt werden. Anhand des Abstandes zwischen dem Kraftfahrzeug und dem Eigenfahrzeug kann die Position des Kraftfahrzeugs relativ zum Eigenfahrzeug bestimmt werden. Aus der relativen Position zwischen dem Kraftfahrzeug und dem Eigenfahrzeug kann dann die Position des blockierten Teilbereiches relativ zum Eigenfahrzeug einfach und schnell abgeschätzt werden.
-
Es erweist sich als vorteilhaft, wenn zusätzlich zu den Sensordaten der fahrzeugexternen Sensoreinrichtung Positionsinformationen der fahrzeugexternen Sensoreinrichtung von der Auswerteeinrichtung empfangen werden und anhand der Positionsinformationen die Position des blockierten Teilbereiches erkannt wird. Solche Positionsinformationen können beispielsweise globale Positionsinformationen, beispielsweise GPS-Daten, der fahrzeugexternen Sensoreinrichtung sein. Diese Positionsinformationen können beispielsweise als Metadaten in den Sensordaten der fahrzeugexternen Sensoreinrichtung an die Auswerteeinrichtung übermittelt werden. Die Metadaten können dann durch die Auswerteeinrichtung nach der Positionsinformation der fahrzeugexternen Sensoreinrichtung, welche den blockierten Teilbereich erfasst, durchsucht werden. Anhand dieser Positionsinformationen sowie anhand einer den Umgebungsbereich des Eigenfahrzeugs beschreibenden Umfeldkarte kann dann die Position des blockierten Teilbereiches relativ zum Eigenfahrzeug bestimmt werden. In der Umgebungskarte können beispielsweise die Lagen bzw. Positionen sämtlicher Objekte, beispielsweise auch der fahrzeugexternen Sensoreinrichtung, in dem Umgebungsbereich relativ zum Eigenfahrzeug eingetragen werden. Dazu können die in den Metadaten übermittelten globalen Positionsinformationen der fahrzeugexternen Sensoreinrichtung in Abhängigkeit von einer bekannten globalen Positionsinformation des Eigenfahrzeugs in relative Positionsinformationen der fahrzeugexternen Sensoreinrichtung bezüglich des Eigenfahrzeugs umgewandelt werden. Anhand der Position der fahrzeugexternen Sensoreinrichtung in der Umgebungskarte kann die Position des blockierten Teilbereiches relativ zum Eigenfahrzeug besonders zuverlässig und genau bestimmt werden.
-
Vorzugsweise werden im Falle, dass als die Sensordaten der fahrzeugexternen Sensoreinrichtung Bilddaten empfangen werden, die Bilddaten der zumindest einen Kamera und die Bilddaten der fahrzeugexternen Sensoreinrichtung zu dem den Umgebungsbereich sowie den blockierten Teilbereich beschreibenden Bild zusammengefügt. Auf der Anzeigeeinrichtung des Kraftfahrzeugs kann somit ein aus den Bilddaten der fahrzeugseitigen Kamera sowie aus den Bilddaten der fahrzeugexternen Kamera kombiniertes bzw. fusioniertes Bild angezeigt werden. Beispielsweise kann eine sogenannte Bild-im-Bild-Darstellung generiert werden, in welcher ein aus den Bilddaten der fahrzeugseitigen Kamera generiertes Bild und zusätzlich eine verkleinerte Darstellung eines aus den Bilddaten der fahrzeugexternen Kamera generierten Bildes angezeigt werden. Die verkleinerte Darstellung kann beispielsweise an der Stelle des blockierenden Objektes in dem aus den Bilddaten der fahrzeugseitigen Kamera generierten Bild angezeigt werden. Eine solche Bild-im-Bild-Darstellung ist besonders intuitiv für den Fahrer, da er mit Blick auf die Anzeigeeinrichtung die Informationen aus dem blockierten Teilbereich einfach und schnell erfassen kann.
-
Auch kann vorgesehen sein, dass das den Teilbereich blockierende Objekt transparent in dem den Umgebungsbereich sowie den blockierten Teilbereich beschreibenden Bild dargestellt wird. Eine solche Darstellung ist besonders ebenfalls besonders intuitiv für den Fahrer, da ihm die tatsächliche Umgebungssituation besonders realitätsnah visualisiert wird.
-
In einer besonders vorteilhaften Ausführungsform der Erfindung werden die Bilddaten eines als Rundumsicht-Kamerasystem ausgebildeten Kamerasystems des Kraftfahrzeugs empfangen und die Bilddaten des Rundumsicht-Kamerasystems und die Bilddaten der fahrzeugexternen Sensoreinrichtung werden zu einem den Umgebungsbereich sowie den blockierten Teilbereich aus Sicht eines fahrzeugexternen Beobachters beschreibenden Rundumsichtbild zusammengefügt. Es wird insbesondere ein erweitertes Rundumsichtbild erzeugt, welches den Umgebungsbereich sowie den blockierten Teilbereich zeigt. Beispielsweise kann das Rundumsichtbild ein Draufsichtbild sein, welcher das Eigenfahrzeug, den Umgebungsbereich sowie den blockierten Teilbereich aus einer Dritten-Person-Perspektive, beispielsweise einer Vogelperspektive, darstellt. Durch ein solches Rundumsichtbild kann der Fahrer die Informationen aus dem gesamten Umgebungsbereich einfach und schnell mit Blick auf die Anzeigeeinrichtung erfassen.
-
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug aufweisend zumindest eine Kamera zum Erfassen von Bilddaten aus einem Umgebungsbereich des Kraftfahrzeugs sowie eine Auswerteeinrichtung, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine vorteilhafte Ausführungsform davon durchzuführen. Das Kamerasystem ist insbesondere als ein Rundumsicht-Kamerasystem bzw. ein 360°-Kamerasystem ausgebildet. Das Kameras ystem kann außerdem eine Anzeigeeinrichtung zum Anzeigen des generierten Bildes aufweisen, welche beispielsweise als ein Bildschirm in einem Innenraum des Kraftfahrzeugs ausgebildet sein kann.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kam erasystem.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs aufweisend eine Ausführungsform eines erfindungsgemäßen Kamerasystems;
- 2 eine schematische Darstellung des Kraftfahrzeugs auf einer Fahrbahn mit einer Vielzahl von anderen Fahrzeugen; und
- 3 eine schematische Darstellung eines auf eine Anzeigeeinrichtung des Kraftfahrzeugs angezeigten Bildes aus einem Umgebungsbereich des Kraftfahrzeugs
-
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1, welches gemäß der vorliegenden Ausführungsform als ein Personenkraftwagen ausgebildet ist. Das Kraftfahrzeug 1 weist ein Kamerasystem 2 auf, mittels welchem ein Umgebungsbereich 3 des Kraftfahrzeugs 1 überwacht werden kann. Dazu weist das Kamerasystem 2 im vorliegenden Fall vier Kameras 4, 5, 6, 7 auf.
-
Eine erste Kamera 4 ist als eine Frontkamera ausgebildet und kann Bilddaten aus dem Umgebungsbereich 3 vor dem Kraftfahrzeug 1 erfassen. Eine zweite Kamera 5 ist als eine rechte Seitenspiegelkamera ausgebildet und kann Bilddaten aus dem Umgebungsbereich 3 rechts neben dem Kraftfahrzeug 1 erfassen. Eine dritte Kamera 6 ist als eine Heckkamera ausgebildet und kann Bilddaten aus dem Umgebungsbereich 3 hinter dem Kraftfahrzeug 1 erfassen. Eine vierte Kamera 7 ist als eine linke Seitenspiegelkamera ausgebildet und kann Bilddaten aus dem Umgebungsbereich 3 links neben dem Kraftfahrzeug 1 erfassen. Das Kamerasystem 2 ist somit als ein Rundumsicht-Kamerasystem bzw. als ein 360°-Kamerasy stem ausgebildet.
-
Das Kamerasystem 2 weist außerdem eine Auswerteeinrichtung 8 auf, welche die Bilddaten der Kameras 4, 5, 6, 7 empfangen und verarbeiten kann. Die Auswerteeinrichtung 8 kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein. Beispielsweise kann die Auswerteeinrichtung 8 aus den Bilddaten der Kameras 4, 5, 6, 7 ein Bild generieren, welches auf einer Anzeigeeinrichtung 9 des Kraftfahrzeugs 1 angezeigt wird. Eine solche Anzeigeeinrichtung 9 kann beispielsweise ein Display in einem Innenraum des Kraftfahrzeugs 1 sein. Das Bild kann beispielsweise eine 360°-Darstellung bzw. ein Rundumsichtbild sein, welches den Umgebungsbereich 3 um das Kraftfahrzeug 1 herum visualisiert bzw. darstellt. Eine solche 360°-Darstellung kann beispielsweise ein Draufsichtbild sein, welche den Umgebungsbereich 3 sowie das Kraftfahrzeug 1 selbst aus Sicht eines fahrzeugexternen Beobachters über dem Kraftfahrzeug 1, also aus einer Vogelperspektive, darstellt.
-
In 2 ist das Kraftfahrzeug 1 gezeigt, welches sich auf einer Fahrbahn 10 aufweisend zwei Fahrspuren 11, 12 fortbewegt. Hinter dem Kraftfahrzeug 1 und neben dem Kraftfahrzeug 1 befinden sich weitere Fahrzeuge 13a, 13b, 13c, 13d, 13e in Form von anderen Kraftfahrzeugen, welche sich gemeinsam mit dem Kraftfahrzeug 1 in Vorwärtsrichtung 14 fortbewegen. Außerdem befindet sich auf der Fahrbahn 10 ein weiteres Objekt 15 in Form von einem Motorradfahrer 16, welcher sich zwischen den Fahrzeugen 13a, 13b auf der rechten Fahrspur 11 und den Fahrzeugen 13c, 13d, 13e auf der linken Fahrspur 12 in Vorwärtsrichtung 14 fortbewegt. Der Motorradfahrer 16 nähert sich dem Kraftfahrzeug 1 von hinten. Wenn das Kraftfahrzeug 1 nun einen durch einen Pfeil 17 visualisierten Spurwechsel von der aktuellen rechten Fahrspur 11 auf die linke Fahrspur 12durchführen möchte, so kann das Kraftfahrzeug 1 mit dem Motorradfahrer 16 kollidieren, da der Motorradfahrer 16 weder durch den Fahrer des Kraftfahrzeugs 1 mit Blick in den linken Seitenspiegel des Kraftfahrzeugs 1 noch durch die Kameras 4, 5, 6, 7 des Kamerasystems 2 des Kraftfahrzeugs 1 erfasst werden kann. Der Motorradfahrer 16 wird nämlich durch die Kraftfahrzeuge 13a, 13b hinter dem Kraftfahrzeug 1 verdeckt. Insbesondere bei schwächeren Verkehrsteilnehmern, wie Motorradfahrern 16 oder Fahrradfahren, können solche Kollisionen schlimme Folgen haben. Hier blockiert das Kraftfahrzeug 13a direkt hinter dem Kraftfahrzeug 1 einen Teilbereich 18 in dem Umgebungsbereich 3 des Kraftfahrzeugs 1 in welchem sich der Motorradfahrer 16 befindet. Das Kraftfahrzeug 13a direkt hinter dem Kraftfahrzeug 1 ist somit ein blockierendes Objekt 19, welches sich im Sichtfeld der Heckkamera 6 vor dem Teilbereich 18 befindet. Dies bedeutet, dass durch die Heckkamera 6 des Kraftfahrzeugs 1 keine Bilddaten aus dem Teilbereich 18 erfasst werden können.
-
Um dennoch Informationen aus dem blockierten Teilbereich 18 erlangen zu können, werden von der Auswerteeinrichtung 8 des Kraftfahrzeugs 1 Sensordaten einer fahrzeugexternen Sensoreinrichtung 20 empfangen. Dazu kann die Auswerteeinrichtung 8 die Sensordaten der fahrzeugexternen Sensoreinrichtung 20 anfordern, welche die Sensordaten daraufhin drahtlos, beispielsweise über WLAN und/oder Car-to-Car-Kommunikation, an die Auswerteeinrichtung 8 übermittelt. Im vorliegenden Fall sind die fahrzeugexternen Sensoreinrichtungen 20 als Kamerasysteme 21 der Kraftfahrzeuge 13a, 13b ausgebildet. Die Kamerasysteme 21 weisen jeweils eine Vielzahl von Kameras 22 auf und können ebenfalls als Rundumsicht-Kamerasysteme ausgebildet sein. Beispielsweise können als die fahrzeugexternen Sensordaten Bilddaten von der linken Seitenspiegelkamera 22 des Kraftfahrzeugs 13b erfasst und an die Auswerteeinrichtung 8 des Kraftfahrzeugs 1 übermittelt werden. Im Falle, dass die Kraftfahrzeuge 13a, 13b keine Kamerasysteme 21, sondern lediglich Abstandssensoreinrichtungen, beispielsweise Radarsensoren und/oder Ultraschallsensoren aufweisen, kann das Objekt 15 auch mittels der Abstandssensoreinrichtungen erfasst werden und als die Sensordaten eine Information über das Objekt 15, beispielsweise eine Größe, Form und Art des Objektes 15, bestimmt und an die Auswerteeinrichtung 8 des Kraftfahrzeugs 1 übermittelt werden. Alternativ ober zusätzlich können als die fahrzeugexternen Sensordaten Bilddaten anderer fahrzeugexterner Kameras, beispielsweise Bilddaten von Verkehrsüberwachungskameras oder Drohnen, an die Auswerteeinrichtung 8 übertragen werden.
-
Aus den Bilddaten des fahrzeugseitigen Kamerasystems 2 sowie den Bilddaten des fahrzeugexternen Kamerasystems 21 kann dann ein Bild 23 zum Anzeigen auf der Anzeigeeinrichtung 9 generiert werden, welches den Umgebungsbereich 3 sowie dem blockierten Teilbereich 18 für den Fahrer visualisiert. Ein solches Bild 23 ist beispielhaft in 3 dargestellt. Das Bild 23 zeigt das Kraftfahrzeug 1, die Fahrzeuge 13a, 13b, 13c, 13d sowie den Motorradfahrer 16 aus einer Vogelperspektive. Das Bild 23 kann durch Fusionieren der Bilddaten der des fahrzeugseitigen Kamerasystems 2 sowie den Bilddaten des fahrzeugexternen Kamerasystems 21 erzeugt werden.
-
Wenn in den Sensordaten der fahrzeugexternen Sensoreinrichtung 20, beispielsweise den Bilddaten der Kamerasysteme 21, das Objekt 15 erkannt wurde, kann ein Hinweissignal 24 zur Ausgabe an den Fahrer generiert werden. Das Objekt 15, beispielsweise der Motorradfahrer 16, kann in den fahrzeugexternen Bilddaten automatisch mittels eines Objekterkennungsalgorithmus erkannt werden. Hier ist das Hinweissignal 24 als ein Piktogramm 25 ausgebildet, welches gemeinsam mit dem Bild 23 auf der Anzeigeeinrichtung 9 dargestellt wird. Durch das Piktogramm wird der Fahrer des Kraftfahrzeugs 1 auf den Motorradfahrer 16 hingewiesen bzw. vor dem Motorradfahrer 16 gewarnt. So kann der Fahrer des Kraftfahrzeugs 1 ein geplantes Spurwechselmanövern abbrechen und somit einen Unfall mit dem schwächeren Verkehrsteilnehmer in Form von dem Motorradfahrer 16 verhindern.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2014/0333729 A1 [0002]
