DE102018107212A1

DE102018107212A1 - Verfahren zum Erfassen eines Verkehrsbereichs-Belegungserkennungs-Hilfselements in einem Umgebungsbereich eines Kraftfahrzeugs, Computerprogrammprodukt sowie Fahrzeugführungssystem

Info

Publication number: DE102018107212A1
Application number: DE102018107212.0A
Authority: DE
Inventors: Senthil Kumar Yogamani; Sankaralingam Madasamy; Mohamed Jauhar
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2019-10-02

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen eine Umgebungsbereichs (13) eines Kraftfahrzeugs (1), bei welchem mit einem Kamerasystem (14) des Kraftfahrzeugs (1) der Umgebungsbereich (13) erfasst wird und durch das Kamerasystem (14) zumindest ein Bild (16) des Umgebungsbereichs (13) erzeugt wird, wobei das Bild (16) dahingehend ausgewertet wird, ob ein spezifisches, gegenständliches Verkehrsbeurteilungs-Hilfselement (17), welches im Umgebungsbereich (13) zur Beurteilung eines Verkehrsbereichs (19, 30) angeordnet ist, auf dem Bild (16) enthalten ist, wobei durch eine Auswerteeinheit (3) in dem Bild (16) nach einem in dem Umgebungsbereich (13) befindlichen gegenständlichen Verkehrsbereichs-Belegungserkennungs-Hilfselement (17), mit welchem eine Bildinformation des Verkehrsbereich (19, 30) erzeugt wird, als Verkehrsbeurteilungs-Hilfselement gesucht wird, und wenn ein Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) in dem Bild (16) erkannt wird, wird dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) bezüglich von Informationen zur Belegung des Verkehrsbereichs (19, 30) mit Objekten (28, 29) ausgewertet. Die Erfindung betrifft auch ein Computerprogrammprodukt und ein elektronisches Fahrzeugführungssystem (15) für ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs, bei welchem mit einem Kamerasystem des Kraftfahrzeugs der Umgebungsbereich erfasst wird. Durch das Kamerasystem wird zumindest ein Bild des Umgebungsbereichs erzeugt beziehungsweise aufgenommen. Das Bild wird dann dahingehend ausgewertet, ob ein spezifisches, gegenständliches Verkehrsbeurteilungs-Hilfselement, welches im Umgebungsbereich zur Beurteilung eines Verkehrsbereichs im Umgebungsbereich angeordnet ist, auf dem Bild enthalten ist. Des Weiteren betrifft die Erfindung auch ein Computerprogrammprodukt. Darüber hinaus betrifft die Erfindung auch ein elektronisches Fahrzeugführungssystem.
Aus dem Stand der Technik ist bekannt, dass durch ein Kamerasystem eines Kraftfahrzeugs, welches an dem Kraftfahrzeug selbst angeordnet ist, ein Umgebungsbereich des Kraftfahrzeugs erfasst werden kann. Das Kamerasystem kann dazu mehrere separate Kameras, die an unterschiedlichen Positionen am Kraftfahrzeug angeordnet sein können, aufweisen.
Bei einer derartigen bildhaften Erfassung des Umgebungsbereichs ist es auch bekannt, dass gegenständliche Verkehrsbeurteilungs-Hilfselemente erfasst werden können. Ein Verkehrsbeurteilungs-Hilfselement kann beispielsweise ein Verkehrszeichen sein. Zu einem Verkehrszeichen werden sowohl rein statische, ortsfest aufgestellte Zeichen verstanden, als auch elektronische Verkehrszeichen, welche eine Verkehrsinformation elektronisch anzeigen können. Beispielsweise kann eine derartige elektronische Anzeige eine sich zeitlich ändernde Geschwindigkeitsbegrenzung anzeigen. Ebenso kann beispielsweise eine Stauwarnung symbolhaft elektronisch durch dieses Verkehrszeichen angezeigt werden. Auch eine Ampel kann ein derartiges Verkehrsbeurteilungs-Hilfselement sein. Mit diesen spezifischen Hilfselementen ist also nur eine Vermutung des aktuellen Verkehrsaufkommens im Verkehrsbereich möglich und somit keine eindeutige Aussage über eine aktuelle tatsächliche Belegung des Verkehrsbereichs möglich. Andererseits existieren auch andere Hilfselemente, wie Spiegel, mit denen eine derartige exakte Beurteilung der aktuellen tatsächlichen Belegung des Verkehrsbereichs direkt und eineindeutig möglich ist. Diese sind auch als Verkehrsbeurteilungs-Hilfselemente zu sehen und stellen eine Untergruppe davon dar.
Ein Verkehrsbeurteilungs-Hilfselement charakterisiert sich somit dadurch, dass die damit bereitgestellte Information eine Beurteilung des eigenen Fahrverhaltens des Kraftfahrzeugs ebenso ermöglicht, wie eine Beurteilung des generellen Verkehrsaufkommens und/oder eines Verkehrsverhaltens in einem Verkehrsbereich im Umgebungsbereich. Ein Verkehrsbereich in dem Umgebungsbereich charakterisiert sich in dem Zusammenhang dadurch, dass Verkehrsteilnehmer, wie Kraftfahrzeuge, Räder oder auch Personen sich darin befinden können und insbesondere sich auch autorisiert darauf befinden oder bewegen können. Ein Verkehrsbereich kann somit in dem Zusammenhang eine Straße oder ein Weg oder ein Parkbereich oder ein Gehweg oder eine Einfahrt aus einem Grundstück oder dergleichen sein. Diese Aufzählung und beispielhafte Nennung für Verkehrsbereiche ist nicht abschließend zu verstehen. Selbiges gilt für die obige beispielhafte Aufzählung für ein Verkehrsbeurteilungs-Hilfselement.
Gerade für die Beurteilung von aus einer aktuellen Perspektive eines Kraftfahrzeugs aktuell schwer einsehbaren Verkehrsbereichen ist es gegenwärtig nicht möglich, durch eine bildhafte Erfassung entsprechende Informationen zu erhalten und diese dann auch verwerten zu können.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, bei welchem die bildhafte Erfassung und Auswertung von Verkehrsbereichen verbessert ist, und insbesondere Verkehrsbereiche, die abhängig von der aktuellen Situation und Position des Kraftfahrzeugs insbesondere nur schwer oder nicht einsehbar sind, bildhaft zu erkennen und die Informationen nutzen zu können. Des Weiteren ist es Aufgabe ein Computerprogrammprodukt sowie ein elektronisches Fahrzeugführungssystem zu schaffen.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt und ein elektronisches Fahrzeugführungssystem gemäß den unabhängigen Ansprüchen gelöst.
Ein unabhängiger Aspekt der Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs. Bei diesem Verfahren wird mit einem Kamerasystem des Kraftfahrzeugs dieser Umgebungsbereich erfasst. Das Kamerasystem kann eine oder vorzugsweise mehrere separate Kameras aufweisen, die an dem Kraftfahrzeug angeordnet sind. Durch das Kamerasystem wird zumindest ein Bild des Umgebungsbereichs aufgenommen beziehungsweise erzeugt. Dieses zumindest eine Bild wird dahingehend ausgewertet, ob sich ein spezifisches, gegenständliches Verkehrsbeurteilungs-Hilfselement auf dem Bild befindet. Dieses Verkehrsbeurteilungs-Hilfselement ist im Umgebungsbereich zur Beurteilung eines Verkehrsbereichs im Umgebungsbereich angeordnet. Durch eine Auswerteeinheit wird in dem Bild nach einem in dem Umgebungsbereich befindlichen, gegenständlichen Verkehrsbereichs-Belegungserkennungs-Hilfselement, welches ein Verkehrsbeurteilungs-Hilfselement ist, gesucht. Das Verkehrsbereichs-Belegungserkennungs-Hilfselement stellt eine Information über einen Verkehrsbereich im Umgebungsbereich dar. Diese Information gibt insbesondere direkt eine Beurteilungsmöglichkeit, ob der Verkehrsbereich als Objekt belegt ist, insbesondere mit Verkehrsteilnehmern belegt ist. Des Weiteren kann durch ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement in dem Zusammenhang eine Belegung mit anderen Objekten, die keine Verkehrsteilnehmer sind, als bildhafte Information direkt dargestellt werden. Wird ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement in dem Bild erkannt, wird dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement bezüglich von Informationen zur Belegung des Verkehrsbereichs mit Objekten ausgewertet. Als Objekte werden in dem Zusammenhang insbesondere die bereits oben beispielhaft genannten Elemente, die somit auch Verkehrsteilnehmer umfassen, verstanden.
Ein Verkehrsbereichs-Belegungserkennungs-Hilfselement ist somit eine Spezifikation eines Verkehrsbeurteilungs-Hilfselements. Denn mit einem Verkehrsbereichs-Belegungserkennungs-Hilfselement wird nicht nur eine allgemeine Information vermittelt, die über die tatsächliche momentane Verkehrsbelegung im Verkehrsbereich nur vermuten lässt, sondern welche die aktuelle tatsächliche Belegung dieses Verkehrsbereichs mit Objekten bildhaft eindeutig und aktuell erkennen lässt. In dem Aspekt der Erfindung ist also genau diese Untergruppe der Verkehrsbeurteilungs-Hilfselemente wesentlich. Durch ein Verkehrsbereichs-Belegungserkennungs-Hilfselement wird somit die unmittelbare und direkte aktuelle Belegungssituation direkt als bildhafte Information dargestellt und präsentiert. In dem Zusammenhang können auch dann die tatsächlichen Objekte, die den Verkehrsbereich aktuell belegen, als Information direkt angezeigt werden. Ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement zeigt somit die reale aktuelle Belegung des Verkehrsbereichs mit Objekten optisch, insbesondere bildhaft an. Ein Verkehrsbereichs-Belegungserkennungs-Hilfselement liefert somit direkt und unmittelbar eine bildhafte Darstellung des Verkehrsbereichs mit der bildhaften Darstellung der aktuellen Belegung mit Objekten.
Ein Verkehrsbereichs-Belegungserkennungs-Hilfselement erzeugt somit insbesondere ein aktuelles Realbild des Verkehrsbereichs und dieses Realbild wird angezeigt.
Ein Verkehrsbereichs-Belegungserkennungs-Hilfselement ist ein reales Element im Umgebungsbereich.
Mit diesem Hilfselement wird das Erkennen eines von einem aktuellen Standpunkt bzw. einer aktuellen Position nicht einsehbaren Verkehrsbereichs unterstützt, so dass von dieser Position aus die aktuelle Belegung des Verkehrsbereichs erkannt wird. An dieser Position ist die Bildinformation des Hilfselements jedoch direkt einsehbar.
Durch eine derartige Ausgestaltung ist es nunmehr ermöglicht, dass mit einer bildhaften Erfassung des Umgebungsbereichs auch ein derartig spezifisches Verkehrsbereichs-Belegungserkennungs-Hilfselement überhaupt erkannt wird. Aufgrund dieser geschaffenen Möglichkeit ist es dann darüber hinaus auch ermöglicht, dass diese von dem Verkehrsbereichs-Belegungserkennungs-Hilfselement dargestellten bildhaften Informationen über den Verkehrsbereich darüber hinaus auch erkannt und ausgewertet werden können. Dies ermöglicht in dem Zusammenhang nunmehr auch, dass in einem Bild dann vorhandene bildhafte Informationen über einen derartigen Belegungszustand eines Verkehrsbereichs, welcher direkt über dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement angeboten wird, genutzt werden kann, um für ein elektronisches Fahrzeugführungssystem bereitgestellt werden zu können. Es kann dann gerade bei einem zumindest semiautonomen, insbesondere einem vollautonomen Fahrbetrieb des Kraftfahrzeugs diese Information genutzt werden, um entsprechende Fahrmanöver auf Basis dieser erhaltenen Informationen von dem Verkehrsbereichs-Belegungserkennungs-Hilfselement durchzuführen.
In vorteilhafter Weise ist durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement eine bildhafte aktuelle Information über den Verkehrsbereich insbesondere dann bereitgestellt, wenn aufgrund der aktuellen Position des Kraftfahrzeugs dieser Verkehrsbereich im Umgebungsbereich durch das Kamerasystem des Kraftfahrzeugs gar nicht oder nur teilweise und somit nur bedingt einsehbar und entsprechend erfasst werden kann. Gerade in derartigen Situationen ist die vorgeschlagene Erfindung von besonderer Vorteilhaftigkeit. Gerade in Verkehrssituationen, in denen sich das Kraftfahrzeug somit an Positionen befindet, in denen ein Verkehrsbereich im Umgebungsbereich durch das Kamerasystem maximal nur teilweise erfasst werden kann, wird nunmehr durch das vorgeschlagene Verfahren die Möglichkeit geschaffen, durch Bildauswertung Informationen über diesen durch das Kamerasystem aktuell nicht einsehbaren oder maximal nur bedingt und nicht hinreichend einsehbaren Verkehrsbereich als Bildinformation in dem durch das Kamerasystem aufgenommenen Bild zu erhalten.
In einer vorteilhaften Ausführung wird in dem aufgenommenen Bild nach einem im Umgebungsbereich aufgestellten Spiegel als Verkehrsbereichs-Belegungserkennungs-Hilfselement gesucht. Derartige reflektierende Spiegel sind üblicherweise an derartigen Positionen angeordnet, an denen Verkehrsbereiche im Umgebungsbereich von einer spezifischen Position im Umgebungsbereich nicht einsehbar sind. Dies kann üblicherweise bei einer unübersichtlichen Ausfahrt der Fall sein. Ebenso können derartigen Spiegel ortsfest an Stellen im Umgebungsbereich positioniert sein, an denen eine Straße einen relativ starken Knick macht und/oder ein Gebäude oder eine Pflanze oder dergleichen die Einsicht in einen nahen Verkehrsbereich aus der aktuellen Situation eines Verkehrsteilnehmers im Umgebungsbereich nicht ermöglicht. Auch können derartige Spiegel beispielsweise in Parkhäusern oder dergleichen aufgestellt sein, um Bereiche, die von aktuellen Positionen eines Verkehrsteilnehmers im Parkhaus nicht eingesehen werden können indirekt einsehen zu können. Durch derartige Spiegel können kritische Verkehrssituationen vermieden werden. Denn durch die Spiegel wird eine reflektierte Information von einem Verkehrsbereich in eine andere Position im Umgebungsbereich reflektiert, aus der dieser Verkehrsbereich nicht eingesehen werden kann.
Durch das Verfahren wird es somit in vorteilhafter Weise ermöglicht, derartige üblicherweise ortsfest aufgestellte Spiegel im Umgebungsbereich in einem aufgenommenen Bild zu erkennen und damit dann bildhaft in dem Bild dargestellte Information dieses Spiegels auch auszuwerten und verstehen zu können.
Ein Spiegel kann in dem Zusammenhang ein nichtelektronischer Spiegel sein, der lediglich eine reflektierende beziehungsweise spiegelnde Oberfläche aufweist. Ein derartiger Spiegel kann jedoch auch ein elektronischer Spiegel sein und in dem Zusammenhang auch beispielsweise ein Bildschirm sein. Auf diesem Bildschirm kann dann, beispielsweise durch eine separate Kamera aufgenommen, die Information aus dem nicht einsehbaren Verkehrsbereich gezeigt werden. Die Position dieses Spiegels ist so, dass dieser von derjenigen Position im Umgebungsbereich, von der ein Verkehrsteilnehmer diesen Verkehrsbereich nicht einsehen kann, uneingeschränkt wahrgenommen werden kann.
Vorzugsweise wird durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement direkt eine optische Information erzeugt, die einen statischen oder einen dynamischen Belegungszustand eines Verkehrsbereichs charakterisiert. Es können somit beispielsweise bei einem elektronischen Spiegel statische Bilder dieses Verkehrsbereichs angezeigt werden, die beispielsweise in relativ kurzen Zeitabständen dargestellt werden, sodass auch hier wiederum uneingeschränkt eine stetig fortfolgende und aktuelle Information über die Verkehrsbereichsbelegung erhalten wird. Ebenso ist eine dynamische Anzeige ermöglicht, die ebenfalls durch einen elektronischen Spiegel dargestellt werden kann. Hier kann beispielsweise dann eine Videodarstellung erfolgen. Eine dynamische Anzeige des Belegungszustands kann auch durch einen nichtelektronischen Spiegel erfolgen. Dies dahingehend, dass sich dann in dem Verkehrsbereich bewegende Objekte aufgrund der Spiegeleigenschaft beziehungsweise des Reflexionsverhaltens in dem Spiegelbild entsprechend dynamisch bewegen und angezeigt werden.
Vorzugsweise wird durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement ein Spiegelbild des Verkehrsbereichs erzeugt, welches in dem durch das Kamerasystem aufgenommenen Bild dargestellt wird, wenn das Verkehrsbereichs-Belegungserkennungs-Hilfselement in dem Bild aufgenommen wurde.
In einer vorteilhaften Ausführung wird ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement durch einen Deep-Learning-Prozess und/oder durch eine Hough-Transformation und/oder durch einen CNN (Convolutional Neural Networks)-Algorithmus in dem Bild erkannt. Gerade diese drei genannten Möglichkeiten eignen sich in besonders vorteilhafter Weise ein Verkehrsbereichs-Belegungserkennungs-Hilfselement in einem Bild zu erkennen. Da sich, anders als bei der Aufnahme eines statischen Verkehrszeichens in einem Bild ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement davon unterscheidet, dass eine individuelle und sich vielfältig spezifisch gestaltende bildhafte Darstellung einer Umgebungsszenerie erfolgt, ist gerade die Unterscheidung von dem in dem Bild aufgenommenen restlichen Umgebungsbereich erforderlich. Da herkömmliche, und durch behördliche Verfügung ganz eindeutig und unveränderbare Verkehrszeichen und somit relativ einfach in einem Bild erkannt werden können, ist dies gerade bei derartigen Szenerien des Umfelds, welcher der Verkehrsbereich darstellt, schwieriger. Da es in dem Zusammenhang somit keine eineindeutige und unveränderliche Darstellung einer Bildinformation eines Verkehrsbereichs-Belegungserkennungs-Hilfselements gibt, ist die sichere Erkennung des Hilfselements wichtig. Gerade die genannten Möglichkeiten und in dem Zusammenhang die entsprechenden Algorithmen ermöglichen dies sehr schnell und in besonders sicherer Art und Weise. In dem Zusammenhang ist es wichtig zu erkennen, dass quasi eine Umgebungsszenerie als Teilbildelement in einer größeren Umgebungsszenerie, wie es durch das Bild dann der Fall ist, dargestellt ist. Genau diese Grenze beziehungsweise im Übergang zwischen der Umgebungsszenerie, die durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement in dem Bild dargestellt wird und dem restlichen Umgebungsbereich, der durch das Kamerasystem erfasst wird und in dem Bild dargestellt ist, ist daher wichtig. Da die Umgebungsszenerie, die durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement dargestellt ist, jedoch eine andere, insbesondere perspektivisch andere ist, als die Perspektive, die durch das Kamerasystem in dem Bild vorgegeben ist und somit aus welcher Perspektive der durch das Kamerasystem aufgenommene Umgebungsbereich dargestellt ist, ist daher die Unterscheidung dieser unterschiedlichen bildhaften Umgebungsszenarien im Bild ermöglicht.
Insbesondere wird die grundsätzliche Erkennung eines Verkehrsbereichs-Belegungserkennungs-Hilfselements anhand seiner Geometrie und/oder Größe, insbesondere in Bezug zu anderen Elemente im Bild ermöglicht. Da ein Verkehrsbereichs-Belegungserkennungs-Hilfselement insbesondere mit üblichen bekannten Geometrien ausgebildet ist, ist dadurch auch das Erkennen erleichtert. Insbesondere weisen derartige Hilfselemente eine behördlich vorgegebene Geometrie und/oder Größe auf, so dass dadurch das Erkennen nochmals sicherer erfolgen kann. Die Unterscheidung von anderen Elementen, auch spiegelnden Elementen, im Bild ist dadurch erleichtert.
Vorzugsweise ist vorgesehen, dass die optischen Informationen des Verkehrsbereichs-Belegungserkennungs-Hilfselements dahingehend ausgewertet werden, ob sich im Verkehrsbereich zumindest ein statisches und/oder zumindest ein dynamisches Objekt befindet. Insbesondere wird die Auswertung dahingehend vollzogen, ob, wenn ein derartiges Objekt vorhanden ist, es in unmittelbar bevorstehender Zukunft Auswirkungen auf den weiteren vorgesehenen Fortbewegungsweg des Kraftfahrzeugs selbst hat.
Vorzugsweise wird vorgesehen, dass bei dem Vorhandensein eines dynamischen Objekts in dem Verkehrsbereich und/oder einer Bewegung des Kraftfahrzeugs selbst überprüft wird, ob sich dieses Objekt im Verkehrsbereich, welches durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement erfasst wurde, und das Kraftfahrzeug aufeinander zu bewegen. Diese Information ist dahingehend wichtig, um für das weitere geplante Fortbewegen des Kraftfahrzeugs eine diesbezügliche Berücksichtigung dann vorzunehmen. Es kann nämlich in dem Zusammenhang dann entschieden werden, ob das Kraftfahrzeug anhält oder im bereits angehaltenen Zustand länger verweilt oder seine aktuelle Geschwindigkeit reduziert. Wird erkannt, dass sich das Objekt im Verkehrsbereich wegbewegt oder für den geplanten weiteren Fortbewegungsweg des Kraftfahrzeugs nicht beeinträchtigend ist, wird es ebenfalls für die weitere geplante Fortbewegung des Kraftfahrzeugs berücksichtigt. Insbesondere kann zusätzlich oder anstatt dazu auch überprüft werden, ob bei dem Vorhandensein eines dynamischen Objekts im Verkehrsbereich und/oder einer Bewegung des Kraftfahrzeugs selbst ein Kreuzen des Bewegungswegs des Kraftfahrzeugs mit dem Bewegungsweg des Objekts auftritt, wenn sich dieses Kraftfahrzeug und das Objekt mit den aktuellen Bewegungswegen und somit auch den Bewegungsrichtungen weiter fortbewegen würden.
In vorteilhafter Weise wird dieses Überprüfen auch bereits dann durchgeführt, wenn ein Objekt in dem Verkehrsbereich durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement erfasst und durch dieses Hilfselement auch optisch dargestellt wird, und diese bildhafte Information in dem Bild auch erkannt und ausgewertet wurde und das Kamerasystem des Kraftfahrzeugs selbst dieses Objekt im Verkehrsbereich noch nicht erfasst hat. Insbesondere erfolgt dieses Überprüfen auch dann, wenn ein dynamisches Objekt gegebenenfalls diesen Verkehrsbereich, wie er mit dem Verkehrsbereichs-Belegungserkennungs-Hilfselement eingesehen werden kann, bereits wieder verlassen hat, jedoch von dem Kamerasystem des Kraftfahrzeugs immer noch nicht erfasst wurde. Gerade in Situationen, bei denen ein dem Kraftfahrzeug relativer naher Verkehrsbereich im Umgebungsbereich durch das Kamerasystem selbst, insbesondere gegebenenfalls auch durch einen Fahrzeugführer noch nicht eingesehen werden kann, wird eine derartige Überprüfung durchgeführt. Insbesondere wird dann eine derartige Überprüfung durchgeführt, und auch dann, wenn dieses Kamerasystem selbst das Objekt nicht erfassen kann. Vorzugsweise erfolgt diese Überprüfung auch unabhängig davon, ob das Kamerasystem das Objekt, wenn es sich in Richtung des Kraftfahrzeugs oder in Richtung eines den geplanten weiteren Fortbewegungsweg des Kraftfahrzeugs kreuzenden Bewegungsweg befindet, erfassen kann oder nicht.
Vorzugsweise wird bei dem Vorhandensein eines dynamischen Objekts in dem Verkehrsbereich und/oder einer Bewegung des Kraftfahrzeugs selbst ein Abstand zwischen dem Objekt und dem Kraftfahrzeug bestimmt, insbesondere auf Basis der bildhaften Informationen des Verkehrsbereichs-Belegungserkennungs-Hilfselements, wie sie in dem aufgenommenen Bild vorhanden sind und erkannt wurden. Auch hier wird in vorteilhafter Weise eine derartige Abstandsbestimmung und gegebenenfalls auch eine Bestimmung einer Abstandsänderung durchgeführt, wenn das Kamerasystem das Objekt im Verkehrsbereich noch nicht erfassen kann. Ebenso wird dies in vorteilhafter Weise durchgeführt, wenn das Kamerasystem das Objekt noch nicht erfasst hat, das Objekt jedoch bereits den Verkehrsbereich wieder verlassen hat.
Vorzugsweise wird vorgesehen, dass das Verkehrsbereichs-Belegungserkennungs-Hilfselement eine gekrümmte Darstellungsfläche für die bildhaften Informationen aufweist, wobei in dem Bild durch diese Krümmung der Darstellungsfläche eine verzerrte Darstellung der bildhaften Informationen auftritt und diese Krümmung erkannt wird und ausgewertet wird. Da somit für diese verzerrte Darstellung, die ursächlich durch die Oberflächenkrümmung der Darstellungsfläche auftritt und auch so durch das Kamerasystem aufgenommen wird, wird diese gekrümmte Bilddarstellung in dem Bild ebenfalls erkannt und ausgewertet.
Vorteilhafterweise wird diese in dem Bild verzerrte Darstellung in ein ebenes Darstellungsfeld umgewandelt. Die durch die Verzerrung auftretenden Verfälschungen, insbesondere im Hinblick auf die Größe und/oder Geometrie eines Objekts und/oder im Hinblick auf Position und/oder den Abstand zum Kraftfahrzeug wird dadurch eliminiert. Es ergibt sich dadurch eine genauere Information über das Objekt im Verkehrsbereich, sodass wiederum eine genauere Aussage relativ zum Kraftfahrzeug getroffen werden kann. Dadurch kann auch wiederum eine genauere Aussage über einen möglicherweise auftretenden sicherheitskritischen Verkehrszustand getroffen werden.
Durch das vorgeschlagene Verfahren ist es allgemein möglich, durch ein Kamerasystem nicht direkt, sondern über das Verkehrsbereichs-Belegungserkennungs-Hilfselement indirekt eine optische und somit bildhafte Information auf dem durch das Kamerasystem aufgenommenen Bild zu erhalten und diese Information wird auch erkannt und ausgewertet. In dem durch das Kamerasystem aufgenommenen Bild ist somit auch eine bildhafte Information über einen Verkehrsbereich im Umgebungsbereich enthalten, der durch das Kamerasystem selbst und direkt nicht eingesehen werden kann und somit auch nicht direkt erfasst werden kann, immer bezogen auf die aktuelle Position des Kamerasystems, die wiederum durch die aktuelle Position des Kraftfahrzeugs definiert ist.
Durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement wird ein Realbild des Verkehrsbereichs erzeugt, welches zum Zeitpunkt der Erzeugung des Bilds durch das Kamerasystem den aktuellen Belegungszustand des Verkehrsbereichs in einer Bildinformation zeigt. In dem Bild, das durch das Kamerasystem erzeugt wird, ist dann also ein Realbild enthalten, welches nicht durch das Kamerasystem selbst erzeugt wird, sondern durch dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement erzeugt wird. Indem das Kamerasystem jedoch bei der Bilderzeugung dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement direkt erfasst, da es im Erfassungsbereich des Kamerasystem angeordnet ist, wird somit auch dieses Realbild miterfasst, insbesondere obwohl das Kamerasystem diesen Verkehrsbereich selbst in seiner aktuellen Position zumindest nicht vollständig erfassen kann.
Üblicherweise wird ein im Umgebungsbereich aufgestellter Spiegel mit einer konvex gekrümmten Darstellungsfläche ausgebildet. Denn dadurch lässt sich ein größerer Verkehrsbereich durch den Spiegel in eine Richtung und an eine Position im Umgebungsbereich reflektieren beziehungsweise abbilden, von der aus dieser Verkehrsbereich nicht einsehbar ist. Eine derartige Krümmung der Darstellungsfläche hat daher den Vorteil einen möglichst großen uneinsehbaren Verkehrsbereich zu reflektieren und bildhaft darzustellen.
Aus dem erzeugten ebenen Darstellungsfeld wird eine Orientierung eines Objekts und/oder eine Größe eines Objekts in dem Verkehrsbereich in einer vorteilhaften Ausführungsform des Verfahrens bestimmt. Abhängig davon wird dann erkannt, ob ein Aufeinanderzubewegen des Objekts und des Kraftfahrzeugs erfolgt. Zusätzlich oder anstatt dazu wird dann auch ein Abstand zwischen dem Objekt und dem Kraftfahrzeug bestimmt. Abhängig von diesem Erkennen, ob ein Aufeinanderzubewegen erfolgt und/oder abhängig von einem spezifischen Abstand kann dann durch das System auf zukünftige Situationen geschlossen werden, die zwischen dem Objekt und dem Kraftfahrzeug auftreten können. Abhängig davon wird dann entschieden, wie das weitere Fortbewegungsverhalten des Kraftfahrzeugs ist.
In einer vorteilhaften Ausführung werden zumindest zwei separate Bilder des Kamerasystems aufgenommen und ausgewertet. Vorzugsweise wird eine Vielzahl von derartigen Bildern aufgenommen und ausgewertet. Gerade durch eine derartige Anzahl von zumindest zwei Bildern kann dann in vorteilhafter Weise auch eine dynamische Erkennung von Bewegungsabläufen, insbesondere eines Objekts in dem Verkehrsbereich und/oder eine Änderung eines Abstands zwischen einem Objekt und dem Verkehrsbereich und dem Kraftfahrzeug selbst bestimmt werden. In dem Zusammenhang kann zusätzlich oder anstatt dazu auch ein Abstand des Objekts zu einer Stelle im Umgebungsbereich bestimmt werden, an welcher sich das Kraftfahrzeug in unmittelbarer Zukunft befinden wird, wenn sich das Kraftfahrzeug fortbewegt. Auch diese Information kann genutzt werden, um einen möglichen sicherheitskritischen Verkehrszustand zwischen dem Objekt und dem Kraftfahrzeug vermeiden zu können.
Vorzugsweise werden aus den zumindest zwei Bildern, die durch das Kamerasystem aufgenommen werden, jeweils die Bildinformationen des Verkehrsbereichs-Belegungserkennungs-Hilfselements ausgewertet, wenn ein derartiges in den Bildern, vorzugsweise zumindest einigen der Vielzahl der Bilder des Kamerasystems, aufgenommen wurde. Aus diesen bildhaften Informationen werden dann jeweils ebene Darstellungsfelder erzeugt, sodass die bildhafte Information, wie sie durch das Hilfselement in den jeweiligen Bildern dargestellt wird, auch verbessert ausgewertet werden kann. Es wird dann aus diesen ebenen Darstellungsfeldern eine Bewegungsrichtung eines Objekts in dem Verkehrsbereich und/oder eine Geschwindigkeit eines Objekts in dem Verkehrsbereich bestimmt und abhängig davon bestimmt, ob ein Aufeinander zu bewegen des Objekts und des Kraftfahrzeugs erfolgt. Zusätzlich oder anstatt dazu kann dann auch wiederum ein Abstand und/oder eine Abstandsänderung zwischen dem Objekt und dem Kraftfahrzeug bestimmt werden.
Unter einem Aufeinander zu bewegen wird sowohl eine direkte Bewegung zueinander verstanden, als auch eine Bewegung hin zu einer Stelle im Umgebungsbereich, die bei einem Stillstand einer der beiden (Objekt, Kraftfahrzeug) nicht zu einer Kollision führt, an welcher der Stillstehende aber zukünftig sein wird, wenn er sich wieder fortbewegt.
Vorzugsweise wird die Größe eines Objekts in den Darstellungsfeldern verglichen und abhängig von dem Vergleich wird erkannt, ob eine Relativbewegung zwischen dem Objekt und dem Kraftfahrzeug erfolgt und/oder ob sich das Objekt und das Kraftfahrzeug aufeinander zu bewegen oder voneinander weg bewegen. So kann es vorgesehen sein, dass dann, wenn sich in zeitlich aufeinanderfolgenden Bildern des Kamerasystems die Größe eines Objekts, wie es durch die bildhafte Information des Verkehrsbereichs-Belegungserkennungs-Hilfselements bereitgestellt wird, vergrößert, erkannt wird, dass sich dann das Objekt dem Kraftfahrzeug nähert und/oder sich das Objekt einer Stelle im Umgebungsbereich nähert, die das Kraftfahrzeug zukünftig kreuzen wird oder überfahren wird.
Vorzugsweise wird durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement eine optische Information über den Verkehrsbereich erhalten, die abhängig von der Position des Kraftfahrzeugs in dem Umgebungsbereich durch das Kamerasystem in der aktuellen Position des Kraftfahrzeugs allenfalls nur teilweise erfasst werden könnte, insbesondere in der aktuellen Position des Kamerasystems nicht erfasst werden kann.
Insbesondere ist der Verkehrsbereich im Umgebungsbereich in einem Totwinkelbereich bezogen auf die aktuelle Position des Kraftfahrzeugs im Umgebungsbereich.
Verkehrsbereichs-Belegungserkennungs-Hilfselemente, wie sie oben dargelegt wurden, insbesondere in Form von Spiegeln, die im Umgebungsbereich aufgestellt sind, werden auch in unübersichtlichen Verkehrskreuzungen positioniert, um Verkehrsbereiche in eine einmündende Straße reflektieren beziehungsweise bildhaft darstellen zu können, aus welcher das Kraftfahrzeug in die Straße, in der sich der nicht einsehbare Bereich befindet, einbiegen kann.
Darüber hinaus ist es vorgesehen, dass derartige Verkehrsbereichs-Belegungserkennungs-Hilfselemente auch in Parkhäusern oder sonstigen Parkbereichen aufgestellt sind, um Kollisionen, beispielsweise in einem Parkhaus, vermeiden zu können und/oder uneinsichtige oder enge Parkbereiche durchfahren zu können und auf derartigen Parkbereichen auch einparken oder ausparken zu können.
In einer vorteilhaften Ausführung kann auch vorgesehen sein, dass an einen Fahrzeuginsassen im Kraftfahrzeug eine Warnung ausgegeben wird, die akustisch und/oder optisch sein kann, wenn sich aufgrund der ausgewerteten Informationen eine kritische Verkehrssituation für das Kraftfahrzeug ergeben könnte.
In vorteilhafter Weise wird der Bildbereich im Bild, in dem das Bild des Spiegels dargestellt wird, segmentiert. Es erfolgt in vorteilhafter Weise in dem Zusammenhang eine Aufteilung in einen Interessenbereich, der durch die bildhafte Darstellung des Verkehrsbereichs durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement gebildet wird, und in den restlichen Bildbereich des Bilds. Es wird der Interessensbereich vorzugsweise als Vordergrundbild genutzt und der restliche Bildbereich des Bilds als Hintergrundbild angesehen. Bei der Auswertung wird dann dieses Interessenfeld beziehungsweise diese vorzugsweise Interessenregion vorzugsweise dahingehend analysiert, ob sich darauf Verkehrsteilnehmer, wie ein Kraftfahrzeug, ein Rad, ein Fußgänger, die allesamt Objekte im allgemeinen Sinn darstellen, oder auch anderweitige Objekte, wie beispielsweise eine Mülltonne oder Pflanzen oder dergleichen befinden. Ebenso wird vorzugsweise eine Auswertung dahingehend vorgenommen, ob im Verkehrsbereich charakterisierende Elemente vorhanden sind. Dies können beispielsweise Fahrbahnbegrenzungen sein. Ebenso können derartige charakterisierende Elemente auch beispielsweise Begrenzungen von Parkbereichen sein.
Darüber hinaus kann es zusätzlich oder anstatt dazu vorgesehen sein, dass Informationen, wie sie in dem Bild enthalten und ausgewertet wurden und die durch das aufgenommene Verkehrsbereichs-Belegungserkennungs-Hilfselement optisch angezeigt werden, insbesondere in Form der Umfeldszenerie, die den Verkehrsbereich darstellt, dahingehend genutzt werden, um zu beurteilen, ob das Kraftfahrzeug, wenn es sich zukünftig in Richtung dieses Verkehrsbereichs bewegt, auch diesen Verkehrsbereich entsprechend befahren kann. Insbesondere trifft dies auch dann zu, wenn in diesen Verkehrsbereich beispielsweise das Kraftfahrzeug geparkt werden soll. Es kann daher in dem Zusammenhang bereits auch auf Basis dieser ausgewerteten Informationen eine Entscheidung getroffen werden, ob in diesen Bereich eingefahren werden kann, insbesondere geparkt werden kann, obwohl dieser bei der aktuellen Position des Kraftfahrzeugs mit dem Kamerasystem noch nicht direkt eingesehen werden kann und somit noch nicht direkt mit dem Kamerasystem selbst, insbesondere vollständig, erfasst werden kann.
Abhängig von der beurteilten Situation kann dann ein spezifisches Fahrmanöver des Kraftfahrzeugs erfolgen. In dem Zusammenhang kann beispielsweise ein weiteres Verweilen in der unbewegten Position erfolgen, und gegebenenfalls so lange, bis erkannt wurde, dass das Objekt, wenn es ein dynamisches Objekt ist, an dem Kraftfahrzeug vorbeigefahren ist. Zusätzlich oder anstatt dazu kann auch vorgesehen sein, dass beispielsweise eine Geschwindigkeit des Kraftfahrzeugs, wenn es sich aktuell fortbewegt, reduziert wird. In dem Zusammenhang kann somit dann auch ein definiert angepasster und dosierter Bremsvorgang des Kraftfahrzeugs erfolgen, insbesondere auch automatisch erfolgen.
Das Kamerasystem weist vorzugsweise zumindest eine Kamera auf, insbesondere eine Vielzahl von Kameras. Die Vielzahl derartiger realer Kameras ist so an dem Kraftfahrzeug angeordnet, dass durch die jeweilig erfassten Teilbereiche des Umgebungsbereichs ein Gesamtbild erzeugt werden kann, das insbesondere den Umgebungsbereich vollständig umlaufend um das Kraftfahrzeug erfasst beziehungsweise darstellt. In dem Zusammenhang kann das Gesamtbild als Realbild von oben und somit als sogenanntes Bild aus der Vogelperspektive sein. Es kann jedoch auch eine gekrümmte Bildebene sein, sodass das Gesamtbild als gekrümmtes Bild, insbesondere in Schalenform, dargestellt ist. In dem Zusammenhang ist es dann auch möglich, dass eine Perspektive, aus welcher dieses Gesamtbild beispielsweise auf einer Anzeigeeinheit des elektronischen Fahrzeugführungssystems dargestellt ist, die Perspektive einer dazu unterschiedlichen virtuellen Kamera ist.
Bei der Auswertung des durch das Kamerasystem aufgenommenen zumindest einen Bilds wird zunächst die Bearbeitung des Bilds vorzugsweise dahingehend vollzogen, dass Kamerastörungen eliminiert werden. Es wird dann eine Extraktion des insbesondere Spiegelbilds durchgeführt. Auch kann vorzugsweise vorgesehen sein, den Typ des Verkehrsbereichs-Belegungserkennungs-Hilfselements und somit in vorteilhafter Weise den Typ des Spiegels zu extrahieren. Insbesondere wird dann in einem nachfolgenden Prozessschritt ein Deep-Learning-Algorithmus und/oder eine Hough-Transformation und/oder ein CNN-Algorithmus durchgeführt, um die oben genannte Bildsegmentierung durchzuführen und in dem Zusammenhang das dargelegte Interessenfeld im Bild zu segmentieren. Insbesondere durch einen Deep-Learning-Algorithmus können Objektdetails bereitgestellt werden und eine Begrenzungsbox beziehungsweise ein Begrenzungsfeld in dem Bild bereitgestellt werden, mit dem das Verkehrsbereichs-Belegungserkennungs-Hilfselement sehr genau erkannt und segmentiert ist. Diese Details beziehungsweise Informationen werden dann genutzt, um dem elektronischen Fahrzeugführungssystem das automatische Manövrieren des Kraftfahrzeugs auf Basis dieser Informationen zu ermöglichen, insbesondere auf Basis praktisch eines elektronischen Blicks in einen bildhaft vorhandenen Spiegel.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt zum Ausführen eines Verfahrens gemäß dem oben genannten Aspekt und einer vorteilhaften Ausgestaltung davon, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt ist.
Darüber hinaus betrifft ein weiterer Aspekt der Erfindung ein Fahrzeugführungssystem für ein Kraftfahrzeug. Das elektronische Fahrzeugführungssystem weist zumindest eine Auswerteeinheit und vorzugsweise eine Vielzahl von realen Kameras auf. Das elektronische Fahrzeugführungssystem ist dazu ausgebildet, ein Verfahren gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausgestaltung auszuführen. Vorzugsweise weist das Fahrzeugführungssystem auch eine Anzeigeeinheit, beispielsweise in Form eines Bildschirms auf, auf welchem die von dem Kamerasystem aufgenommenen Bilder angezeigt werden können.
Ein weiterer unabhängiger Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrzeugführungssystem gemäß dem oben genannten Aspekt.
Mit möglichen Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines Kraftfahrzeugs mit einem Ausführungsbeispiel eines Anzeigesystems;
2 ein Beispiel eines Bilds, wie es durch ein Kamerasystem des Kraftfahrzeugs aufgenommen wurde;
3 ein weiteres Ausführungsbeispiel eines Bilds, wie es durch das Kamerasystem des Kraftfahrzeugs aufgenommen wurde;
4 eine schematische Darstellung eines Umgebungsbereichs des Kraftfahrzeugs, in dem ein Verkehrsbereich enthalten ist, der durch einen gegenständlichen Spiegel erfasst wird, wobei der Spiegel ein Verkehrsbereichs-Belegungserkennungs-Hilfselementdarstellt; und
5 eine Blockbilddarstellung eines Verfahrensablaufs zum Erfassen eines Umgebungsbereichs des Kraftfahrzeugs.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 weist im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4 auf. Weiterhin weist das Anzeigesystem 2 im Ausführungsbeispiel eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8 auf. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einer Front 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heck 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann.
Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, auf. Der weite Erfassungsbereich kann jeweils beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS - camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1 ausgebildet sein, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird.
Die realen Kameras 5, 6, 7, 8 können CMOS-Kamera (complementary metal-oxide semiconductor) oder CCD-Kameras (charge coupled device) oder auch andere Bilderfassungseinrichtungen sein, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen können. Die realen Kameras 5, 6, 7, 8 sind insbesondere Videokameras, welche kontinuierlich eine Bildsequenz von Einzelbildern bereitstellen. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echtzeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein.
Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD - liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann.
Durch die realen Kameras 5, 6, 7, 8 wird eine Vielzahl von zeitlich versetzten Realbildern, also zumindest zwei Realbilder, aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen.
Durch die hierbei beispielhaft vier realen Kameras 5 bis 8 ist ein Kamerasystem 14 des Kraftfahrzeugs 1 gebildet.
Das Kraftfahrzeug 1 weist ein elektronisches Fahrzeugführungssystem 15 auf. Das Fahrzeugführungssystem 15 ermöglicht, das Kraftfahrzeug 1 zumindest semiautonom, insbesondere vollständig autonom zu betreiben.
Das Anzeigesystem 2 und/oder das Kamerasystem 14 können Bestandteil des Fahrzeugführungssystems 15 sein.
Mit zumindest einer der realen Kameras 5 bis 8 wird zumindest ein Bild des Umgebungsbereichs 13 aufgenommen.
In 2 ist in einer beispielhaften und nicht einschränkend und abschließend zu verstehenden Darstellung der Umgebungsbereich 13 mit dem Kamerasystem 14 erfasst beziehungsweise aufgenommen.
In dem Bild 16 ist ein Verkehrsbeurteilungs-Hilfselement, welches hier spezifiziert ein Verkehrsbereichs-Belegungserkennungs-Hilfselement 17 ist, dargestellt, welches nachfolgend als Hilfselement 17 bezeichnet wird. Dies bedeutet, dass mit dem Kamerasystem 14 dieses gegenständliche und im Umgebungsbereich 13 vorhandene Hilfselement 17 angeordnet ist, insbesondere ortsfest aufgestellt ist. Es ist direkt mit dem Kamerasystem 14 erfasst und somit im Erfassungsbereich zumindest einer realen Kamera 5 bis 8. Dieses Hilfselement 17 ist im Ausführungsbeispiel ein im Umgebungsbereich 13 aufgestellter Spiegel. Dieser Spiegel weist eine im Ausführungsbeispiel gekrümmte Darstellungsfläche 18 auf. Die Darstellungsfläche 18 ist hier als beschichtete, reflektierende Oberfläche ausgebildet. Im Ausführungsbeispiel ist daher der Spiegel ein physikalisch reflektierender Spiegel und ist kein elektronischer Spiegel, könnte jedoch auch ein solcher sein.
Durch diesen Spiegel wird ein Verkehrsbereich im Umfeld des Kraftfahrzeugs 1 bildhaft dargestellt und somit als aktuelles Realbild dargestellt. Insbesondere ist der Spiegel derart aufgestellt, dass ein Verkehrsbereich 19 (4) durch Reflexion der Lichtstrahlen an der Darstellungsfläche 18 in eine Position beziehungsweise Stelle 20 (4) des Umgebungsbereichs 13 reflektiert wird, in welchem sich das Kraftfahrzeugs 1 und somit auch das Kamerasystem 14 befinden. Dadurch ist in dem Bild 16 nicht nur das Hilfselement 17 als solches selbst erfasst und zu erkennen, sondern auch der über die Darstellungsfläche 18 reflektierte Informationsgehalt. Dieser reflektierte Informationsgehalt stellt ein Umgebungsszenario 21 als Bildinformation dar, welches das Umgebungsszenario in dem Verkehrsbereich 19 ist. In dem Bild 16 sind somit verschiedene Umgebungsszenerien, die aus unterschiedlichen Perspektiven gebildet sind, gezeigt. Dies ist einerseits ein Umgebungsszenario 22, welches aus der Perspektive des Kamerasystems 14 den Umgebungsbereich 13 zeigt. Andererseits ist dies das Umgebungsszenario 21, welches durch dieses Spiegelbild eines Spiegels den Verkehrsbereich 19 darstellt. Insbesondere ist somit ermöglicht, dass an der Position 20 des Kraftfahrzeugs 1, an welcher insbesondere das Kamerasystem 14 den Verkehrsbereich 19 nicht oder nicht hinlänglich umfänglich erfassen kann, in dem von dem Kamerasystem 14 direkt aufgenommenen Bild 16 jedoch das Realbild des Verkehrsbereichs 19 enthalten ist. In dem Bild 16 ist somit auch eine bildhafte Information enthalten, die aufgrund der aktuellen Position des Kraftfahrzeugs 1, zu welchem Zeitpunkt das Kamerasystem 14 das Bild 16 aufnimmt, von dem Kamerasystem 14 noch nicht erfasst werden kann. Aufgrund der unterschiedlichen Perspektiven ist zwischen dem Hintergrundbereich des Bilds 16, in dem der Umgebungsbereich 13, wie er durch das Kamerasystem 14 direkt erfasst wird, und dem Umgebungsszenario 21, wie es durch den Spiegel reflektiert wird, ein Darstellungsbruch zu erkennen, da aufgrund der unterschiedlichen Perspektiven unterschiedliche Umgebungsszenarien dargestellt sind.
Bei einer Auswertung des Bilds 16 kann insbesondere auch dieser Bruch und somit der nicht kontinuierliche Übergang zwischen den Umgebungsszenarien 21, 22 erkannt werden. Auch kann ein derartiger Bruch ausgewertet werden, um grundsätzlich das Vorhandensein eines Hilfselements 17 in dem Bild 16 zu erkennen und dessen Größe und Geometrie zu erkennen. Ein derartiges Hilfselement 17 kann zusätzlich oder anstatt dazu dann auch dahingehend erkannt werden, dass in dem Bildfeld das Bild 16, in dem das Hilfselement 17 angeordnet ist, auch ein Umgebungsszenario dargestellt ist und nicht nur einzig ein herkömmliches Verkehrszeichen oder dergleichen. Indem insbesondere über die gesamte dargestellte Größe des Hilfselements 17 und somit über die gesamte Fläche dieses Hilfselements 17 in dem Bild 16 dann auch ein diesbezüglich vorzugsweise vollflächiges individuelles Umgebungsszenario 21 des Verkehrsbereichs 19 gezeigt ist, kann auch dieser spezifische Typ eines Hilfselements 17 erkannt werden und beispielsweise von einem herkömmlichen Verkehrszeichen oder dergleichen unterschieden werden. Auch ist die Geometrie und/oder die Größe, insbesondere im Verhältnis zu anderen Elemente im Bild eine Erkennungsmöglichkeit für das Hilfselement 17.
Es kann für die Auswertung, ob ein derartiges Verkehrsbereichs-Belegungserkennungs-Hilfselement in dem Bild 16 vorhanden ist, zusätzlich auch ein GPS-Signal ausgewertet werden. Dadurch wird die Erkennung noch genauer und eine Unterscheidung von anderweitig spiegelnden Elementen, wie Gebäudefassaden, kann gegebenenfalls verbessert erfolgen.
Wie in dem Beispiel in 2 zu erkennen ist, ist in dem Verkehrsbereich 19 eine Straße 23 gezeigt, die hier ohne Belegung mit Verkehrsteilnehmern und somit ohne Belegung mit Objekten ist. Diese wird dann auch durch Auswertung erkannt. In dem hier gezeigten Beispiel ist darüber hinaus ein Teilbereich 24 eines Kraftfahrzeugs gezeigt, welches sich jedoch nicht auf der Straße 23 befindet. Dieser Teilbereich 24 betrifft in dem gezeigten Ausführungsbeispiel einen Frontbereich 9 des Kraftfahrzeugs 1 selbst. Auch dies kann durch entsprechende Auswertung des Bilds 16 erkannt werden. Es kann damit auch erkannt werden, dass dieser Teilbereich 24 kein Teilbereich eines anderen Kraftfahrzeugs ist, welches dann eine Verkehrsbelegung darstellen würde.
Gemäß dem Beispiel in 2 ist die aktuelle Position des Kraftfahrzeugs 1 derart, dass der Frontbereich 9 von dem Spiegel reflektiert wird und in diesem Spiegelbild auftaucht.
Darüber hinaus ist zu erkennen, dass in dem Umgebungsszenario 21, wie es in dem Spiegelbild gezeigt ist, zusätzlich auch noch beispielsweise Bäume 25 zu erkennen sind.
Wird also beim Auswerten des Bilds 16 erkannt, dass auch ein Hilfselement 17 grundsätzlich mit abgebildet ist, wird dieses Hilfselements 17 bezüglich dargestellter Bildinformation analysiert, nämlich hier das dann vorhandene und erkannte Umfeldszenario 21 aus dem Verkehrsbereich 29, ausgewertet. Abhängig davon können diese Informationen dann dem Fahrzeugführungssystem 15 zur Verfügung gestellt werden und Fahrmanöver des Kraftfahrzeugs 1 abhängig von diesen ausgewerteten Informationen erfolgen.
In 3 ist ein weiteres Ausführungsbeispiel eines Bilds 16 gezeigt, wie es durch das Kamerasystem 1 aufgenommen ist. Auch hier ist ein Bild 16 gezeigt, in dem ein Hilfselement 17 im Erfassungsbereich des Kamerasystems 14 vorhanden ist und entsprechend aufgenommen wurde. Bei dieser Ausführung weist das reale Hilfselement 17 in seiner Scheibenform an einem Rahmen im oberen Bereich eine Blende 26 auf. Durch diese Blende 26 wird die Wahrnehmbarkeit des Spiegelbilds, wie es von der spiegelnden Oberfläche beziehungsweise der Darstellungsfläche 18 reflektiert wird, verbessert. Diese Blende 26 ist in dem Bild 16 aufgenommen und zu erkennen. Auch dies kann ein Element sein, durch welches das erkennende Hilfselement 17 charakterisiert beziehungsweise individualisiert ermöglicht ist.
In 4 ist in einer beispielhaften schematischen Darstellung der Umgebungsbereich 13 gezeigt. Es ist hier beispielhaft eine Straßenkreuzung gezeigt, bei welcher eine Straße 27, auf welcher sich das Kraftfahrzeug 1 gegenwärtig befindet, in beispielsweise die Straße 23 im Verkehrsbereich 19 mündet. Bei dieser beispielhaften Darstellung ist ein Objekt 28 in dem Verkehrsbereich 19 enthalten, insbesondere auf der Straße 23 positioniert. Dieses Objekt 28 kann ein weiteres Kraftfahrzeug, wie ein Personenkraftwagen, sein. Es kann jedoch auch ein Motorrad oder ein Fahrrad sein. Ebenso kann es ein Fußgänger sein. Dieser kann beispielsweise auch auf einem Gehweg sein.
Beispielhaft ist auch ein weiteres Objekt 29 in 4 gezeigt, welches in einem weiteren Verkehrsbereich 30 angeordnet sein kann. Dieser weitere Verkehrsbereich 30 ist gemäß der Darstellung der aktuellen Stelle 20 ebenfalls durch das Kamerasystem 14 nicht einsehbar.
In 4 ist auch die Darstellungsfläche 18 gezeigt, die in einem Ausführungsbeispiel auch konvex gekrümmt sein kann.
Das Hilfselement 17 ist so positioniert, dass das Spiegelbild von den Verkehrsbereichen 19 und/oder 30 an der Stelle 20 wahrgenommen werden kann, obwohl insbesondere dieser Verkehrsbereich 19 und/oder 30 insbesondere an der Stelle 20 durch einen Fahrzeuginsassen und/oder das Kamerasystem 14 noch nicht eingesehen und somit erfasst werden kann.
Allgemein und unabhängig vom Ausführungsbeispiel ist eine Position 20 dadurch charakterisiert, dass an dieser Position die Information über den Verkehrsbereich 19 und/oder 30 für die Entscheidung, wie und somit auch wann sich das Kraftfahrzeug 1 weiter fortbewegt, wichtig ist, um eine mögliche kritische Verkehrssituation, insbesondere eine Kollision, zu vermeiden.
In 4 ist in einer schematischen Darstellung ein Ablauf der Bilderfassung und Bildauswertung, wie es beispielhaft durch die Auswerteeinheit 3 erfolgen kann, dargestellt. Die Auswerteeinheit 3 kann auch Bestandteil des Kamerasystems 14 sein. Die Auswerteeinheit 3 kann auch Bestandteil des Fahrzeugführungssystems 15 sein.
In einem Schritt S1 wird durch das Kamerasystem 1 zumindest ein Bild, vorzugsweise eine Vielzahl von Bildern, insbesondere ein Video, aufgenommen. In einem Schritt S2 wird dieses zumindest eine Bild, insbesondere das Video ausgewertet. Zur Detektion eines Hilfselements 17 in dem Bild, insbesondere im Video, und somit in einer Vielzahl von Bildern, werden diese Spiegeldetektion und die Detektion eines Typs dieses Hilfselements 17 durchgeführt. In einem Vorprozess wird dabei die Segmentierung des Bilds 16 vorgenommen. Diese Segmentierung erfolgt dahingehend, dass die Bildbereiche in einen Vordergrund und einen Hintergrund aufgeteilt werden. Insbesondere wird der Hintergrund dabei durch den Umgebungsbereich 13 gebildet, wie er in dem Bild 16 gezeigt ist und durch das Kamerasystem 14 direkt aufgenommen wurde. Der Vordergrund des Bilds 16 wird durch das Hilfselement 17 gebildet und das von diesem Hilfselement 17 in dem Bild 16 gezeigte reflektierte Bild gebildet. Insbesondere wird als Vordergrund des Bilds 16 derjenige Bereich segmentiert, der das Spiegelbild des Hilfselements 17 darstellt.
Eine Detektion eines Hilfselements 17 in dem Bild kann vorzugsweise durch eine Hough-Transformation, insbesondere Hough-Kreise oder Hough-Ellipsen erfolgen oder durch einen Deep-Learning-Algorithmus erfolgen. Ebenso ist eine Segmentierung durch einen CNN-Algorithmus möglich. Die Art beziehungsweise der Typ dieses Hilfselements 17 wird durch die Form dieses Hilfselements 17 charakterisiert, wobei in dem Zusammenhang somit dann auch der Typ erkannt wird. Die Erkennung dieses Hilfselements 17 und/oder die Erkennung des Typs dieses Hilfselements 17, wie es oben erläutert wurde, erfolgt in einem Schritt S3.
In einem weiteren Schritt S4 wird dann eine Extraktion eines Interessenfelds durchgeführt. Das Interessenfeld betrifft genau denjenigen Bildbereich, der durch das Spiegelbild des Hilfselements 17 gebildet wird. Insbesondere wird dazu die Bildbearbeitung dahingehend vorgenommen, dass der Hintergrund ausgeblendet wird.
Darüber hinaus wird in einer vorteilhaften Ausführung dann, wenn der Vordergrund des Bilds, wie er oben definiert wurde, als verzerrt erkannt wird, eine Entzerrung vorgenommen. Eine derartige verzerrte Bilddarstellung ist insbesondere dann gegeben, wenn die Darstellungsfläche 18 gekrümmt ist, insbesondere konvex gekrümmt ist, wie dies oben erläutert wurde.
In einem diesbezüglich vorteilhaften Schritt S5 wird dann eine derartige Verzerrung beziehungsweise Verwindung dieses extrahierten Interessenfelds durchgeführt und ein geradliniger Ansichtsbereich beziehungsweise ein ebenes Darstellungsfeld erzeugt. Dieses Interessenfeld ist dann als geradliniger Ansichtsbereich bereitgestellt. Vorzugsweise wird eine derartige Entzerrung beziehungsweise Ebnung abhängig von dem erkannten Typ des Hilfselements 17 durchgeführt.
Diese Erzeugung eines geradlinigen Ansichtsbereichs erfolgt gemäß dem Schritt S5.
In einem dann weiteren Schritt S6 wird insbesondere aus dem Interessenfeld, insbesondere einem daraus erzeugten ebenen Darstellungsfeld eine Analyse durchgeführt, ob in dem Verkehrsbereich 19 Objekte vorhanden sind. Vorzugsweise erfolgt dies durch ein trainiertes CNN-Modell beziehungsweise einen trainierten CNN-Algorithmus.
In dem Zusammenhang kann neben der grundsätzliche Detektion eines Objekts vorzugsweise auch die Art des Objekts und/oder die Größe des Objekts und/oder die Orientierung des Objekts und/oder eine Bewegungsrichtung des Objekts und/oder eine Geschwindigkeit des Objekts und/oder ein Abstand des Objekts zum Kraftfahrzeug 1 und/oder eine Abstandsänderung zu dem Kraftfahrzeug 1 und/oder ein Abstand zu einer Stelle 31 (4), welcher sich das Kraftfahrzeug 1 nähert oder zukünftig nähern wird, und/oder eine Abstandsänderung des Objekts zu dieser Stelle 31 bestimmt werden. Es können somit sowohl statische Informationen als auch dynamische Informationen ausgewertet werden. Bei dynamischen Informationen wird vorzugsweise eine Vielzahl von Bildern und somit werden zumindest zwei Bildern diesbezüglich ausgewertet.
Darüber hinaus können zusätzlich auch Informationen über das Kraftfahrzeug 1 selbst berücksichtigt werden. Dies kann beispielsweise die Position und/oder die Orientierung des Kraftfahrzeugs 1 in dem Umgebungsbereich 13 sein. Ebenso kann auch die Geschwindigkeit und/oder die Bewegungsrichtung des Kraftfahrzeugs 1 berücksichtigt werden.
Informationen über das Kraftfahrzeug 1 können durch Sensoren des Kraftfahrzeugs 1 ermittelt und bereitgestellt werden. Zusätzlich oder anstatt dazu können auch Informationen, beispielsweise durch GPS (global positioning system)-Informationen zum Kraftfahrzeug 1 berücksichtigt werden. Auch können zusätzlich GPS-Informationen von Objekten im Verkehrsbereich 19 und/oder 30 und/oder GPS-Informationen des Hilfselements 17 berücksichtigt werden.
Bei der Auswertung dieses Interessenfelds und somit des bildhaften Verkehrsbereichs 19 und/oder 30 kann in einer Situation das Kraftfahrzeug 1 angehalten sein und sich somit im Stillstand befinden. Bei einer derartigen Situation kann dann darauf geschlossen werden, dass ein mögliches Objekt in dem Verkehrsbereich 19 und/oder 30 ein statisches Objekt ist, wenn sich die Position und die Größe in aufeinanderfolgenden Bildern 16 nicht ändert. Wird andererseits festgestellt, dass sich die Größe des Objekts vergrößert, insbesondere größer einem Schwellwert wird, dann kann darauf geschlossen werden, dass sich das Objekt im Verkehrsbereich 19 und/oder 30 bewegt und zwar in Richtung des Kraftfahrzeugs 1 beziehungsweise in Richtung der Stelle 31 bewegt, wenn ein Szenario, wie dies in 4 dargestellt ist, zugrundegelegt wird und somit ein Kreuzungsbereich zugrundegelegt wird.
Der in 4 dargestellte Kreuzungsbereich kann jedoch anderweitig auch beispielsweise ein Parkbereich sein. Bei einer derartigen Ausgestaltung würde dann erkannt werden, dass sich ein Objekt in diesem Parkbereich bewegt.
Ist bei einer dazu weiteren unterschiedlichen Situation festgestellt, dass sich die Größe eines Objekts im Verkehrsbereich 19 und/oder 30 in aufeinanderfolgenden Bildern, insbesondere einem Video, verkleinert und somit kleiner einem Schwellwert wird, kann daraus geschlossen werden, dass sich das Objekt bewegt und zwar von dem Kraftfahrzeug 1 entfernt, insbesondere sich von der Stelle 31 entfernt.
Ebenso ist es jedoch auch möglich, dass sich das Kraftfahrzeug 1 selbst bewegt, insbesondere in Richtung der Stelle 31 bewegt. Bei einer derartigen Situation ist vorzugsweise vorgesehen, dass die Größe des oben angesprochenen Interessenfelds, wie es aus dem Bild 16 insbesondere extrahiert wurde, gemessen wird und ein gegebenenfalls vorhandenes Objekt in dem Interessenfeld ebenfalls bezüglich der Größe gemessen wird. Dies wird zumindest einmal wiederholt und somit in zumindest einem weiteren Bild vollzogen. Vorzugsweise wird dies mehrfach wiederholt, insbesondere in kontinuierlichen Zeitintervallen.
Wird dann festgestellt, dass sich eine Veränderung der Größe des Objekts proportional zur Veränderung der Größe des Interessenfelds in dem Bild 16 verhält, kann wiederum darauf geschlossen werden, dass das Objekt ein statisches Objekt ist.
Wird andererseits festgestellt, dass die Änderung der Größe des Objekts größer ist, als die Änderung der Größe des Interessenfelds, so kann daraus erkannt werden, dass sich das Objekt in dem Verkehrsbereich 19 und/oder 30 bewegt und zwar hin zu dem Kraftfahrzeug 1, insbesondere hin zu der Stelle 31 bewegt.
Wird andererseits erkannt, dass sich die Größe des Objekts in den Bildern 16 geringer ändert, als sich die Größe des Interessenfelds in den Bildern 16 ändert, kann erkannt werden, dass sich das Objekt in dem Verkehrsbereich 19 und/oder 30 von dem Kraftfahrzeug 1, insbesondere der Stelle 31 wegbewegt.
In vorteilhafter Weise wird in einem Schritt S7 eine Lokalisierung eines Objekts in dem Verkehrsbereich 19 und/oder 30 durchgeführt wird, insbesondere basierend auf den identifizierten reflektierten Geometrien, wie sie durch das vorzugsweise erzeugte Spiegelbild des Hilfselements 17 generiert wurden und in dem Bild 16 erfasst wurden. Dazu wird insbesondere ein in dem Bild 16 in dem Interessenfeld identifiziertes Objekt in der realen Umgebung lokalisiert, wobei dieses vorzugsweise basierend auf dem bekannten Typ des Hilfselements 17 und insbesondere auch aus Basis der durch das Spiegelbild reflektierten Geometrie erfolgt.
Insbesondere können dazu gemäß einem Schritt S8 auch Odometrieinformationen des Kraftfahrzeugs 1 berücksichtigt werden.
In einem vorteilhaften weiteren Schritt S9 wird eine Zunahme eines Freiraums und einer Objektdetektion in einer regulären Karte durchgeführt. Diese Zunahme wird auch in der Karte der realen Welt durchgeführt, wobei dies insbesondere basierend auf den identifizierten Objekten des Spiegelbilds im Bild 16 und dem Freiraum im Umgebungsbereich 13, insbesondere auch in dem als Totwinkelbereich vorliegenden Verkehrsbereich 19 und/oder 30 durchgeführt wird.
Es kann in einer vorteilhaften Ausführung auch ein Abstand zwischen dem Kraftfahrzeug 1 und insbesondere dem Verkehrsbereichs-Belegungserkennungs-Hilfselement 17 bestimmt werden. Beispielsweise kann dies durch die Formel d = m/(1-(a/b)) erfolgen. Dabei ist dieser Abstand d somit abhängig von der Distanz m. Diese Distanz m bezeichnet den Weg, der in Richtung des Hilfselements 17 zwischen zwei Positionen x, y beziehungsweise Stellen auf diesem Weg zurückgelegt wurde. Darüber hinaus ist diese Distanz d von der Höhe des Spiegelbilds abhängig, wenn das Kraftfahrzeug 1 an der Position x auf dem Weg zu dem Verkehrsbereichs-Belegungserkennungs-Hilfselement 17 sich befindet. Die Position x ist in dem Zusammenhang auf dem Weg hin zu diesem Hilfselement 17 die dazu weiter beabstandete Position.
Darüber hinaus ist die Distanz d auch von der Höhe b abhängig, welche die Höhe des Spiegelbilds darstellt, wenn sich das Kraftfahrzeug 1 auf dem Weg hin zum Hilfselement 17 an der zweiten Position y befindet. Diese zweite Position y ist daher die dem Hilfselement 17 näher liegende Position. Somit ist also der Weg bzw. die Distanz m die Strecke zwischen den Positionen x und y.
Es ist nicht nur dadurch auch ermöglicht, eine Vielzahl von Bildern, insbesondere auch ein Video, welches durch das Kamerasystem 14 aufgenommen wurde, diesbezüglich auszuwerten, wenn sich das Kraftfahrzeug 1 selbst bewegt. Insbesondere erfolgt dies sehr präzise und schnell durch ein CNN-Modell und somit einen CNN-Algorithmus. Durch einen derartigen CNN-Algorithmus wird sehr schnell eine Vielzahl von Bildern in einem Video realisiert und eine präzise Auswertung und Extraktion von Merkmalen ist dadurch ermöglicht. Auch hier kann das Video vorprozessiert werden, insbesondere eine Neugestaltung eines Bildfelds durchgeführt werden. Diese Daten der Vorprozessierung können dann für die Bildsegmentierung zugrundegelegt werden und somit einem Bildsegmentierungsmodul des Systems bereitgestellt werden, um dann eine Segmentierung des Bilds oder des Bildfelds in einen Vordergrundbereich und einen Hintergrundbereich, wie es bereits oben erläutert wurde, durchzuführen. Das so segmentierte Bild, insbesondere das Interessenfeld, welches den Vordergrund darstellt, kann dann an ein trainiertes CNN-Modell übergeben werden, mit welchem dann eine Merkmalsextraktion erfolgen kann und somit auch Objekte und insbesondere auch Objekttypen erkannt werden können. Insbesondere kann somit dann auch die Begrenzungsboxerkennung des Verkehrsbereichs-Belegungserkennungs-Hilfselements 17 definiert werden. Diese identifizierten Objekte aus diesem Interessenfeld, welches das extrahierte Spiegelbild des Hilfselements 17 ist, können dann auch durch einen Deep-Learning-Algorithmus in der realen Welt lokalisiert werden. Dies erfolgt vorzugsweise basierend auf den Informationen über den Typ des Hilfselements 17 und/oder der reflektierten Geometrie. Zum Schluss wird dann eine Augmentation auf der Karte der realen Welt basierend auf den identifizierten Objekten aus dem Spiegelbild und dem Freiraum im Umgebungsbereich 13 und somit in der beispielhaften Ausführung im Kreuzungsbereich und/oder im Totwinkelbereich durchgeführt, um durch das Fahrzeugführungssystem 15 das zumindest semiautonome, insbesondere vollautonome Manövrieren des Kraftfahrzeugs 1 durchzuführen. Dieses automatische Manövrieren des Kraftfahrzeugs 1 durch das Fahrzeugführungssystem 15 erfolgt somit quasi derart, als würde dieses Fahrzeugführungssystem 15 selbst in das Spiegelbild des Hilfselements 17 blicken.

Claims

Verfahren zum Erfassen eine Umgebungsbereichs (13) eines Kraftfahrzeugs (1), bei welchem mit einem Kamerasystem (14) des Kraftfahrzeugs (1) der Umgebungsbereich (13) erfasst wird und durch das Kamerasystem (14) zumindest ein Bild (16) des Umgebungsbereichs (13) erzeugt wird, wobei das Bild (16) dahingehend ausgewertet wird, ob ein spezifisches, gegenständliches Verkehrsbeurteilungs-Hilfselement (17), welches im Umgebungsbereich (13) zur Beurteilung eines Verkehrsbereichs (19, 30) angeordnet ist, auf dem Bild (16) enthalten ist, dadurch gekennzeichnet, dass durch eine Auswerteeinheit (3) in dem Bild (16) nach einem in dem Umgebungsbereich (13) befindlichen gegenständlichen Verkehrsbereichs-Belegungserkennungs-Hilfselement (17), mit welchem eine Bildinformation des Verkehrsbereich (19, 30) erzeugt wird, als Verkehrsbeurteilungs-Hilfselement gesucht wird, und wenn ein Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) in dem Bild (16) erkannt wird, wird dieses Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) bezüglich von Informationen zur Belegung des Verkehrsbereichs (19, 30) mit Objekten (28, 29) ausgewertet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Bild (16) nach einem im Umgebungsbereich (13) aufgestellten Spiegel als Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) gesucht wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) direkt eine aktuelle Bildinformation des Verkehrsbereichs (19, 30) selbst erzeugt wird, die einen aktuellen statischen oder dynamischen Belegungszustand des Verkehrsbereichs (19, 30) charakterisiert.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) ein Spiegelbild des Verkehrsbereichs (19, 30) erzeugt wird, welches in dem Bild (16) dargestellt wird, wenn das Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) in dem Bild (16) aufgenommen ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) durch einen Deep-Learning-Prozess und/oder durch eine Hough-Transformation und/oder durch einen CNN - Algorithmus in dem Bild (16) erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildinformationen des Verkehrsbereichs-Belegungserkennungs-Hilfselements (17) dahingehend ausgewertet werden, ob sich im Verkehrsbereich (19, 30) zumindest ein statisches und/oder zumindest ein dynamisches Objekt (28, 29) befindet.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei dem Vorhandensein eines dynamischen Objekts (28, 29) und/oder einer Bewegung des Kraftfahrzeugs (1) überprüft wird, ob sich das Objekt (28, 29) und das Kraftfahrzeug (1) auf einander zu bewegen und/oder in eine den Bewegungsweg des Kraftfahrzeugs (1) kreuzende Richtung bewegt.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass bei dem Vorhandensein eines dynamischen Objekts (28, 29) und/oder einer Bewegung des Kraftfahrzeugs (1) ein Abstand zwischen dem Objekt (28, 29) und dem Kraftfahrzeug (1) bestimmt wird und/oder ein Abstand (d) zwischen dem Kraftfahrzeug (1) und dem Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verkehrsbereichs-Belegungserkennungs-Hilfselements (17) eine gekrümmte Darstellungsfläche (18) für die Bildinformation aufweist, wobei die in dem Bild (16) durch diese Krümmung der Darstellungsfläche (18) verzerrte Darstellung der Bildinformation ausgewertet wird, insbesondere diese verzerrte Darstellung in ein ebenes Darstellungsfeld umgewandelt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass aus dem ebenen Darstellungsfeld eine Orientierung eines Objekts (28, 29) und/oder eine Größe eines Objekts (28, 29) in dem Verkehrsbereich (19, 30) bestimmt wird und abhängig davon ein aufeinander zu bewegen des Objekts (28, 29) und des Kraftfahrzeugs (1) und/oder ein Abstand zwischen dem Objekt (28, 29) und dem Kraftfahrzeug (1) und/oder ein Abstand zwischen dem Objekt (28, 29) und einer zukünftig von dem Kraftfahrzeug (1) befahrenen Stelle (31) im Umgebungsbereich (13) bestimmt wird.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass zumindest zwei Bilder des Kamerasystems (1) ausgewertet werden und aus den ebenen Darstellungsfeldern eine Bewegungsrichtung eines Objekts (28, 29) und/oder eine Geschwindigkeit eines Objekts (28, 29) in dem Verkehrsbereich (19, 30) bestimmt wird und abhängig davon ein Aufeinanderzubewegen des Objekts (28, 29) und des Kraftfahrzeugs (1) und/oder ein Abstand zwischen dem Objekt und dem Kraftfahrzeug (1) und/oder ein Abstand zwischen dem Objekt (28, 29) und einer zukünftig von dem Kraftfahrzeug (1) befahrenen Stelle (31) im Umgebungsbereich (13) bestimmt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Größen eines Objekts (28, 29) in den Darstellungsfeldern verglichen werden und abhängig von dem Vergleich erkannt wird, ob eine Relativbewegung zwischen dem Objekt (28, 29) und dem Kraftfahrzeug (1) erfolgt und/oder abhängig von dem Vergleich erkannt wird, ob sich das Objekt (28, 29) und das Kraftfahrzeug (1) aufeinander zu bewegen oder voneinander weg bewegen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das Verkehrsbereichs-Belegungserkennungs-Hilfselement (17) Bildinformationen über den Verkehrsbereich (19) erhalten werden, die abhängig von der aktuellen Position des Kraftfahrzeugs (1) im Umgebungsbereich (13) durch das Kamerasystem (14) allenfalls nur teilweise erfasst werden können.
Computerprogrammprodukt, zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt ist.
Fahrzeugführungssystem (2) für ein Kraftfahrzeug (1), mit einer Auswerteeinheit (3) und einer Mehrzahl von realen Kameras (5, 6, 7, 8), welches dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.