DE102017204836A1

DE102017204836A1 - Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges

Info

Publication number: DE102017204836A1
Application number: DE102017204836.0A
Authority: DE
Inventors: Hans-Friedrich Gasser
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2017-03-22
Filing date: 2017-03-22
Publication date: 2018-09-27

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen von Objekten (2) in einer Umgebung eines Fahrzeuges (1), aufweisend die Schritte: Aufnehmen (S1) von Bildern einer Umgebung des Fahrzeuges (1) mittels wenigstens einer an dem Fahrzeug (1) angeordneten Kamera (12); Auswerten (S2) von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1). Um hierbei die Qualität der Erfassung zu verbessern, ist vorgesehen, dass bei dem Aufnehmen (S1) der Bilder mittels einer Ansteuerung wenigstens einer an dem Fahrzeug (1) angeordneten Beleuchtungseinrichtung (18-1, 18-2) nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass bei dem Auswerten (S2) der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird. Ferner schlägt die Erfindung eine entsprechende Vorrichtung (10), ein mit einer derartigen Vorrichtung (10) ausgestattetes Fahrzeug (1) und ein Computerprogrammprodukt zur Durchführung des Verfahrens vor.

Description

Die vorliegende Erfindung betrifft ein Erfassen von Objekten in einer Umgebung eines Fahrzeuges, insbesondere ein Verfahren nach dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung nach dem Oberbegriff des Anspruchs 6. Ferner betrifft die Erfindung ein mit einer derartigen Vorrichtung ausgestattetes Fahrzeug und ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens.
Bei derartigen bekannten Verfahren und Vorrichtungen zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges werden mittels einer an einem Fahrzeug angeordneten Kamera während der Bewegung des Fahrzeuges Bilder der Umgebung des Fahrzeuges aufgenommen und eine Bildinformation der aufgenommenen Bilder ausgewertet, um Objekte in der Umgebung des Fahrzeuges zu erkennen bzw. zu identifizieren und um die jeweiligen Positionen der Objekte relativ zum Fahrzeug zu bestimmen. Bei Straßenfahrzeugen können als zu erfassende Objekte z. B. andere Fahrzeuge, Fußgänger, Fahrbahnbegrenzungen (z. B. Leitplanken), Verkehrszeichen etc. von Interesse sein.
Eine hinreichend zuverlässige und genaue Bestimmung der Position von Objekten in einer Umgebung eines Fahrzeuges spielt beispielsweise eine besonders große Rolle bei Systemen, die eine vollautonome oder zumindest teilautonome Bewegung des betreffenden Fahrzeuges bewerkstelligen sollen.
In diesem Zusammenhang werden z. B. für Kraftfahrzeuge wie PKW oder LKW derzeit größere Anstrengungen unternommen, um in dieser kameragestützten Weise während der Fahrt des Fahrzeuges die Fahrzeugumgebung insbesondere vor dem Fahrzeug mit hoher Genauigkeit dreidimensional zu erfassen, d. h. möglichst viele Objekte zu identifizieren und deren Position relativ zum Fahrzeug zu bestimmen, um damit einen voll- oder teilautonomen Fahrzeugbetrieb und/oder andere Komfort- und/oder Sicherheitsfunktionalitäten zu realisieren.
Für eine Verbesserung der Qualität der Objekterfassung basierend auf der Auswertung von kameragestützt gewonnener Bildinformation ist es von Vorteil, qualitativ hochwertige Kameras und/oder mehrere Kameras (z. B. eine Stereokamera) einzusetzen, oder auch z. B. zu versuchen, zur Erfassung von Objekten und Bestimmung der jeweiligen Positionen verwendete Softwarealgorithmen zu verbessern.
Es ist eine Aufgabe der vorliegenden Erfindung, einen neuartigen Weg aufzuzeigen, um die Qualität einer Erfassung von Objekten in einer Umgebung eines Fahrzeuges der eingangs genannten Art zu verbessern.
Gemäß eines ersten Aspekts der Erfindung wird diese Aufgabe bei einem Verfahren der eingangs genannten Art dadurch gelöst, dass bei dem Aufnehmen der Bilder mittels einer Ansteuerung wenigstens einer an dem Fahrzeug angeordneten Beleuchtungseinrichtung nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass bei dem Auswerten der Bildinformation die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird.
Die Grundidee der Erfindung besteht somit darin, für ein und dieselbe Fahrzeugumgebung zeitlich nacheinander (bevorzugt mit sehr kurzem zeitlichen Abstand) aktiv für wenigstens zwei (oder mehr) voneinander verschiedene Beleuchtungssituationen zu sorgen und damit wenigstens zwei Bilder der Fahrzeugumgebung mit voneinander verschiedener „Objektausleuchtung“ aufzunehmen, um damit die Aussagekraft der Bildinformation zu vergrößern. Der erfindungsgemäß erzielbare Informationsgewinn ist insofern besonders groß, als beim Auswerten der Bildinformation die jeweilige Bildausleuchtung bzw. Beleuchtungssituation berücksichtigt wird.
Hierzu ein Beispiel: Angenommen ein mittels einer am Fahrzeug angeordneten und nach vorne gerichteten Kamera (Frontkamera des Fahrzeuges) unter diffuser Tageslichtbeleuchtung aufgenommenes erstes Bild zeigt einen vor dem Fahrzeug befindlichen Fußgänger, der z. B. beim Auswerten der Bildinformation dieses Bildes mittels eines auf Mustererkennung basierenden Softwarealgorithmus oder dergleichen als solcher erkannt wurde. Da die reale Größe des Fußgängers unbekannt ist, ist eine Bestimmung der Position des Fußgängers relativ zum Fahrzeug, insbesondere des Abstands zum Fahrzeug mit Unsicherheit behaftet. Wenn jedoch ein zweites Bild bei zusätzlich eingeschalteter Beleuchtungseinrichtung des Fahrzeuges, z. B. eines Frontscheinwerfers, aufgenommen wird, so erzeugt oder verändert dies z. B. einen Schatten des betreffenden Objekts, hier also des Fußgängers, im Vergleich zum ersten Bild.
Bei Bekanntheit der Eigenschaften der verwendeten Kamera (s) und der verwendeten Beleuchtungseinrichtung(en), insbesondere Bekanntheit von deren Anordnungsstellen am Fahrzeug und deren Orientierungen bezüglich des Fahrzeuges, ermöglicht ein Auswerten der Bildinformation unter Berücksichtigung des (beleuchtungsabhängigen) Schattenwurfs des Objekts vorteilhaft eine genauere Bestimmung der Position des Objekts.
Erfindungsgemäß werden nacheinander verschiedene Beleuchtungssituationen realisiert und damit nacheinander Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen. Hierbei kann vorgesehen sein, dass die Beleuchtung von Bild zu Bild verändert wird. Dies ist jedoch keineswegs zwingend. Vielmehr ist es z. B. auch möglich, in einer bestimmten Beleuchtungssituation mehr als ein Bild aufzunehmen und erst dann die Beleuchtung zu verändern.
Selbst wenn zur Veränderung der Beleuchtung einzelne Beleuchtungseinrichtungen einfach eingeschaltet und ausgeschaltet werden, so müssen diese Schaltvorgänge keineswegs zwingend abrupt erfolgen. Vielmehr sind auch sanfte Übergänge oder insbesondere im Wesentlichen sinusförmige Variationen der einzelnen Lichtintensitäten denkbar.
In einer Ausführungsform des erfindungsgemäßen Verfahrens wird als die wenigstens eine Kamera wenigstens eine Frontkamera des Fahrzeuges verwendet.
Die Frontkamera kann z. B. im Wesentlichen auf einer Längsmittelinie des Fahrzeuges liegend angeordnet und z. B. exakt in Fahrzeuglängsrichtung (Fahrtrichtung) nach vorne orientiert sein.
In einer Ausführungsform werden wenigstens zwei Kameras verwendet, z. B. umfassend wenigstens zwei Frontkameras, die z. B. im Wesentlichen symmetrisch zu einer vertikalen Längsmittelebene des Fahrzeuges (also links und rechts von einer Fahrzeuglängsmittellinie) angeordnet sein können.
Auch bei einer derartigen Mehrzahl von Frontkameras können die einzelnen Kameras z. B. in Fahrzeuglängsrichtung orientiert sein. Alternativ können andere Orientierungen und insbesondere zueinander nicht parallele Orientierungen der Kameras vorgesehen sein.
Alternativ oder zusätzlich zu einer oder mehreren Frontkameras kommen auch eine oder mehrere nach hinten gerichtete Kameras, also Heckkameras und/oder eine oder mehrere schräg oder seitwärts orientierte Kameras in Betracht.
Bei jeder Kamera kann das Aufnehmen von Bildern in einem sichtbaren Spektralbereich vorgesehen sein. Alternativ oder zusätzlich kann das Aufnehmen von Bildern in einem unsichtbaren Spektralbereich, insbesondere z. B. im Infrarotbereich vorgesehen sein, sei es mittels derselben Kamera(s) oder mittels einer oder mehrerer hierfür zusätzlich am Fahrzeug angeordneter Kameras.
Bei jeder Kamera ist bevorzugt deren Anordnung mit fest vorgegebener Orientierung bezüglich des Fahrzeuges vorgesehen. Es soll jedoch nicht ausgeschlossen sein, dass wenigstens eine Kamera für eine Veränderung von deren Orientierung ansteuerbar ist, um mit dieser Kamera Bilder unter verschiedenen Orientierungen der Kamera aufzunehmen. Damit kann die aus den Bildern hervorgehende Bildinformation weiter vergrößert werden.
In einer Ausführungsform werden wenigstens zwei an voneinander verschiedenen Stellen des Fahrzeuges angeordnete Kameras eingesetzt, wie z. B. die bereits erwähnten außermittig am Fahrzeug angeordneten Frontkameras.
Ein naheliegender Vorteil der Verwendung mehrerer Kameras zum Aufnehmen von Bildern einer dreidimensionalen Szenerie besteht darin, dass aus den Unterschieden der aus verschiedenen Perspektiven aufgenommenen Bilder mittels der Auswertung der Bildinformation eine verbesserte Bestimmung der Position einzelner Objekte ermöglicht wird.
Im Rahmen der Erfindung ergibt sich jedoch der zusätzliche Vorteil, dass die Unterschiede in den aus verschiedenen Perspektiven aufgenommenen Bildern auch hinsichtlich bzw. unter Berücksichtigung der jeweils realisierten besonderen Beleuchtungssituation ausgewertet werden können.
Hierzu ein Beispiel, das an das weiter oben bereits erläuterte Beispiel anknüpft:

Angenommen ein vor dem Fahrzeug befindlicher Fußgänger wird zum einen unter diffusem Tageslicht und zum anderen mit zusätzlicher Beleuchtung durch einen Fahrzeugscheinwerfer mittels einer einzigen Frontkamera aufgenommen. In diesem Fall kann es passieren, dass der aus der zusätzlichen Beleuchtung resultierende bzw. veränderte Schattenwurf des Fußgängers durch den Fußgänger selbst verdeckt wird. Wenn jedoch in gleicher Situation zusätzlich ein weiteres Bild mittels einer an anderer Stelle angeordneter Kamera aufgenommen wird, so wird der Schattenwurf bzw. die Schattenwurfveränderung in der Regel in diesem weiteren Bild erkennbar und somit vorteilhaft zur Positionsbestimmung auswertbar sein.

In gewisser Weise analog zu einer Vermehrung von Bildinformation durch Verwendung einer Mehrzahl von Kameras kann bei der Erfindung eine (weitere) Vermehrung der Bildinformation durch Verwendung einer Mehrzahl von (an voneinander verschiedenen Stellen des Fahrzeuges angeordneten) Beleuchtungseinrichtungen erzielt werden.
Dementsprechend ist in einer vorteilhaften Ausführungsform vorgesehen, dass wenigstens zwei an verschiedenen Stellen des Fahrzeuges angeordnete Beleuchtungseinrichtungen in erfindungsgemäßer Weise verwendet werden.
In einer Ausführungsform werden zur Erfassung von Objekten in einem bestimmten Bereich der Umgebung des Fahrzeuges, insbesondere einem Bereich vor dem Fahrzeug, wenigstens zwei diesen Bereich erfassende Kameras in Verbindung mit wenigstens zwei an verschiedenen Stellen des Fahrzeuges angeordneten und in Richtung dieses Bereichs abstrahlende Beleuchtungseinrichtungen eingesetzt.
In einer Ausführungsform wird als die wenigstens eine Beleuchtungseinrichtung wenigstens ein Schweinwerfer des Fahrzeuges verwendet.
Dies ist besonders vorteilhaft, weil Fahrzeuge aller Art üblicherweise ohnehin mit wenigstens einem Scheinwerfer ausgestattet sind.
Der Begriff „Scheinwerfer“ bezeichnet im Sinne der Erfindung eine Beleuchtungseinrichtung des Fahrzeuges, deren erzeugtes Licht mehr oder weniger in eine vorbestimmte Richtung (Orientierung des Scheinwerfers) gebündelt vom Fahrzeug weg abgestrahlt wird. Bei fast allen zum Gebrauch im öffentlichen Verkehr vorgesehenen Fahrzeugen sind beispielsweise in Fahrtrichtung abstrahlende Scheinwerfer ohnehin gesetzlich vorgeschrieben.
Fahrzeugscheinwerfer, deren primärer Zweck es ist, für einen Fahrzeugführer einen bestimmten Bereich der Fahrzeugumgebung, insbesondere z. B. den unmittelbar vor dem Fahrzeug liegenden Bereich auszuleuchten, können im Rahmen der Erfindung sehr vorteilhaft zusätzlich zur Realisierung der verschiedenen Beleuchtungssituationen genutzt werden.
Für den Einsatz der Erfindung bei mehrspurigen Kraftfahrzeugen für den Straßenverkehr (z. B. PKW, LKW etc.) ergibt sich der noch weitere Vorteil, dass diese Fahrzeuge in der Regel ohnehin mit zwei voneinander beabstandeten Frontscheinwerfern ausgestattet sind, so dass diese beiden Scheinwerfer bei der Erfindung besonders vorteilhaft genutzt werden können.
In einer Ausführungsform erfolgt die Ansteuerung der wenigstens einen Beleuchtungseinrichtung zur Einstellung einer bestimmten Lichtintensität (z. B. abgestrahlte Lichtleistung) der jeweiligen Beleuchtungseinrichtung.
Beleuchtungseinrichtungen der im Rahmen der Erfindung interessierenden Art und insbesondere z. B. Fahrzeugscheinwerfer werden in der Regel elektrisch betrieben (z. B. Halogen- oder LED-Scheinwerfer), so dass durch entsprechende Variation eines Betriebsstromes eine bestimmte Lichtintensität eingestellt werden kann.
Falls zur Realisierung der verschiedenen Beleuchtungssituationen bei einer Beleuchtungseinrichtung deren Lichtintensität eingestellt wird, so ist gemäß einer Ausführungsform vorgesehen, dass die Beleuchtungssituationen wenigstens die beiden Fälle umfassen, in denen die Beleuchtungseinrichtung ausgeschaltet (Lichtintensität = 0) und mit einer im Wesentlichen maximalen Lichtintensität eingeschaltet ist (z. B. mit Lichtintensität entsprechend dem Betrieb mit einer Nennleistung der Beleuchtungseinrichtung) .
Alternativ oder zusätzlich ist jedoch auch die Verwendung wenigstens einer Einstellung denkbar, bei der die Lichtintensität in einem mittleren Bereich, also zwischen Null und einer Maximalintensität der betreffenden Beleuchtungseinrichtung liegt (z. B. Betrieb im Bereich von 40% bis 60% einer Nennleistung).
Um eine bestimmte Lichtintensität einzustellen, kommt alternativ oder zusätzlich zu einer Variation eines elektrischen Betriebsstromes auch in Betracht, eine Shutter-Einrichtung oder ähnliches (z. B. elektrooptische Modulatoren etc.) an der betreffenden Beleuchtungseinrichtung vorzusehen und anzusteuern, um damit einen von einer Lichtquelle (z. B. einem Leuchtmittel) der Beleuchtungseinrichtung ausgehenden Lichtstrom vor dem Verlassen der Beleuchtungseinrichtung zeitweilig abschwächen zu können.
Alternativ oder zusätzlich zur Einstellung einer bestimmten Lichtintensität kann im Rahmen der Realisierung verschiedener Beleuchtungssituationen eine betreffende Beleuchtungseinrichtung z. B. auch derart angesteuert werden, dass damit eine Beleuchtungsrichtung (Abstrahlrichtung) eingestellt wird. Beispielsweise bei modernen Kraftfahrzeugen ist oftmals ohnehin eine Verstellbarkeit der Abstrahlrichtung der Frontscheinwerfer vorgesehen, sei es z. B. als Kurvenlicht oder z. B. beim Auf- und Abblenden.
Zusammenfassend können bei der Erfindung vorgesehene verschiedene Beleuchtungssituationen somit insbesondere durch Variation einer abgestrahlten Lichtintensität, einer Lichtabstrahlungsrichtung (oder allgemeiner: Lichtabstrahlungscharakteristik), oder einer Kombination davon realisiert werden.
Gemäß eines weiteren Aspekts der Erfindung wird die eingangs gestellte Aufgabe bei einer Vorrichtung der eingangs genannten Art dadurch gelöst, dass die Vorrichtung ferner eine Steuereinrichtung aufweist, die dazu ausgebildet ist, dass bei dem Aufnehmen der Bilder mittels einer Ansteuerung wenigstens einer an dem Fahrzeug angeordneten Beleuchtungseinrichtung nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass die Auswerteeinrichtung ferner dazu ausgebildet ist, bei dem Auswerten der Bildinformation die für jedes Bild realisierte Beleuchtungssituation zu berücksichtigen.
Die für das erfindungsgemäße Verfahren beschriebenen Ausführungsformen und besonderen Ausgestaltungen können in analoger Weise, einzeln oder in beliebiger Kombination, auch als Ausführungsformen bzw. besondere Ausgestaltungen der erfindungsgemäßen Vorrichtung vorgesehen werden (vgl. hierzu insbesondere die Ansprüche 7 bis 10).
Die bei der Vorrichtung vorgesehene Steuereinrichtung kann eine eigens für den erfindungsgemäßen Zweck vorgesehene Einrichtung darstellen, mittels welcher die Beleuchtungseinrichtung(en) in zeitlicher Koordination mit dem Aufnehmen der Bilder angesteuert wird/werden. Alternativ kann die Steuereinrichtung als Teilfunktionalität einer auch anderen Zwecken dienenden Steuereinrichtung des Fahrzeuges ausgebildet sein.
Analoges gilt für die erfindungsgemäß vorgesehene Auswerteeinrichtung, die darüber hinaus in der Praxis auch baulich zusammengefasst mit oder als eine Teilfunktionalität einer auch die Steuereinrichtung realisierenden Einrichtung vorgesehen sein kann.
Sowohl die Steuereinrichtung als auch die Auswerteeinrichtung, bzw. eine die Funktionalitäten der Steuerung und Auswertung bereitstellende Einrichtung (z. B. zentrales Steuergerät des Fahrzeuges) ist bevorzugt als eine programmgesteuerte Einrichtung ausgebildet, in welcher die Funktionalitäten der Steuerung und der Auswertung durch Software implementiert sind.
Zur Realisierung der erwähnten zeitlichen Koordination ist die Steuereinrichtung bei der Durchführung des Verfahrens zweckmäßigerweise mit der oder den verwendeten Kameras verbunden, um z. B. den Kameras eine Zeitbasis für das Aufnehmen der Bilder vorzugeben.
Gemäß eines weiteren Aspekts der Erfindung wird ein Computerprogrammprodukt umfassend einen Programmcode vorgeschlagen, der auf einer Datenverarbeitungseinrichtung (z. B. zentrales Steuergerät des Fahrzeuges) ausgeführt ein Verfahren der hier beschriebenen Art durchführt.
Gemäß eines weiteren Aspekts wird ein Fahrzeug vorgeschlagen, welches Mittel zur Durchführung eines Verfahrens der hier beschriebenen Art bzw. eine Vorrichtung der hier beschriebenen Art aufweist.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit Bezug auf die beigefügten Zeichnungen weiter beschrieben. Es stellen dar:

1 ein Ablaufdiagramm eines Verfahrens zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges,
2 eine Situation, in der mittels einer Fahrzeugkamera ein erstes Bild eines vor dem Fahrzeug befindlichen Fußgängers aufgenommen wird,
3 eine Situation, in der ein zweites Bild des Fußgängers von 2 aufgenommen wird, bei eingeschaltetem rechten Scheinwerfer des Fahrzeuges,
4 eine Situation, in der ein drittes Bild des Fußgängers von 2 aufgenommen wird, bei eingeschaltetem linken Scheinwerfer des Fahrzeuges,
5 eine Situation, in der ein viertes Bild des Fußgängers von 2 aufgenommen wird, wobei beide Scheinwerfer des Fahrzeuges eingeschaltet sind, und
6 ein Fahrzeug, das mit einer Vorrichtung zum Erfassen von Objekten in einer Umgebung des Fahrzeuges ausgestattet ist.

Die 1 bis 5 veranschaulichen ein Ausführungsbeispiel eines Verfahrens zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges 1, wobei hier beispielhaft die Erfassung eines vor dem Fahrzeug 1 befindlichen Fußgängers 2 (als Beispiel für ein Objekt) erläutert wird.
1 zeigt ein schematisches Ablaufdiagramm des Verfahrens, und die 2 bis 5 zeigen einzelnen Schritten des Verfahrens zugehörige Situationen anhand einer Darstellung des Fahrzeuges 1 und des Fußgängers 2.
Mit Bezug auf 1 werden in einem Schritt S1 in kurzer zeitlicher Aufeinanderfolge Bilder der Umgebung des Fahrzeuges 1 vor dem Fahrzeug 1 mittels einer an dem Fahrzeug 1 (2 bis 5) angeordneten Kamera 12 (2 bis 5) aufgenommen, um eine entsprechende Bildinformation BI bereitzustellen.
Die Bildinformation BI beinhaltet im dargestellten Beispiel insbesondere von der Kamera 12 erzeugte digitale Bilddaten (digitale Repräsentationen der Bildinhalte der einzelnen Bilder) .
In einem Schritt S2 wird die Bildinformation BI der aufgenommenen Bilder ausgewertet, um Objekte wie den beispielhaft dargestellten Fußgänger 2 zu erkennen und in diesem Beispiel die Position des Fußgängers 2 relativ zum Fahrzeug 1 zu bestimmen.
Für diese Auswertung der Bildinformation BI kann grundsätzlich auf diesbezüglichen Stand der Technik zurückgegriffen werden, bei dem z. B. geeignete Softwarealgorithmen (z. B. eine Mustererkennung oder dergleichen) zum Einsatz kommen können.
Eine erste Besonderheit des dargestellten Verfahrens besteht darin, dass beim Aufnehmen der Bilder (Schritt S1) mittels einer Ansteuerung von Beleuchtungseinrichtungen, bei denen es sich im dargestellten Beispiel um einen rechten Frontscheinwerfer 18-1 und einen linken Frontscheinwerfer 18-2 des Fahrzeuges 1 handelt, nacheinander vier verschiedene Beleuchtungssituationen realisiert und damit nacheinander vier Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden (vgl. 2 bis 5) .
Die Scheinwerfer 18-1, 18-2 werden somit gemäß eines Zeitmultiplex-Verfahrens in zeitlicher Koordination mit dem Aufnehmen der Bilder betrieben.
Das Aufnehmen der Bilder gemäß Schritt S1 umfasst im dargestellten Beispiel entsprechend der mehreren verschiedenen Beleuchtungssituationen mehrere nachfolgend erläuterte Schritte S11 bis S18.
Zur Realisierung einer „ersten Beleuchtungssituation“ gemäß 2 werden in einem Schritt S11 beide Scheinwerfer 18-1, 18-2 ausgeschaltet (bzw. nicht eingeschaltet), woraufhin in einem Schritt S12 mittels der Kamera 12 ein erstes Bild aufgenommen wird.
Zur Realisierung einer „zweiten Beleuchtungssituation“ gemäß 3 wird in einem Schritt S13 der rechte Scheinwerfer 18-1 eingeschaltet, woraufhin in einem Schritt S14 mittels der Kamera 12 ein zweites Bild aufgenommen wird.
Zur Realisierung einer „dritten Beleuchtungssituation“ gemäß 4 wird in einem Schritt S15 der rechte Scheinwerfer 18-1 wieder ausgeschaltet und der linke Scheinwerfer 18-2 eingeschaltet, woraufhin in einem Schritt S16 mittels der Kamera 12 ein drittes Bild aufgenommen wird.
Zur Realisierung einer „vierten Beleuchtungssituation“ gemäß 5 wird in einem Schritt S17 der rechte Scheinwerfer 18-1 wieder eingeschaltet, so dass beide Scheinwerfer 18-1 und 18-2 eingeschaltet sind, und in einem Schritt S18 mittels der Kamera 12 ein viertes Bild aufgenommen.
Ganz allgemein ist es von Vorteil, wenn die mehreren Bilder (hier z. B. vier Bilder) in einer insgesamt möglichst kurzen Zeit aufgenommen werden, z. B. weniger als 0,1 s, insbesondere weniger als 0, 05 s, um auf Bewegungen des Fahrzeuges und/oder der erfassten Objekte beruhende Unterschiede zwischen den Bildern klein zu halten.
Wie in 1 symbolisiert, werden die Schritte S11 bis S18 bzw. somit der Schritt S1 im weiteren Verlauf des Verfahrens fortwährend wiederholt um eine nächste „Bildserie“ bestehend aus mehreren (hier: vier) Bildern unter den erläuterten vier verschiedenen Beleuchtungssituationen aufzunehmen.
Das nach jeder Durchführung des Schrittes S1 bereitgestellte Ergebnis, also die Bildinformation BI der entsprechenden Bildserie, wird in einer jeweiligen Durchführung des Schrittes S2 ausgewertet, um die Position des Fußgängers 2 relativ zum Fahrzeug 1 zu bestimmen, was in 1 durch die Ausgabe von Positionsdaten PD symbolisiert ist.
In analoger Weise können im Schritt S2 auch Positionsdaten von noch weiteren Objekten erzeugt und ausgegeben werden, falls bei der Auswertung solche weiteren Objekte identifiziert werden.
Im Hinblick darauf, dass für jedes erfasste Objekt zeitlich aufeinanderfolgend (nach jeder Durchführung des Schrittes S2) Positionsdaten PD anfallen, kann beispielsweise eine Objektverfolgung realisiert werden, beispielsweise um damit jeweilige relativ Bewegungen der erfassten Objekte bezüglich des Fahrzeuges 1 zu erfassen und z. B. als eine wertvolle Vorinformation bei nachfolgenden Auswertungen im Schritt S2 zu nutzen.
Eine weitere Besonderheit des dargestellten Verfahrens besteht darin, dass die der Auswertung (Schritt S2) zugeführte Bildinformation BI neben den digitalen Bilddaten zusätzlich eine Information (Daten) über die jedem der aufgenommenen Bilder zugehörige Beleuchtungssituation enthält, also beispielsweise die Information über die Betriebszustände der beiden Scheinwerfer 18-1 und 18-2 für die Zeitpunkte, zu denen die Bilder aufgenommen wurden.
Schließlich besteht eine weitere Besonderheit des dargestellten Verfahrens darin, dass beim Auswerten (Schritt S2) der Bildinformation BI die für jedes Bild realisierte Beleuchtungssituation (entsprechend der Angaben hierzu in der Bildinformation BI) berücksichtigt wird.
Damit lassen sich vorteilhaft die Zuverlässigkeit und Genauigkeit bei der Bestimmung der Position des Fußgängers 2 (Positionsdaten PD) verbessern.
Anzumerken ist, dass das Aufnehmen der Bilder (Schritt S1) und das Auswerten der Bildinformation (Schritt S2) auch insofern zeitlich verschachtelt durchgeführt werden können, als z. B. in der von der Kamera 12 bereitgestellten Bildsequenz jeweils ein gleitendes Fenster bestehend aus mehreren (im Beispiel z. B. vier) unmittelbar aufeinanderfolgend aufgenommenen Bildern ausgewertet werden können.
Für die konkrete Realisierung der erfindungsgemäß erzielbaren Verbesserung der Positionsbestimmung gibt es vielfältige Möglichkeiten. Die Grundlage hierfür denkbarer Konzepte (bzw. Softwarealgorithmen) ist der Umstand, dass jedes von einer Kamera (hier z. B. Kamera 12) aufgenommene Bild und somit die entsprechenden digitalen Bilddaten nicht lediglich von Existenz, Eigenschaften und Positionen von Objekten des von der Kamera erfassten Bereichs abhängen, sondern ganz wesentlich auch von allen Details der Ausleuchtung des von der Kamera erfassten Bereichs.
Eine konkrete Möglichkeit zur Nutzung dieses Umstands besteht beispielsweise darin, bei der Auswertung im Schritt S2 Helligkeitsunterschiede in den verschiedenen Bildern bzw. in bestimmten Bildbereichen der verschiedenen Bilder zu analysieren, um Rückschlüsse auf die Position des wenigstens einen Objekts zu ziehen.
Hierzu ein Beispiel: Bei der Aufnahme gemäß 2 besitzt z. B. der den Fußgänger 2 zeigende Bereich des Bildes eine bestimmte Helligkeit. Im entsprechenden Bereich des bei eingeschaltetem rechten Scheinwerfer 18-1 gemäß 3 aufgenommenen Bildes wird die Helligkeit in diesem Bereich (Fußgänger 2) etwas größer sein. Das Ausmaß des Helligkeitsunterschiedes ist abhängig von der Position des Fußgängers 2 relativ zum Scheinwerfer 18-1. Tendenziell gilt: Je näher der Fußgänger 2 am Scheinwerfer 18-1 ist, desto größer wird die Helligkeit des Fußgängers 2 im gemäß 3 aufgenommenen Bild sein. Außerdem wird, abhängig von der Abstrahlcharakteristik des Scheinwerfers 18-1, die Helligkeit des Fußgängers 2 tendenziell umso größer sein, je näher der Fußgänger 2 sich am Zentrum des abgestrahlten Lichtkegels befindet. Daher kann durch eine Analyse der Helligkeit des Fußgängers 2 in den aufgenommenen Bildern unter weiterer Berücksichtigung der Position des Fußgängers 2 innerhalb der jeweiligen Bilder eine Schlussfolgerung betreffend die Position des Fußgängers 2 relativ zum Fahrzeug 1 erfolgen.
Eine weitere konkrete Möglichkeit zur Nutzung des vorstehend genannten Umstandes besteht darin, bei der Auswertung gemäß Schritt S2 für das wenigstens eine Objekt, im Beispiel den Fußgänger 2, Schattenunterschiede in den verschiedenen Bildern zu analysieren, um Rückschlüsse auf die Position des jeweiligen Objekts zu ziehen.
In den 2 bis 5 sind schematisch auch für die verschiedenen Beleuchtungssituationen sich ergebende Schatten des Fußgängers 2 eingezeichnet. Durch die verschiedenen Winkel des auf den Fußgänger 2 auftreffenden Lichts ergeben sich hierbei voneinander verschiedene Schatten und insbesondere voneinander verschiedene Schattenrichtungen. Auch diese Schattenunterschiede (wieder in Verbindung mit der Kenntnis der Positionen, Orientierungen und Eigenschaften bzw. Betriebszuständen der Scheinwerfer 18-1 und 18-2 sowie der Kamera 12) ermöglichen beim Auswerten der Bildinformation BI Rückschlüsse auf die Position des Fußgängers 2 zu ziehen.
6 zeigt ein Fahrzeug 1 (z. B. das mit Bezug auf die 1 bis 5 bereits beschriebene Fahrzeug), bei dem eine Kamera 12 in Verbindung mit einem zentralen elektronischen Steuergerät 20 eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens bildet.
Das Steuergerät 20 weist eine Steuereinrichtung 14 auf, die dazu ausgebildet ist, beim Aufnehmen von Bildern mittels der Kamera 12 durch eine geeignete Ansteuerung von Scheinwerfern 18-1, 18-2 nacheinander verschiedene Beleuchtungssituationen zu realisieren, so dass die Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden.
Des Weiteren weist das Steuergerät 20 eine Auswerteeinrichtung 16 zum Auswerten von Bildinformation der aufgenommenen Bilder auf.
Damit kann z. B. das oben mit Bezug auf die 1 bis 5 beschriebene Verfahren durchgeführt werden.
Abweichend von diesem Ausführungsbeispiel könnten wie in 6 gestrichelt eingezeichnet anstatt der Kamera 12 (oder zusätzlich zur Kamera 12) auch z. B. zwei jeweils außermittig am Fahrzeug 1 angeordnete Frontkameras 12' und 12" eingesetzt werden, um im erfindungsgemäßen Verfahren eine noch aussagekräftigere Bildinformation BI bereitzustellen.
Während gemäß der 2 bis 5 mit einer einzigen Kamera (12) und vier verschiedenen Beleuchtungssituationen vier verschiedene Bilder aufgenommen werden, so können z.B. beim Einsatz derselben vier Beleuchtungssituationen im Falle der Verwendung der zwei Kameras 12' und 12" insgesamt acht verschiedene Bilder aufgenommen werden.
Zusammenfassend wird bei den oben beschriebenen Ausführungsbeispielen das Licht von zwei Frontscheinwerfern eines Fahrzeuges zu gewissen Zeiten für eine Zeit deaktiviert, damit so mittels wenigstens einer Kamera ein Bild aufgenommen werden kann, welches die Bildinformation ohne Zusatzbeleuchtung durch die Scheinwerfer aufnehmen kann, und andererseits zu gewissen Zeiten für eine jeweilige Zeit aktiviert, so dass die Kamera weitere Bilder unter jeweiligen weiteren Beleuchtungssituationen aufnehmen kann. Durch geeignete Softwarealgorithmen kann dann aus den Einzelbildern insbesondere unter Berücksichtigung der verschiedenen Winkel des auftreffenden Lichtes und/oder der Richtung, in welcher von der Kamera betrachtet Objekte sich befinden, eine Tiefeninformation (Positionsdaten) für die Objekte bestimmt (errechnet) werden. Insbesondere kann beim Auswerten der Bildinformation der Schatten oder eine Veränderung des Schattens des wenigstens einen Objekts analysiert werden.
Insbesondere durch Verwendung von bereits im Fahrzeug verfügbaren Lichtquellen wie z. B. wenigstens einem Frontscheinwerfer eines Kraftfahrzeuges (Einsatz von Abblendlicht und/oder Fernlicht) ergibt sich eine kostengünstige Integrationsmöglichkeit in bestehende Fahrzeugkonzepte.
Bezugszeichenliste

1: Fahrzeug
2: Fußgänger (Objekt)
10: Vorrichtung
12: Kamera
14: Steuereinrichtung
16: Auswerteeinrichtung
18-1: rechter Scheinwerfer (Beleuchtungseinrichtung)
18-2: linker Scheinwerfer (Beleuchtungseinrichtung)
20: elektronisches Steuergerät
S1: Aufnehmen von Bildern
BI: Bildinformation
S2: Auswerten von Bildinformation
PD: Positionsdaten

Claims

Verfahren zum Erfassen von Objekten (2) in einer Umgebung eines Fahrzeuges (1), aufweisend die Schritte: - Aufnehmen (S1) von Bildern einer Umgebung des Fahrzeuges (1) mittels wenigstens einer an dem Fahrzeug (1) angeordneten Kamera (12), - Auswerten (S2) von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1), dadurch gekennzeichnet, dass bei dem Aufnehmen (S1) der Bilder mittels einer Ansteuerung wenigstens einer an dem Fahrzeug (1) angeordneten Beleuchtungseinrichtung (18-1, 18-2) nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass bei dem Auswerten (S2) der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation berücksichtigt wird.
Verfahren nach Anspruch 1, wobei als die wenigstens eine Kamera (12) wenigstens eine Frontkamera des Fahrzeuges (1) verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei wenigstens zwei an verschiedenen Stellen des Fahrzeuges (1) angeordnete Beleuchtungseinrichtungen (18-1, 18-2) verwendet werden.
Verfahren nach einem der vorangehenden Ansprüche, wobei als die wenigstens eine Beleuchtungseinrichtung (18-1, 18-2) wenigstens ein Scheinwerfer des Fahrzeuges (1) verwendet wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Ansteuerung der wenigstens einen Beleuchtungseinrichtung (18-1, 18-2) zur Einstellung einer bestimmten Lichtintensität der jeweiligen Beleuchtungseinrichtung (18-1, 18-2) erfolgt.
Vorrichtung zum Erfassen von Objekten in einer Umgebung eines Fahrzeuges, aufweisend: - wenigstens eine Kamera (12), ausgebildet zum Aufnehmen von Bildern einer Umgebung des Fahrzeuges (1), - wenigstens eine Auswerteeinrichtung (16), ausgebildet zum Auswerten von Bildinformation (BI) der aufgenommenen Bilder zur Bestimmung der Position wenigstens eines Objekts (2) relativ zu dem Fahrzeug (1), dadurch gekennzeichnet, dass die Vorrichtung ferner eine Steuereinrichtung (14) aufweist, die dazu ausgebildet ist, dass bei dem Aufnehmen der Bilder mittels einer Ansteuerung wenigstens einer an dem Fahrzeug (1) angeordneten Beleuchtungseinrichtung (18-1, 18-2) nacheinander wenigstens zwei verschiedene Beleuchtungssituationen realisiert und damit nacheinander wenigstens zwei Bilder unter den verschiedenen Beleuchtungssituationen aufgenommen werden, und dass die Auswerteeinrichtung (16) ferner dazu ausgebildet ist, bei dem Auswerten der Bildinformation (BI) die für jedes Bild realisierte Beleuchtungssituation zu berücksichtigen.
Vorrichtung nach Anspruch 6, wobei als die wenigstens eine Kamera (12) wenigstens eine Frontkamera des Fahrzeuges (1) vorgesehen ist.
Vorrichtung nach Anspruch 6 oder 7, wobei die Steuereinrichtung (14) dazu ausgebildet ist, wenigstens zwei an verschiedenen Stellen des Fahrzeuges angeordnete Beleuchtungseinrichtungen (18-1, 18-2) anzusteuern.
Vorrichtung nach einem der Ansprüche 6 bis 8, wobei als die wenigstens eine Beleuchtungseinrichtung wenigstens ein Scheinwerfer des Fahrzeuges (1) vorgesehen ist.
Vorrichtung nach einem der Ansprüche 6 bis 9, wobei die Steuereinrichtung (14) dazu ausgebildet ist, die Ansteuerung der wenigstens einen Beleuchtungseinrichtung (18-1, 18-2) zur Einstellung einer bestimmten Lichtintensität der jeweiligen Beleuchtungseinrichtung (18-1, 18-2) vorzusehen.
Fahrzeug (1), aufweisend eine Vorrichtung (10) nach einem der Ansprüche 6 bis 10.
Computerprogrammprodukt umfassend einen Programmcode, der auf einer Datenverarbeitungseinrichtung ausgeführt ein Verfahren nach einem der Ansprüche 1 bis 5 durchführt.