-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Um eine möglichst gute Erkennung von Objekten aus einem Bild einer Kamera eines Fahrzeugs zu erreichen, sollte eine möglichst detaillierte Auswertung von zur Verfügung stehenden Informationen erfolgen. Insbesondere bei Nacht sollte dabei jedoch berücksichtigt werden, dass es bei der Verwendung von Bildern einer Fahrzeugkamera zu Blendungen durch die „Überlichtung“ durch Scheinwerfer von nahen entgegenkommenden Fahrzeugen kommen kann, die eine Information überdecken, welche von vorausfahrenden Fahrzeugen ausgesandt werden, die sich beispielsweise weiter entfernt befinden. Zur Vermeidung von solchen Blendungen können beispielsweise Systeme verwendet werden, die eine Szene in der Fahrzeugumgebung mit ein oder mehreren Belichtungszeiten vermessen und für jedes Bild dieselbe Funktion oder jeweils nur eine Auswertungsfunktion durchführen.
-
Die
DE 10 2007 001 099 A1 betrifft eine Auswerteeinrichtung für ein Fahrerassistenzsystem für ein Fahrzeug, mit einem Eingang zum Empfangen von einer Kamera aufgenommenen Bildinformationen, einem ersten Bestandteil zum Auffinden eines eine vorgegebene Form enthaltenden Bildausschnitts in ersten von der Kamera empfangenen Bildinformationen, einem zweiten Bestandteil zum Anfordern von zweiten Bildinformationen, wobei die zweiten Bildinformationen einer erneuten Aufnahme eines vom ersten Bestandteil aufgefundenen Bildausschnitts mit gegenüber den ersten Bildinformationen verbessertem Kontrast entsprechen. Weiterhin sind ein dritter Bestandteil vorhanden zum Identifizieren eines Verkehrszeichens in den zweiten Bildinformationen sowie ein Ausgang zum Ausgeben eines Signals, betreffend ein vom dritten Bestandteil identifiziertes Verkehrszeichen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Die vorliegende Erfindung schafft ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- – Einlesen eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde und Einlesen eines zweiten Bildes der Fahrzeugkamera, das zu einem anderen Zeitpunkt als das erste Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, die sich von der ersten Belichtungszeit unterscheidet;
- – Extrahieren eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt vorzugsweise einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das erste Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position eines Infrastrukturelementes vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde;
- – Anwenden eines ersten Objekterkennungsalgorithmus auf das erste Bild, um zumindest ein Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt des zweiten Bildes, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen.
-
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Folglich schafft die vorliegende Erfindung eine Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, wobei die Vorrichtung die folgenden Schritte aufweist:
- – einen Schnittstelle zum Einlesen eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde und Einlesen eines zweiten Bildes der Fahrzeugkamera, das nach dem ersten Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, die sich von der ersten Belichtungszeit unterscheidet;
- – eine Einheit zum Extrahieren eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt vorzugsweise einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das erste Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position eines Infrastrukturelementes vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde;
- – eine Einheit zum Anwenden eines ersten Objekterkennungsalgorithmus auf das erste Bild, um zumindest eine Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt des zweiten Bildes, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- oder Informationssignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Unter einer Fahrzeugkamera kann ein optischer Sensor verstanden werden, der eine Szene oder ein Umfeld des Fahrzeugs in ein Videobild überführt und dieses zur weiteren Verarbeitung an andere Komponenten bereitgestellt. Dabei kann dieser optische Sensor in mehreren Modi arbeiten, wobei sich jeder dieser Modi insbesondere durch eine unterschiedliche Belichtungszeit zur Aufnahme eines Bildes in diesem Modus auszeichnet. Unter einem Bildausschnitt kann ein Teilbereich eines Bildes der Fahrzeugkamera verstanden werden, bei dem ein kleinerer Teil der Umgebung des Fahrzeugs abgebildet ist, als in einem Bild der Fahrzeugkamera. Eine Position dieses Bildausschnitts kann vor dem Schritt des Extrahierens festgelegt werden, beispielsweise durch einen Parameter, der von einem sich bewegenden Objekt (wie beispielsweise einem Fahrzeug) unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde oder das von einem Parameter abhängig ist, der Information über eine Fahrt des Fahrzeugs repräsentiert. Auch kann die Position des Bildausschnittes durch eine Position eines Infrastrukturelementes vor dem Fahrzeug abhängig sein, wobei unter einem Infrastrukturelement beispielsweise eine straßenbauliche Maßnahme wie eine Straßenlaterne oder ein Leitpfosten verstanden werden kann. Alternativ oder zusätzlich kann ein solcher Parameter auch von einem sich bewegenden Fahrzeug unabhängig sein, welches in einem vorausgegangenen Schritt in den Bildausschnitt erkannt wurde. Ein Parameter, der eine Information über eine Fahrt des Fahrzeugs repräsentiert, kann beispielsweise eine Information eines Sensors sein, der eine Bewegung des eigenen Fahrzeugs oder eine Einstellung von Bedienungselementen zur Steuerung des Fahrzeugs repräsentiert. Beispielsweise kann die Information über eine Fahrt des Fahrzeugs eine Geschwindigkeit des Fahrzeugs, ein Lenkwinkel, den das Lenkrad eingeschlagen ist oder ein prädizitierter oder ein beispielsweise aus einem Navigationsgerät ausgelesener, angenommener Straßenverlauf sein. Unter einem Objekt, das in dem ersten Bild erkannt wird oder einem weiteren Objekt, das in dem Bildausschnitt erkannt wird, kann beispielsweise ein Fahrzeug verstanden werden, das in dem betreffenden Bild oder Bildausschnitt erkannt wird. Alternativ oder zusätzlich kann auch das Objekt, das in dem ersten Bild erkannt wird, eine bauliche Maßnahme oder Einheit, insbesondere eine Infrastruktureinrichtung am Fahrbahnrand sein (beispielsweise ein Leitpfosten oder eine Straßenlaterne). Ebenfalls kann alternativ oder zusätzlich auch das zweite Objekt, das in dem Bildausschnitt erkannt wird, eine bauliche Maßnahme oder Einheit, insbesondere eine Infrastruktureinrichtung am Fahrbahnrand sein, beispielsweise ebenfalls ein Leitpfosten oder eine Straßenlaterne. Insbesondere kann ferner die zweite Belichtungszeit größer als die erste Belichtungszeit sein, so dass im Bildausschnitt Objekte erkannt werden können, die eine geringere Helligkeit aufweisen, als die Objekte, die im ersten Bild erkannt werden. Hierdurch wird es möglich, Objekte im Bildausschnitt zu erkennen, die entweder weiter vom Fahrzeug mit der Fahrzeugkamera entfernt sind und/oder die weniger oder andersfarbiges Licht als die Objekte ausstrahlen, die im ersten Bild erkannt werden. Der erste Objekterkennungsalgorithmus kann dabei identisch zum zweiten Objekterkennungsalgorithmus sein, jedoch separat ausgeführt werden. Alternativ kann der erste Objekterkennungsalgorithmus unterschiedliche Schritte des zweiten Objekterkennungsalgorithmus aufweisen. Auch kann der erste Objekterkennungsalgorithmus gleiche Schritte wie der zweite Objekterkennungsalgorithmus aufweisen jedoch unter Verwendung von unterschiedlichen Parametern ausgeführt werden. Dabei kann beispielsweise der Objekterkennungsalgorithmus unter Verwendung eines ersten Parametersatzes auf das erste Bild angewendet werden und der Objekterkennungsalgorithmus unter Verwendung eines zweiten Parametersatzes auf den Bildausschnitt angewendet werden.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass Bilder von einer einzigen Kamera in einem Fahrzeug einerseits durch entsprechende Objekterkennungsalgorithmen ausgewertet werden können und andererseits unterschiedliche Bildregionen von mit unterschiedlichen Belichtungszeiten aufgenommenen Bildern ausgewählt werden können. Hierbei kann eine Nachführung von einem Bildausschnitt durch Parameter bedingt sein, die nicht auf sich bewegenden Objekten oder Fahrzeugen beruhen, die selbst im betreffenden Bildausschnitt zu einem vorangegangenen Zeitpunkt erkannt wurden. Auf diese Weise kann insbesondere ein Bereich vor dem Fahrzeug auch auf schwach leuchtende Objekte hin kontinuierlich überwacht werden, wobei dieser Bereich für die zukünftige Position des Fahrzeugs bei der Fahrt von besonderer Bedeutung ist. Insbesondere kann erkannt werden, ob in dem Fahrzeugumfeld, der durch den Bildausschnitt repräsentiert ist, ein Objekt oder ein Fahrzeug vorhanden ist, welches bei einer Einstellung der Lichtausstrahlung vor dem Fahrzeugs berücksichtigt werden sollte, um eine Blendung eines Fahrers in diesem Objekt oder Fahrzeug zu vermeiden.
-
Die vorliegende Erfindung bietet den Vorteil, dass nun durch die Trennung der Auswertung von Bildern, die mit unterschiedlichen Belichtungszeiten aufgenommenen wurden, durch jeweils einen eigenen Objekterkennungsalgorithmus vermieden werden kann, dass bei einer langen Belichtungszeit eines Bildes Objekte oder Fahrzeuge vor dem Fahrzeug nicht erkannt werden, die durch eine Lichtaussendung von anderen Objekten oder Fahrzeugen vor dem Fahrzeug überstrahlt werden. Zugleich kann die Anwendung von hochkomplexen Objekterkennungsalgorithmen vermieden werden, die aus einem Bild sowohl Objekte bzw. Fahrzeuge, die eine hohe Lichtintensität ausstrahlen als auch Objekte bzw. Fahrzeuge, die eine niedrige Lichtintensität ausstrahlen, erkennen. Auf diese Weise lässt sich eine Vereinfachung der Auswertung von Bildern einer einzigen Fahrzeugkamera erreichen, die in mehreren (zumindest zwei) Modi (insbesondere Belichtungsmodi) arbeitet und entsprechend belichtete Bilder zur Verfügung stellt. Zugleich kann jedoch die im Fahrzeug verbaute Kamera und damit eine einzige und meist bereits schon serienmäßig vorgesehene Hardware verwendet werden, um Eingangssignale zur Realisierung der vorliegenden Erfindung zur Verfügung zu stellen. Ferner kann durch ein technisch einfach realisierbares Verändern einer Auswertungssoftware und ein entsprechendes Umprogrammieren von bereits in Fahrzeugen vorgesehene Auswerteeinheiten eine Realisierung eines Zusatznutzens ermöglicht werden.
-
Günstig ist es, wenn im Schritt des Extrahierens der Bildausschnitt unter Verwendung einer Positionsinformation extrahiert wird, wobei die Positionsinformation ansprechend eine Information, die eine Fahrt des Fahrzeugs repräsentiert, veränderbar ist oder verändert wird. Unter einer Positionsinformation kann eine Information über eine Lokalisierung des Bildausschnitts im zweiten Bild und/oder eine Größe des Bildausschnitts in dem zweiten Bild verstanden werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass während der Fahrt des Fahrzeugs Bildausschnitte verarbeitet werden können, die an unterschiedlichen Positionen im zweiten Bild angeordnet sind oder die unterschiedlich große Bildbereiche des zweiten Bildes umfassen. Auf diese Weise wird eine Nachführung oder besser ein Vorausführen des Bildausschnitts insbesondere bei einer Kurvenfahrt möglich, wobei in dem Bildausschnitt Objekte oder Fahrzeuge vorhanden sind oder zu vermuten sind, die da einer Kurvenfahrt des Fahrzeugs für die Fahrzeugsicherheit oder eine Ausleuchtung eines Bereichs vor dem Fahrzeug relevant sind. Bei einer Autobahnfahrt des Fahrzeugs (oder allgemeiner bei einer schnellen Fahrt des Fahrzeugs) kann beispielsweise der Bildausschnitt vergrößert werden, um eine ausreichende Berücksichtigung von sich schnell bewegenden Objekten oder Fahrzeugen, insbesondere bei langen Belichtungszeiten, sicherzustellen.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Einlesens als das erste Bild ein Bild eingelesen wird, das eine kürzere Belichtungszeit aufweist, als das Bild, das als zweites Bild eingelesen wird. Vorteilhafterweise kann auch im Schritt des Anwendens der erste Objekterkennungsalgorithmus auf das gesamte erste Bild angewandt werden. Insbesondere wird in einem derartigen Ausführungsbeispiel das gesamte Bild mit der kürzeren Belichtungszeit durch den ersten Objekterkennungsalgorithmus verarbeitet. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass Objekte im Nahbereich des Fahrzeugs, die sich insbesondere durch eine hohe ausgesandte Lichtintensität auszeichnen, möglichst schnell und eindeutig erkannt werden. Insbesondere solche Objekte oder Fahrzeuge im Nahbereich des Fahrzeugs erfordern erhöhte Sicherheitsvorkehrungen, um beispielsweise einen Fahrer von solchen Fahrzeugen im Nahbereich des eigenen Fahrzeugs nicht zu blenden. Würde andererseits ein Fahrer eines solchen Fahrzeugs im Nahbereich des eigenen Fahrzeugs geblendet, würde die Sicherheit des eigenen Fahrzeugs erheblich gefährdet.
-
Günstig ist es ferner, wenn im Schritt des Extrahierens ein Bildausschnitt des zweiten Bildes extrahiert wird, in dem Objekte im Bild der Fahrzeugkamera abgebildet werden, die eine vorbestimmte Mindestentfernung vor dem Fahrzeug angeordnet sind. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass auch Objekte oder Fahrzeuge im Umfeld des Fahrzeugs erkannt werden können, die sich weiter weg von dem Fahrzeug befinden. Insbesondere wenn in diesem Bildausschnitt keine Objekte oder Fahrzeuge zu erwarten sind, von denen eine hohe Lichtaussendung oder Reflexion zu erwarten ist, kann durch eine derartige Ausführungsform der vorliegenden Erfindung sichergestellt werden, dass kein Informationsverlust von Informationen über schwächer beleuchtete oder leuchtende Objekte oder Fahrzeuge durch eine „Überblendung“ durch eine Lichtaussendung von Objekten oder Fahrzeugen im Nahbereich des eigenen Fahrzeugs erfolgt.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Anwendens der erste Objekterkennungsalgorithmus zur Erkennung von Objekten eines ersten Objekttyps verwendet werden und der zweite Objekterkennungsalgorithmus zur Erkennung von Objekten eines zweiten Objekttyps verwendet werden, der sich vom ersten Objekttyp unterscheidet. Beispielsweise kann der erste Objekttyp Frontscheinwerfer repräsentieren, während der zweite Objekttyp Rücklichter, Leitpfosten oder Straßenlaternen repräsentiert. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass unterschiedliche Objekttypen aus den Bildern der Fahrzeugkamera erkannt werden können, je nachdem welche Lichtaussendungseigenschaften von dem betreffenden Objekttyp zu erwarten sind.
-
Besonders vorteilhaft ist es, wenn im Schritt des Anwendens der erste Objekterkennungsalgorithmus ausgebildet ist, um ein Objekt im ersten Bild unter Verwendung eines Vergleichs der Helligkeit an einer Position im ersten Bild mit einer Helligkeit an einer entsprechenden Position im zweiten Bild, insbesondere im Bildausschnitt, zu erkennen. Auch kann im Schritt des Anwendens der zweite Objekterkennungsalgorithmus ausgebildet sein, um ein Objekt im zweiten Bild, insbesondere im Bildausschnitt, unter Verwendung eines Vergleichs der Helligkeit an einer Position im zweiten Bild, insbesondere im Bildausschnitt, mit einer Helligkeit an einer entsprechenden Position im ersten Bild zu erkennen. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil einer technisch besonders einfach umsetzbaren Unterscheidung oder Erkennung von Objekten, wobei die gemeinsame Information von Bildern verwendet werden kann, die mit unterschiedlichen Belichtungszeiten aufgenommen wurden.
-
Gemäß einer besonderen Ausführungsform der vorliegenden Erfindung kann im Schritt des Anwendens durch den ersten Objekterkennungsalgorithmus ein Objekt als pulsierende Lichtquelle erkannt werden, wenn die Helligkeit an der Position im ersten Bild innerhalb eines Toleranzbereichs gleich der Helligkeit an der entsprechenden Position im zweiten Bild, insbesondere im Bildausschnitt ist. Ferner kann auch durch den ersten Objekterkennungsalgorithmus ein Objekt als konstant Licht aussendende Lichtquelle erkannt werden, wenn sich die Helligkeit an der Position im ersten Bild um mehr als einen vorbestimmten Schwellwert (abhängig vom Unterschied der Belichtungszeiten) von der Helligkeit an der entsprechenden Position im zweiten Bild, insbesondere im Bildausschnitt, unterscheidet. Günstig ist es ferner, wenn durch den zweiten Objekterkennungsalgorithmus ein Objekt als pulsierende Lichtquelle erkannt wird, wenn die Helligkeit an der Position im zweiten Bild, insbesondere im Bildausschnitt, innerhalb eines Toleranzbereichs gleich der Helligkeit an der entsprechenden Position im ersten Bild ist. Denkbar ist auch eine Ausführungsform der vorliegenden Erfindung, bei der durch den zweiten Objekterkennungsalgorithmus ein Objekt als konstant Licht aussendende Lichtquelle erkannt wird, wenn sich die Helligkeit an der Position im zweiten Bild, insbesondere im Bildausschnitt, um mehr als einen vorbestimmten Schwellwert von der Helligkeit an einer entsprechenden Position im ersten Bild unterscheidet. Unter einem Toleranzbereich um einen Helligkeitswert kann dabei beispielsweise eine Helligkeitsabweichung von 10 Prozent verstanden werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass unterschiedliche Arten von Objekten sehr einfach durch einen Vergleich von Helligkeiten an einander entsprechenden Positionen im zweiten Bild, insbesondere im Bildausschnitt, und ersten Bild erkannt werden können. Insbesondere kann dabei ausgenutzt werden, dass unterschiedliche Objekte wie beispielsweise Straßenlaternen eine unterschiedliche Frequenz der Lichtaussendung haben, als beispielsweise Fahrzeuglichter oder LED- Fahrzeuglichter. Durch eine derartige Ausführungsform der vorliegenden Erfindung kann somit technisch sehr einfach auf einen Typ von Objekt geschlossen werden, dass an der jeweiligen Position im ersten Bild oder dem Bildausschnitt erkannt oder vermutet wird.
-
Günstig ist es ferner, wenn gemäß einer Ausführungsform der vorliegenden Erfindung ein Verfahren zur Regelung einer Fahrbahnausleuchtung vor einem Fahrzeug vorgesehen ist, das die folgenden Schritte aufweist:
- – die Schnitte eines Verfahrens wie es vorstehend beschrieben wurde; und
- – Ansteuern eines Veränderns der Lichtausstrahlung eines Scheinwerfers des Fahrzeugs ansprechend auf zumindest ein durch den ersten Objekterkennungsalgorithmus erkanntes Objekt und/oder ansprechend auf zumindest ein durch den zweiten Objekterkennungsalgorithmus erkanntes Objekt.
-
Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass die Erkennung eines Objektes gemäß einer vorstehend beschrieben Ausführungsform eine Regelung oder Ansteuerung einer Lichtausstrahlung eines Scheinwerfers des Fahrzeugs auf technisch sehr einfache Weise erleichtert wird. Insbesondere kann hierdurch eine Blendung eines Fahrers eines vorausfahrenden oder entgegenkommenden Fahrzeugs einfach vermieden oder zumindest verringert werden, da durch die Erkennung des Objekts, insbesondere eines Typs des Objekts die Lichtaussendung durch Scheinwerfer des eigenen Fahrzeugs entsprechend angepasst werden kann.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung kann auch im Bildausschnitt eine bauliche Maßnahme wie beispielsweise eine Infrastruktureinrichtung am Fahrbahnrand wie eine Straßenlaterne oder ein Leitpfosten erkannt werden. In einer derartigen Ausführungsform der vorliegenden Erfindung kann im Schritt des Ansteuerns ferner das Verändern der Lichtausstrahlung unabhängig von einem durch den zweiten Objekterkennungsalgorithmus erkannten Objekt erfolgt.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 ein Blockschaltbild eines Fahrzeugs, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet wird;
-
2 eine Darstellung einer Szene um das Fahrzeug und den daraus gewonnenen Bildern durch die Fahrzeugkamera sowie einer Auswahl eines Bildausschnitts in einem Bild gemäß eines Ausführungsbeispiels der vorliegenden Erfindung;
-
3 Diagramme zur Veranschaulichung einer Bestimmung einer konstant Licht aussendenden Lichtquelle als Objekt;
-
4 Diagramme zur Veranschaulichung einer Bestimmung einer pulsierend Licht aussendenden Lichtquelle als Objekt; und
-
5 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
Bei der Fahrzeugdetektion bei Dunkelheit sind unterschiedlichste Anforderungen an ein Bildauswertungssystem gegeben, die sich bei einer einzelnen Belichtungszeit eines Bildes einer Kamera nur mit Kompromissen erfüllen lassen. Insbesondere sind entfernte und damit vergleichsweise dunkle Rücklichter von vorausfahrenden Fahrzeugen genauso zu erkennen, wie auch Gegenverkehr in unterschiedlichsten Entfernungen. Dies bedingt, dass einerseits das Auswertungssystem sehr sensitiv auf dunkle Objekte wie auch robust gegenüber Überstrahlung von nahem Gegenverkehr sein sollte. Diese beiden Grenzfälle lassen sich mit einer multimodalen, zumindest aber bimodalen Kameraregelung besonders vorteilhaft erfüllen: in einem Bild, das mit einer längeren Belichtungszeit aufgenommen wurde und bei dem eine zusätzliche Beschränkung der Bildauswertung auf einen speziellen Teilbereich des Bildes gewählt wird, können beispielsweise Rücklichter von weit entfernt fahrenden Fahrzeugen detektiert und klassifiziert werden. Dagegen kann auf Basis eines Bildes, das mit einer kurzen Belichtungszeit aufgenommen wurde, bei Gegenverkehr robust das Scheinwerferpaar eines nahen Fahrzeugs aufgelöst werden, ohne dass das Bild durch Überstrahlung von diesen hellen Scheinwerfern derart hell ist, dass dunklere Objekte und/oder die objekt-spezifische Struktur selbst nicht mehr erkannt werden können. Dieser Fall könnte als ein „Erblinden“ der Kamera durch eine Blendung durch sehr helle Scheinwerfer eines nahen entgegenkommenden Fahrzeugs interpretiert werden.
-
Bisherige Systeme arbeiten entweder
- a) mit einer einzigen Belichtungszeit oder
- b) bei Bildern mit mehreren Belichtungszeiten mit jeweils denselben Routinen für die Objektdetektion und -klassifikation.
-
Während bei Variante a) Kompromisse hinsichtlich Reichweite und Auflösungsvermögen im Nahbereich erforderlich sind, bedingt Variante b) eine komplexe Auswertestrategie, um die optimale Detektion und Klassifikation von regelrelevanten Objekten zu gewährleisten.
-
Generell sind jedoch die Anforderungen an eine Objekterkennung zur Steuerung des Lichtes bzw. der Lichtaussendung durch das eigene Fahrzeug, speziell bei Nacht und Dämmerung, sehr komplex und können mit diesen Ansätzen nur über Kompromisse erzielt werden. Durch eine multimodale, mindestens jedoch bimodale Belichtungssteuerung mit zumindest einer kurz- und einer lang belichteten Bildaufnahme und deren Auswertung können die jeweiligen Grenzfälle deutlich besser abgedeckt werden. Für die Auswertung der Bilder mit den jeweiligen Belichtungszeiten sind dabei explizit unterschiedliche Verarbeitungsschritte vorgesehen.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet werden kann. Das Fahrzeug 100 umfasst eine Kamera 110, die ein Bild eines Sichtbereichs 120 eines Umfelds 130 vor dem Fahrzeug 100 generiert. Dabei ist die Kamera 110 ausgebildet, um Bilder in mehreren Modi aufzunehmen, wobei unterschiedliche Modi andere Belichtungszeiten bei der Aufnahme von Bildern in dem entsprechenden Modus aufweist. Von der Kamera 110 generierten Bilder werden in eine Auswerteeinheit 140 übertragen, in die entsprechend der nachfolgenden Beschreibung eine Auswertung der Bilder bzw. eines Bildausschnitts eines Bildes auf Objekte unter Anwendung von Objekterkennungsalgorithmen erfolgt. Werden nun bestimmte Objekte bestimmter Objektklassen im Sichtbereich 120 der Kamera 110 erkannt, wie beispielsweise Scheinwerfer von vorausfahrenden oder entgegenkommenden Fahrzeugen, wird eine entsprechende Information an eine Beleuchtungssteuereinheit 150 gesandt, um sicherzustellen, dass eine Lichtaussendung der von der Beleuchtungssteuereinheit 150 gesteuerten Scheinwerfer 160 des Fahrzeugs 100 kein Licht in die Umgebung 130 des Fahrzeugs 100 ausstrahlen, welches die vorausfahrenden oder entgegenkommenden Fahrzeug geblendet.
-
Die Belichtungszeiten für die unterschiedlichen von der Kamera aufzunehmenden Bilder sind vorzugsweise derart zu wählen, dass einerseits entfernte Rücklichter in einer Entfernung von mindestens 400 m und andererseits Scheinwerfer in einer Entfernung von mindestens 800 m detektiert werden können sowie naher Gegenverkehr nicht zu einer Überstrahlung des Bildes, d.h., Sättigung aller das Objekt charakterisierenden Pixel führt, was die Auflösung bzw. Detektion beider Scheinwerfer im Nahbereich erschwert. Des Weiteren sollte die Belichtungssteuerung derart ausgelegt sein, dass eine Erkennung von Rücklichtern im mittleren Entfernungsbereich (z.B. 100 m bis 300 m) durch mehrere Belichtungszeiten abgedeckt ist und damit eine robuste und schnelle Klassifikation in diesem, unter dem Aspekt einer möglichen Blendung kritischen Bereich, sichergestellt ist.
-
Für eine effiziente Verarbeitung der jeweiligen Bilder kann z.B. für ein länger belichtetes Bild der Verarbeitungs- bzw. Interessensbereich (region of interest) in Abhängigkeit von verschiedenen zusätzlichen Informationen eingeschränkt werden
-
2 zeigt im oberen Teilbild eine Szene 200, die von der Kamera 110 aus 1 im Sichtbereich 120 des Fahrzeugs 100 aufgenommen wurde. Diese Szene 200 wird beispielsweise in einem ersten Modus mit einer ersten kürzeren Belichtungszeit erfasst, woraus das links unten dargestellte erste Bild 210 generiert und an die Auswerteeinheit 140 übertragen wird. In einem folgenden Schritt wird die Szene 200 in einem zweiten Modus mit einer längeren Belichtungszeit aufgenommen und ein zweites Bild 220 generiert, welches rechts unten in der 2 dargestellt ist. Weiterhin wird in dem zweiten Bild ein Bildausschnitt 230 extrahiert, der zur Verarbeitung an die Auswerteeinheit 140 übertragen wird. Auf ist es denkbar, dass das zweite Bild 220 selbst an die Auswerteeinheit 140 aus 1 übertragen wird und der Bildausschnitt 230 erst in der Auswerteeinheit 140 extrahiert wird.
-
In der Auswerteeinheit 140 kann das (gesamte) erste Bild auf helle (nahe) Objekte 240 wie beispielsweise ein Scheinwerferpaar eines entgegenkommenden Fahrzeugs durch die Anwendung eines ersten Objekterkennungsalgorithmus auf das erste Bild erkannt werden, das sich in großer räumlicher Nähe zum eigenen Fahrzeug 100, d.h. dem Fahrzeug 100 mit der Kamera 110 befindet. Durch die Auswertung des gesamten ersten Bildes kann sichergestellt werden, dass keine Objekte in großer Nähe des Fahrzeugs übersehen werden, die anderenfalls bei einer Nicht-Berücksichtigung der Steuerung der Lichtausstrahlung zu einer Blendung einer Person führen könnte, die dieses Objekt oder Fahrzeug führt, so dass eine Gefährdung der Fahrtsicherheit des eigenen Fahrzeugs zu befürchten ist.
-
Weiterhin wird auch in der Auswerteeinheit 140 ein zweiter Objekterkennungsalgorithmus auf den Bildausschnitt 230 des zweiten Bildes 220 angewandt, so dass auch Objekte 250 in diesem Bildausschnitt 230 erkannt werden. Beispielsweise kann dabei ferner eine Anwendung des zweiten Objekterkennungsalgorithmus, der auf den Bildausschnitt angewandt wird, auf Bereichen des zweiten Bildes außerhalb des Bildausschnittes unterbleiben. Bei diesen im Bildausschnitt 230 zu erkennenden Objekten 250 kann es sich um entfernte (d.h. dunkler erscheinende) Objekte 250 handeln, die beispielsweise Rückleuchten von vor dem Fahrzeug 100 fahrenden Fahrzeugen repräsentieren. Durch die Auswertung des Bildausschnittes 230, der günstigerweise derart gewählt werden sollte, dass keine nahen hellen Objekte 240 wie die in der linken unteren Darstellung aus 2 gezeigten Frontscheinwerfer von entgegenkommenden Fahrzeugen in der Objekterkennung des Bildausschnittes zu berücksichtigen sind, kann eine Überblendung des auszuwertenden Bildes durch diese hellen Objekte vermieden werden. Der Bildausschnitt, der einen eingeschränkten Bereich aus dem zweiten Bild mit der längeren Belichtungszeit repräsentiert, ermöglicht somit die Detektion entfernter Objekte, die gegenüber näheren Objekten meist dunkler erscheinen und somit durch die Aufnahme mit der längeren Belichtungszeit besser erkennbar sind, als in einem Bild, das zur Auswertung von nahen wie auch entfernten Objekten mit einer einzigen Belichtungszeit aufgenommen wurde.
-
Fährt nun das Fahrzeug auf einer kurvigen Straße, ist es vorteilhaft, wenn auch der Bildausschnitt nicht statisch aus einem vorbestimmten Bereich aus dem zweiten Bild entnommen wird. Insbesondere bei der Kurvenfahrt in eine Linkskurve ist es beispielsweise günstig, wenn auch derjenige Bereich, der als Bildausschnitt aus dem zweiten Bild entnommen wird, weiter an den linken Rand des zweiten Bildes verschoben wird. Auf diese Weise kann sichergestellt werden, dass beispielsweise vorausfahrende Fahrzeuge oder andere Objekte auf der vorausliegenden Linkskurve der Fahrbahn auch noch ausreichend erkannt werden können, da diese dann im auszuwertenden Bildausschnitt liegen. Um eine solche Veränderung der Position des Bildausschnittes in dem zweiten Bild zu ermöglichen, können unterschiedlichste Informationen verwendet werden. Zu diesen Informationen zählen beispielsweise die Geschwindigkeit des Fahrzeugs, der eingeschlagene Lenkwinkel des Fahrzeugs, ein prädizierter oder ein aus einer Auswertung eines Verlaufes von Straßenlaternen oder Leitpfosten (beispielsweise durch die hohen Lichtreflexionen, die aus dem ersten Bild erkannt werden können) angenommener Straßenverlauf. Ferner können auch Navigationsdaten, d.h. Daten aus Navigationssystemen, Modelannahmen über die Detektionswahrscheinlichkeit von verschiedenen Objekttypen in bestimmten Bereichen des Bildes, usw. als Informationen für die Verschiebung oder Veränderung der Position des Bildausschnitts im zweiten Bild verwendet werden.
-
Die unterschiedlichen Belichtungszeiten können des Weiteren die Erkennung von gepulsten Lichtquellen (wie z.B. Straßenlaternen bzw. LED-Rück-/Frontleuchten (50 Hz 160 Hz)) unterstützen. Ein Ausführungsbeispiel für die Erkennung von solchen gepulsten Lichtquellen ist in den 3 und 4 dargestellt.
-
3 zeigt zwei Diagramme zur Erkennung einer gemessenen Helligkeit einer konstant leuchtenden Lichtquelle mit einer bimodal geregelten Kamera. In der oberen Darstellung aus 3 ist auf der Abszisse die Zeit (in Form von fortlaufenden Bildnummern) und auf der Ordinate die gemessene (auf einen Wert normierte) Lichtintensität 300 einer Lichtquelle (mit konstanter Lichtaussendung) gegenüber einer Messung 310 der Lichtintensität dieser Lichtquelle durch die Kamera dargestellt. Durch die Abtastung einer konstant leuchtenden Lichtquelle mit einer bimodal geregelten Kamera, d.h. durch die Aufnahme von unterschiedlichen Bildern nacheinander resultiert eine Darstellung, bei der die Lichtquelle als pulsendes Objekt in dem Bild erscheint. Die Eigenschaft des Pulsierens kann durch einen Vergleich der Helligkeit eines Objektes in verschiedenen Belichtungszeiten besser erkannt werden. Dabei wird beispielsweise die Helligkeit oder Lichtintensität des Objektes in dem ersten Bild mit einer Helligkeit oder Lichtintensität in dem Bildausschnitt verglichen. In diesem Fall sollte ein Objekt in dem ersten Bild an einer Position liegen, die einer Position entspricht, die auch im Bildausschnitt des zweiten Bildes liegt, damit eine Auswertung der Helligkeiten des Objektes mit unterschiedlichen Belichtungszeiten möglich wird. Auch kann die Helligkeit oder die Lichtintensität eines Objektes ausgewertet werden, das nicht in dem Bildausschnitt liegt, wobei dann in diesem Fall das zweite Bild statt dem Bildausschnitt für die Auswertung heranzuziehen ist.
-
Bei einer konstant Licht aussendenden Lichtquelle resultiert ein Helligkeitsverlauf, wie er in der 3 in der unteren Darstellung wiedergegeben ist. Dabei weist die konstant leuchtende Lichtquelle in den Bildern mit unterschiedlichen Belichtungszeiten unterschiedliche Helligkeitsintensitäten auf. Beispielsweise weist die Lichtquelle im Bild mit der kürzeren Belichtungszeit einen kleineren Helligkeitswert 320 auf, als im Bild mit der längeren Belichtungszeit, in dem ein größerer Helligkeitswert 330 für die konstant leuchtende Lichtquelle auftritt. Somit variiert die gemessene Lichtintensität oder Helligkeit einer konstant leuchtenden Lichtquelle mit einer bimodal geregelten Kamera entsprechend den unterschiedlichen Belichtungszeiten für die ausgewerteten Bilder. Eine konstant leuchtende Lichtquelle bildet sich für die jeweiligen Beleuchtungszeiten somit unterschiedlich ab. Somit kann die Veränderung der Helligkeit oder Lichtintensität bei einer Auswertung von Bildern, die bei unterschiedlicher Beleuchtungszeit aufgenommen wurden, als wichtige Information für die Klassifikation von selbstleuchtenden Objekten verwendet werden. Beispielsweise können auf diese Weise entfernte Straßenlaternen mit einer Lichtaussendungsfrequenz von 50 bis 60 Hz entsprechend der Frequenz des Energieversorgungsnetzes erkannt werden, bei denen die Scheinwerfer des eigenen Fahrzeugs nicht abgeblendet werden sollen. Auch können beispielsweise reflektierende Objekte erkannt werden, die durch eine Modulation der Frequenz der Lichtaussendung durch die Scheinwerfer des eigenen Fahrzeugs das entsprechend an dem Objekt reflektierte modulierte Licht erkannt werden kann.
-
Allgemein gilt, dass eine pulsierende Lichtquelle von einer unimodal geregelten Kamera nur als pulsierend wahrgenommen wird, wenn die Abtastfrequenz (z.B. 30 Bilder/Sekunde = 30 Hz) kein Vielfaches von der Pulsfrequenz der Lichtquelle ist. Mit einer 30 Hz-Kamera sieht man eine 60 Hz-Lichtquelle als konstant leuchtend an (bei den für Dunkelheit typischen Integrationszeiten pro Bild). Bei einer bimodal geregelten Kamera kann man diese Beschränkung umgehen, wie es durch die durch die folgend beschriebene Vorgehensweise näher dargestellt ist.
-
In der 4 ist dargestellt, wie eine gepulste Lichtquelle erkannt werden kann. Dabei sind in der oberen Darstellung aus 4 die Helligkeitswerte einer Abtastung einer mit 60 Hz gepulsten Lichtquelle mit einer bimodal geregelten Kamera wiedergegeben. Wiederum ist auf der Abszisse die Zeit (in Form von fortlaufenden Bildnummern) und auf der Ordinate die gemessene (auf einen Wert normierte) Lichtintensität 300 einer Lichtquelle (mit gepulster Lichtaussendung) gegenüber einer Messung 310 der Lichtintensität dieser Lichtquelle durch die Kamera dargestellt. Wie aus der oberen Darstellung aus 4 ersichtlich ist, überschneiden sich die Zeitpunkte bzw. Zeiträume der Lichtaussendung durch die gepulste Lichtquelle mit den Zeitpunkten oder Zeiträumen der Abtastung bzw. Belichtung der entsprechenden auszuwertenden Bilder durch die Kamera. Aus dem unteren Diagramm der 4 ist ersichtlich, dass eine derartige Abtastung von sich überscheidenden Belichtungszeiträumen mit Lichtaussendungszeiträumen der gepulsten Lichtquelle in Helligkeitswerten 400 für die Lichtquelle in beiden Bildern resultiert, die innerhalb eines Toleranzbereichs gleich sind. Somit bildet sich eine gepulste Lichtquelle für die unterschiedlichen Belichtungszeiten in verschiedenen Bildern mit sehr ähnlichen Helligkeitswerten ab. Die Messergebnisse der Lichtintensität der Lichtquelle, die aus den Bildern mit den unterschiedlichen Belichtungszeiten gewonnen wird, verändert sich also nicht entsprechend der Belichtungszeiten der jeweiligen ausgewerteten Bilder, wodurch das Pulsieren einer solchen Lichtquelle erkannt werden kann.
-
Ferner bewirkt eine längere Belichtungszeit eine stabilere Ausprägung der Eigenschaften von gepulsten Lichtquellen im Bild und wodurch eine validere Farbrekonstruktion und Formanalyse des Lichtobjektes möglich ist. Die Informationen aus dem kurz belichteten Bild stellen sich dagegen kontrastreicher dar, da die Bewegungsunschärfe geringer ausfällt, was besonders vorteilhaft bei der Schätzung der Bewegung und deren Richtung ist.
-
5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung als Verfahren 500 zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs. Das Verfahren 500 umfasse einen Schritt des Einlesens 510 eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde, wobei um Schritt des Einlesens ferner ein Einlesen eines zweiten Bildes der Fahrzeugkamera erfolgt, das nach dem ersten Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, wobei sich die zweite Belichtungszeit von der ersten Belichtungszeit unterscheidet. Weiterhin umfasst das Verfahren 500 einen Schritt des Extrahierens 520 eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das zweite Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position einer Infrastrukturmaßnahme vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde. Schließlich umfasst das Verfahren 500 einen Schritt des Anwendens 530 eines ersten Objekterkennungsalgorithmus auf das erste Bild, um zumindest ein Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007001099 A1 [0003]
