-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes, auf eine entsprechende Bildaufbereitungsvorrichtung sowie auf ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen.
-
Die wachsende Komplexität der Anforderungen an die verschiedenen videobasierten Systeme im Fahrzeuge führt, bedingt eine notwendige „Kooperation” der einzelnen Systeme untereinander. So ist z. B. bekannt, das Informationen der Spurerkennung für eine Online-Kalibierung genutzt werden, das Ergebnis der Fahrzeugdetektion zur Reduzierung der durch Geschwindigkeitszeichen auf z. B. LKWs bedingten Anzahl von Fehlklassifikationen im System Verkehrszeichenerkennung Anwendung finden kann etc. Die Zahl der hier nur beispielhaft genannten Kooperationen zwischen verschiedenen Systemen lässt sich beliebig erweitern.
-
In der
DE 10 2007 034 196 A1 wird ein Verfahren für die Spurerfassung mit einem ein Sensorsystem zur Spurerkennung umfassenden Fahrerassistenzsystem eines Fahrzeugs offenbart, bei dem mit dem Sensorsystem für Spurerkennung in einem vor dem Fahrzeug liegenden Bereich eines Verkehrsraums Fahrspurmarkierungen repräsentierende Messpunkte erfasst werden. Auf Basis eines Referenzmodells wird eine ideale Anzahl von Messpunkten MP ermittelt. Aus einem Vergleich zwischen der Anzahl der tatsächlich erfassten Messpunkte und der idealen Anzahl von Messpunkten wird ein Plausibilitätsmaß der Vorausschauweite bestimmt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes, weiterhin eine Bildaufbereitungsvorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Die vorliegende Erfindung schafft ein Verfahren zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes, wobei das Verfahren die folgenden Schritte aufweist:
- – Einlesen des Bildes der Kamera;
- – Erkennen von zumindest einem Objekt in einem Teilausschnitt des Bildes, wobei der Teilausschnitt einen kleineren Bereich der Fahrzeugumgebung abbildet, als das Bild;
- – Übertragen des Teilausschnitts und/oder einer Information über den Teilausschnitt des Bildes an ein Fahrerassistenzmodul, wobei insbesondere das Fahrerassistenzmodul eine Fahrerassistenzfunktion implementiert, die sich von einer alleinigen Auswertung des von der Kamera aufgenommenen Bildes unterscheidet; und
- – Verwenden des Teilausschnitts des Bildes und/oder der Informationen über den Teilausschnitt des Bildes statt des gesamten Bildes in dem Fahrerassistenzmodul, um das von der Kamera aufgenommene Bild auszuwerten.
-
Die vorliegende Erfindung schafft ferner eine Bildaufbereitungsvorrichtung, die ausgebildet ist, um Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung, insbesondere einer Bildaufbereitungsvorrichtung, kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung von Schritten des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einer Bildaufbereitungsvorrichtung oder einem, einem Computer entsprechenden Gerät ausgeführt wird.
-
Unter einer Kamera kann eine optische Aufnahmeeinheit zur Erfassung einer Fahrzeugumgebung in spektralen Bereich des sichtbaren Lichts verstanden werden. Ein Objekt, das in einem Bild der Kamera erkannt wird, kann beispielsweise eine bauliche Einrichtung am Fahrbahnrand (wie beispielsweise einen Leitpfosten oder eine Straßenlateme) oder auf der Fahrbahn (beispielsweise eine Straßenmarkierung) oder auch ein sich bewegendes Objekt auf der Fahrbahn (wie beispielsweise ein Fahrzeug) sein. Das Bild der Kamera kann insbesondere bei Dunkelheit oder bei Nacht aufgenommen sein, auf wobei die Objekte sich durch eine deutlich erhöhte Helligkeit gegenüber dem Bildhintergrund oder anderen Bildbereichen auszeichnen. Unter einem Teilausschnitt kann ein Teilbereich des Bildes verstanden werden, der einen kleineren Bereich der Fahrzeugumgebung abbildet, als das Bild der Kamera. Insbesondere kann dabei unter einem Teilausschnitt ein Bereich des Bildes betrachtet werden, der zumindest einen anderen Ausschnitt des Bildes nicht umfasst. Dabei bildet der Teilausschnitt des Bildes einen Bereich um als ein „Objekt” oder mehrere „Objekte” in dem Kamerabild erkannten Gegenstand bzw. erkannte Gegenstände der Fahrzeugumgebung. Dabei kann der Teilausschnitt des Bildes einen Bereich um die als „Objekt(e)” erkannten Gegenstand bzw. Gegenstände herum umfassen. Unter einer Information über den Teilausschnitt des Bildes kann beispielsweise eine Position und/oder Größe des Ausschnitts verstanden werden, in dem das oder die Objekte in Bild erkannt werden. Weiterhin kann die Information über den Teilausschnitt des Bildes auch einen Parameter des Objektes wie beispielsweise eine Helligkeit und/oder eine Farbe betreffen. Zusätzlich kann natürlich auch der Inhalt des Kamerabildes im entsprechenden Teilausschnitt als Information über den Teilausschnitt an das Fahrerassistenzmodul übertragen werden. Unter einem Fahrerassistenzmodul kann eine Einrichtung verstanden werden, die eine Fahrerassistenzfunktion ausführt, um einen Fahrer des Fahrzeugs bei der Fahrt des Fahrzeugs zu entlasten. Beispielsweise kann eine Fahrerassistenzfunktion eine automatische Erkennung von Verkehrszeichen, eine Fahrspurdetektion und/oder eine Mehrfachobjekterkennung implementieren, um beispielsweise ein oder mehrere Fahrzeuge vor dem eigenen Fahrzeug zu erkennen zu können. Das Fahrerassistenzmodul kann dabei eine Ausgabe an den Fahrer des Fahrzeugs durchführen, um ihm die Führung des Fahrzeugs zu erleichtern, beispielsweise eine Fahrspur, auf der sich das Fahrzeug gerade befindet, auch in Kurven beizubehalten. Die Fahrerassistenzfunktion umfasst dabei zumindest eine weitere Funktionalität, die sich von der alleinigen Untersuchung und Aufteilung des Kamerabildes in unterschiedliche Teilausschnitte des von der Kamera aufgenommenen Bildes unterscheidet, wie beispielsweise die Auswertung des Inhalts von Verkehrszeichen und ansprechend darauf die Ausgabe eines Informationssignals an den Fahrer des Fahrzeugs, die Erkennung und Extrapolation einer Fahrspur aus erkannten Fahrbahnmarkierungen und ansprechend darauf die Ausgabe eines Fahrspurfolgesignals oder die Erkennung von einer Bremsung von vorausfahrenden Fahrzeugen und ansprechend darauf die Ausgabe eines Warnsignals oder die Ausgabe eines automatischen Bremssignals zur Bremsung des Fahrzeugs.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass lediglich der Teilausschnitt des Bildes oder eine Information über den Teilausschnitt statt dem gesamten Bild der Kamera in dem Fahrerassistenzmodul ausgewertet werden braucht, um das Fahrerassistenzmodul bzw. die Funktion des betreffenden Fahrerassistenzmoduls tatsächlich optimal nutzen zu können. Im Wesentlichen basiert ein Algorithmus des Fahrerassistenzmoduls darauf, dass ein teilweise sehr großes Bild der Kamera nach oftmals kleinen Objekten durchsucht werden muss, um dem Fahrer eine entsprechende Assistenzfunktion zur Verfügung zu stellen. Wenn bereits eine grobe Auswertung des Bildes nach darin enthaltenen Objekten (insbesondere unter Verwendung eines besonders auf die Objektsuche optimierten Algorithmus') bereits in einem frühen Stadium erfolgt und hierdurch ein oder mehrere Teilausschnitte des Bildes erkannt werden, in denen Objekte erkannt wurden, kann dieser Teilausschnitt/können diese Teilausschnitte an das betreffende Fahrerassistenzmodule übertragen werden. Das Fahrerassistenzmodul braucht dann lediglich einen kleinen Teilausschnitt des Bildes zu untersuchen, so dass sich vorteilhaft eine numerische oder schaltungstechnische Datenverarbeitungslast in diesem Fahrerassistenzmodul reduzieren lässt. Für den Fall, dass mehrere unterschiedliche Fahrerassistenzmodule mit einem derart vorverarbeiteten Kamerabild, das heißt einem für das jeweilige Fahrerassistenzmodul relevanten Teilausschnitt versorgt werden, lässt sich hierdurch in mehreren der betreffenden Fahrerassistenzmodule eine Einsparung von Rechenaufwand erreichen, was sich einerseits in einer schnelleren Verarbeitungszeit und andererseits in einer geringeren Leistungsaufnahme der betreffenden Fahrerassistenzmodule auswirkt.
-
Gemäß einer vorteilhaften Ausführungsform der vorliegenden Erfindung kann im Schritt des Übertragens als Information eine Größe und/oder eine Position des Teilausschnitts in dem Bild übertragen werden. Eine Größe und/oder eine Position des Teilausschnitts des Bildes kann dabei eine Form des Teilausschnitt des Bildes wie beispielsweise eine Rechteckform, eine ovale Form oder eine Orientierung des Teilausschnitts, beispielsweise unter Angabe eines Winkels des Teilausschnitts bezüglich einer oberen oder unteren Kante des Kamerabildes repräsentieren. Eine Position des Teilausschnitts des Bildes kann dabei beispielsweise Koordinaten eines Eckpunktes des Teilausschnitts in dem Kamerabild repräsentieren. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass mit sehr wenigen Parameter eine Lage des Teilausschnitts in dem Kamerabild übertragbar ist.
-
Vorteilhaft ist es ferner, wenn im Schritt des Erkennens eine Farbe und/oder eine Helligkeit des Objektes erkannt wird und in dem Schritt des Übertragens als Information ferner die erkannte Farbe und/oder Helligkeit an das Fahrerassistenzmodul übertragen wird. Unter einer Helligkeit kann dabei eine Leuchtstärke und/oder ein Pulsen bzw. eine Pulsfrequenz des Lichts eines als Objekt erkannten Bereichs des Kamerabildes verstanden werden. Unter einer auf Farne des Objekts kann eine spektrale Frequenz des Lichts des als Objekt erkannten Bereichs des Kamerabildes verstanden werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass zusätzliche Informationen als Parameter an das betreffende Fahrerassistenzmodul technisch einfach übertragen werden können.
-
Besonders vorteilhaft ist es, wenn im Schritt des Erkennens zumindest ein Verkehrszeichen als Objekt in dem Teilausschnitt des Bildes erkannt wird und im Schritt des Übertragens der Teilausschnitt und/oder die Information über den Teilausschnitt an ein Verkehrszeichen-Erkennungsmodul als Fahrerassistenzmodul übertragen werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass bereits bei der Auswertung des Kamerabildes ein Objekt als Verkehrszeichen erkannt und einem speziell zu Erkennung von Verkehrszeichen ausgelegten Erkennungsmodul als Fahrerassistenzmodul zugeführt werden kann. Eine komplette Durchsuchung des gesamten Kamerabildes durch das Verkehrszeichen-Erkennungsmodul mit einem entsprechend aufwändigen Erkennungsalgorithmus kann dadurch vermieden werden.
-
Gemäß einer werteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Erkennens zumindest ein selbst-leuchtendes Objekt von zumindest einem extern angestrahlten Objekt unterschieden wird, um den Teilausschnitt des Bildes festzulegen. Ein selbst-leuchtendes Objekt kann dabei ein Objekt sein, welches aktiv Licht aussendet. Ein solches selbst-leuchtendes Objekt kann beispielsweise ein Scheinwerfer oder ein Scheinwerferpaar eines entgegenkommenden Fahrzeugs sein. Dagegen kann ein extern angestrahltes Objekt beispielsweise ein Verkehrszeichen sein. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, beispielsweise aus der Analyse der spektralen Zusammensetzung des von der Kamera detektierten Lichts, eine Unterscheidung zu treffen, ob ein Objekt selbst Licht aussendet oder (beispielsweise von den Scheinwerfern des eigenen Fahrzeugs) beleuchtet wird. Eine solche Unterscheidung ermöglicht eine frühzeitige Erkennung und/oder Klassifikation von Objekten, so dass diese Objekte auch unterschiedlichen Fahrerassistenzmodulen zugeführt werden können. Beispielsweise kann ein Teilausschnitt des Kamerabildes, in dem ein selbst-leuchtendes Objekt erkannt wurde, einem Scheinwerfersteuerungsmodul zugeführt werden, wogegen ein Teilausschnitt des Kamerabildes, in dem ein extern angestrahltes Objekt erkannt wurde, einem Fahrspurdetektionsmodul zugeführt wird, wobei die betreffenden Objekte beispielsweise als Leitpfosten interpretiert werden können.
-
Weiterhin kann gemäß einer anderen Ausführungsform der vorliegenden Erfindung im Schritt des Erkennens zumindest ein Leitpfosten und/oder zumindest eine Straßenbeleuchtungseinrichtung als Objekt in dem Teilausschnitt des Bildes erkannt wird und im Schritt des Übertragens der Teilausschnitt und/oder die Information über den Teilausschnitt an ein Fahrspurdetektionsmodul und/oder ein Spurführungsmodul und/oder Lichtsteuerungssystem als Fahrerassistenzmodul übertragen werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil einer besonders günstigen Vorverarbeitung des eingelesenen Kamerabildes, so dass ein Fahrspurdetektionsmodul und/oder ein Spurführungsmodul für das Fahrzeug eine geringere Verarbeitungslast tragen müssen. Unter einem Fahrspurdetektionsmodul kann hierbei eine Fahrerassistenzfunktion verstanden werden, bei der die von dem eigenen Fahrzeug zu befahrenden Fahrspur im Voraus abgeschätzt wird und bei der möglicherweise eine Unterstützung des Fahrers beim Halten dieser Fahrspur durch entsprechende Steuersignale an weitere Fahrzeugkomponenten ausgegeben wird. Unter einem Spurführungsmodul kann eine Fahrerassistenzfunktion verstanden werden, bei der das Fahrzeug aktiv auf einer gewünschten Fahrspur der Fahrbahn gehalten wird.
-
Um eine besonders niedrige Datenverarbeitungslast eines Fahrspurdetektionsmoduls, eines Spurführungsmoduls und/oder eines Lichtsteuerungssystems zu erreichen, können gemäß einer anderen Ausführungsform der vorliegenden Erfindung im Schritt des Erkennens zumindest Rücklichter eines vorausfahrenden Fahrzeugs als Objekt in dem Teilausschnitt des Bildes erkannt werden und im Schritt des Übertragens der Teilausschnitt und/oder die Information über den Teilausschnitt an ein Lichtsteuerungssystem und/oder ein Fahrspurdetektionsmodul und/oder ein Spurführungsmodul als Fahrerassistenzmodul übertragen werden. Die Rücklichter eines vorrausfahrenden Fahrzeugs können beispielsweise an Hand ihrer Farbe und/oder ihres Abstands zueinander erkannt als solche werden. Dabei kann beispielsweise das Lichtsteuerungssystem einen Lichtkegel des Fahrzeugs derart ausrichten, dass ein oder mehrere vorausfahrende Fahrzeuge, deren Rücklichter beispielsweise als Objekt erkannt wunden, nicht geblendet werden. Alternativ oder zusätzlich kann auch ein Fahrspurdetektionsmodul einen nicht von den Scheinwerfern des eigenen Fahrzeugs beleuchteten Fahrspurverlauf aus einem Teilausschnitt des Kamerabildes bestimmen, insbesondere aus einer Position eines Objektes, das als Rücklichter eines vorausfahrenden Fahrzeugs klassifiziert wurde.
-
Besonders groß ist der Vorteil des Einsatzes des vorstehend vorgeschlagenen Verfahrens, wenn gemäß einer Ausführungsform der vorliegenden Erfindung im Schritt des Einlesens ein Bild von der Kamera eingelesen wird, das von der Kamera bei Dunkelheit aufgenommen wurde. Unter Dunkelheit ist dabei eine Helligkeit der Fahrzeugumgebung zu verstehen, die es (beispielsweise entsprechend er Straßenverkehrsordnung) erforderlich macht, mit eingeschalteten Scheinwerfern zu fahren. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass die Auswertungsfähigkeit des Fahrerassistenzmoduls deutlich erhöht wird, da gerade bei Dunkelheit die Erkennung von Objekten sehr schwierig ist. Wenn bereits eine Vorabauswertung bzw. Vorabaufbereitung des Kamerabildes mit einem Algorithmus erfolgt, der speziell für bei Dunkelheit aufgenommene Kamerabilder ausgelegt ist, kann dies die Datenverarbeitungslast des oder der der jeweiligen Fahrerassistenzmodule, an die der Teilausschnitt übertragen wird, deutlich senken.
-
Besonders vorteilhaft kann der vorstehend beschriebene Ansatz eingesetzt werden, wenn nicht nur ein einziges Fahrerassistenzmodul mit einem Teilausschnitt des Kamerabildes versorgt wird, sondern wenn mehrere unterschiedliche Fahrerassistenzmodule je einen eigenen Teilausschnitt des Kamerabildes übertragen erhalten, der die für die jeweilige Fahrerassistenzfunktion relevanten erkannten Objekte umfasst. Auf diese Weise kann durch eine zentrale einheitliche Vorverarbeitung des Kamerabildes eine deutliche Reduktion der Datenverarbeitungslast in den nachfolgenden Fahrerassistenzmodulen erreicht werden, die die Effizienz des hier vorgeschlagenen Ansatzes weiter erhöht. Somit kann gemäß einer weiteren Ausführungsform der vorliegenden Erfindung im Schritt des Erkennens zumindest ein weiteres Objekt in einem weiteren Teilausschnitt des Bildes erkannt werden, wobei der wertere Teilausschnitt einen kleineren Bereich der Fahrzeugumgebung abbildet, als das Bild. Ferner wird im Schritt des Übertragens der weitere Teilausschnitt und/oder eine weitere Information über den weiteren Teilausschnitt des Bildes an ein weiteres Fahrerassistenzmodul übertragen, wobei sich das weitere Fahrerassistenzmodul von dem Fahrerassistenzmodul unterscheidet. Weiterhin wird im Schritt des Verwendens der weiteren Teilausschnitts statt des gesamten Bildes in dem weiteren Fahrerassistenzmodul verwendet, um das von der Kamera aufgenommene Bild auszuwerten.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 ein Blockschaltbild eines Fahrzeugs, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet wird;
-
2 ein Blockschaltbild eines Ausführungsbeispiels der erfindungsgemäßen Bildauswertungsvorrichtung;
-
3 zeigt ein Ausführungsbeispiel eines Kamerabildes, wie es von der Kamera aus 1 bei Blick auf eine Fahrzeugumgebung aufgenommen wurde;
-
4 zeigt ein weiteres Ausführungsbeispiel eines Kamerabildes, wie es von der Kamera aus 1 bei Blick auf eine Fahrzeugumgebung aufgenommen wurde;
-
5 zeigt ein werteres Ausführungsbeispiel eines Kamerabildes, wie es von der Kamera aus 1 bei Blick auf eine Fahrzeugumgebung aufgenommen wurde; und
-
6 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung als Verfahren.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet wird. Das Fahrzeug 100 umfasst dabei eine Kamera 110, die eine Fahrzeugumgebung 115 aus einem Blickwinkel 120 erfasst. Insbesondere kann die Kamera 110 ausgebildet sein, um besonders bei Dunkelheit Gegenstände und/oder Objekte in der Fahrzeugumgebung 115 zu detektieren. Das von der Kamera 110 aufgenommene Bild wird nachfolgend in einer Bildverarbeitungseinheit oder Bildaufbereitungseinheit 130 ausgewertet, wobei Objekte in dem Kamerabild erkannt werden und Teilausschnitte, die diese Objekte enthalten, gebildet werden. Diese Teilausschnitte oder Informationen über diese Teilausschnitte können dann an unterschiedliche Fahrerassistenzmodule wie ein Verkehrszeichenerkennungsmodul 140, ein Fahrspurdetektionsmodul 150 oder ein Lichtsteuerungsmodul 160 zur Steuerung der Scheinwerfer des Fahrzeugs 100 übermittelt werden. Beispielsweise kann in der Bildverarbeitungseinheit 130 aus dem von der Kamera 110 aufgenommenen Bild an Hand bestimmter geometrischer Formen und/oder Farben erkannt werden, dass in einem bestimmten Teilausschnitt des von der Kamera 110 aufgenommen in Bildes Verkehrszeichen enthalten sind. Ein Teilausschnitt, der solche Verkehrszeichen in dem Kamerabild enthält, wird dann beispielsweise dem Verkehrszeichenerkennungsmodul 140 übermittelt. In einem anderen Teilausschnitt des Kamerabildes werden beispielsweise Reflektoren von Leitpfosten erkannt, so dass dieser Teilausschnitt des Kamerabildes beispielsweise an das Fahrspurdetektionsmodul 150 übersandt wird. Werden beispielsweise Scheinwerfer von einem entgegenkommenden Fahrzeug als Objekt erkannt, kann ein Bildausschnitt des Kamerabilds, welches diese als Scheinwerfer erkannten Objekte umfasst, an das Lichtsteuerungsmodul 160 übersandt werden, welches die Scheinwerfer oder einen Lichtkegel der Scheinwerfer derart ausrichtet, dass ein Fahrer des entgegenkommenden Fahrzeugs nicht geblendet wird.
-
Die 2 zeigt ein Blockschaltbild eines Ausführungsbeispiels der erfindungsgemäßen Bildaufbereitungsvorrichtung oder -einheit 130. Die Bildaufbereitungsvorrichtung 130 umfasst dabei eine Schnittstelle 200 zum Einlesen des Bildes von der Kamera 110. Weiterhin umfasst die Bildaufbereitungsvorrichtung 130 einer Erkennungseinheit 210 zum Erkennen von zumindest einem Objekt in einem Teilausschnitt des Bildes. Zusätzlich umfasst die Bildaufbereitungsvorrichtung 130 eine Übertragungsschnittstelle 220 zum Übertragen des Teilausschnitt und/oder einer Information über den Teilausschnitt des Bildes an ein Fahrerassistenzmodul. Dieses Fahrerassistenzmodul kann beispielsweise das Verkehrszeichenerkennungsmodul 140, das Fahrspurdetektionsmodul 150 oder das Lichtsteuerungsmodul 160 sein.
-
Der hier vorgeschlagene Ansatz bezieht sich insbesondere auf die Bereitstellung und konsequente Nutzung von im System „Vehicle Detection at Darkness” (VDD) aktuell nur intern genutzten Informationen für die Definition bzw. Einschränkung von Suchbereichen anderer Systeme wie z. B. Verkehrszeichenerkennung oder Fahrspurerkennungsassistenz.
-
Damit ist das VDD-System bei Nacht vergleichbar mit einer sogenannten Basisfunktion, auf deren Ergebnissen weitere Funktionen und Systeme aufbauen können. Durch die Verknüpfung der Funktion „VDD”, insbesondere der Erkennung von Objekten in der Fahrzeugumgebung bei Dunkelheit, mit anderen (Fahrerassistenz-) Funktionen lässt sich die Leistungsfähigkeit der weiteren (Fahrerassistenz-) Funktionen zumindest in der Nacht (d. h. allgemein bei Dunkelheit) bzw. in Situationen, in denen Fahrzeuge mit eingeschalteter Außenbeleuchtung fahren, signifikant erhöhen.
-
Die Ausnutzung von zusätzlichen Informationen wie z. B. die Position von klassifizierten Verkehrszeichen oder auch deren Pulsung (d. h. die Information über gepulste/nicht gepulste Lichtobjekte im Fahrzeugumfeld) bei Wechselverkehrszeichen kann vorteilhafterweise im System der Verkehrszeichenerkennung genutzt werden, um Verkehrszeichen schon in großer Entfernung (beispielsweise größer als 150 m) sicher zu detektieren und eine Klassifkationsstrategie für diese Zeichen entsprechend anzupassen. Auch kann VDD für als Verkehrszeichen erkannte Objekte eine Einordnung in „selbstleuchtend” bzw. „vom eigenen Scheinwerfer beleuchtet” durchführen. Die Positionen der detektierten Leitpfosten können vorteilhafterweise im System der Fahrspurdetektion genutzt werden, um den Suchbereich für die Spuren signifikant einzuschränken bzw. vorhandene Detektionen zu stabilisieren oder plausibilisieren. Vom System VDD klassifizierte Straßenlaternen als Objekte sind zudem für die Fahrspurdetektion bei der Farbauswertung der Linien von Interesse, da beispielsweise Straßenlaternen bzw. Tunnelbeleuchtung die Gelbklassifikation von Linien stark erschweren. Jegliches von VDD bereitgestelltes Ausschließen von Bildbereichen (d. h. Teilausschnitten des Kamerabildes) für andere (Fahrerassistenz-) Funktionen führt schlussendlich zu einer reduzierten Rechenzeit des Gesamtsystems.
-
Die 3 zeigt ein Ausführungsbeispiel eines Kamerabildes 300, wie es von der Kamera 110 aus 1 bei Blick auf eine Fahrzeugumgebung aufgenommen wurde. Beispielhaft ist in der 3 die Detektion von Wechselverkehrszeichen 305 anhand der Farbe (meist rot) und/oder deren Pulsung bei der Verwendung von Leuchtdioden der Wechselverkehrszeichen 305 durch die Funktion VDD erkennbar. Diese Wechselverkehrszeichen werden in zwei Teilausschnitten 310 des Kamerabildes 300 erkannt, die dann an das Verkehrszeichenerkennungsmodus 140 gemäß der 1 übertragen werden können. Die Übertragung kann dabei derart erfolgen, dass die Teilausschnitte 310 selbst oder nur eine Information über die Größe und Position der Teilausschnitte 310 an das Verkehrszeichenerkennungsmodul 140 übertragen wird, in denen die als „Verkehrszeichen” erkannten Objekte enthalten sind. Dabei kann eine Größe der Teilbereiche bzw. Teilausschnitte 310 so gewählt werden, dass ein bestimmter ein Ausschnitt mit einem Rand mit vordefinierter Große um die als Verkehrszeichen erkannten Objekte herum als Teilausschnitt betrachtet wird. Auch kann eine Form des Teilausschnitts wie beispielsweise eine Rechteckform ausgewählt werden, um möglichst eine gute Verarbeitbarkeit der Teilausschnitte in dem Fahrerassistenzmodul sicherstellen zu können. Hierdurch wird eine mögliche frühzeitige Detektion von Verkehrszeichen möglich, ohne dass das Verkehrszeichenerkennungsmodul 140 das komplette Kamerabild 310 mit hohem numerischem oder schaltungstechnischem Aufwand analysieren braucht. Dabei umfassen die Teilausschnitte 310 jeweils einen Bereich des Kamerabildes 300, der kleiner als das gesamte Kamerabild 200 ist.
-
Ein weiteres Beispiel der Bildung von Teilausschnitten aus dem Kamerabild 300 ist die Detektion von Leitposten, seitlichen Fahrspurmarkierungen 315 oder auch BotsDots (in z. B. Tunneln oder als Straßenbegrenzung) durch die Funktion VDD (d. h. die Bildauswertungsvorrichtung 130) beispielsweise an Hand ihrer Farbe (meist gelb) von solchen erkannten Objekten oder als „extern beleuchtetes Objekt” vor dem Fahrzeug. Eine solche Detektion von baulichen Maßnahmen im Fahrzeugumfeld 115 ist ebenfalls in der 1 dargestellt, wobei die Teilausschnitte des Kamerabildes, die diese reflektierenden Elemente umfassen, als weitere Teilausschnitte 320 betrachtet werden, die beispielsweise an das Fahrspurdetektionsmodul 150 gemäß 1 übertragen werden. Eine Funktion zur Fahrspurdetektion könnte somit auf Basis dieser zusätzlichen Informationen die eigenen Suchbereiche intelligent anpassen.
-
Die 4 zeigt ein weiteres Ausführungsbeispiel eines Kamerabildes 300, das eine Kamera 110 gemäß 1 von einer Fahrzeugumgebung aufgenommen hat. Dabei werden ebenfalls wieder mehrere Verkehrszeichen 305 erkannt, die als Teilausschnitte 310 beispielsweise an das Verkehrszeichenerkennungsmodul 140 gemäß der 1 übersandt werden. Auch können dabei mehrere voreinander getrennte, unterschiedliche Teilausschnitte 310 gebildet werden, in denen Objekte als Verkehrszeichen erkannt werden, wobei die diese einzelnen bzw. getrennten Teilausschnitte 310 beide zu dem Verkehrszeichenerkennungsmodul 140 übertragen werden. Es müssen somit nicht nur unterschiedliche Teilausschnitte zu unterschiedlichen Fahrerassistenzmodulen übertragen werden; vielmehr können auch mehrere unterschiedliche Teilausschnitte zu einem einzigen Fahrerassistenzmodul übertragen werden.
-
Die 5 zeigt ein weiteres Ausführungsbeispiel eines Kamerabildes 300, das eine Kamera 110 gemäß 1 von einer Fahrzeugumgebung aufgenommen hat. Dabei sind wiederum Leitpfosten 315 erkennbar, wobei gemäß dem vorstehend vorgestellten Ansatz ein entsprechender Teilausschnitt 320 gebildet wird, der diese Leitpfosten 315 aufweist und der beispielsweise an das Lichtsteuerungsmodul 160 zur besseren Ausleuchtung der gekrümmten Fahrbahn durch Kurvenlicht übersandt werden kann.
-
Die 6 zeigt ein weiteres Ausführungsbeispiel eines Kamerabildes 300, das eine Kamera 110 gemäß 1 von einer Fahrzeugumgebung aufgenommen hat. Dabei sind wiederum Leitpfosten 315 erkennbar, wobei gemäß dem vorstehend vorgestellten Ansatz ein entsprechender Teilausschnitt 320 gebildet wird, der diese Leitpfosten 315 aufweist und der beispielsweise an das Lichtsteuerungsmodul 160 zur besseren Ausleuchtung der gekrümmten Fahrbahn durch Kurvenlicht übersandt werden kann.
-
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung als Verfahren 600 zur Auswertung eines von einer Kamera eines Fahrzeugs aufgenommenen Bildes. Das Verfahren 600 umfasst einen Schritt des Einlesens 610 des Bildes der Kamera und einen Schritt des Erkennens 620 von zumindest einem Objekt in einem Teilausschnitt des Bildes, wobei der Teilausschnitt einen kleineren Bereich der Fahrzeugumgebung abbildet, als das Bild. Das Verfahren umfasst ferner einen Schritt des Übertragens 630 des Teilausschnitts und/oder einer Information über den Teilausschnitt des Bildes an ein Fahrerassistenzmodul, insbesondere das eine Fahrerassistenzfunktion implementiert, die sich von einer alleinigen Auswertung des von der Kamera aufgenommenen Bildes unterscheidet. Schließlich umfasst das Verfahren 600 einen Schritt des Verwendens 640 des Teilausschnitts des Bildes und/oder der Information über den Teilausschnitt des Bildes statt des gesamten Bildes in dem Fahrerassistenzmodul, um das von der Kamera aufgenommene Bild auszuwerten.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder” Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007034196 A1 [0003]
