-
Die vorliegende Erfindung betrifft ein Verfahren für ein Bildverarbeitungssystem eines Fahrzeugs sowie ein entsprechendes Bildverarbeitungssystem. Die vorliegende Erfindung betrifft weiterhin ein Fahrzeug mit einem Bildverarbeitungssystem. Die vorliegende Erfindung betrifft insbesondere ein Verfahren für ein Fahrerassistenzsystem mit einem Bildverarbeitungssystem zum Erkennen von Verkehrszeichen.
-
Fahrzeuge, wie z. B. Personenkraftwagen oder Lastkraftwagen, weisen zur Erhöhung der Verkehrssicherheit und zur Unterstützung des Fahrers des Fahrzeugs sogenannte Fahrerassistenzsysteme auf. Derartige Fahrerassistenzsysteme können beispielsweise eine Umgebung des Fahrzeugs beobachten und einen Fahrer auf gefährliche Situationen aufmerksam machen oder durch einen Eingriff auf eine Aktorik des Fahrzeugs versuchen, gefährliche Situationen zu vermeiden. Ein Fahrerassistenzsystem kann beispielsweise mithilfe einer Kamera ein Umfeld des Fahrzeugs beobachten und beispielsweise mit einem Bildverarbeitungssystem in dem Umfeld vorhandene Verkehrszeichen erfassen. Auf der Grundlage dieser erfassten Verkehrszeichen können dem Fahrer beispielsweise Warnungen ausgegeben werden, dass er die zulässige Höchstgeschwindigkeit überschreitet oder sich in einem Streckenabschnitt befindet, in welchem ein Überholverbot gilt. Darüber hinaus können die erfassten Verkehrszeichen beispielsweise im Bereich einer Baustelle die Fahrbahnführung anzeigen, wodurch dem Fahrerassistenzsystem die Möglichkeit gegeben wird, dem Fahrer beim Einhalten der Fahrspuren im Baustellenbereich zu unterstützen.
-
In dem Stand der Technik ist beispielsweise aus der
DE 10 2008 044 003 A1 ein Kameramodul mit Mehrfachfunktion bekannt. Das Kameramodul umfasst mindestens eine Kamera mit einem ortsauflösenden Bildgebungssensor zur Erfassung eines Aufnahmebereichs der Umgebung des Fahrzeugs. Weiterhin umfasst das Kameramodul mindestens einen in dem Kameramodul integrierten optischen Sekundärsensor, insbesondere einen Regensensor. Der optische Sekundärsensor umfasst mindestens einen optischen Sensor und mindestens einen Lichtleiter. Der Lichtleiter ist eingerichtet, um mindestens ein optisches Signal von einem Einkopplungsbereich des Kameramoduls zu dem optischen Sensor zu leiten. Die Kamerafunktion des Kameramoduls kann beispielsweise einer Verkehrszeichenerkennung, einer Fahrspurerkennung, einer Objekterkennung, einer Ausleuchtungssteuerung, einer Messung der Intensität des von vorne einfallenden Lichts oder ähnlichen Funktionen dienen. Eine zeitlich synchronisierte Aufnahme, insbesondere mittels einer Blitzlichtsteuerung, kann zur Optimierung der zur Verfügung stehenden Kapazitäten des Bildgebungssensors verwendet werden. Beispielsweise kann die Blitzlichtbeleuchtung derart ausgestaltet sein, dass eine mehrfache Blitzauslösung der Blitzlichtbeleuchtung je Bild des ortsauflösenden Bildgebungssensors erfolgt.
-
Bei üblichen Kamerasystemen, welche in der Lage sind, Verkehrszeichen mit beispielsweise Geschwindigkeitsbegrenzungen zu erkennen, wird das aufgenommene Kamerabild auf die Existenz bestimmter Formen, beispielsweise Kreise, untersucht, welche mögliche Kandidaten für ein Verkehrszeichen sind. Dann werden die Kandidaten mittels eines Klassifikationsverfahrens auf ihre Bedeutung hin untersucht. Der notwendige Rechenaufwand dafür ist jedoch sehr hoch und erfordert daher eine entsprechend leistungsfähige Hardware im Steuersystem oder Fahrerassistenzsystem. Die hierdurch entstehenden Mehrkosten können zum Teil dadurch verringert werden, dass bei der Kandidatensuche nur nach bestimmten Schildertypen, z. B. kreisrunde Schilder, gesucht wird. Dadurch können jedoch andere Schildertypen, beispielsweise dreieckige oder rechteckige, nicht erkannt werden.
-
Aufgabe der vorliegenden Erfindung ist es daher, eine Erkennung von Verkehrszeichen bereitzustellen, welches in der Lage ist, beliebig geformte Verkehrszeichen zu erfassen, und einen geringen Rechenaufwand benötigt.
-
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren für ein Bildverarbeitungssystem eines Fahrzeugs nach Anspruch 1, ein Bildverarbeitungssystem für ein Fahrzeug nach Anspruch 10 und ein Fahrzeug nach Anspruch 12 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.
-
Gemäß der vorliegenden Erfindung wird ein Verfahren für ein Bildverarbeitungssystem eines Fahrzeugs bereitgestellt. Bei dem Verfahren wird ein erstes Bild einer Umgebung des Fahrzeugs erfasst, während eine Beleuchtungsvorrichtung des Fahrzeugs die Umgebung mit einer ersten Beleuchtungsstärke oder Beleuchtungsintensität beleuchtet. Weiterhin wird ein zweites Bildes der Umgebung des Fahrzeugs erfasst, während die Beleuchtungsvorrichtung des Fahrzeugs die Umgebung mit einer zweiten Beleuchtungsstärke beleuchtet. Die zweite Beleuchtungsstärke ist unterschiedlich zu der ersten Beleuchtungsstärke. In Abhängigkeit von dem ersten Bild und dem zweiten Bild wird eine Position eines Objekts in der Umgebung des Fahrzeugs bestimmt. Indem das erste Bild und das zweite Bild bei unterschiedlicher Beleuchtungsstärke aufgenommen werden, unterscheidet sich die Helligkeit von insbesondere stark reflektierenden Objekten in den beiden Bildern erheblich. Da insbesondere Verkehrsschilder oder Verkehrszeichen einen besonders hohen Reflektionsgrad aufweisen, um die Sichtbarkeit des Bildes zu erhöhen, unterscheidet sich die Helligkeit eines Verkehrszeichens oder Verkehrsschildes in den beiden Bildern besonders stark. Dadurch ist es verhältnismäßig einfach, eine Position eines Verkehrszeichens in dem ersten und zweiten Bild zu bestimmen. Die vorliegende Erfindung ist jedoch nicht auf die Bestimmung einer Position von einem Verkehrszeichen beschränkt, sondern kann ebenfalls beispielsweise zur Bestimmung einer Position eines beliebigen Objekts in der Umgebung des Fahrzeugs verwendet werden, welches einen hohen Reflektionsgrad aufweist. Dies könnte beispielsweise ein Radfahrer oder ein Fußgänger mit Reflektoren oder ein anderes Fahrzeug mit Reflektoren sein.
-
Wie zuvor erwähnt, weisen insbesondere Verkehrszeichen einen hohen Reflektionsgrad auf und daher kann die Position eines Verkehrszeichens in der Umgebung des Fahrzeugs besonders einfach durch Vergleichen des ersten Bildes und des zweiten Bildes bestimmt werden. Dabei ist die Form des Verkehrszeichens irrelevant, sodass beliebig geformte Verkehrszeichen sicher und schnell erkannt werden können.
-
Gemäß einer Ausführungsform wird zur Bestimmung der Position des Objekts eine Positionsänderung des Fahrzeugs zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes in Abhängigkeit von Odometriedaten des Fahrzeugs bestimmt und die Position in Abhängigkeit von dem ersten Bild, dem zweiten Bild und der Positionsänderung des Fahrzeugs bestimmt. Da sich das Fahrzeug zwischen dem Erfassen des ersten Bildes und dem Erfassen des zweiten Bildes bewegen kann und somit seine Position ändern kann, ist diese Positionsänderung bei der Bestimmung der Position des Objekts oder Verkehrszeichens durch Vergleichen des ersten Bildes mit dem zweiten Bild zu berücksichtigen, um eine genaue Position des Objekts oder Verkehrszeichens in dem ersten oder zweiten Bild bestimmen zu können. Je genauer die Position des Objekts oder Verkehrszeichens in dem Bild bestimmt werden kann, umso einfacher kann das Objekt oder Verkehrszeichen beispielsweise mithilfe eines Klassifikationsverfahrens auf seine Bedeutung hin untersucht werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird zusätzlich ein Differenzbild in Abhängigkeit von dem ersten Bild und dem zweiten Bild bestimmt und die Position des Objekts oder Verkehrszeichens in dem Differenzbild bestimmt. Das Differenzbild kann beispielsweise bestimmt werden, indem ein erstes Summenbild und ein zweites Summenbild bestimmt werden. Das erste Summenbild wird bestimmt, indem einem Bildpunkt des ersten Summenbildes eine Summe von Farbwerten eines entsprechenden Bildpunktes des ersten Bildes zugeordnet wird. Vorzugsweise wird jedem Bildpunkt des ersten Summenbildes eine jeweilige Summe von Farbwerten des entsprechenden Bildpunkts des ersten Bildes zugeordnet. Das zweite Summenbild wird bestimmt, indem einem Bildpunkt des zweiten Summenbildes eine Summe von Farbwerten eines entsprechenden Bildpunktes des zweiten Bildes zugeordnet wird. Wiederum wird vorzugsweise jedem Bildpunkt des zweiten Summenbildes eine jeweilige Summe von Farbwerten von entsprechenden Bildpunkten des zweiten Bildes zugeordnet. Aus dem ersten Summenbild und dem zweiten Summenbild wird das Differenzbild bestimmt, indem einem Bildpunkt des Differenzbildes eine Differenz zwischen einem Wert eines entsprechenden Bildpunkts des ersten Summenbildes und einem Wert eines entsprechenden Bildpunkts des zweiten Summenbildes zugeordnet wird. Vorzugsweise wird jedem Bildpunkt des Differenzbildes eine entsprechende Differenz der Werte entsprechender Bildpunkte des ersten Summenbildes und des zweiten Summenbildes zugeordnet. In dem Differenzbild haben Bildpunkte, welche einem stark reflektierenden Objekt zugeordnet sind, beispielsweise Bildpunkte eines Verkehrszeichens, einen betragsmäßig verhältnismäßig hohen Wert, wohingegen Bildpunkte, welche weniger stark reflektierenden Gegenständen zugeordnet sind, einen betragsmäßig verhältnismäßig geringen Wert haben. Der Grund dafür ist, dass durch die Änderung der Beleuchtungsstärke zwischen dem Erfassen des ersten Bildes und des zweiten Bildes insbesondere reflektiertes Licht von stark reflektierenden Objekten, wie z. B. Verkehrsschildern, stark unterschiedlich erfasst wird. Beispielsweise kann die Position des Objekts oder Verkehrsschilds in dem Differenzbild durch Vergleichen von Bildpunktwerten des Differenzbildes mit einem vorbestimmten Schwellenwert durchgeführt werden. Dadurch ist eine besonders einfache Positionsfindung des Objekts oder Verkehrszeichens in dem Differenzbild möglich.
-
Gemäß einer Ausführungsform wird die Beleuchtungsvorrichtung des Fahrzeugs mit einer vorbestimmten Frequenz zwischen der ersten Beleuchtungsstärke und der zweiten Beleuchtungsstärke periodisch umgeschaltet. Weiterhin wird ein erster Zeitpunkt zum Erfassen des ersten Bildes und ein zweiter Zeitpunkt zum Erfassen des zweiten Bildes in Abhängigkeit von einem vorhergehenden Differenzbild bestimmt. Die Beleuchtungsvorrichtung kann beispielsweise ein LED-Tagfahrlicht des Fahrzeugs umfassen. Dieses LED-Tagfahrlicht kann mit einer vorbestimmten Frequenz von beispielsweise 100 Hz ein- und ausgeschaltet werden. Aus Sicht des Benutzers des Fahrzeugs oder aus Sicht eines anderen Verkehrsteilnehmers erscheint das LED-Taglicht dauerhaft eingeschaltet, da das menschliche Auge nicht in der Lage ist, Helligkeitsänderungen im Bereich von 100 Hz oder darüber wahrzunehmen. Trotzdem wird mit dem so periodisch ein- und ausgeschaltetem Tagfahrlicht die Umgebung des Fahrzeugs 100mal pro Sekunde mit zwei unterschiedlichen Beleuchtungsstärken abwechselnd beleuchtet. Bei geeigneter Aufnahmezeitsteuerung des ersten Bildes und des zweiten Bildes kann beispielsweise das erste Bild jeweils erfasst werden, während das Tagfahrlicht eingeschaltet ist, und das zweite Bild erfasst werden, während das Tagfahrlicht ausgeschaltet ist. Da zum Erfassen der Bilder auch eine vorbestimmte Zeit benötigt wird, ist es vorteilhaft, die Erfassung des ersten Bildes und des zweiten Bildes derart mit dem Ein- und Ausschalten des Tagfahrlichts zu synchronisieren, dass während der gesamten Erfassungszeit des ersten Bildes das Tagfahrlicht eingeschaltet ist und während der gesamten Erfassungszeit des zweiten Bildes das Tagfahrlicht ausgeschaltet ist. Diese Synchronisation kann durch Betrachten des Differenzbildes automatisch und unabhängig von beispielsweise einer Synchronisationsleitung zu dem Tagfahrlicht durchgeführt werden. Wenn die Synchronisation nicht genau stimmt, verringern sich die Unterschiede zwischen dem ersten und zweiten Bild, d. h., die Werte in dem Differenzbild werden kleiner. Durch Maximieren der Werte in dem Differenzbild können die Zeitpunkte zum Erfassen des ersten und zweiten Bildes optimiert werden. Dadurch ist keine direkte Synchronisation der Beleuchtungsvorrichtung mit einem Mittel zum Erfassen des ersten und zweiten Bildes erforderlich, wodurch das Bildverarbeitungssystem kostengünstig hergestellt und in dem Fahrzeug eingebaut werden kann.
-
Wie zuvor beschrieben sind die erste Beleuchtungsstärke und die zweite Beleuchtungsstärke unterschiedlich. Gemäß einer Ausführungsform kann die zweite Beleuchtungsstärke den Wert Null aufweisen, d. h., zum Erzeugen der zweiten Beleuchtungsstärke wird die Beleuchtungsvorrichtung ausgeschaltet. Zum Erzeugen der ersten Beleuchtungsstärke wird die Beleuchtungsvorrichtung hingegen eingeschaltet. Alternativ kann die Beleuchtungsvorrichtung zum Erzeugen der ersten und zweiten Beleuchtungsstärke auch unterschiedliche Beleuchtungsstärkepegel bereitstellen, beispielsweise indem die Beleuchtungsvorrichtung zum Erzeugen der ersten Beleuchtungsstärke mit 80% ihrer maximalen Leuchtkraft betrieben wird und zum Erzeugen der zweiten Beleuchtungsstärke mit beispielsweise 20% ihrer maximalen Beleuchtungsstärke betrieben wird.
-
Gemeiner weiteren Ausführungsform erzeugt die Beleuchtungsvorrichtung Licht in einem für Menschen nicht sichtbaren Spektrum, beispielsweise in einem Infrarotbereich oder einem ultravioletten Bereich, oder in einem Lichtspektrum, welches von Verkehrszeichen besonders gut reflektiert wird. Eine Begrenzung des Spektrums auf einen Bereich, welcher von Verkehrszeichen besonders gut reflektiert wird, kann einen Kontrast in dem Differenzbild verbessern, wodurch eine einfache und zuverlässige Erkennung von Verkehrszeichen in dem Differenzbild möglich ist. Wenn die Beleuchtungsvorrichtung Licht in einem für Menschen nicht sichtbarem Spektrum aussendet, kann die Beleuchtungsvorrichtung beliebig angesteuert werden, ohne dass ein Fahrer oder andere Verkehrsteilnehmer durch Licht von der Beleuchtungsvorrichtung irritiert werden.
-
Gemäß der vorliegenden Erfindung wird weiterhin ein Bildverarbeitungssystem für ein Fahrzeug bereitgestellt, welches eine Erfassungsvorrichtung zum Erfassen eines Bildes einer Umgebung des Fahrzeugs und eine Verarbeitungseinheit umfasst. Die Verarbeitungseinheit ist mit der Erfassungsvorrichtung gekoppelt und in der Lage, ein erstes Bild der Umgebung des Fahrzeugs zu erfassen, während eine Beleuchtungsvorrichtung des Fahrzeugs die Umgebung mit einer ersten Beleuchtungsstärke beleuchtet, und ein zweites Bild der Umgebung des Fahrzeugs zu erfassen, während die Beleuchtungsvorrichtung des Fahrzeugs die Umgebung mit einer zweiten Beleuchtungsstärke beleuchtet. Die erste und zweite Beleuchtungsstärke sind unterschiedlich. Die Verarbeitungseinheit ist ferner ausgestaltet, in Abhängigkeit von dem ersten Bild und dem zweiten Bild eine Position eines Objekts in der Umgebung des Fahrzeugs zu bestimmen. Das Bildverarbeitungssystem ist daher zur Durchführung des zuvor beschriebenen Verfahrens und seiner Ausführungsformen geeignet und umfasst daher auch die zuvor beschriebenen Vorteile.
-
Gemäß der vorliegenden Erfindung wird weiterhin ein Fahrzeug mit dem zuvor beschriebenen Bildverarbeitungssystem bereitgestellt. Das Bildverarbeitungssystem kann beispielsweise Bestandteil eines Fahrerassistenzsystems des Fahrzeugs sein. Das Bildverarbeitungssystem kann auf der Grundlage der bestimmten Position des Objekts, insbesondere der Position eines Verkehrzeichens, weiterhin eine Bedeutung des Verkehrszeichens bestimmen und dem Fahrerassistenzsystem zur Verfügung stellen. Das Fahrerassistenzsystem kann auf der Grundlage des bestimmten Verkehrszeichens beispielsweise eine Warnung an einen Fahrer des Fahrzeugs ausgeben oder auf eine Aktorik des Fahrzeugs einwirken.
-
Gemäß einer Ausführungsform ist die Beleuchtungsvorrichtung des Fahrzeugs eine Beleuchtungsvorrichtung eines Nachtsichtsystems des Fahrzeugs, eine Beleuchtungsvorrichtung eines Entfernungsmesssystems des Fahrzeugs, eine Beleuchtungsvorrichtung für einen Photomischdetektor des Fahrzeugs oder ein Tagfahrlichtsystems des Fahrzeugs. Somit ist für das Bildverarbeitungssystem keine eigene Beleuchtungsvorrichtung erforderlich, sondern es kann eine bereits vorhandene Beleuchtungsvorrichtung des Fahrzeugs verwendet werden. Bedingung für diese gemeinsame Nutzung der Beleuchtungsvorrichtung ist lediglich, dass die Beleuchtungsvorrichtung entweder von der Verarbeitungseinheit des Bildverarbeitungssystems gezielt ein- und ausgeschaltet oder in der Beleuchtungsstärke variiert werden kann oder dass die Beleuchtungsvorrichtung ohnehin beispielsweise periodisch ein- und ausgeschaltet wird. Somit kann das Bildverarbeitungssystem kostengünstig realisiert werden.
-
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen im Detail beschrieben werden.
-
1 zeigt ein erstes Bild einer Umgebung eines Fahrzeugs, welches bei einer ersten Beleuchtungsstärke gemäß einer Ausführungsform der vorliegenden Erfindung erfasst wurde.
-
2 zeigt ein zweites Bild der Umgebung des Fahrzeugs, welches bei einer zweiten Beleuchtungsstärke gemäß einer Ausführungsform der vorliegenden Erfindung erfasst wurde.
-
3 zeigt ein Differenzbild gemäß einer Ausführungsform der vorliegenden Erfindung.
-
4 zeigt einen zeitlichen Zusammenhang zwischen einer periodischen Aufnahme des ersten und zweiten Bildes und einer Schaltung von einer Beleuchtungsvorrichtung des Fahrzeugs.
-
5 zeigt einen Zusammenhang zwischen einer Helligkeitsdifferenz in einem Differenzbild über einem zeitlichen Versatz zwischen einer Bilderfassung und einer Steuerung der Beleuchtungsvorrichtung.
-
6 zeigt ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Unter Bezugnahme auf die 1–3 wird ein Verfahren für ein Bildverarbeitungssystem eines Fahrzeugs zum Bestimmen einer Position eines Verkehrszeichens in einer Umgebung des Fahrzeugs beschrieben werden. Zunächst wird ein erstes Bild 101 der Umgebung des Fahrzeugs erfasst, während die Umgebung mit einer Beleuchtungsvorrichtung des Fahrzeugs ausgeleuchtet wird. Beispiele für die Beleuchtungsvorrichtung sind beispielsweise eine Beleuchtungsvorrichtung eines Nachtsichtsystems des Fahrzeugs, eine Beleuchtungsvorrichtung eines Entfernungsmesssystems des Fahrzeugs oder ein Tagfahrlichtsystem des Fahrzeugs.
-
Um die Sichtbarkeit von Verkehrszeichen zu erhöhen, weisen Verkehrszeichen üblicherweise sehr hohe Reflektionsfaktoren auf, d. h., sie reflektieren einen erheblichen Anteil des auf sie eingestrahlten Lichts. Der Reflektionsfaktor von Verkehrszeichen ist im allgemeinen deutlich höher als der Reflektionsfaktor von sonstigen Gegenständen oder Objekten in der Umgebung des Fahrzeugs. Exemplarisch sind in 1 in dem ersten Bild 101 neben einer Fahrbahn 102, einem weiteren Fahrzeug 103 und einem Baustellenbereich 106 zwei Verkehrszeichen 104 und 105, sogenannte Leit- oder Warnbarken, dargestellt, welche zur Verkehrsführung im Bereich des Baustellenbereichs 106 verwendet werden. Ein Ring 107 in 1 dient lediglich der Verdeutlichung der Position der Verkehrszeichen 104, 105. Aufgrund der Ausleuchtung der Umgebung während der Erfassung des ersten Bildes 101 erscheinen die Verkehrszeichen 104, 105 in dem ersten Bild 101 sehr hell.
-
Weiterhin wird ein zweites Bild 201, welches in 2 dargestellt ist, erfasst, während die Beleuchtungsvorrichtung des Fahrzeugs ausgeschaltet ist oder zumindest mit einer erheblich geringeren Beleuchtungsstärke die Umgebung ausleuchtet. Der Helligkeitsunterschied zwischen der beleuchteten Umgebung und der unbeleuchteten Umgebung ist bei der Fahrbahn 102, dem Fahrzeug 103 und dem Baustellenbereich 106 verhältnismäßig gering, wohingegen der Helligkeitsunterschied bei den Verkehrszeichen 104, 105 sehr groß ist. Wird die Umgebung, wie in den 1 und 2 gezeigt ist, in schneller Folge mit und ohne Beleuchtung aufgenommen, so kann über eine einfache Differenzbildung ein Verkehrszeichen direkt erkannt werden. Dazu wird beispielsweise die Helligkeit eines jeden Bildpunkts des ersten Bildes und des zweiten Bildes jeweils über eine Summierung der Rot-, Grün- und Blauwerte ermittelt. Wie aus dem Vergleich der 1 und 2 zu erkennen ist, ergibt sich durch die unterschiedliche Beleuchtung zwar insgesamt eine Aufhellung des Bildes, welche jedoch verhältnismäßig gering ist. Lichtquellen, beispielsweise eine Straßenlaterne bleiben in der Helligkeit aufgrund ihrer eigenen statischen Lichtquelle konstant. Einzig die Verkehrszeichen 104, 105 zeigen eine deutliche Änderung in der Helligkeit. Durch eine nachfolgende Differenzbildung der Helligkeiten der beiden Bilder besteht nun die Möglichkeit, beispielsweise mithilfe einer Schwellenwertbildung, die Verkehrszeichen von dem restlichen Bild zu isolieren. Ein Differenzbild kann beispielsweise gebildet werden, indem jedem Bildpunkt des Differenzbildes eine Differenz von Helligkeitswerten der entsprechenden Bildpunkte des ersten Bildes 101 und des zweiten Bildes 201 zugeordnet wird. Mithilfe eines geeignet gewählten Schwellenwertes können die geringfügigen Helligkeitsänderungen von beispielsweise der Fahrbahn 102, dem Fahrzeug 103 und dem Baustellenbereich 106 unterdrückt werden, wohingegen die Helligkeitsänderung der Verkehrszeichen 104, 105 hervorgehoben wird. 3 zeigt ein Differenzbild 301, welches bereits mit einem Schwellenwertfilter gefiltert wurde. In dem Differenzbild 301 sind die Positionen der Verkehrszeichen 104, 105 deutlich zu erkennen. Ein weiterer Algorithmus kann diese Information verwenden, um eine Bedeutung der Verkehrszeichen 104, 105 zu bestimmen. Dadurch können bei verhältnismäßig geringer und konstanter Rechenleistung beliebig viele und beliebig geformte Verkehrszeichen schnell erkannt werden. Dies ermöglicht wiederum, insbesondere im Stadtbereich, eine deutlich verbesserte Vorausschau in Bezug auf Vorfahrtssituationen, Hindernisse, Baustellen usw., wodurch entsprechende Fahrerassistenzsysteme, welche diese Informationen nutzen, einem Fahrer des Fahrzeugs wertvolle Hilfestellung geben können.
-
Wie zuvor beschrieben wurde, ist es erforderlich, dass eine aktive Beleuchtung des Fahrzeugs mit zwei unterschiedlichen Helligkeiten betrieben wird, beispielsweise ein- und ausgeschaltet wird, um das erste Bild 101 und das zweite Bild 201 zu erfassen. Dazu kann beispielsweise eine Beleuchtung eines Fahrerassistenzsystems, wie z. B. eines Nachtsichtsystems oder eines Entfernungsmesssystems des Fahrzeugs verwendet werden, welches Licht im nichtsichtbaren Bereich verwendet. Alternativ kann eine LED-Außenbeleuchtung des Fahrzeugs, beispielsweise ein Tagfahrlicht des Fahrzeugs oder ein LED-Scheinwerfer des Fahrzeugs verwendet werden, wie nachfolgend gezeigt werden wird.
-
Zur Beleuchtung der Umgebung des Fahrzeugs kann beispielsweise ein sogenanntes LED-Tagfahrlicht verwendet werden, welches mit einer Frequenz ein- und ausgeschaltet wird, welche oberhalb der menschlichen Wahrnehmung liegt. Das LED-Tagfahrlicht kann beispielsweise mit einer Frequenz von 100 Hz geschaltet werden. Wenn das Tagfahrlicht eingeschaltet ist, wird das erste Bild 101 erfasst, und wenn das Tagfahrlicht ausgeschaltet ist, wird das zweite Bild 201 erfasst. Es ist also eine Synchronisation zwischen der Bilderfassung und der Schaltung des Tagfahrlichts erforderlich. Diese Synchronisation kann beispielsweise von einer gemeinsamen Steuerung durchgeführt werden. Um jedoch eine Kopplung zu dem Tagfahrlicht zu vermeiden, kann das Tagfahrlicht auch unabhängig von dem Bildverarbeitungssystem betrieben werden und das Bildverarbeitungssystem kann sich automatisch auf das Tagfahrlicht synchronisieren. Ein entsprechendes Verfahren zum Synchronisieren wird in Verbindung mit den 4 und 5 nachfolgend beschrieben werden. In 4 ist unten ein zeitlicher Verlauf der Schaltung des LED-Tagfahrlichts gezeigt. Das Tagfahrlicht wird abwechselnd ein- und ausgeschaltet. In 4 ist oben ein Verlauf einer Messung einer Kamera, welche das erste Bild und das zweite Bild erfasst, über der Zeit eingezeichnet. Mit der gleichen Frequenz, mit welcher das Tagfahrlicht ein- und ausgeschaltet wird, werden abwechselnd das Bild 1 und das Bild 2 erfasst. Die Erfassung der beiden Bilder ist in 4 jedoch nicht synchron zu der Schaltung des Tagfahrlichts, sodass sich ein zeitlicher Versatz, ein sogenannter zeitlicher Offset, ergibt. Der zeitliche Offset führt dazu, dass die Helligkeitsdifferenz zwischen dem ersten Bild und dem zweiten Bild geringer wird. In 5 ist die Helligkeitsdifferenz in Abhängigkeit von dem zeitlichen Offset dargestellt. Nur wenn ein idealer Offset erreicht wird, d. h., wenn der zeitliche Offset Null beträgt, wird eine maximale Helligkeitsdifferenz zwischen den beiden Bildern erreicht. Somit kann durch Analysieren bereits erfasster Bilder oder eines zuvor bestimmten Differenzbildes eine Korrektur der Synchronisation, d. h. eine Korrektur eines ersten Zeitpunkts zum Beginn eines Aufnehmens des ersten Bildes und eines zweiten Zeitpunkts zum Beginn eines Aufnehmens eines zweiten Bildes, durchgeführt werden. Eine Synchronisationsleitung zwischen der Beleuchtungsvorrichtung des Fahrzeugs und beispielsweise einer Verarbeitungseinheit, welche die zuvor beschriebene Bilderfassung und Bildverarbeitung durchführt, ist daher nicht erforderlich.
-
6 zeigt schließlich ein Fahrzeug 600 mit einem Bildverarbeitungssystem, welches das zuvor beschriebene Verfahren durchführen kann. Das Bildverarbeitungssystem umfasst eine Erfassungsvorrichtung 601, beispielsweise eine Kamera, welche derart angeordnet ist, dass sie eine Umgebung im Bereich vor dem Fahrzeug 600 umfassen kann. Die Erfassungsvorrichtung 601 kann auch beispielsweise eine Kamera eines weiteren Fahrerassistenzsystems des Fahrzeugs 600 umfassen, beispielsweise eines Nachtsichtsystems. Das Bildverarbeitungssystem umfasst weiterhin eine Verarbeitungseinheit 602, welche mit der Erfassungsvorrichtung 601 gekoppelt ist. Das Fahrzeug 600 umfasst weiterhin eine Beleuchtungsvorrichtung 603, beispielsweise ein Tagfahrlicht, um eine Umgebung vor dem Fahrzeug 600 auszuleuchten. Wie zuvor beschrieben, kann die Beleuchtungsvorrichtung 603 wahlweise von der Verarbeitungseinheit 602 derart angesteuert werden, dass die Beleuchtungsvorrichtung 603 wahlweise mit einer ersten Beleuchtungsstärke oder mit einer zweiten Beleuchtungsstärke den Bereich vor dem Fahrzeug 600 ausleuchtet, oder die Beleuchtungsvorrichtung 603 kann beispielsweise eine gepulste Beleuchtung sein, welche periodisch zwischen zwei Beleuchtungsstärken umschaltet, beispielsweise periodisch ein- und ausgeschaltet wird. Die Verarbeitungseinheit 602 ist in der Lage ein erstes Bild der Umgebung des Fahrzeugs 600 zu erfassen, während die Beleuchtungsvorrichtung 603 die Umgebung mit einer ersten Beleuchtungsstärke beleuchtet, und ein zweites Bild der Umgebung des Fahrzeugs 600 zu erfassen, während die Beleuchtungsvorrichtung 603 die Umgebung mit einer zweiten Beleuchtungsstärke beleuchtet. Die erste und zweite Beleuchtungsstärke sind unterschiedlich. In Abhängigkeit von dem ersten Bild und dem zweiten Bild bestimmt die Verarbeitungseinheit 602 eine Position eines Objekts, insbesondere eines Verkehrszeichens, in den erfassten Bildern.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008044003 A1 [0003]
