-
Die Erfindung betrifft ein Verfahren zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr mithilfe eines Kollisionswarnungssystems des Kraftfahrzeugs. Es wird eine zeitliche Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs mithilfe einer Kamera des Kollisionswarnungssystems aufgenommen, und ein in dem Umgebungsbereich befindliches weiteres Fahrzeug wird in den Bildern mittels einer Recheneinrichtung des Kollisionswarnungssystems identifiziert. Die Erfindung betrifft außerdem ein Kollisionswarnungssystem, welches zum Durchführen eines derartigen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einem derartigen Kollisionswarnungssystem.
-
Das Interesse richtet sich vorliegend also auf Kollisionswarnungssysteme, welche über eine Kamera verfügen. Solche Kollisionswarnungssysteme sind bereits Stand der Technik und dienen zum Warnen des Fahrers vor einer möglichen Kollision mit einem anderen Kraftfahrzeug. Zu diesem Zwecke werden Kameras eingesetzt, welche den Umgebungsbereich vor und hinter dem Kraftfahrzeug erfassen. Beispielsweise werden so genannte Rückwärtskameras eingesetzt, welche die Umgebung hinter dem Kraftfahrzeug erfassen, sodass der Fahrer vor der Gefahr eines Auffahrunfalls von hinten gewarnt werden kann. Entsprechend kann auch eine Kamera eingesetzt werden, welche die Umgebung vor dem Kraftfahrzeug erfasst, und der Fahrer kann auch vor einer Kollision mit einem vorausfahrenden Kraftfahrzeug gewarnt werden. Das Risiko einer Kollision kann hier beispielsweise auf der Grundlage der aufgenommenen Bilder eingeschätzt werden, und gegebenenfalls auch unter Berücksichtigung von Signalen anderer Sensoren, etwa Ultraschallsensoren und dergleichen. In diesem Zusammenhang sind bereits Detektionsalgorithmen bekannt, welche zum identifizieren von anderen Kraftfahrzeugen in den aufgenommenen Bildern dienen. Mithilfe eines solchen Detektionsalgorithmus werden die aufgenommenen Bilder auf das Vorhandensein eines Kraftfahrzeugs hin untersucht. Diese Detektionsalgorithmen sind üblicherweise so ausgelegt, dass das detektierte Kraftfahrzeug mit einem Begrenzungsrechteck (bounding box) umgeben wird. Eine solche Vorgehensweise ist beispielsweise aus dem Dokument
JP 2011/119917 A bekannt.
-
Also sind aus dem Stand der Technik Systeme bekannt, welche zum Warnen des Fahrers vor einer Kollisionsgefahr mit einem anderen Fahrzeug dienen und als „Kollisionswarnungssysteme” bezeichnet werden. Zum einen kann die Warnung des Fahrers alleine auf der Grundlage der aufgenommenen Bilder erfolgen; zum anderen können auch andere Sensoren verwendet werden, mittels welcher die anderen Fahrzeuge detektiert werden können. Gemeint sind hier beispielsweise Ultraschallsensoren, Radargeräte und dergleichen. Ob der Fahrer gewarnt wird oder nicht, hängt von einer Vielzahl unterschiedlichster Parameter ab. In die Entscheidung, ob der Fahrer gewarnt wird oder nicht, fließen in der Regel Parameter ein, wie beispielsweise der aktuelle Abstand zum detektierten Fahrzeug, die relative Geschwindigkeit zwischen den Kraftfahrzeugen und dergleichen. Es ist beispielsweise bekannt, eine so genannte Zeit bis zur Kollision (time to collision, TTC) zu berechnen und ein Warnsignal dann auszugeben, wenn die TTC einen vorgegebenen Grenzwert unterschreitet. Um unnötige und falsche Warnungen zu vermeiden, können auch zusätzliche Maßnahmen getroffen werden, durch welche die Entscheidung plausibilisiert wird, ob oder ob nicht der Fahrer gewarnt werden soll. Eine aus dem Stand der Technik bereits bekannte Methode besteht darin, eine durch das eigene Kraftfahrzeug zurückgelegte Trajektorie zu bestimmen und den Fahrer nur dann zu warnen, wenn sich das andere Fahrzeug auf der zurückgelegten Trajektorie befindet. Eine besondere Herausforderung besteht darin, weitere, zusätzliche Maßnahmen zu treffen, durch welche die Entscheidung plausibilisiert werden kann, ob der Fahrer gewarnt werden soll oder nicht.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung die Entscheidung besonders zuverlässig plausibilisiert werden kann, ob oder ob nicht der Fahrer gewarnt werden soll.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kollisionswarnungssystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Warnen eines Fahrers eines Kraftfahrzeugs vor einer Kollisionsgefahr mithilfe eines Kollisionswarnungssystems des Kraftfahrzeugs. Es wird eine zeitliche Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kollisionswarnungssystems aufgenommen, und es wird ein in dem Umgebungsbereich befindliches weiteres Fahrzeug in den aufgenommenen Bildern mittels einer Recheneinrichtung des Kollisionswarnungssystems erkannt. Anhand der zeitlichen Sequenz von Bildern wird mittels der Recheneinrichtung ein aktueller Zustand zumindest eines Leuchtmittels des weiteren Fahrzeugs bestimmt. In Abhängigkeit von dem aktuellen Zustand des Leuchtmittels wird dann durch die Recheneinrichtung entschieden, ob oder ob nicht der Fahrer gewarnt wird.
-
Die Erfindung geht also den Weg, den aktuellen Zustand zumindest eines Leuchtmittels des weiteren Fahrzeugs in den aufgenommenen Bildern zu ermitteln, also insbesondere, ob dieses Leuchtmittel ein- oder ausgeschaltet ist, und die Information über den aktuellen Zustand des Leuchtmittels bei der Entscheidung zu berücksichtigen, ob der Fahrer mittels des Kollisionswarnungssystems gewarnt werden soll oder nicht. Somit kann diese Entscheidung besonders zuverlässig plausibilisiert werden. Wird beispielsweise erkannt, dass bei einem hinter dem eigenen Kraftfahrzeug befindlichen weiteren Fahrzeug der linke oder aber der rechte Blinker aktiviert ist, so kann das Kollisionswarnungssystem davon ausgehen, dass das andere Fahrzeug nicht mehr auf derselben Spur gefahren wird und somit keine Gefahr im Hinblick auf einen Auffahrunfall von hinten darstellt. Diese Information kann dahingehend genutzt werden, dass keine Warnung durch das Kollisionswarnungssystem ausgegeben wird. Wird auf der anderen Seite beispielsweise der aktivierte Zustand einer Bremsleuchte eines vorausfahrenden Fahrzeugs detektiert, so kann der Fahrer vor einem möglichen Auffahrunfall gewarnt werden. Die Information über den aktuellen Zustand des Leuchtmittels dient vorliegend vorzugsweise also lediglich zur Plausibilisierung der Entscheidung, ob der Fahrer gewarnt werden soll oder nicht. Bei dieser Entscheidung werden selbstverständlich auch weitere Parameter berücksichtigt, wie sie bei Kollisionswarnungssystemen aus dem Stand der Technik ohnehin bekannt sind. Beispielsweise wird hier ein Gefahrengrad bestimmt, welcher die Wahrscheinlichkeit einer Kollision mit dem weiteren Fahrzeug angibt. Als Gefahrengrad kann beispielsweise die oben bereits genannte Zeit bis zur Kollision (TTC) berechnet werden. In die Entscheidung, ob der Fahrer gewarnt wird oder nicht, fließt nun erfindungsgemäß auch die Information über den aktuellen Zustand des zumindest einen Leuchtmittels des weiteren Fahrzeugs mit ein. Der berechnete Gefahrengrad kann also nunmehr dadurch plausibilisiert werden, dass der Zustand des Leuchtmittels ermittelt wird. Durch das erfindungsgemäße Verfahren können einerseits unnötige bzw. falsche Warnungen vermieden werden; andererseits kann auch die Sensibilität des Kollisionswarnungssystems verbessert werden.
-
In einer Ausführungsform ist vorgesehen, dass anhand der zeitlichen Sequenz von Bildern mittels der Recheneinrichtung ein aktueller Zustand einer Blinkleuchte des weiteren Fahrzeugs bestimmt wird und in Abhängigkeit von dem aktuellen Zustand der Blinkleuchte durch die Recheneinrichtung entschieden wird, ob oder ob nicht der Fahrer gewarnt wird. Unter dem Begriff „Zustand” ist vorliegend insbesondere der aktivierte oder aber der deaktivierte Zustand der Blinkleuchte zu verstehen. Diese Ausführungsform hat den Vorteil, dass anhand des aktuellen Zustands des Blinkers ohne viel Aufwand erkannt werden kann, ob das benachbarte Fahrzeug beispielsweise die Spur wechselt oder aber in eine andere Straße abbiegt, sodass auch die aktuelle und/oder die zukünftige Gefahr eingeschätzt werden kann. Unnötige Warnungen können somit verhindert werden.
-
Zur Bestimmung des aktuellen Zustands des Blinkers wird in einer Ausführungsform eine Standardblinkerfrequenz berücksichtigt, mit welcher das Blinken der Blinkleuchte wiederholt wird. Diese Ausführungsform beruht auf der Tatsache, dass die Frequenzen, mit denen das Blinken wiederholt wird, für alle Kraftfahrzeuge gesetzlich standardisiert sind. Diese Information kann nun beispielsweise für eine Filterung der Bilddaten genutzt werden, sodass die Blinkleuchte von anderen blinkenden Lichtquellen unterschieden werden kann. Somit ist die Bestimmung des aktuellen Zustands der Blinkleuchte ohne viel Aufwand und ohne Fehler möglich. Die Standardblinkerfrequenz liegt dabei in der Regel in einem Wertebereich von 0,8 Hz bis 1,25 Hz.
-
Ergänzend oder alternativ kann auch vorgesehen sein, dass anhand der zeitlichen Sequenz von Bildern mittels der Recheneinrichtung ein aktueller Zustand einer Bremsleuchte des weiteren Fahrzeugs bestimmt wird und in Abhängigkeit von dem aktuellen Zustand der Bremsleuchte durch die Recheneinrichtung entschieden wird, ob oder ob nicht der Fahrer gewarnt wird. Auch bei dieser Ausführungsform wird unter dem Begriff „Zustand” der aktivierte oder aber deaktivierte Zustand der Bremsleuchte verstanden, sodass durch die Recheneinrichtung detektiert wird, ob die Bremsleuchte ein- oder ausgeschaltet ist. Durch diese Ausführungsform können Auffahrunfälle mit einem vorausfahrenden Kraftfahrzeug verhindert werden. Erkennt die Recheneinrichtung beispielsweise, dass die Bremsleuchte eines vorausfahrenden Fahrzeugs aktiviert ist, so kann diese Information als Grundlage für die Warnung des Fahrers herangezogen werden, und der Fahrer kann über einen Bremsvorgang des vorausfahrenden Kraftfahrzeugs informiert werden. Diese Ausführungsform erweist sich insbesondere dann als besonders vorteilhaft, wenn eine Kamera im Frontbereich des Kraftfahrzeugs eingesetzt wird, welche den Umgebungsbereich vor dem Kraftfahrzeug erfasst.
-
In einer Ausführungsform ist vorgesehen, dass der Zustand von zumindest zwei Bremsleuchten des weiteren Fahrzeugs bestimmt wird. Dann kann der Zustand einer der Bremsleuchten nur dann durch die Recheneinrichtung als plausibel interpretiert werden, wenn der Zustand der anderen Bremsleuchte übereinstimmend ist. Dies bedeutet, dass bei mindestens zwei Bremsleuchten eines vorausfahrenden Kraftfahrzeugs alle Bremsleuchten als aktiv interpretiert werden müssen, damit die Recheneinrichtung den Bremsvorgang des vorausfahrenden Kraftfahrzeugs detektieren kann. Somit wird die Erkennung des aktuellen Zustands des Bremslichts plausibilisiert, und es werden Fehler verhindert. Diese Ausführungsform macht sich die Tatsache zunutze, dass Kraftfahrzeuge in der Regel über mindestens zwei – üblicherweise über drei – Bremsleuchten verfügen, nämlich eine Bremsleuchte im linken Randbereich, eine Bremsleuchte im rechten Randbereich sowie eine Bremsleuchte im Zentrum, etwa im oberen Bereich einer Heckklappe.
-
Die nachfolgend beschriebenen Ausführungsformen sind sowohl auf eine Blinkleuchte als auch auf eine Bremsleuchte besonders gut anwendbar:
Zur Bestimmung des aktuellen Zustands des Leuchtmittels kann zumindest ein Teilbereich der Bilder vordefiniert werden, welcher mittels der Recheneinrichtung hinsichtlich der Bestimmung des aktuellen Zustands des Leuchtmittels untersucht wird. Vorzugsweise wird ausschließlich dieser zumindest eine Teilbereich der Bilder untersucht. Dies beruht darauf, dass die Blinker und/oder die Bremsleuchten in aller Regel in seitlichen Randbereichen der Fahrzeugfront bzw. des Fahrzeughecks positioniert sind. Dies bedeutet, dass die Leuchtmittel jeweils an vorgegebenen Stellen positioniert sind, sodass nicht das gesamte Bild untersucht werden muss, sondern lediglich diejenigen Bildbereiche, in denen sich die Bremsleuchten und/oder Blinkleuchten voraussichtlich befinden. Einerseits kann somit die Rechenleistung gespart werden; andererseits kann somit der Zustand des zumindest einen Leuchtmittels besonders schnell und präzise ermittelt werden.
-
Besonders bevorzugt wird zur Bestimmung des aktuellen Zustands des Leuchtmittels die Lichtintensität jeweils in zumindest einem Teilbereich der einzelnen Bilder, insbesondere in dem genannten vordefinierten Teilbereich, ermittelt, und der Zustand des Leuchtmittels wird in Abhängigkeit von der Lichtintensität bestimmt. Auf der Basis der Lichtintensität lässt sich nämlich mit geringem Rechenaufwand besonders zuverlässig feststellen, ob das zumindest eine Leuchtmittel aktiviert oder deaktiviert ist.
-
Hierbei kann vorgesehen sein, dass ein jeweiliger Mittelwert der Lichtintensität innerhalb des Teilbereichs der einzelnen Bilder bestimmt wird und der Zustand des Leuchtmittels in Abhängigkeit von den jeweiligen Mittelwerten ermittelt wird. Über eine vorbestimmte Anzahl von Bildern kann somit der jeweilige Mittelwert der Lichtintensität innerhalb des jeweils gleichen Teilbereichs der einzelnen Bilder bestimmt werden, und der Zustand des Leuchtmittels kann in Abhängigkeit von den jeweiligen Mittelwerten bestimmt werden. Beobachtet man den gleichen Teilbereich der Bilder über eine Vielzahl von Bildern, so gelingt es, eine Änderung des Zustands des Leuchtmittels zu erfassen und somit den aktuellen Zustand des Leuchtmittels besonders zuverlässig zu bestimmen. Außerdem brauchen die gesamten Einzelbilder nicht abgespeichert zu werden, sondern es müssen lediglich die einzelnen Mittelwerte der Lichtintensität abgespeichert werden, sodass insgesamt der Speicherplatz für die Bestimmung des Zustands des Leuchtmittels gespart werden kann.
-
In einer Ausführungsform ist vorgesehen, dass über eine vorbestimmte Anzahl von Bildern jeweils ein Mittelwert der Lichtintensität innerhalb des Teilbereichs der jeweiligen Bilder bestimmt wird und der Zustand des Leuchtmittels in Abhängigkeit von einer zeitlichen Funktion der Mittelwerte ermittelt wird. Anhand der zeitlichen Funktion kann die Änderung des Zustands des Leuchtmittels besonders schnell und ohne viel Aufwand detektiert werden. Die Anzahl der verwendeten Bilder kann beispielsweise größer als zwei, insbesondere größer als fünf, sein. Dabei gilt, dass, je größer die Anzahl der verwendeten Bilder ist, desto robuster die Bestimmung des aktuellen Zustands des Leuchtmittels ist.
-
Die genannte zeitliche Funktion kann einer Filterung mit einem Bandpass-Filter und/oder einer Fourier-Transformation unterzogen werden, und der Zustand des Leuchtmittels kann anhand eines Ergebnisses der Filterung und/oder der Fourier-Transformation bestimmt werden. Hierdurch ist die Bestimmung des aktuellen Zustands des Leuchtmittels besonders robust. Die Frequenz des Bandpass-Filters bzw. seine Charakteristik kann abhängig von der zu erwartenden Blinkerfrequenz eingestellt werden. Das Ergebnis der Bandpass-Filterung ist ebenfalls eine zeitliche Funktion der gefilterten Mittelwerte der Lichtintensität. Aus dieser Funktion kann nun beispielsweise der Effektivwert (RMS, root mean square) berechnet werden, und dieser Effektivwert kann mit einem abgelegten Schwellwert verglichen werden. Wird festgestellt, dass der Effektivwert größer als der Schwellwert ist, so wird dies durch die Recheneinrichtung vorzugsweise dahingehend interpretiert, dass das Leuchtmittel aktiviert ist. Diese Ausführungsform ist besonders einfach zu implementieren und sorgt außerdem für eine besonders robuste Bestimmung des aktuellen Zustands des Leuchtmittels.
-
Ergänzend oder alternativ kann zur Bestimmung des aktuellen Zustands des Leuchtmittels auch eine Farbinformation der Bilder berücksichtigt werden. Diese Ausführungsform beruht auf der Tatsache, dass sowohl die Blinkleuchten als auch die Bremsleuchten jeweils ein ganz bestimmtes, standardisiertes Farbspektrum besitzen und die Farbe dieser Leuchten von anderen Leuchtquellen unterschieden werden kann. Wird nun ein Farbfilter verwendet, so kann ohne viel Aufwand erkannt werden, ob die Bremsleuchte und/oder die Blinkleuchte zum gegenwärtigen Zeitpunkt aktiviert oder aber deaktiviert ist. Dies erhöht die Zuverlässigkeit bei der Bestimmung des aktuellen Zustands des Leuchtmittels. Andererseits kann auch die Veränderung der Lichtintensität lediglich in einem einzelnen Farbkanal eines Farbraums untersucht werden. Das Aktiviertsein des Leuchtmittels kann dann erkannt werden, wenn die Lichtintensität eines ganz bestimmten Farbkanals eine vordefinierte Änderung erfährt. Somit werden Fehler bei der Bestimmung des aktuellen Zustandes des Leuchtmittels vermieden.
-
Wie bereits ausgeführt, dient das Kollisionswarnungssystem zur Warnung des Fahrers vor einer möglichen Kollision mit einem anderen Fahrzeug. Das Warnen des Fahrers kann beispielsweise beinhalten, dass ein akustisches Warnsignal mittels eines Lautsprechers ausgegeben wird und/oder eine haptische Vorrichtung angesteuert wird und/oder die aufgenommenen Bilder auf einer optischen Anzeigeeinrichtung angezeigt werden.
-
Ein erfindungsgemäßes Kollisionswarnungssystem für ein Kraftfahrzeug umfasst zumindest eine Kamera sowie eine Recheneinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kollisionswarnungssystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kollisionswarnungssystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand einzelner bevorzugter Ausführungsbeispiele, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs mit einem Kollisionswarnungssystem gemäß einer Ausführungsform der Erfindung, wobei sich hinter dem Kraftfahrzeug ein anderes Fahrzeug befindet;
-
2 in schematischer Darstellung das Ergebnis eines Detektionsalgorithmus des Kollisionswarnungssystems;
-
3 in schematischer Darstellung einen Ausschnitt eines Bildes, wobei ein Teilbereich definiert wird, welcher hinsichtlich eines Zustands eines Leuchtmittels untersucht wird;
-
4 eine zeitliche Funktion von Mittelwerten der Lichtintensität;
-
5 das Ergebnis einer Bandpass-Filterung der zeitlichen Funktion gemäß 4; und
-
6 in schematischer Darstellung einen Ausschnitt eines Bildes, wobei Teilbereiche definiert werden, welche hinsichtlich eines aktuellen Zustands von Bremsleuchten untersucht werden.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 verfügt über ein Kollisionswarnungssystem 2, welches im Ausführungsbeispiel eine Kamera 3 sowie eine in den Figuren nicht näher dargestellte Recheneinrichtung aufweist. Das Kollisionswarnungssystem 2 dient zum Warnen des Fahrers vor einer möglichen Kollision mit einem anderen Kraftfahrzeug 4. Die Warnung kann beispielsweise durch Ausgeben eines akustischen Warnsignals und/oder durch Erzeugen einer haptischen Rückmeldung an den Fahrer und/oder durch Anzeigen von Bildern auf einem Display im Innenraum des Kraftfahrzeugs 1 erfolgen.
-
Die Kamera 3 ist im Ausführungsbeispiel lediglich beispielhaft in einem Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 5 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf eine bestimmte Anordnung oder eine bestimmte Anzahl von Kameras beschränkt. Die in 1 dargestellte Anordnung der Kamera 3 ist lediglich beispielhaft, und es können auch weitere Kameras eingesetzt werden, die auch andere Umgebungsbereiche erfassen können. Beispielsweise kann hier auch im Frontbereich des Kraftfahrzeugs 1 eine entsprechende Kamera 3 eingesetzt werden, die einen Umgebungsbereich 6 vor dem Kraftfahrzeug 1 erfasst.
-
Die Kamera 3 ist eine Video-Kamera und erfasst eine zeitliche Sequenz von Einzelbildern (frames), welche dann an die Recheneinrichtung des Kollisionswarnungssystems 2 übertragen und durch diese verarbeitet werden. Die elektronische Recheneinrichtung kann zu diesem Zwecke beispielsweise einen digitalen Signalprozessor sowie einen Speicher beinhalten. Anhand der aufgenommenen Bilder kann die Recheneinrichtung in Echtzeit feststellen, ob der Fahrer des Kraftfahrzeugs 1 gewarnt werden soll oder nicht. Hierbei kann die Recheneinrichtung gegebenenfalls auch Messdaten anderer Sensoren verarbeiten, nämlich beispielsweise eines Ultraschallsensors und/oder eines Radargeräts. Es ist aber auch möglich, dass die Entscheidung alleine anhand der Bilder der Kamera 3 getroffen wird.
-
Um zu entscheiden, ob der Fahrer gewarnt werden soll oder nicht, kann die Recheneinrichtung beispielsweise einen Gefahrengrad berechnen, welcher die Wahrscheinlichkeit einer möglichen Kollision mit dem Kraftfahrzeug 4 angibt. Als Gefahrengrad kann anhand der Bilder der Kamera 3 beispielsweise die oben genannte TTC berechnet werden. Um die Entscheidung, ob der Fahrer zu warnen ist oder nicht, zu plausibilisieren, bestimmt die Recheneinrichtung anhand der aufgenommenen Bilder auch den aktuellen Zustand von Blinkleuchten sowie von Bremsleuchten anderer Fahrzeuge, die sich in der Umgebung des Kraftfahrzeugs 1 befinden. Während der aktuelle Zustand von Blinkleuchten sowohl bei vorausfahrenden als auch von hinterher fahrenden Fahrzeugen ermittelt werden kann, ist die Bestimmung des aktuellen Zustands von Bremsleuchten grundsätzlich nur bei vorausfahrenden Kraftfahrzeugen möglich und sinnvoll. Nachfolgend werden Verfahren beschrieben, wie die Bestimmung des Zustands der Blinkleuchten sowie der Bremsleuchten im Detail aussehen kann. Unter dem Begriff „Zustand” wird dabei jeweils der eingeschaltete oder aber ausgeschaltete Zustand verstanden.
-
Im Ausführungsbeispiel gemäß 1 bewegt sich das Kraftfahrzeug 1 auf einer Straße 7, auf welcher sich außerdem das andere Fahrzeug 4 bewegt, nämlich hinter dem Kraftfahrzeug 1. Die Kamera 3 besitzt auch einen relativ breiten Erfassungswinkel bzw. Öffnungswinkel α, welcher in einem Wertebereich von 60° bis 180° liegen kann. Die Erfindung ist dabei nicht auf einen bestimmten Erfassungswinkel α beschränkt.
-
Anhand der aufgenommenen Bilder der Kamera 3 – diese Kamera 3 kann beispielsweise auch eine Vielzahl von Einzelbildern pro Sekunde liefern – kann die Recheneinrichtung das Kraftfahrzeug 4 verfolgen. Dies bedeutet, dass die Recheneinrichtung in Echtzeit die jeweils augenblickliche Position des Fahrzeugs 4 in den aufgenommenen Bildern der Kamera 3 ermittelt, sodass die jeweils momentane relative Position des anderen Fahrzeugs 4 bezüglich des eigenen Kraftfahrzeugs 1 bekannt ist. Zur Detektion des anderen Fahrzeugs 4 in den aufgenommenen Bildern dient dabei ein Detektionsalgorithmus, wie er bereits aus dem Stand der Technik bekannt ist. Ein derartiger Detektionsalgorithmus liefert ein Bild 8, wie es beispielhaft in 2 näher dargestellt ist. In dem Bild 8 ist einerseits die Straße 7 zu erkennen; andererseits ist auch das andere Fahrzeug 4' abgebildet. Die Detektion des Fahrzeugs 4 erfolgt dabei derart, dass in dem Detektionsalgorithmus das Fahrzeug 4' mit einem Begrenzungsrechteck 9 (bounding box) versehen wird. In der Recheneinrichtung ist somit die jeweils augenblickliche Position des Fahrzeugs 4' in den aufgenommenen Bildern 8 bekannt.
-
Nun wird beschrieben, wie die Ermittlung des aktuellen Zustands von Blinkleuchten des anderen Fahrzeugs 4 im Detail aussieht.
-
Zur Detektion des aktuellen Zustands der Blinkleuchten werden Informationen verwendet, die für die Blinkleuchten aller Fahrzeuge üblicherweise zutreffen. Hierbei wird berücksichtigt, dass:
- – die Blinkleuchten jeweils an vorbestimmten Stellen des anderen Fahrzeugs 4 positioniert sind, nämlich einerseits im linken Randbereich und andererseits im rechten Randbereich des Fahrzeugs 4;
- – die Blinkleuchten jeweils eine ganz bestimmte Standardblinkfrequenz bzw. eine ganz bestimmte Periodendauer eines Zyklus aufweisen, nämlich zwischen 0,8 s und 1,2 s.
-
In 3 ist in vergrößerter Darstellung das Begrenzungsrechteck 9 gezeigt, mit welchem das detektierte Fahrzeug 4' umgeben ist. Es werden Teilbereiche des Bildes 8 – und genauer gesagt des Begrenzungsrechtecks 9 – definiert, nämlich vorliegend ein erster Teilbereich 10 sowie ein zweiter Teilbereich 11. Diese Teilbereiche werden hinsichtlich des aktuellen Zustands von jeweiligen Blinkleuchten 12, 13 mittels der Recheneinrichtung untersucht. Es werden also ganz bestimmte Teilbereiche 10, 11 der Bilder 8 vorgegeben, welche durch die Recheneinrichtung ausschließlich untersucht werden. Dies beruht darauf, dass die Blinkleuchten 12, 13 immer an vorgegebenen Stellen platziert sind, sodass die Rechenleistung dann gespart werden kann und der aktuelle Zustand der Blinkleuchten 12, 13 nur dann besonders schnell ermittelt werden kann, wenn nicht die gesamten Bilder 8, sondern lediglich die Teilbereiche 10, 11 untersucht werden. Die Größe und die Positionen der Teilbereiche 10, 11 sind dabei Variable, die in der Recheneinrichtung beliebig eingestellt werden können. Diese Teilbereiche 10, 11 können sich sogar über die gesamte Breite und/oder Höhe des Begrenzungsrechtecks 9 erstrecken. Vorzugsweise befinden sich die Teilbereiche 10, 11 innerhalb des Begrenzungsrechtecks 9.
-
Innerhalb der Teilbereiche 10, 11 berechnet die Recheneinrichtung jeweils den Mittelwert der Lichtintensität in dem jeweiligen Teilbereich 10, 11. Dies bedeutet, dass zu jedem Teilbereich 10, 11 und vorzugsweise auch zu jedem Bild 8 jeweils ein Mittelwert der Lichtintensität innerhalb des Teilbereichs 10, 11 berechnet wird. Jedem Teilbereich ist somit pro Bild 8 jeweils ein Mittelwert der Lichtintensität zugeordnet. Die Recheneinrichtung berechnet dabei die jeweiligen Mittelwerte über eine vorbestimmte Anzahl N von nacheinander folgenden Bildern 8. Die Anzahl N kann dabei in einem Wertebereich von 2 bis 50 liegen. Der Vorteil bei der Berechnung der Mittelwerte liegt insbesondere darin, dass nicht gesamte Bilder 8 abgespeichert werden müssen, sondern lediglich die berechneten Mittelwerte. Dies beansprucht besonders wenig Speicherplatz.
-
In 4 ist ein beispielhafter Verlauf der Mittelwerte AI (average intensity) der Lichtintensität über der Zeit t dargestellt, und zwar über die Anzahl N von Bildern 8. Dieser zeitliche Verlauf, wie er in 4 dargestellt ist, zeigt die Mittelwerte der Lichtintensität innerhalb des Teilbereichs 11 über eine Vielzahl von aufgenommenen Bildern 8. Aus dem zeitlichen Verlauf gemäß 4 geht eindeutig hervor, dass sich die mittlere Intensität innerhalb des Bereichs 11 über die Vielzahl N von Bildern 8 verändert, und zwar periodisch. Der Verlauf gemäß 4 zeigt nämlich eine sinusförmige Funktion. Um den aktivierten Zustand der Blinkleuchte 13 eindeutig feststellen zu können, wird der Verlauf gemäß 4 über mehrere Zyklen – also über mehrere Periodendauern – des Verlaufs ausgewertet. Dies deshalb, weil es auch zu einer Änderung der Lichtintensität aufgrund anderer Lichtquellen kommen kann.
-
Um die Robustheit der Bestimmung des aktuellen Zustands der Blinkleuchten 12, 13 auf ein Maximum zu bringen, wird der zeitliche Verlauf, wie er in 4 dargestellt ist, einer Bandpass-Filterung unterzogen. Das Ergebnis dieser Bandpass-Filterung ist in 5 näher dargestellt. Wie aus 5 hervorgeht, ist der Verlauf der Mittelwerte nunmehr eine quasi ideale Sinus-Funktion, welche durch die Recheneinrichtung ohne viel Aufwand ausgewertet werden kann. Die Recheneinrichtung berechnet nun den Effektivwert (RMS) des gesamten Signals gemäß 5 und vergleicht diesen Effektivwert mit einem vorgebbaren Schwellwert. Stellt die Recheneinrichtung fest, dass der Effektivwert größer als der Schwellwert ist, so interpretiert dies die Recheneinrichtung dahingehend, dass die Blinkleuchte 12, 13 aktiviert ist. Die Recheneinrichtung kann hier ergänzend oder alternativ auch die Frequenz des Signals gemäß 5 bestimmen und diese Frequenz mit Standardblinkfrequenzen vergleichen. Fällt die ermittelte Frequenz des Signals gemäß 5 in einen vorgegebenen Wertebereich, so kann dies dahingehend interpretiert werden, dass der Blinker aktiviert ist.
-
Anstelle eines Bandpass-Filters kann auch eine Fourier-Transformation angewendet werden. Dies bedeutet, dass der zeitliche Verlauf gemäß 4 einer Fourier-Transformation (etwa FFT) unterzogen werden kann, und das Ergebnis der FFT der Feststellung zugrunde gelegt werden kann, ob der Blinker aktiviert oder deaktiviert ist.
-
Nachfolgend wird nun bezugnehmend auf 6 näher erläutert, wie die Bestimmung des aktuellen Zustands von Bremsleuchten eines vorausfahrenden Kraftfahrzeugs im Detail aussehen kann. An dieser Stelle sei noch einmal darauf hingewiesen, dass zur Bestimmung des Zustands von Bremsleuchten anderer Fahrzeuge eine Kamera im Frontbereich des Kraftfahrzeugs 1 eingesetzt werden kann, welche den Umgebungsbereich 6 vor dem Kraftfahrzeug 1 erfasst.
-
In 6 ist ein Ausschnitt eines Bildes 8 dargestellt, in welchem das Heck eines anderen, vorausfahrenden Fahrzeugs 4' abgebildet ist. Wie im Ausführungsbeispiel gemäß 3, ist auch hier des Kraftfahrzeug 4' mit einem Begrenzungsrechteck 9 umgeben, welches von dem Detektionsalgorithmus ausgegeben wird. Auch hier werden Teilbereiche 14, 15 und 16 innerhalb des Begrenzungsrechtecks 9 definiert, welche mittels der Recheneinrichtung hinsichtlich des Zustands von Bremsleuchten 17, 18, 19 untersucht werden. Bei der Bestimmung des aktuellen Zustands der Bremsleuchten 17, 18, 19 werden dabei folgende Erkenntnisse berücksichtigt:
- – Alle Bremsleuchten 17, 18, 19 sollten gleichzeitig aktiviert und deaktiviert werden;
- – die Bremsleuchten 17, 18, 19 befinden sich – ähnlich wie die Blinkleuchten 12, 13 – an vorgegebenen, ganz bestimmten Stellen.
-
Auch zur Bestimmung des Zustands der Bremsleuchten 17, 18, 19 wird in jedem Teilbereich 14, 15, 16 die jeweilige mittlere Lichtintensität über eine Vielzahl von Bildern 8 berechnet, sodass für jeden Teilbereich 14, 15, 16 jeweils ein zeitlicher Verlauf der mittleren Lichtintensität ausgewertet werden kann. Wird in allen Teilbereichen 14, 15, 16 gleichzeitig eine sprunghafte Veränderung der Lichtintensität festgestellt, kann dies dahingehend interpretiert werden, dass die Bremsleuchten 17, 18, 19 aktiviert bzw. deaktiviert werden.
-
Es kann auch vorkommen, dass der Fahrer die herkömmlichen Heckleuchten des Kraftfahrzeugs 4 plötzlich einschaltet, sodass auch ein entsprechender Sprung der Lichtintensität erkannt wird. Diese Veränderung der Lichtintensität ist jedoch dann allenfalls in den Teilbereichen 14, 15 erkennbar, nicht jedoch im oberen Teilbereich 16. Um jedoch die Zuverlässigkeit zu erhöhen, kann auch vorgesehen sein, dass die Farbinformation verwendet wird. Dies gilt sowohl für die Blinkleuchten 12, 13 als auch für die Bremsleuchten 17, 18, 19. Die Leuchten eines Kraftfahrzeugs besitzen nämlich jeweils eine ganz bestimmte Farbgebung, die in bekannten Farbsystemen eindeutig definiert sind. Für die Bestimmung der aktuellen Zustände der Blinkleuchten 12, 13 sowie der Bremsleuchten 17, 18, 19 stehen somit auch folgende Informationen zur Verfügung: Die Aktivierung der Bremsleuchten 17, 18, 19 sollte eine Änderung in der Y-Komponente sowie in der Cr-Komponente des YCrCb-Farbraums (colour space) verursachen, und keine Veränderung der Cb-Komponente. Außerdem kann der HSV-Farbraum genutzt werden, um zu bestimmen, dass die Änderung der Farbintensität eine Änderung der Intensität des roten Lichts war. Es können auch Farbfilter eingesetzt werden, um eindeutig den aktuellen Zustand der Leuchten bestimmen zu können.
-
Es kann also einerseits bestimmt werden, in Bezug auf welche Farbe sich die Lichtintensität geändert hat. Dies bedeutet, dass die Lichtintensität in Bezug auf einen bestimmten Farbkanal (beispielsweise R in RGB oder aber Cr in YCrCb) untersucht und ausgewertet werden kann. Die Änderung der Lichtintensität in anderen Farbkanälen kann hingegen durch die Recheneinrichtung nicht berücksichtigt werden. Andererseits ist es auch möglich, ein bestimmtes Farbfilter zu verwenden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
