-
Die Erfindung betrifft ein Verfahren zur kamerabasierten Detektion von Einsatzfahrzeugen nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug zur Durchführung des Verfahrens.
-
Im Verkehr werden oftmals Einsatzfahrzeuge der Polizei, Feuerwehr oder Rettungsdienste angetroffen. Einsatzfahrzeugen ist typischerweise Vorrang einzuräumen, da sich die jeweiligen Einsatzkräfte auf dem Weg zu einer Notsituation befinden können. An einem Einsatz- bzw. Notfallort erfolgt oftmals auch eine Absperrung des üblichen Fahrwegs durch ein jeweiliges Einsatzfahrzeug.
-
Um auf sich aufmerksam zu machen verfügen Einsatzfahrzeuge über visuelle und akustische Hinweisvorrichtungen wie Blaulicht und Martinshorn. Aufgrund gut gedämmter Fahrzeuginnenräume oder lauter Musik kann eine Warnsirene überhört werden und aufgrund von Hindernissen oder Ablenkung ein Blaulicht von weiteren Verkehrsteilnehmern übersehen werden. Zudem müssen auch automatisierte und autonome Fahrzeuge dazu in der Lage sein Einsatzfahrzeuge zuverlässig erkennen zu können, um angemessen auf diese reagieren zu können. Somit existiert das Erfordernis Mittel bereitzustellen, welche das automatisierte Erkennen von Einsatzfahrzeugen durch Fahrzeuge ermöglicht.
-
Einsatzfahrzeuge können akustisch mit Hilfe von Mikrofonen und visuell mit Hilfe von Kameras erkannt werden. Akustische Verfahren basieren auf der Detektion der von einer respektiven Sirene abgegebenen Geräusche. Hat ein entsprechendes Einsatzfahrzeug jedoch lediglich das Blaulicht aktiviert und nicht die Sirene, so kann das Einsatzfahrzeug auch nicht erkannt werden. Zudem können Geräusche durch Lärm und Fahrtwind übertönt werden. Eine visuelle Erkennung ist beispielsweise mittels einer kamerabasierten Farbanalyse detektierten Lichts möglich. Die charakteristische Farbe eines Blaulichts kann jedoch durch Umwelteinflüsse verfälscht werden wie beispielsweise Nebel, Sonneneinstrahlung und dergleichen. Soll ein orangenes Warnlicht erkannt werden wie beispielsweise von Raumfahrzeugen, Abschleppwagen, Schwerlasttransportern und dergleichen verwendet, so kann besonders leicht eine Verwechslung auftreten, da auch andere Objekte wie beispielsweise die Straßenbeleuchtung oder Blinker oftmals oranges Licht abgeben.
-
Zur Erkennung von Einsatzfahrzeugen offenbart ferner die
DE 10 2014 212 785 A1 ein Verfahren zur Information eines Beobachters über ein im Einsatz befindliches Einsatzfahrzeug und eine Anordnung dazu. Die Druckschrift beschreibt das Erfassen eines Fahrzeugumfelds mittels Kameras und Erkennen von Einsatzfahrzeugen durch das Detektieren eines Einsatz-Lichtsignals in den erzeugten Kamerabildem. Wird ein Einsatzfahrzeug erkannt, so kann eine Person durch das Ausgeben von Hinweisen über das erkannte Einsatzfahrzeug informiert werden. Einsatz-Signale wie Blaulicht werden typischerweise als Blinklicht betrieben. Eine zur Auswertung der Kamerabilder verwendete Recheneinheit berücksichtigt entsprechend nur solche Lichtsignale mit einer ausreichend hohen Blinkfrequenz. Um solche Blinksignale zu erkennen ist eine entsprechend hohe Bilderfassungsrate für die verwendete Kamera erforderlich. Zur besseren Differenzierung zwischen Störquellen können die generierten Bilddaten vor der Auswertung einem Farbfilter zugeführt werden, um nur das dem in einem jeweiligen Land zur Ausbildung von Einsatz-Lichtsignalen verwendete farbliche Licht hindurchzulassen, wie beispielsweise Blau oder Blau-Rot. Nachteilig ist dabei jedoch, dass ein hohes Potenzial zur Fehldetektion von Einsatzfahrzeugen besteht.
-
Aus Effizienzgründen werden im Alltag zunehmend als Leuchtmittel LEDs verwendet. LEDs können gepulst betrieben werden, um in einer gewünschten Helligkeit zu strahlen. Die Ansteuerung der LEDs erfolgt dabei basierend auf einer Pulsweitenmodulation mit einer für das jeweilige Anwendungsszenario typischen Frequenz. Derart betriebene LEDs finden sich vielfältig im Straßenverkehr, beispielsweise integriert in Fahrzeugrückleuchten, aktiv beleuchtete Verkehrszeichen, Straßenlaternen, Reklametafeln und dergleichen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zur kamerabasierten Detektion von Einsatzfahrzeugen anzugeben, welches sich durch eine gesteigerte Zuverlässigkeit auszeichnet.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur kamerabasierten Detektion von Einsatzfahrzeugen mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Ein gattungsgemäßes Verfahren zur kamerabasierten Detektion von Einsatzfahrzeugen, wobei ein Egofahrzeug sein Umfeld mittels wenigstens einer Kamera erfasst und von der Kamera erzeugte Kamerabilder von einer Recheneinheit ausgewertet werden, wobei die Recheneinheit eine Bildfolge der Kamerabilder daraufhin untersucht, ob wenigstens eine mit einer charakteristischen Blinkfrequenz Licht abgebende Leuchtquelle in der Bildfolge erkennbar ist, wird erfindungsgemäß dadurch weitergebildet, dass die Recheneinheit ferner für zumindest eine in der Bildfolge erkannte, Licht entsprechend der charakteristischen Blinkfrequenz abgebende Leuchtquelle prüft, ob der charakteristischen Blinkfrequenz eine charakteristische Musterfrequenz überlagert ist, wobei die charakteristische Musterfrequenz kleiner ist als die charakteristische Blinkfrequenz und die charakteristische Musterfrequenz zumindest ein Zeitintervall umfasst, in der die Leuchtquelle entsprechend der charakteristischen Blinkfrequenz betrieben wird und ein Zeitintervall umfasst, in der die Leuchtquelle nicht betrieben wird und die Recheneinheit ein Einsatzfahrzeug erkennt, wenn zumindest eine Leuchtquelle in der Bildfolge erkannt wird, welche die charakteristische Blinkfrequenz und die charakteristische Musterfrequenz aufweist.
-
Mit Hilfe des erfindungsgemäßen Verfahrens lassen sich zuverlässig Signalwarnanlagen von Einsatzfahrzeugen erkennen, welche als Leuchtmittel gepulst betriebene LEDs aufweisen. Das Erkennen einer solchen Signalwarnanlage ist ein eindeutiges Indiz für das Vorhandensein eines Einsatzfahrzeuges im Umfeld des Egofahrzeugs.
-
Gepulst betriebene LEDs weisen eine charakteristische Blinkfrequenz, die beispielsweise in einer Größenordnung von 60 Hertz liegen kann, auf. Solche LEDs finden sich wie eingangs erwähnt sowohl in Beleuchtungsvorrichtungen von Fahrzeugen, als auch in stationären Leuchteinrichtungen wie Reklametafeln und Straßenbeleuchtungen. Um zu verhindern, dass gepulst betriebene LEDs generell für ein Einsatzfahrzeug gehalten werden, erfolgt erfindungsgemäß eine Analyse, ob die jeweiligen Leuchtmittel zusätzlich mit besagter charakteristischer Musterfrequenz betrieben werden. So werden die Signalwarnanlagen von Einsatzfahrzeugen ebenfalls typischerweise blinkend betrieben. Dabei überlagert sich die Pulsfrequenz zur Ansteuerung der LEDs mit der Warnblinkfrequenz der Signalwarnanlage. Die charakteristische Musterfrequenz ist dabei kleiner als die charakteristische Blinkfrequenz und liegt zum Beispiel in einer Größenordnung von einigen wenigen Hertz, wie 0,5 bis 5 Hertz.
-
Erfindungsgemäß prüft die Recheneinheit des Egofahrzeugs, ob die erkannte Leuchtquelle so betrieben wird, dass eine für ein jeweiliges Einsatzfahrzeug typische charakteristische Musterfrequenz erkannt wird, wobei das jeweilige Leuchtmittel dabei für charakteristische Zeitintervalle (im gepulsten Betrieb) Licht abgibt sowie für charakteristische Zeitintervalle ausgeschaltet bleibt. Je nach geografischer Region und der dort verwendeten Einsatzfahrzeuge können ganz unterschiedliche charakteristische Musterfrequenzen und charakteristische Blinkfrequenzen vorliegen. Dementsprechend wird auf der Recheneinheit eine Datenbasis vorgehalten, die sämtliche relevanten charakteristischen Blinkfrequenzen und charakteristischen Musterfrequenzen für den geplante Einsatzregion des Egofahrzeugs umfasst, sodass für den Einsatzzweck des Egofahrzeugs relevante Einsatzfahrzeuge auch zuverlässig detektiert werden können.
-
Zum Erkennen von Einsatzfahrzeugen reicht es dabei aus bereits eine einzige Leuchtquelle in der Bildfolge zu analysieren.
-
Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens untersucht die Recheneinheit die Bildfolge auf das Vorhandensein mehrerer Licht entsprechend der charakteristischen Blinkfrequenz und Musterfrequenz abgebenden Leuchtquellen hin, wobei die Recheneinheit bei zwei erkannten zueinander benachbarten Leuchtquellen prüft, ob eine charakteristische Phasenverschiebung der Musterfrequenzen vorliegt und das Erkennen eines Einsatzfahrzeuges plausibilisiert, wenn die wenigstens zwei erkannten Leuchtquellen eine respektive charakteristische Phasenverschiebung aufweisen. Hierdurch wird eine noch zuverlässigere Detektion von Einsatzfahrzeugen ermöglicht. So weisen Einsatzfahrzeuge oftmals mit einem seitlichen Versatz am Einsatzfahrzeug angebrachte Signalwarnanlagen bzw. in einer Leuchteinrichtung der Signalwarnanlage nebeneinander angeordnete einzelne Leuchtmittel auf. Diese Leuchtquellen blinken entsprechend der charakteristischen Musterfrequenz, meist alternierend. Die Recheneinheit des Egofahrzeugs prüft die Bildfolge daraufhin, ob solche als Paar oder Anordnung betriebene Leuchteinrichtungen einer Signalwarnanlage erkannt werden können.
-
Zwei Leuchtquellen können auf verschiedene Art und Weise als benachbart zueinander definiert sein. Beispielsweise befinden sich die beiden Leuchtquellen innerhalb eines festgelegten Abstands zueinander am Einsatzfahrzeug montiert, um als benachbart zu gelten. Zur Abstandsmessung können beispielsweise Tiefeninformationen ausgewertet werden, welche mit Hilfe einer Stereokamera generiert werden. Auch können in Kamerabildern charakteristische Geometriemerkmale detektiert werden, worauf auf Abstände geschlossen werden kann. Zwei Leuchtquellen können auch als zueinander benachbart gelten, wenn in einer direkten Verbindungslinie zwischen den beiden Leuchtquellen in einem Kamerabild keine weiteren Leuchtquellen angeordnet sind.
-
Ferner kann die Beleuchtungseinrichtung einer Signalwamanlage als rundum laufendes Licht ausgestaltet sein. Ein solches Licht wird durch einen zylindrischen Dom ausgebildet, an dessen Mantel um den vollständigen Umfang herum Leuchtmittel angeordnet sind. Diese Leuchtmittel werden dann der Reihe nach aktiviert bzw. deaktiviert, sodass der Anschein eines um 360° um die Signalwarnanlage herumlaufenden Lichtes erscheint. Mit Hilfe des erfindungsgemäßen Verfahrens lassen sich solche Lichter zuverlässig erkennen, wodurch die Wahrscheinlichkeit der korrekten Detektion von Einsatzfahrzeugen noch weiter verbessert wird.
-
Bei einem erfindungsgemäßen Fahrzeug, umfassend eine Kamera und eine Recheneinheit, sind die Kamera und die Recheneinheit zur Durchführung eines im vorigen beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Die Kamera kann in eine beliebige Richtung orientiert sein, bevorzugt wird das vollständige Umfeld des Fahrzeugs überwacht. Beispielsweise kann jeweils eine Kamera am Heck, an der Front, sowie an der rechten und linken Seite des Fahrzeugs angeordnet sein. Eine jeweilige Kamera kann als Mono- oder auch als Stereokamera ausgestaltet sein. Neben sichtbarem Licht kann eine solche Kamera auch dazu eingerichtet sein Infrarotlicht zu erfassen. In jedem Falle verfügt die Kamera über eine ausreichend hohe Bilderfassungsrate, sodass die charakteristische Blinkfrequenz der zu detektierenden von Signalwarnanlagen umfassten Leuchtmittel erkennbar ist.
-
Bei der Recheneinheit kann es sich um Steuergerät eines Fahrzeuguntersystems oder auch einen zentralen Bordcomputer handeln.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur kamerabasierten Detektion von Einsatzfahrzeugen ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 ein Diagramm, zeigend die von einer Leuchtquelle einer Signalwarnanlage abgegebenen Lichtintensität über der Zeit;
- 2 ein Diagramm, zeigend einen Aktivierungszustand über der Zeit zu dem die in 1 referenzierte Leuchtquelle betrieben wird;
- 3 eine schematische Darstellung einer Signalwarnanlage mit zwei zueinander seitlich beabstandeten Leuchteinrichtungen;
- 4 ein Diagramm, zeigend einen Aktivierungsversatz der benachbarten Leuchteinrichtungen der in 3 gezeigten Signalwarnanlage;
- 5 eine schematische Darstellung einer als Rundumlicht ausgeführten Leuchteinrichtung einer Signalwarnanlage; und
- 6 ein Diagramm, zeigend einen Aktivierungsversatz der einzelnen Leuchtmittel der in 5 gezeigten Leuchteinrichtung.
-
1 zeigt in einem qualitativen Diagramm die von einer in den 3 und 5 dargestellten Leuchtquelle(n) 2 einer Signalwarnanlage 4 eines Einsatzfahrzeuges abgegebene Lichtintensität I über der Zeit t. Die Leuchtquelle 2 wird basierend auf einer Pulsweitenmodulation gepulst betrieben. Hierzu gibt die Leuchtquelle 2 Licht entsprechend einer charakteristischen Blinkfrequenz 1 ab.
-
Wie 1 entnommen werden kann, wird dabei die Leuchtquelle 2 über der Zeit t während einzelner in 2 dargestellter Zeitintervalle 3.1 betrieben und während einzelner Zeitintervalle 3.2 nicht betrieben. 2 zeigt dabei auf der Ordinate den Aktivierungszustand Ader Leuchtquelle 2. Die beiden Zeitintervalle 3.1 und 3.2 wechseln sich ebenfalls mit einer charakteristischen Frequenz, hier als charakteristische Musterfrequenz 3 bezeichnet, ab. Die charakteristische Blinkfrequenz 1 entspricht der Frequenz, mit der ein als LED ausgeführtes Leuchtmittel gepulst betrieben wird, wobei die LED während dem Betrieb für einen Betrachter als durchgehend leuchtend erscheint. Die charakteristische Musterfrequenz 3 entspricht der Frequenz, zu der die Signalwarnanlage 4 für einen Betrachter tatsächlich als blinkend erscheint. Dabei müssen die beiden Zeitintervalle 3.1 und 3.2 zueinander nicht zwangsweise die gleiche Zeitdauer aufweisen. So können generell die Zeitintervalle 3.1 und 3.2 unterschiedlich lang sein. Auch können die Zeitintervalle 3.1 selbst zueinander unterschiedlich lang ausfallen, wobei eine festgelegte und damit ebenfalls charakteristische Reihenfolge der unterschiedlichen langen Zeitintervalle 3.1 existiert. Dies gilt analog für die Zeitintervalle 3.2.
-
Ein erfindungsgemäßes Verfahren zur kamerabasierten Detektion von Einsatzfahrzeugen sieht nun vor, dass ein Egofahrzeug mittels wenigstens einer am Egofahrzeug angebrachten Kamera sein Umfeld erfasst und eine Bildfolge von der Kamera erzeugter Kamerabilder von einer Recheneinheit des Egofahrzeugs ausgewertet werden. Die Recheneinheit prüft die Bildfolge auf das Vorhandensein wenigstens einer Leuchtquelle 2 welche sowohl mittels der charakteristischen Blinkfrequenz 1, als auch der charakteristischen Musterfrequenz 3 betrieben wird. Bei einer alleinigen Berücksichtigung der charakteristischen Blinkfrequenz 1 könnten Umgebungsleuchten wie beispielsweise eine gepulst betriebene LEDs verwendende Straßenlaterne oder die Rücklichter eines vorausfahrenden Fahrzeugs mit einer Signalwarnanlage 4 eines Einsatzfahrzeugs verwechselt werden. Erkennt die Recheneinheit jedoch einen Betrieb der Leuchtquelle 2 in dem die Leuchtquelle 2 zu den Zeitintervallen 3.1 betrieben wird und zu den Zeitintervallen 3.2 ausgeschalt bleibt, korrespondierend zur charakteristischen Musterfrequenz 3, so detektiert die Recheneinheit die Anwesenheit eines Einsatzfahrzeugs im Umfeld des Egofahrzeugs.
-
3 zeigt die Signalwarnanlage 4 eines Polizeiautos. Die Signalwarnanlage 4 umfasst zwei seitlich zueinander benachbarte Leuchteinrichtungen 8R und 8L, welche die Leuchtquellen 2 repräsentieren. Je nach Ausgestaltung kann das Polizeiauto über verschiedene Blinkmuster verfügen. Ein solches Blinkmuster kann vorsehen, dass die rechte Leuchteinrichtung 8R und die linke Leuchteinrichtung 8L abwechselnd aktiviert und deaktiviert werden. Zur Erhöhung der Konfidenz, mit der Einsatzfahrzeuge unter Anwendung eines erfindungsgemäßen Verfahrens detektiert werden, kann die Recheneinheit prüfen, ob es eine in 4 gezeigte charakteristische Phasenverschiebung Δcp zwischen den beiden charakteristischen Musterfrequenzen 3, zu denen die benachbarten Leuchtquellen 2 betrieben werden, gibt. In 4 sind die charakteristischen Musterfrequenzen 3 der beiden Leuchteinrichtungen 8R und 8L mit einer jeweiligen Frequenz f3 und f'3 dargestellt. Generell könnte bspw. die rechte Leuchteinrichtung 8R auch mehrfach hintereinander blinken, bevor die linke Leuchteinrichtung 8L angesteuert wird und umgekehrt. Die beiden charakteristischen Musterfrequenzen 3 f3 und f'3 müssen dabei nicht zwangsweise identisch sein.
-
5 zeigt eine als Rundumlicht ausgestaltete Leuchteinrichtung 8 einer Signalwarnanlage 4. Alte Konstruktionsformen von Rundumlichtern umfassen ein von einem rotierenden Reflektor umgebendes Leuchtmittel. Modernere Konstruktionen umfassen, wie in 5 dargestellt, ein zylindrisches Gehäuse 5, typischerweise ausgestaltet als Farbfilter, und einen innerhalb des Gehäuses 5 angeordneten zylindrischen Dom 6, an dessen Außenmantel mehrere Leuchtmittel 7 in Form von gepulst betriebenen LEDs über den vollständigen Umfang herum angeordnet sind. Dabei bilden die Leuchtmittel 7 die Leuchtquellen 2 aus. Zur Wahrung der Übersichtlichkeit sind dabei nur einige Merkmale der Figur mit Bezugszeichen versehen.
-
Zur Erzeugung des Eindrucks eines sich rotierenden Lichts werden dann die Leuchtmittel 7 in Reihe hintereinander aktiviert und deaktiviert, wie durch einen gekrümmten Pfeil angedeutet. Auch ein solches charakteristisches Ansteuern kann dabei die charakteristische Musterfrequenz 3 ausbilden. Zwei benachbarte Leuchtmittel 7 werden dann zu einem festen zeitlichen Abstand hintereinander aktiviert bzw. deaktiviert. Dieser zeitliche Abstand erfolgt mit der in 6 gezeigten charakteristischen Phasenverschiebung Δφ, wobei die charakteristische Phasenverschiebung Δφ lediglich für zwei benachbarte Leuchtmittel 7, aufweisend die jeweilige charakteristische Musterfrequenz 3 f3 und f'3, in das Diagramm eingetragen ist. Wie zu erkennen ist, liegt ein vergleichsweise großes Zeitintervall zwischen den einzelnen Aktivierungszeiträumen der Leuchtmittel 7 in denen diese deaktiviert sind. Dieses Zeitintervall entspricht der Zeitdauer mit der das Licht um den Dom 6 herumläuft, bis es wieder von den referenzierten Leuchtmitteln 7 abgestrahlt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014212785 A1 [0005]
