-
Die
Erfindung betrifft eine Vorrichtung zum Bestimmen eines Freiraums
vor einem Fahrzeug gemäß Anspruch
1 und ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
gemäß Anspruch
15.
-
Zukünftige Fahrerassistenzsysteme
für Stop&Go-Unterstützung und
Systeme zum führerlosen
Betreiben von Transport-Fahrzeugen wie beispielsweise U-Bahnen, Züge oder
Schwebebahnen werden ein vollautomatisches Wiederanfahren realisieren.
Dazu muss der Anfahrtsraum direkt vor dem Fahrzeug (Kraftfahrzeug,
U-Bahn, Zug) von dem Wiederanfahren nach einem Stop, beispielsweise
in einem Stau, ein vorausfahrendes Fahrzeug wartet vor einer Ampel
oder ein Halt der U-Bahn in einer Station, überwacht werden. Für ein sicheres
Wideranfahren ist es wichtig, zu erkennen, ob der Anfahrtsraum frei
ist und sich in der Zwischenzeit keine Personen oder andere Objekte
in den Raum vor dem Fahrzeug hineinbewegt haben. Dies kann zum Beispiel
mit den üblichen
Strahlsensoren wie Radar-, Lidar-, Ultraschall-Systemen umgesetzt
werden. Auf Grund ihres Einbauorts in der Fahrzeugfront, insbesondere
im Kühlergrill
oder Scheinwerfer, sind aber zum Beispiel Radar- oder Lidar-Systeme nur begrenzt in
der Lage, einen Raum unmittelbar vor dem Fahrzeug zu überwachen.
Vorzuziehen ist daher ein hinter einer Windschutzscheibe angebrachtes
Sensorsystem, zum Beispiel ein Kamerasystem, das einen sehr viel
breiteren Raum vor dem Fahrzeug erfassen kann. Es sind zum Beispiel
stereobasierte Kamerasysteme bekannt, die eine dreidimensionale
Erkennung von Hindernissen erlauben. Der Aufwand für derartige
Stereokameras ist allerdings kostenintensiv und erfordert relativ
viel Bauraum im Bereich der Windschutzscheibe im Fahrzeug, da zwei
Kameras in diesen Bereich angeordnet werden müssen.
-
Aufgabe
der vorliegenden Erfindung ist es daher, eine Vorrichtung und ein
Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug zu schaffen,
welche verbesserte Eigenschaften gegenüber dem Stand der Technik haben.
-
Diese
Aufgabe wird durch eine Vorrichtung zum Bestimmen eines Freiraums
vor einem Fahrzeug mit den Merkmalen nach Anspruch 1 und ein entsprechendes
Verfahren mit den Merkmalen nach Anspruch 17 gelöst. Weitere Ausgestaltungen
der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Ein
wesentlicher Gedanke der Erfindung besteht nun darin, dass mit einem
einzigen bildgebenden Sensor ein Bild vor dem Fahrzeug aufgenommen wird
und die Kanten darin analysiert werden, die beispielsweise durch
Begrenzungslinien von Schatten oder Fahrbahnmarkierungen in dem
Bild enthalten sind (Bildkanten). Durch Auswertung dieser Bildkanten,
die einen Rückschluss
auf Hindernisse vor dem Fahrzeug geben, kann dann der Freiraum vor
dem Fahrzeug als derjenige Raum gewertet werden, der ausgehend von
einem unteren Rand des Bildes einem Bildkanten-freien Bereich entspricht.
Die bedeutet, dass derjenige Bereich vor dem Fahrzeug als Freiraum
betrachtet wird, in dem keine Bildkanten-verursachtenden Objekte
enthalten sind. Diese Bewertung des Freiraumes vor dem Fahrzeug
funktioniert sowohl bei stehendem Fahrzeug (z.B. im Stau oder vor
dem Anfahren) als auch bei fahrendem Fahrzeug und bietet daher die
Möglichkeit,
in nahezu allen im Straßenverkehr
auftretenden Situationen ein Objekt vor dem Fahrzeug zu erkennen.
-
Außerdem können auch
nacheinander zwei Bilder von einem zu überwachenden Bereich vor dem Fahrzeug
aufgenommen, diese beiden Bilder miteinander verglichen und die
unterschiedlichen Elemente in diesen beiden Bildern durch Bewegungskanten
in einem Differenzbild abgebildet werden. Hieran anschließend kann
eine Mustererkennung auf diese Bewegungskanten angewendet werden,
um festzustellen, ob sich in einem überwachten Bereich vor dem
Fahrzeug Objekte hineinbewegen. Werden nur wenige Bewegungskanten
festgestellt, so kann davon ausgegangen werden, dass sich kein Objekt
vor dem Fahrzeug befindet, da durch den Eintritt dieses Objekts
in den Bereich vor dem Fahrzeug in einem Zeitraum zwischen den beiden
Bildern eine Bewegungskante für
dieses Objekt im Differenzbild entstehen würde. Da weiterhin durch den
erfindungsgemäßen Ansatz
lediglich ein bildgebender Sensor verwendet wird, ist eine kostengünstigere
Implementierung als beispielsweise ein Stereokamerasystem möglich. Außerdem reicht
ein geringerer Bauraum zur Anordnung eines solchen Sensors im Fahrzeug aus.
-
Die
vorliegende Erfindung betrifft gemäß einer Ausführungsform
eine Vorrichtung zum Bestimmen eines Freiraums vor einem Fahrzeug,
umfassend:
- – einen bildgebenden Sensor,
der ausgebildet ist, um ein Bild eines Beobachtungsbereichs vor
dem Fahrzeug aufzunehmen;
- – eine
Bildverarbeitungseinheit, die ausgebildet ist, um das aufgenommene
Bild zu verarbeiten, um ein Verarbeitungsbild zu erhalten, in dem
Bildkanten in dem Bild markiert sind; und
- – eine
Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor
dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen,
der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend
von einem unteren Bildrand des Bildes entspricht.
-
Bei
einer weiteren Ausführungsform
kann die Bildverarbeitungseinheit ausgebildet sein, um Fahrbahnmarkierungen
und/oder einen Schattenverlauf zu erkennen und als Bildkante in
dem Bild zu markieren. Dies bietet den Vorteil, dass hierdurch eine
spezielle Anpassung an typische Fahrsituationen erfolgen kann, so
dass zum Beispiel schon häufig
auftretende Kantenverläufe
auf der Fahrbahn in der Bildverarbeitungseinheit vorprogrammiert
und somit die Auswertung erleichtert werden kann. Alternativ oder zusätzlich kann
auch eine Mindestlänge
von Schatten-bedingten Kanten vorgesehen sein, so dass schon vorab
eine Einschätzung
der Größe des entsprechenden
Objekts abgeschätzt
werden kann.
-
Auch
kann in einer Ausführungsform
die Vorrichtung zum Bestimmen eines Freiraums vor dem Fahrzeug
- – den
bildgebenden Sensor umfassen, der ausgebildet ist, um zu einem ersten
Zeitpunkt das Bild und zu einem nach dem ersten Zeitpunkt liegenden
zweiten Zeitpunkt ein zweites Bild eines Beobachtungsbereichs vor
dem Fahrzeug aufzunehmen;
- – die
Bildverarbeitungseinheit ausgebildet ist, um durch Bilden einer
Differenz von Bilddaten des Bildes und Bilddaten des zweiten Bildes
ein Differenzbild zu erhalten, welches Bewegungskanten aufweist,
die durch sich unterscheidende Bildpunktwerte der Bilddaten des
Bildes gegenüber den
Bilddaten des zweiten Bildes definiert sind; und
- – eine
Mustererkennungseinheit, die ausgebildet ist, um als Freiraum vor
dem Fahrzeug denjenigen Teil des Beobachtungsbereichs zu bestimmen,
der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend
von einem unteren Bildrand des Differenzbildes entspricht.
-
Dies
ermöglicht
nicht nur bei Einzelbildern ein Hindernis vor dem Fahrzeug zu erkennen
und damit eine deutliche Flexibilisierung des Einsatzszenarios zu
bieten. Insbesondere kann die Sicherheit eines fahrenden Fahrzeugs
deutlich erhöht
werden, wenn dieser dynamische Aspekt der Hinderniserkennung mitberücksichtigt
wird.
-
Gemäß einer
weiteren Ausführungsform
der vorliegenden Erfindung kann die Bildverarbeitungseinheit ausgebildet
sein, um einen Schwellenwert auf Bildpunktwerte des Differenzbildes
anzuwenden, derart, dass in dem Differenzbild nur Bewegungskanten
enthalten sind, deren Bildpunktwerte über dem Schwellenwert liegen.
Dies bietet den Vorteil, dass geringfügige Störungen in dem Differenzbild
bei der Mustererkennung nicht berücksichtigt werden und damit
eine Mustererkennung deutlich störungsfreier arbeitet.
-
In
einer weiteren Ausführungsform
wird die Bewegungsrichtung der Kanten analysiert. Kanten, die sich
in den beobachteten Bereich hineinbewegen werden stärker gewichtet
als Kanten, die sich aus dem beobachteten Bereich hinausbewegen.
Mit anderen Worten ausgedrückt
kann die Mustererkennungseinheit ausgebildet sein, um eine Bewegungsrichtung
der Kanten zu analysieren und um beim Bestimmen des Freiraums vor
dem Fahrzeug diejenigen Bewegungskanten, die sich in den Beobachtungsbereich
hineinbewegen stärker
zu gewichten als Bewegungskanten, die sich aus dem Beobachtungsbereich
hinausbewegen, wobei das stärkere Gewichten
der sich in den Beobachtungsbereich hineinbewegenden Beobachtungskanten
derart erfolgt, dass bezüglich
dieser sich in den Bewegungsbereich hineinbewegenden Beobachtungskanten
ein Sicherheitsabstand in dem zu bestimmenden Freiraum vor dem Fahrzeug
vorgesehen wird. Damit wird sichergestellt, dass Objekte, die sich
in den beobachteten Bereich hineinbewegen als besonders kollisionsgefährdet behandelt
werden.
-
Der
bildgebende Sensor kann in einer weiteren Ausbildungsform der vorliegenden
Erfindung ausgebildet sein, um das Bild und das zweite Bild während einem
Stillstand des Fahrzeugs aufzunehmen. Insbesondere kurz vorm Wiederanfahren
ist es wichtig, mögliche
Objekte im Anfahrtsraum vor einem Fahrzeug sicher zu erkennen. Weiterhin
kann durch diese Funktion der Fahrer bei einer psychologisch oftmals
als monoton betrachteten Verkehrssituation zusätzlich beispielsweise visuell
unterstützt
werden kann. Zugleich kann die Auswertung von Bildern im stehenden
Zustand des Fahrzeugs deutlich erleichtert werden, da aufgrund der
in der Regel geringen Änderungen
von Bild zu Bild die Bildverarbeitung weniger Ressourcen in Form
von Rechenleistung beansprucht.
-
In
einer weiteren Ausführungsform
der vorliegenden Erfindung kann die Mustererkennungseinheit ausgebildet
sein, um ein Blockieren des Anfahrens des Fahrzeugs zu signalisieren,
wenn nicht mindestens ein Freiraum von einer vordefinierten Größe vor dem
Fahrzeug erkannt wurde. Hierdurch lässt sich sicherstellen, dass
kein Auffahrunfall bei einem zu geringen Abstand zu einem vorausfahrenden Fahrzeug
verursacht wird. Auch kann sichergestellt werden, dass kein Anfahren
von Personen erfolgt, die möglicherweise
während
einem Warten der Fahrzeuge auf die Fahrbahn getreten und zwischen
die Fahrzeuge gelaufen sind.
-
Gemäß einer
weiteren Ausführungsform
der vorliegenden Erfindung kann die Mustererkennungseinheit auch
ausgebildet sein, um ein Blockieren des Anfahrens des Fahrzeugs
zu signalisieren, wenn ein Objekt mit einer vordefinierten Mindestgröße in einem
vordefinierten Bereich vor dem Fahrzeug erkannt wurde. Dies ermöglicht,
dass das Anfahren vor allem dann blockiert wird, wenn große Objekte,
wie beispielsweise Personen, in dem Bereich vor dem Fahrzeug erkannt
werden. Werden dagegen kleinere Objekte vor dem Fahrzeug erkannt,
wie beispielsweise Müll
oder Zeitungen, kann ein Anfahren des Fahrzeugs trotzdem erfolgen,
ohne dass eine Gefahr für das
Fahrzeug oder eine Person zu befürchten
ist.
-
Die
Mustererkennungseinheit kann gemäß einer
Ausführungsform
der Erfindung ausgebildet sein, eine geometrische Berechnung des
Freiraums vor dem Fahrzeug aus den ermittelten Werten des Differenzbildes
durchzuführen,
indem der Abstand d Punktes zum bildgebenden Sensor aus der Einbauhöhe h des
bildgebenden Sensors im Fahrzeug, dem Sensornickwinkel α, der Bildzeile
y des Punktes, dessen Abstand bestimmt werden soll, der Pixelgröße η sowie der
Brennweite f gemäß der folgenden
Formel bestimmt wird:
-
In
einer weiteren Ausführungsform
der vorliegenden Erfindung kann der bildgebende Sensor ausgebildet
sein, um nach dem zweiten Zeitpunkt weitere Bilder aufzunehmen,
und die Bildverarbeitungseinheit kann ferner ausgebildet sein, um
das erste und zweite Bild sowie die weiteren Bilder zu speichern
und um aus dem zweiten Bild und weiteren Bildern weitere Differenzbilder
mit entsprechenden Bewegungskanten aufzunehmen. Hierdurch bietet sich
die Möglichkeit,
während
dem Stillstand den Freiraum vor dem Fahrzeug kontinuierlich zu überwachen.
-
Auch
kann die Mustererkennungseinheit gemäß einer weiteren Ausführungsform
der vorliegenden Erfindung ausgebildet sein, um ein Eindringen eines
Objektes in einen freizuhaltenden Raum vor einem stehenden Fahrzeug
durch einen Vergleich der Bewegungskanten in unterschiedlichen Differenzbildern
zu erkennen. Hierdurch kann nicht nur der statische Zustand vor
dem Fahrzeug durch Auswertung eines einzigen Differenzbildes erfolgen,
sondern auch eine Bewegung eines Objektes erkannt werden. Hierbei
wird beispielsweise unterschieden zwischen Bewegungen in den Beobachtungsraum
hinein und Bewegungen aus dem Beobachtungsraum hinaus. Eine Bewegung
aus dem Beobachtungsraum hinaus, z.B. aufgrund eines anfahrenden
Fahrzeugs sollte möglichst
nicht das eigene Wiederanfahren blockieren. Dagegen kann eine Bewegung
in den Beobachtungsraum hinein als Kollisionsrelevant eingestuft
werden und beispielsweise infolgedessen ein automatisches Wiederanfahren
blockiert werden. Die Mustererkennungseinheit kann realisiert werden,
indem spaltenweise die Kantenpixel zu einem Profil aufintegriert
werden. Werden in diesem Profil Peaks erkannt die oberhalb eines
gewissen Schwellwertes liegen, so wird zum Beispiel ein Flag gesetzt
und damit signalisiert, dass sich etwas in den Beobachtungsbereich
bewegt hat
-
In
einer weiteren Ausführungsform
kann die Mustererkennungseinheit ausgebildet sein, um aus einer
Mehrzahl von Differenzbildern eine Bewegung eines in den freizuhaltenden
Raum vor dem Fahrzeug eindringenden Objektes in diesem freizuhaltenden
Raum nach zu verfolgen. Dies bietet die Möglichkeit abzuschätzen, ob
das Objekt in Kürze
den Bereich vor dem Fahrzeug verlassen wird, so dass bereits vorbereitende
Maßnahmen
zum Wiederanfahren getroffen werden können.
-
In
einer weiteren Ausführungsform
der vorliegenden Erfindung kann der bildgebende Sensor eine Kamera
sein. Dies ermöglicht
neben der Verwendung eines Ultraschall-Sensors, eines Radar-Sensors
oder eines Lidar-Sensors eine kostengünstige Implementierung der
Erfindung. Das Bild einer Kamera kann zudem für weitere Funktionen des Fahrerassistenzsystems
verwendet werden.
-
Weiterhin
kann in einer Ausführungsform
der vorliegenden Erfindung die Vorrichtung einen weiteren bildgebenden
Sensor aufweisen und die Mustererkennungseinheit ausgebildet sein,
um die Bilddaten des ersten oder zweiten Bildes mit Bilddaten des weiteren
bildgebenden Sensors auf Plausibilität zu überprüfen. Dies stellt sicher, dass
ein Fehler in dem bildgebenden Sensor einfach und schnell erkannt werden
kann und eine Gefährdung
von Sachwerten oder Personen aufgrund einer ungewollten Wiederanfahrt
des Fahrzeugs vermieden werden kann.
-
Auch
kann in einer Ausführungsform
ein Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug bereitgestellt
sein, das folgende Schritte umfasst:
- – Aufnehmen
eines Bildes eines Beobachtungsbereichs vor dem Fahrzeug;
- – Verarbeiten
des aufgenommenen Bildes, um ein Verarbeitungsbild zu erhalten,
in dem Bildkanten in dem Bild markiert sind; und
- – Bestimmen
desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug,
der einem Bildkanten-freien Bereich des Verarbeitungsbildes ausgehend
von einem unteren Bildrand des Bildes entspricht.
-
In
einer weiteren Ausführungsform
der vorliegenden Erfindung kann ein Verfahren zum Bestimmen eines
Freiraums vor einem Fahrzeug vorgesehen sein, das die folgenden
Schritte aufweist:
- – Aufnehmen eines ersten Bildes
eines Beobachtungsbereichs vor dem Fahrzeug zu einem ersten Zeitpunkt
und eines zweiten Bildes des Beobachtungsbereichs vor dem Fahrzeug
zu einem nach dem ersten Zeitpunkt liegenden zweiten Zeitpunkt durch
einen bildgebenden Sensor;
- – Bilden
einer Differenz von Bilddaten des ersten Bildes und Bilddaten des
zweiten Bildes, um ein Differenzbild zu erhalten, welches Bewegungskanten
aufweist, die durch sich unterscheidende Bildpunktwerte der Bilddaten
des ersten Bildes gegenüber
den Bilddaten des zweiten Bildes definiert sind; und
- – Bestimmen
desjenigen Teils des Beobachtungsbereichs als Freiraum vor dem Fahrzeug,
der einem Bewegungskanten-freien Bereich des Differenzbildes ausgehend
von einem unteren Bildrand des Differenzbildes entspricht. Dieses
Bestimmen kann beispielsweise dadurch erfolgen, dass ein Setzen
eines Flags ausgeführt
wird, wenn die Musterekennungseinheit Kantenbewegungen in den Beobachtungsbereich
hinein detektiert. Die Mustererkennungseinheit kann realisiert werden,
indem spaltenweise die Kantenpixel zu einem Profil aufintegriert
werden. Werden in diesem Profil Peaks erkannt die oberhalb eines gewissen
Schwellwertes liegen, so wird das Flag gesetzt und damit signalisiert,
dass sich etwas in den Beobachtungsbereich bewegt hat.
-
Weitere
Vorteile und Anwendungsmöglichkeiten
der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung
in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.
-
In
der Beschreibung, in den Ansprüchen,
in der Zusammenfassung und in den Zeichnungen werden die in der
hinten angeführten
Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen
verwendet.
-
Die
Zeichnungen zeigen in
-
1 eine
Darstellung der Einsatzmöglichkeit
eines Ausführungsbeispiels
der vorliegenden Erfindung;
-
2 eine
Darstellung der Erfassung von Bewegungskanten in einem Bild;
-
3 eine
Darstellung der geometrischen Berechnung des tatsächlichen
Freiraums vor dem Fahrzeug aus den in dem Differenzbild ermittelten Werten;
und
-
4 eine
Darstellung der Gewichtung der Bewegungskanten zur Beurteilung des
Freiraumes vor einem Fahrzeug abhängig von einer Bewegungsrichtung
eines Objektes vor das Fahrzeug.
-
Im
Folgenden können
gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen
versehen sein. Die im Folgenden angegebenen absoluten Werte und
Maßangaben
sind nur beispielhafte Werte und stellen keine Einschränkung der
Erfindung auf derartige Dimensionen dar.
-
1 zeigt
eine Darstellung der Einsatzmöglichkeit
eines Ausführungsbeispiels
der vorliegenden Erfindung. Hierbei ist ein Fahrzeug 10 dargestellt,
dass sich beispielsweise in einem Stau hinter einem Lastwagen 12 befindet.
Das Fahrzeug 10 ist mit einem Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 14 ausgestattet.
-
Das
in 1 dargestellte Ausführungsbeispiel der Vorrichtung 14 umfasst
einen bildgebenden Sensor 16, der beispielsweise eine optische
Kamera, ein Ultraschallsensor, ein Radarsensor oder Lidarsensor
sein kann. Ferner umfasst die Vorrichtung 14 eine Bildverarbeitungseinheit 18 sowie
eine mit der Bildverarbeitungseinheit 18 gekoppelte Mustererkennungseinheit 20.
Der bildgebende Sensor 16 kann im Bereich der Windschutzscheibe
des Fahrzeugs 10 angeordnet sein. Hierdurch ergibt sich
ein Beobachtungsbereich 22, der durch die erhöhte Anordnung des
bildgebenden Sensors 16 wesentlich größer ist, als es bei einer Montage
des Sensors beispielsweise im Front-, insbesondere Kühlerbereich
eines Kraftfahrzeugs möglich
ist.
-
In
diesem Beobachtungsbereich 22 kann ein Objekt 24 erkannt
werden, beispielsweise eine Person, die während dem Stau zwischen das
Fahrzeug 10 und den Lastwagen 12 gelaufen ist.
Der bildgebende Sensor 16 nimmt hierzu ein erstes Bild
auf, in dem sich das Objekt 24 noch nicht zwischen dem Fahrzeug 10 und
dem Lastwagen 12 befindet. Danach wird ein zweites Bild
aufgenommen, bei dem sich das Objekt 24 bereits zwischen
dem Fahrzeug 10 und dem Lastwagen 12 befindet.
Das erste und zweite Bild werden dann miteinander verglichen, indem
ein Differenzbild aus dem ersten und zweiten Bild erzeugt wird.
Die durch das Objekt 24 im zweiten Bild verursachten Unterschiede
führen
hierbei zu Bewegungskanten im Differenzbild, die aus der Anwesenheit
des Objekts 24 in dem Beobachtungsbereich 22 resultieren.
Es wird nun ein Abstand zwischen der durch das Objekt 24 verursachten
untersten Bewegungskante und einem unteren Rand des Differenzbildes
gemessen, der einen Rückschluss
auf die Position des Objekts 24 in dem Beobachtungsbereich 22 beziehungsweise
einen Rückschluss
auf einen Abstand des Objektes 24 vom Fahrzeug 10 ermöglicht.
Hierbei wird davon ausgegangen, dass der untere Rand des Differenzbildes
beziehungsweise des ersten und zweiten Bildes der Frontposition
des Fahrzeugs 10 entspricht.
-
2 zeigt
eine Darstellung der Erfassung von Bildkanten beispielhaft an Hand
von zwei Bildern. In der linken Teildarstellung von 2 ist
ein Bild einer Kamera wiedergegeben, in dem dargestellt ist, wie
sich das Fahrzeug mit der erfindungsgemäßen Vorrichtung auf einer Strasse
hinter einem Lastwagen 12 befindet. Als Grundannahme wird
dabei davon ausgegangen, dass eine leere Fahrspur bis auf die Fahrbahnmarkierungen
keine starken (Bild-) Kanten enthält. Sich durch "erhabene" Objekte bildende Schattenkanten
heben sich über
ihren Kontrast von der Fahrbahn ab und lassen auf Objekte oder Hindernisse
auf der Fahrbahn (oder zumindest direkt daneben) schließen. In
der rechten Teildarstellung von 2 ist erkennbar,
wie Bildkanten in der (statischen) Auswertung eines einzelnen Bildes
ermittelt und markiert werden können.
Insbesondere ist gut zu sehen, dass durch die Fahrbahnmarkierungen und
die Bildkanten des Schattenverlaufs hinter dem Lastwagen der vor
dem Fahrzeug liegende Bereich derart analysiert wurde, dass im Bereich 30 keine
Bewegungskanten vor dem Fahrzeug erkannt wurden und dass dieser
Bereich 30 als Freiraum vor dem Fahrzeug betrachtet werden
kann. Dagegen werden in einem Randbereich der Fahrbahn die Seitenstreifen
durch die Kantenerkennung erkannt und als Begrenzung für den Freiraum
vor dem Fahrzeug gewertet. Im rechten Teildiagramm der 2 ist
durch die Kantenerkennung klar zu erkennen, dass sich kein Objekt
zwischen dem Fahrzeug und dem Lastwagen befindet. Dies ermöglicht zugleich
die Verwendung der Erfindung zur Spurführung. Ändert sich auch der Abstand
zum vorausfahrenden LKW bei der Fahrt nicht, ergibt sich auch im
Bewegungsbild keine Bewegungsbildkante, so dass hierauf keine Veränderung
des Abstandes zum LKW und damit keine Einschränkung des Freiraumes vor dem
Fahrzeug zu verzeichnen ist.
-
In
3 ist
dargestellt, wie eine geometrische Berechnung des Freiraums vor
dem Fahrzeug aus den ermittelten Werten des Differenzbildes durchgeführt wird,
das aus von einer hinter dem Rückspiegel
an der Windschutzscheibe eines Kraftfahrzeugs montierten Kamera
aufgenommen Bildern erzeugt wurde. Hierbei stellt
3 eine
Möglichkeit zur
Abstandsbestimmung eines Punktes d zur Kamera beziehungsweise dem
bildgebenden Sensor dar. Der Abstand wird aus der Kameraeinbauhöhe h in dem
Fahrzeug, dem Kameranickwinkel α,
der Bildzeile y des Punktes dessen Abstand bestimmt werden soll,
der Pixelgröße η sowie der
Kamerabrennweite f gemäß der Formel
bestimmt.
-
Im
Folgenden wird ein beispielhaftes Verfahren beschrieben, das eine
automatische Freiraumbestimmung mittels monokularer Kamera realisiert, zum
Beispiel für
das Wiederanfahren eines angehaltenen Fahrzeugs. Es ist vorgesehen,
dass ein automatisches Wiederanfahren nur erfolgt, wenn ein Freiraum
vor dem Fahrzeug so bemessen ist, dass er größer als ein vorher als ausreichend
groß definierter Freiraum
ist und im Sensorsystem beziehungsweise der zugehörigen Auswerteeinheit
hinterlegt ist. Kann dies nicht durch ein oder mehrere Sensorsysteme (Kamera,
Ultraschall, Radar, Lidar, etc.) verifiziert werden, ist ein aktiver
Eingriff, zum Beispiel des Fahrzeugführers, notwendig, damit die
Fahrt fortgesetzt wird.
-
Im
Folgenden wird eine vorteilhaft ausgestaltete Vorrichtung und ein
ebensolches Verfahren beschrieben, das den Freiraum vor einem Fahrzeug
vor einer Wiederanfahrt bestimmt. Das Fahrzeug ist mit mindestens
einem Sensorsystem, mit zugehöriger Auswerteeinheit
und einer Speichervorrichtung ausgestattet. In der Speichervorrichtung
werden ab Stillstand des Fahrzeugs Informationen über bewegte Objekte
im Erfassungsbereich des Sensors beziehungsweise der Sensoren in
gespeichert. Optional werden bewegte Objekte während des Stillstands nachverfolgt,
um weitere Informationen zum Beispiel über die Relativgeschwindigkeit
zu erhalten oder ein wahrscheinliches Verhalten des Objektes vorherzusagen
(Querbewegung, Objekt bewegt sich auf das Fahrzeug zu oder vom Fahrzeug
weg).
-
Kommen
mehrere Sensorsysteme zum Einsatz, so werden ihre Daten zur Plausibilisierung
des Ergebnisses zusammengeführt
(Sensordatenfusion). Möglich
ist auch eine Beschränkung
auf Objekte, die sich auf der Fahrbahn oder in einem zuvor definierten relevanten
Bereich befinden. Das Verfahren selektiert also Objekte, die nach
dem Stillstand in den Freiraum vor dem Fahrzeug eintreten. Vor einer
Wiederanfahrt wird geprüft,
ob sich diese Objekte noch vor dem Fahrzeug befinden oder diesen
Bereich bereits wieder verlassen haben. Ein Kriterium, ob ein aktiver Eingriff,
z.B. des Fahrzeugsführers,
zur Fortsetzung der Fahrt vorgesehen ist oder auch eine automatische
Wiederanfahrt erfolgt, wird in Abhängigkeit davon getroffen, dass
sich eines der vorher beschriebenen selektierten Objekte noch in
dem vorgegebenen Freiraum aufhält.
Weitere Kriterien können
z.B. die Objekteigenschaften (Größe, Relativgeschwindigkeit,
Mensch, Gegenstand, Fahrzeug etc.) sein.
-
Das
vorstehend beschriebene Verfahren ist unter anderem für einen
Kamerasensor geeignet. Unter der Annahme, dass eine leere Fahrspur
keine starken Kanten enthält,
werden die Kanten in den Bilddaten extrahiert. Sich in das Bild
bewegende "erhabene" Objekte bilden Schattenkanten
und heben sich über
ihren Kontrast von der Fahrbahn ab. Ein Verfahren zur Erkennung
von bewegten Objekten mit einer Kamera könnte etwa wie folgt ablaufen:
- 1. Es wird ein Differenzbild aus zwei aufeinander folgenden
Bildern berechnet. Es entsteht ein Bild mit Bewegungskanten.
- 2. Es wird ein Schwellenwert auf das Differenzbild angewendet,
so dass nur starke Bewegungskanten verbleiben.
- 3. Alle Bewegungskanten werden während des Stillstands gespeichert.
- 4. Vor einer Wiederanfahrt wird der Freiraum berechnet, zum
Beispiel werden ausgehend vom unteren Bildrand die nächsten gespeicherten
Bewegungskanten bestimmt. Die entstehende Kontur begrenzt den Freiraum.
-
Alternativ
kann das Verfahren gemäß einem Ausführungsbeispiel
auch folgendermaßen
ablaufen, wie es in 4 näher dargestellt ist:
- 1. Es wird ein Differenzbild aus zwei aufeinander folgenden
Bildern T1 und T1 + dt berechnet. Es entsteht ein (Differenz-)Bild
mit Bewegungskanten.
- 2. Es wird ein Schwellenwert auf das Differenzbild angewendet,
so dass nur starke Bewegungskanten verbleiben.
- 3. Die Bewegungskanten werden spaltenweise aufintegriert, so
dass ein Kantenprofil entsteht.
- 4. Überschreitet
das Profil einen Schwellwert wird ein Freiraum-Flag gesetzt, das
eine Bewegung in den Freiraum anzeigt
- 5. Vor einer Wiederanfahrt wird das Freiraum-Flag abgefragt.
Beispielsweise kann das Wiederanfahren blockiert werden, wenn das
Freiraum-Flag gesetzt ist und das Wiederanfahren erst dann freigegeben
werden, wenn sichergestellt ist, dass sich kein Objekt mehr vor
dem Fahrzeug befindet. Dies kann durch ein Rücksetzen des Flags erfolgen,
wenn sich das Objekt aus dem Beobachtungsbereich hinausbewegt und
durch eine Auswertung diese sich aus dem Beobachtungsbereich hinausbewegenden
Bewegungskanten ein Löschen
des Flags bewirken.
-
Weiterhin
werden auch beim Analysieren des Differenzbildes statische Bildkanten
wie z.B. die Fahrbahnmarkierungen herausgefiltert, da diese in beiden
Bildern auftreten. Somit kann der Focus lediglich auf die „sich bewegenden" Bildkanten gerichtet werden,
was die Bildverarbeitung deutlich erleichtert.
-
- 10
- Fahrzeug
- 12
- Lastwagen
- 14
- Vorrichtung
zum Bestimmen eines Freiraums vor einem
-
- Fahrzeug
- 16
- bildgebender
Sensor, Kamera
- 18
- Bildverarbeitungseinheit
- 20
- Mustererkennungseinheit
- 22
- Beobachtungsbereich
- 24
- Objekt
- 30
- als
Freiraum erkennbarer Bereich
