-
Die
Erfindung betrifft ein Verfahren zur bildgestützten Erkennung von Fahrzeugen
im Umfeld eines Straßenfahrzeugs.
-
Aus
dem Stand der Technik sind bereits Verfahren zur bildgestützten Objekterkennung
mittels Bildsensoren bekannt. Beispielsweise werden hierzu in einem
ersten Schritt interessierende Objekte, wie z.B. Fahrzeuge, von
anderen Objekten und dem Bildhintergrund separiert. Dabei kommen
Segmentierverfahren zum Einsatz, welche einzelne Merkmale aus Bildern
extrahieren. Anschließend
werden segmentierte Merkmale in einem weiteren Schritt mittels Klassifikationsverfahren
als Objekt bzw. Teil eines Objekts erkannt und ggf. eindeutig einer
Objektklasse, z.B. "Fahrzeug", zugeordnet. Durch
die Auswahl geeigneter Merkmale wird es hierbei möglich, Fahrzeuge
im Umfeld eines Straßenfahrzeugs
zu erkennen. Im Zusammenhang mit derartigen Verfahren ist jedoch
ein großer
Verarbeitungsaufwand erforderlich.
-
Weiterhin
sind Verfahren bekannt, bei denen Fahrzeuge erkannt werden, indem
segmentierte Merkmale mittels modellbasierter Annahmen weiterverarbeitet
werden. Auch besteht die Möglichkeit
in Bilddaten mittels Segmentierverfahren die Beleuchtungseinheiten
anderer Fahrzeuge zu detektieren, wobei sich diese aufgrund ihrer
Intensitäten
deutlich vom Hintergrund abheben und daher in Bilddaten auf einfache
Weise zu lokalisieren sind. Jedoch sind diese Verfahren stark von
Schwankungen der Umgebungshelligkeit abhängig und daher hinsichtlich
ihrer Zuverlässigkeit,
insbesondere bei sicherheitsrelevanten Anwendungen, häufig nicht
ausreichend.
-
In
der
DE 197 13 884
A1 wird ein Verfahren zur Regulierung der Leuchtweite und/oder Leuchtrichtung
von Scheinwerfern eines Fahrzeugs beschrieben. Hieraus ist es bekannt,
dass andere Fahrzeuge anhand Ihrer Scheinwerfer mittels Bilderkennungsverfahren
erkannt werden. Es werden dabei die Positionen von Beleuchtungseinrichtungen anderer
Fahrzeuge in den Bilddaten, insbesondere mittels einer Bildverschiebungsschätzung, ausgewertet,
um stationäre
Lichtquellen von bewegten Scheinwerfern unterscheiden zu können. Weiterhin ist
es aus der
DE 197
13 884 A1 bekannt, dass unter denjenigen Voraussetzungen,
dass ein Fahrzeug mit Fernlicht unterwegs ist, man von davon ausgehen kann,
dass völlige
Dunkelheit herrscht und sich nur eine geringe Anzahl anderer Fahrzeuge
im Sichtbereich befinden. Unter diesen Voraussetzungen ist ein stark
vereinfachtes Verfahren zur Objektdetektion einsetzbar, wobei in
diesem Zusammenhang im Rahmen der Bildverarbeitung insbesondere
hell erleuchtete Punkte in dem von einem Videosensor aufgenommenen
Videostrom lokalisiert werden.
-
DE 103 23 560 A1 zeigt
eine Vorrichtung zur Ermittlung der Helligkeit der Umgebung eines
Fahrzeugs mittels eines Bildsensors. Die optische Achse des Bildsensors
ist dabei in einer ersten Richtung zur Erfassung des Verkehrsraums
ausgerichtet. Die Vorrichtung weist zudem einen Spiegel zur Umlenkung von
Licht aus einer zweiten Richtung auf einen Teil des Bildsensors
auf. In Abhängigkeit
vom Bildsignal des Bildsensors wird sodann ein Helligkeitssignal
erzeugt. Das aus der zweiten Richtung umgelenkte Licht stammt dabei
insbesondere aus einem Bereich oberhalb des Fahrzeugs. Anstelle
eines optischen Spiegels können
zur Umlenkung von Licht aber auch schlechter reflektierende Oberflächen, wie
z.B. Blechstreifen oder Alufolien verwendet werden. Das Mittel zur
Umlenkung von Licht kann dabei an einer Streulichtblende des Bildsensors,
an einem Gehäuse des
Bildsensors, an einer Fahrzeugscheibe oder an der Motorhaube des
Kraftfahrzeugs angeordnet sein.
-
In
der
DE 101 03 870
B4 wird ein Verfahren zur Bilderkennung bei Fahrzeugen
gezeigt, womit Entfernungsmessungen möglich sind. Dabei werden die
von einem Gegenstand ausgehenden elektromagnetischen Wellen von
wenigstens einem Sensor sowohl bezüglich ihrer Intensität als auch
bezüglich
ihrer Richtung erfasst und ausgewertet.
-
Außerdem werden
Lage und Geometrie einer reflektierenden Fläche der Karosserie zum Sensor
ermittelt. Von dem Sensor wird zunächst ein ungestörtes Originalbild
des Gegenstandes aufgenommen und zusätzlich Reflexionswellen von
dem Gegenstand, welche von der reflektierenden Fläche gespiegelt
werden (Spiegelbild). Zur Auswertung werden sodann Original- und Spiegelbild
herangezogen, wobei anhand geeigneter Algorithmen mit modellbasierten
Berechnungen die Reflexionswellen perspektivisch richtig rekonstruiert
werden. Es werden dadurch die Probleme einer Stereobildverarbeitung
gelöst,
da hierbei mit nur einer Kamera Stereoberechnung betrieben wird.
-
Der
Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zur bildgestützten Erkennung
von Fahrzeugen im Umfeld eines Straßenfahrzeugs gemäß dem Oberbegriff
des Patentanspruchs 1 zu schaffen, womit Fahrzeuge eindeutig und
auf zuverlässige
Weise erkannt werden.
-
Die
Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
-
Gemäß der Erfindung
wird ein Verfahren zur bildgestützten
Erkennung von Fahrzeugen im Umfeld eines Straßenfahrzeugs bereitgestellt,
bei dem das Licht wenigstens einer Lichtquelle eines zu erkennenden
Fahrzeugs bezüglich
seiner Intensität
und seinem Ort mittels wenigstens eines Bildsensors erfasst wird.
Der Bildsensor ist dabei derart ausgerichtet, sodass dieser die
Bilddaten des ungestörten
Originalbildes der wenigstens einen Lichtquelle und eines an einer
Spiegelfläche
des Straßenfahrzeugs
erzeugten Spiegelbildes dieser Lichtquelle aufzeichnet. In einer erfinderischen
Weise werden zur eindeutigen Erkennung des Fahrzeugs die der wenigstens
einen Lichtquelle zugeordneten Bilddaten von Original- und Spiegelbild
bezüglich
ihrer Intensitäten
verglichen. Dabei wird dann auf die Erkennung eines Fahrzeugs geschlossen,
falls die Abweichung der Intensitäten der Bilddaten einen bestimmten
Wert nicht überschreitet.
Mit der Erfindung wird es dadurch erst möglich, Fahrzeuge eindeutig
und auf zuverlässige
Weise zu erkennen. Da die Lichtstrahlen einer Lichtquelle eines
vorausfahrenden oder entgegenkommenden Fahrzeugs bezogen auf die
Spiegelfläche
des eigenen Fahrzeugs nur unter einem sehr kleinen Winkel auftreffen,
unterscheiden sich die Intensitäten
der dieser Lichtquelle zugeordneten Bilddaten von Original- und
Spiegelbild nur sehr wenig. Mit anderen Worten liegt der geringe
Intensitätsunterschied
zwischen Original- und Spiegelbild im Fall einer erfassten Lichtquelle
eines in der Umgebung befindlichen Fahrzeugs darin begründet, dass
sich die Richtung mit der sich die Lichtstrahlen direkt zwischen
Lichtquelle und Bildsensor ausbreiten von der Richtung mit der sich
die reflektierten Lichtstrahlen ausbreiten nur wenig unterscheidet.
Im Umfeld eines Straßenfahrzeugs
kann es aber auch zu weiteren Reflexionen an Spiegelflächen kommen,
welche in den Bilddaten von den Reflexionen einer Lichtquelle eines
in der Umgebung befindlichen Fahrzeugs sehr schwierig zu unterscheiden
sind. Dabei kann es sich beispielsweise um Reflexionen einer Lichtquelle
an einem Verkehrszeichen, wobei neben beliebigen Lichtquellen in
der Fahrzeugumgebung auch eine Lichtquelle des eigenen Fahrzeugs
in Frage kommt. Diese Reflexionen könnten irrtümlicherweise als Lichtquelle eines
zu erkennenden Fahrzeugs interpretiert werden. Da Verkehrszeichen
an einer deutlich höheren Position
gegenüber
dem Fahrweg angeordnet sind, als dies bei einer Lichtquelle eines
Fahrzeugs der Fall ist und zudem im Zusammenhang mit Reflexionen
eine größere Streuwirkung
aufweisen, treffen die an einem Verkehrsschild reflektierten Lichtstrahlen unter
einem größeren Winkel
an der Spiegelfläche des
eigenen Fahrzeugs auf, als dies bei einer Lichtquelle eines zu erkennenden
Fahrzeugs der Fall ist. Im Zusammenhang mit Reflexionen an einem
Verkehrszeichen sind daher mit dem Bildsensor auch nur geringe Intensitäten zu beobachten,
wobei das Verhältnis
der Intensitäten
zwischen Original- und Spiegelbild größer ist, als dies bei einer
erfassten Lichtquelle eines anderen Fahrzeugs der Fall ist. Es kann
daher davon ausgegangen werden, dass es sich um eine Reflexion oder
eine beliebige andere Lichtquelle im Umfeld des Fahrzeugs handelt
und es sich nicht um ein erkanntes Fahrzeug handelt. Mit der Erfindung
ist es somit möglich,
Lichtquellen anderer Fahrzeuge eindeutig und auf eine zuverlässige Weise
zu erfassen. Sonstige Reflexionen oder Lichtquellen im Fahrzeugumfeld
können
somit auf zuverlässige
Weise von Lichtquellen anderer Fahrzeuge unterschieden werden.
-
In
einer besonders gewinnbringenden Weise der Erfindung werden zusätzlich die
der wenigstens einen Lichtquelle zugeordneten Bilddaten von Original-
und Spiegelbild bezüglich
ihrer Positionen verglichen. Hierbei kann entweder nur ein Vergleich
der Positionen stattfinden oder alternativ oder zusätzlich können Intensitäten ausgewertet
werden. Aufgrund der Einbaulage des Bildsensors und der Lage der Spiegelfläche über dem
Fahrboden sind in den Bilddaten Bereiche definiert, in denen Lichtquellen
von Fahrzeugen abgebildet werden und es sind Bereiche definiert
in denen Reflexionen von Spiegelflächen vorkommen können. In
den Fällen
in denen sich mehrere Lichtquellen in der Fahrzeugumgebung befinden
und/oder zusätzliche
Reflebxionsflächen
wie Verkehrszeichen vorhanden sind, kann es vorkommen, dass in den
Bilddaten gleichzeitig mehrere Lichtquellen abgebildet sind. Anhand
eines Vergleichs von Intensitäten
lässt sich
deshalb eine Abbildung derselben Lichtquelle in Original- und Spiegelbild
nicht immer eindeutig zuordnen. In vorteilhafter weise werden daher
die der wenigstens einen Lichtquelle zugeordneten Bilddaten von
Original- und Spiegelbild bezüglich
ihrer Positionen verglichen. Diejenigen Lichtquellen, welche von
Fahrzeugen stammen, werden innerhalb der Bilddaten üblicherweise
an anderen Positionen abgebildet als dies bei beliebigen anderen
Lichtquellen, wie z.B. Lichtquellen einer Reklame oder von Gebäuden, der
Fall ist. Auch werden Reflexionen die von Fahrzeuglichtquellen stammen
und an Verkehrszeichen entstehen in den Bilddaten an anderen Positionen
abgebildet als dies bei einer direkt erfassten Lichtquelle eines
Fahrzeugs der Fall ist. Verkehrszeichen sind dabei üblicherweise
an Positionen angeordnet, die sich neben der Fahrbahn befinden und/oder
in einer deutlichen höheren
Position über
dem Fahrweg befinden als dies bei einer Fahrzeuglichtquelle der
Fall ist. Bildbereiche, in denen derartige Lichtquellen vorkommen, können daher
aufgrund geometrischer Abbildungsregeln vorbestimmt werden. Mit
diesem zusätzlichen. Wissen über die
Positionen abgebildeter Lichtquellen in den Bilddaten wird daher
eine eindeutige Zuordnung der jeweiligen Abbildung in Original-
und Spiegelbild möglich.
-
In
einer weiteren vorteilhaften Ausgestaltung können zusätzlich die der wenigstens einen
Lichtquelle zugeordneten Bilddaten von Original- und Spiegelbild
bezüglich
ihrer Farbwerte verglichen werden, falls diese sich aufgrund ihrer
Intensitäten und/oder
Positionen einander nicht eindeutig zuordnen lassen. Beispielsweise
wird es durch den Einsatz von Farbkameras möglich, Farbbilder aus der Fahrzeugumgebung
aufzuzeichnen. Dem Fachmann auf dem Gebiet der digitalen Bildverarbeitung
sind dabei Auswerteverfahren bekannt, womit z.B. rote Heckleuchten
von weißen
Frontscheinwerfern unterschieden werden können. Beispielsweise kommen
grüne Lichtquellen
nicht bei Fahrzeuglichtquellen sondern im Zusammenhang mit der Verkehrsinfrastruktur
vor, wie dies z.B. bei Ampelanlagen oder an Gebäuden der Fall ist. An Baustellen
werden häufig
orangefarben blinkende Lichtquellen eingesetzt, um die Aufmerksamkeit
des Fahrers zu erhöhen.
Daher ist es im Zusammenhang mit der Erfindung weiterhin vorteilhaft,
falls erfasste Lichtquellen in den Bilddaten über die Zeit, durch sog. Tracking,
nachverfolgt werden. Durch den zusätzlichen Vergleich von Farbwerten und/oder
Informationen aufgrund einer Auswertung über die Zeit wird eine eindeutige
Zuordnung von Abbildungen einer Lichtquelle in Original- und Spiegelbild
möglich.
-
Auch
ist es von Vorteil, falls die wenigstens eine Lichtquelle in den
Bilddaten von Original- und Spiegelbild in der Form eines hellen
Bildbereichs abgebildet wird. Beispielsweise ist der Intensitätsbereich
der Bilddaten derart normiert, sodass ein schwarzer Bildpunkt einem
Intensitätswert
von 0 entspricht und ein weißer
Bildpunkt einem Intensitätswert
von 255 entspricht, dazwischen liegen die einzelnen Grauwerte. Die
einer Lichtquelle zuzuordnenden Bildpunkte werden daher innerhalb
der Bilddaten in der Form eines hellen Flecks abgebildet. Neben der
Auswertung der Intensitätswerte
ist es deshalb auch sinnvoll, die Form heller Bildbereiche zu berücksichtigen,
wobei insbesondere die geometrische Form zusammenhängender
Gebiete mit ähnlichen Helligkeitswerten
ausgewertet wird. Beispielsweise ist die Form einer Fahrzeuglichtquelle
in den Bilddaten einem Kreis ähnlich,
weshalb zu deren Erkennung ein bestimmtes Verhältnis zwischen Höhe und Breite
herangezogen werden kann. Im Falle einer Leuchtreklame sind dagegen
häufig
länglich
ausgedehnte Lichtquellen vorhanden. Auch kann eine Auswertung der
Größe der jeweiligen
Lichtquelle ausgewertet werden, wobei z.B. eine Mindestanzahl an Bildpunkten
erforderlich ist. Da die Größe einer
Lichtquelle in den Bilddaten jedoch mit deren Abstand zur Kamera
variiert, ist in diesem Fall eine zusätzliche Erfassung dieses Abstandes
notwendig. Beispielsweise kann der Abstand dabei mittels eines geeigneten Bildsensors
oder eines anderen geeigneten Sensors erfolgen.
-
In
einer besonders bevorzugten Ausführung der
Erfindung kann für
den Fall, dass Fahrzeuge zunehmend als Reflexion an einer Spiegelfläche erkannt
werden auf eine Verschmutzung der Spiegelfläche geschlossen werden, wobei
eine automatische Anpassung eines Vergleichsparameters stattfindet.
Mit zunehmender Verschmutzung der Spiegelfläche wird der Intensitätsunterschied
zwischen den einer Fahrzeuglichtquelle zugeordneten Bilddaten von
Original- und Spiegelbild größer. Ab
einem bestimmten Verschmutzungsgrad der Spiegelfläche ist dieser
Intensitätsunterschied
von einem Intensitätsunterschied,
wie dieser in den Bilddaten zwischen einer von einem Verkehrszeichen
direkt zum Bildsensor reflektierten Lichtquelle und der von einem
Verkehrszeichen über
eine Spiegelfläche
des Straßenfahrzeugs
reflektierten Lichtquelle bei nicht verschmutzter Spiegelfläche vorkommt,
nicht zu unterscheiden. Die Lichtquelle eines Fahrzeugs wäre im Falle
einer Verschmutzung der Spiegelfläche daher ohne weitere Maßnahmen
nicht von einer anderen Art von Lichtquelle zu unterscheiden. Es
wird deshalb in vorteilhafter Weise eine automatische Anpassung eines
Vergleichsparameters vorgenommen. Hierbei wird während des Betriebs mehrfach
der Intensitätsunterschied
zwischen den einer Fahrzeuglichtquelle zugeordneten Bilddaten von
Original- und Spiegelbild und der Intensitätsunterschied zwischen den
einer beliebigen anderen Lichtquelle zugeordneten Bilddaten von
Original- und Spiegelbild mit einander verglichen. Falls die Abweichung
bei diesem Vergleich größer ist
als ein durch den Vergleichsparameter vorgegebener Wert ist von
einer Verschmutzung der Spiegelfläche des Fahrzeugs auszugehen.
Es wird sodann der Vergleichswert automatisch an den Wert des zuletzt
ermittelten Vergleichswert angepasst, um die durch die Verschmutzung
hervorgerufene Abweichung zu kompensieren und mit dem erfindungsgemäßen Verfahren
weiterhin Lichtquellen von Fahrzeugen eindeutig und auf eine zuverlässige Weise
zu erfassen.
-
In
einer gewinnbringenden Weise wird das Spiegelbild der wenigstens
einen Lichtquelle an der Motorhaube des Straßenfahrzeugs erzeugt. Dabei
ist die Position und Orientierung der Motorhaube deshalb besonders
geeignet, da zum einen die daran reflektierten Lichtstrahlen einer
Fahrzeuglichtquelle sich nach der Reflexion direkt in Richtung eines
auf der Rückseite
des Innenrückspiegels
angeordneten Bildsensors ausbreiten. Zum anderen ist aufgrund der
Position und Orientierung der Motorhaube der Winkel unter dem die
Lichtstrahlen einer Fahrzeuglichtquelle dort auftreffen sehr klein,
sodass diese nach der Reflexion mit nahezu unverändert hoher Intensität vom Bildsensor
erfasst werden können. Dadurch
unterscheiden sich sodann die Intensitäten der dieser Fahrzeuglichtquelle
zugeordneten Bilddaten von Original- und Spiegelbild nur sehr wenig.
Als Spiegelfläche
kann hierbei sowohl die Oberfläche
der Motorhaube selbst eingesetzt werden, wobei diese aufgrund ihrer
Lackierung gute Reflexionseigenschaften aufweist. Es ist aber auch
möglich,
dass in diesem Zusammenhang reflektierende Folien oder andere reflektierende
Materialien vorzugsweise im Bereich der Motorhaube angeordnet sind.
Dabei ist es vorteilhaft, falls sich die reflektierende Oberfläche der
Oberfläche
der Motorhaube in ihrer Form anpasst.
-
In
besonders gewinnbringender Weise ist eine Verwendung des Verfahrens
bei einem System zur automatischen Fernlichtsteuerung vorgesehen. Mit
dem Verfahren können
dabei Lichtquellen von Fahrzeugen die sich im Umfeld des eigenen
Straßenfahrzeugs
befinden auf zuverlässige
Weise erkannt und von anderen Lichtquellen unterschieden werden. Für den Fall,
dass mit dem Verfahren eine Lichtquelle eines anderen Fahrzeugs
im Umfeld erkannt wird, kann bei aktiviertem Fernlicht des eigenen
Straßenfahrzeugs
ggf. ein automatisches Abblenden durchgeführt werden. Gleichsam kann,
nachdem eine Lichtquelle eines anderen Fahrzeugs nicht mehr erkannt
wird ein automatisches Aufblenden durchgeführt werden. Diese wäre ohne
das erfindungsgemäße Verfahren
nicht zuverlässig
möglich,
da Reflexionen der eigenen Fahrzeuglichtquelle an Verkehrszeichen
fälschlicherweise
in den Bilddaten als fremde Fahrzeuglichtquelle erkannt würde und
somit unnötig abgeblendet
würde,
was zu einer Beeinträchtigung der
Sicherheit des eigenen Straßenfahrzeugs
führen würde.
-
Weitere
Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden
Beschreibung eines bevorzugten Ausführungsbeispiels anhand der
Figur. Dabei zeigt die Figur ein Straßenfahrzeug (1), welches
eine Lichtquelle (3a) und einen Bildsensor (5) umfasst.
Der Bildsensor (5) ist dabei nach unten geneigt an einem
Innenrückspiegel
des Fahrzeugs angeordnet, sodass damit Lichtstrahlen (6, 8)
wenigstens einer Lichtquelle (3b) eines zu erkennenden Fahrzeugs
(2) erfassbar sind. Bei dem Lichtstrahl (6) handelt
es sich dabei um einen direkt erfassten Lichtstrahl und bei dem
Lichtstrahl (8) um einen an einer Spiegelfläche (13)
reflektierten Lichtstrahl (7) der Lichtquelle (3b).
Aufgrund der Position und Orientierung der Spiegelfläche (13)
unterscheiden sich die Intensitäten
der der Lichtquelle (3b) zugeordneten Bilddaten von Original-
und Spiegelbild nur sehr wenig. Aufgrund dieses geringen Intensitätsunterschieds kann
die Lichtquelle (3b) eindeutig als Fahrzeuglichtquelle
erkannt werden. Im Gegensatz dazu ist der Intensitätsunterschied
bei den von der Beleuchtungsquelle (3a) stammenden Lichtstrahlen
(9), welche an einem Verkehrsschild (4) reflektiert
werden und sich in die Lichtstrahlen (10, 11)
aufteilen groß.
Die mit dem Bildsensor (5) direkt erfassten Intensitäten der Lichtstrahlen
(10) weichen dabei von den Intensitäten der Lichtstrahlen (12),
welche von den Lichtstrahlen (11) ausgehen und zuvor an
der Spiegelfläche (13)
reflektiert wurden, stark ab. Die Abweichung ist dabei deshalb so
groß,
da die Lichtstrahlen (11) unter einem großen Winkel
auf der Spiegelfläche
(13) auftreffen, insbesondere deshalb da die Reflexion
am Verkehrszeichen (4) an einer gegenüber dem Fahrweg stark erhöhten Position
stattfindet. Die Lichtstrahlen (11) breiten sich daher
nach der Reflexion an der Spiegelfläche (13) in Richtung
der Lichtstrahlen (12) aus, welche sich oberhalb der Erfassungsrichtung
des Bildsensors (5) befindet. Daher werden die Lichtstrahlen
(12) mit einer deutlich geringeren Intensität erfasst,
als dies bei den Lichtstrahlen (6, 8, 10) der
Fall ist. Somit kann die Lichtquelle (3a) in den mit dem
Bildsensor (5) erfassten Bilddaten eindeutig erfasst und
auf sichere Weise von der Lichtquelle (3b) unterschieden
werden.
-
- 1
- Straßenfahrzeug
- 2
- Fahrzeug
- 3a,
3b
- Lichtquelle
- 4
- Verkehrszeichen
- 5
- Bildsensor
- 6,
7, 8, 9
- Lichtstrahlen
- 10,
11, 12
- Lichtstrahlen
- 13
- Spiegelfläche