-
Die
Erfindung betrifft Bilderfassungssysteme für Kraft- und Schienenfahrzeuge
sowie Verfahren zur elektronischen Bilderfassung. Sie kann zur Unterstützung der
Fahrer solcher Fahrzeuge durch zusätzlich wahrnehmbare Informationen,
aber auch für
Fahrerassistenzsysteme eingesetzt und genutzt werden. So kann beispielsweise
beim Verlassen der Fahrspur ein Signal generiert oder Einfluss auf
einen gewollten oder ungewollten Spurwechsel genommen werden. Es
kann aber auch die Einhaltung vorgebbarer Mindestabstände automatisiert
eingehalten oder eben auch ein Warnsignal bei Unterschreitung eines
Mindestabstandes generiert werden. Darüber hinaus kann ein Fahrer
eines Fahrzeuges auch weitere zusätzliche optische Informationen über das
Umfeld eines mit einem Bilderfassungssystem ausgestatteten Fahrzeugs
erhalten.
-
Bisher
eingesetzte Lösungen
sind relativ aufwändig
gestaltet, da wie z.B. die in
DE 102 20 825 A1 beschriebene Bildaufnahmevorrichtung
für Fahrerassistenzsysteme
und auch die aus
DE
103 04 789 A1 bekannte Anordnung zur Verbesserung der Sicht
eines Fahrzeugführers
mindestens zwei unterschiedliche Einrichtungen für die Bilderfassung nutzen,
die wiederum in voneinander abweichenden Wellenlängenbereichen elektromagnetischer
Strahlung sensitiv sind, also eine Erfassung von elektromagnetischer Strahlung
im Bereich des sichtbaren Lichts und im Bereich größerer Wellenlängen, also
im Bereich des infraroten Lichts oder der Wärmestrahlung erfolgen soll.
-
Dies
ist einmal aufwändig
infolge der zumindest teilweise unterschiedlichen technischen Komponenten
und zum anderen können
die so erhaltenen Bildinformationen nur separat verarbeitet und
müssen
gesondert ausgewertet werden.
-
Andere
einfacher konfigurierte Systeme nutzen lediglich eine Videokamera.
Dies kann beispielsweise bei Sonnenblendung, nach Ausfahrt aus einem Tunnel
oder auch bei Blendung infolge entgegenkommender Fahrzeuge in der
Nacht problematisch sein. Zumindest dann lassen sich schwach ausgeleuchtete
Bereiche innerhalb eines Bildes mit einer solchen Technik nicht
oder nur unzureichend abbilden.
-
Bei
den herkömmlichen
Systemen werden häufig
zur Bilderfassung CCD-Sensoren eingesetzt. Diese weisen einen begrenzten
Dynamikumfang auf und bei hohen Beleuchtungsstärken tritt ein zur Verfälschung
des erfassbaren Bildes führender „Blooming-Effekt", infolge der Beeinflussung
benachbarter sensitiver CCD-Elemente
auf.
-
Um
diesen Nachteilen entgegen zu wirken, kann man so genannte Belichtungsserien
erstellen, d.h. eine Variation der Belichtungszeit vornehmen oder
Blenden einsetzen. Dabei werden zeitlich nacheinander mehrere Bilder
erfasst, die anschließend zusammengeführt und
durch eine solche Fusionierung aus der Bildserie ein von unter-
oder übersteuerten
Bereichen freies Ergebnisbild erhalten zu können. Dies ist aber wegen des
hierfür
erforderlichen Zeitaufwandes für
viele Anwendungen nicht geeignet und es gehen Informationen, insbesondere
bei sich schnell verändernden
Szenarien verloren.
-
Bei
anderen Systemen werden CMOS-Sensoren für eine Bilderfassung eingesetzt,
diese sind aber bei kleineren Beleuchtungsstärken nicht ausreichend empfindlich,
so dass bei Dunkelheit oder für nur
geringfügig
ausgeleuchtete Umgebungsbereiche keine sinnvoll verwertbaren (stark
verrauschte) Bilddaten erfasst werden.
-
Bisher
werden solche Bilderfassungseinrichtungen im Fahrzeuginneren angeordnet
und die Bilddatenerfassung erfolgt bei einer Anordnung hinter einer
Fahrzeugscheibe. Dies führt
zur Verkleinerung des Sichtfeldes von Fahrern der Fahrzeuge.
-
Insbesondere
bei dicken, mehrschichtigen und stark geneigten Scheiben treten
unerwünschte Beeinflussungen
der erfassten elektromagnetischen Strahlung auf, die zu Abbildungsfehlern
führen.
Außerdem
können
die Fahrzeugscheiben von außen verschmutzen.
Bei der Bilddatenerfassung stören aber
bereits kleine verschmutzte Flächen,
die nur wenige mm2 Fläche bedecken, auf Fahrzeugscheiben erheblich,
so das eine in tensive Reinigung solcher Scheiben zumindest im für die Bilddatenerfassung genutzten
Bereich auch während
der Fahrt erforderlich ist. Dies kann aber zu Irritationen der Fahrer
führen.
-
Außerdem sind
in
DE 103 04 703 A1 ein
Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung
eines Fahrzeugs mit umgebungsabhängiger
Fusion eines Infrarot- und eines Visuell-Abbildes beschrieben.
-
Aus
DE 198 01 884 A1 ist
ein Überwachungssystem
für Fahrzeuge
bekannt, bei dem mit Videokameras ein Bild eines zu überwachenden Raumes
erzeugt und auf Anzeigevorrichtungen dargestellt wird.
-
Ausgehend
hiervon ist es Aufgabe der Erfindung, die Erfassung von Bilddaten
an Kraft- und Schienenfahrzeugen zu verbessern.
-
Erfindungsgemäß wird diese
Aufgabe mit einem Bilderfassungssystem, das die Merkmale des Anspruchs
1 aufweist, gelöst.
Dabei kann die Bilderfassung mit einem Verfahren nach Anspruch 12 durchgeführt werden.
-
Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung können mit
in den untergeordneten Ansprüchen
bezeichneten Merkmalen erreicht werden.
-
Das
erfindungsgemäße Bilderfassungssystem
für Kraft- und Schienenfahrzeuge
ist dabei so ausgebildet, dass mindestens zwei Bilderfassungsmodule
an einem Fahrzeug angeordnet sind. Die Bilderfassungsmodule sind
so angeordnet und ausgerichtet, dass sie Bildsignale aus einer gemeinsamen Richtung
erfassen können,
wobei ein geringfügiger Perspektivenversatz
zugelassen ist, der mittels einer elektronischen Auswerteeinheit
aus geglichen werden kann. Die zeitgleich erfassten Bildinformationen sollen
fusioniert und mit einer elektronischen Auswerteeinheit dann zu
Ergebnisbildern zusammengeführt
werden.
-
Dies
kann so erreicht werden, dass zumindest zeitgleich, bevorzugt zeitgleich
ortsaufgelöst
erfasste Bildsignale von Bilderfassungsmodulen so fusioniert und
Ergebnisbilder erstellt werden. Dabei sollen mit einzelnen Bildsensoren
erfasste Bildsignale, die vor gegebene Schwellwerte über- oder
unterschreiten, bei der Erstellung von Ergebnisbildern nicht berücksichtigt
werden. Die Ergebnisbilder können
dann mit zeitgleich und ortsspezifisch erfassten Bildsignalen anderer
selektiver Elemente und/oder eines anderen mit einem anderen störungsfrei
erfassbaren Beleuchtungsstärkebereich
ausgebildeten Bilderfassungsmoduls erstellt werden.
-
Die
Bilderfassungsmodule sind innerhalb eines übereinstimmenden Wellenlängenspektrums elektromagnetischer
Strahlung sensitiv. Dieses Wellenlängenspektrum sollte einen großen Bereich
des sichtbaren Lichts (VIS) beinhalten. Die Bilderfassungsmodule
sind aber so ausgebildet, dass sie jeweils voneinander abweichende
erfassbare Beleuchtungsstärkebereiche
aufweisen.
-
Dies
bedeutet, dass ihre Empfindlichkeit jeweils anders ist und von einem
Bilderfassungsmodul Bildsignale in einem Beleuchtungsstärkebereich
erfasst werden können
und mit einem zweiten oder auch weiteren Bilderfassungsmodulen andere
Beleuchtungsstärkebereiche,
jeweils zwischen einem Minimal- und einem Maximalwert erfasst werden
können,
ohne dass Übersteuerungen
oder ein „Bloomingeffekt" auftreten und nutzbare
Bildsignale erhalten werden können.
-
Die
ausgewählten
erfassbaren Beleuchtungsstärkebereiche
von Bilderfassungsmodulen können
vorteilhaft so ausgewählt
sein, dass sie insgesamt einen großen Bereich erfassen können, d.h. dass
gut beleuchtete Bereiche von einem Bilderfassungsmodul und weniger
beleuchtete Bereiche von einem anderen Bilderfassungsmodul berücksichtigt werden
können.
Dabei sollten sich die Bereiche die mit den Bilderfassungsmodulen erfasst
werden können, übergangslos
aneinander anschließen
oder überlappen
und dabei auch in Form von Kaskadenbereichen vorliegen.
-
In
mindestens einem Bilderfassungsmodul kann aber eine Bilderfassung
mit unterschiedlichen Bildsensoren realisiert werden, die dann die
vorab erklärten
technischen Zusammenhänge
berücksichtigt.
-
Bildsensoren
von Bilderfassungsmodulen können
mit CCD- oder auch CMOS-Sensoren gebildet sein, die wiederum bevorzugt
als Array solcher Sensoren ausgebildet werden können. Dabei kann die bereits
eingangs erläuterte
unterschiedliche Empfindlichkeit von CCD- und CMOS-Sensoren ausgenutzt werden.
-
Voneinander
abweichende erfassbare Beleuchtungsstärkebereiche können aber
auch mit vorgeschalteten optischen Filtern erreicht werden. Mit optischen
Filtern kann die Intensität
elektromagnetischer Strahlung, mit der die Bildsensoren beaufschlagt
werden, reduziert und so ein vorgebbarer erfassbarer Beleuchtungsstärkebereich
eingehalten werden.
-
Dabei
können
wellenlängenselektive
optische Filter eingesetzt werden. Bevorzugt sollten aber Neutraldichtefilter
genutzt werden, die zumindest über
einen größeren Wellenlängenbereich
wirken.
-
Vorteilhaft
sollte mindestens ein Bilderfassungsmodul mit Bildsensoren an Front
und/oder Heck eines Fahrzeuges und dabei ganz besonders vorteilhaft
innerhalb eines Scheinwerfergehäuses untergebracht
sein. Diese können
ein zumindest annähernd
gleiches Umfeld zeitgleich erfassen.
-
So
kann der von Scheinwerfern ausgeleuchtete Bereich und ggf. auch
zusätzlich
ein Umfeld, das durch Scheinwerfer nicht oder nur schlecht ausgeleuchtet
ist, bei der Bilderfassung mit berücksichtigt werden.
-
Innerhalb
der Scheinwerfergehäuse
sind Bilderfassungsmodule geschützt
untergebracht. Die Gläser
von Scheinwerfergehäusen
beeinflussen die zu erfassende elektromagnetische Strahlung deutlich weniger,
als dies bei anderen Fahrzeugscheiben, insbesondere Frontscheiben
der Fall ist.
-
Streuung
und Brechung tritt bei Klarsichtscheiben von Scheinwerfern nicht
in dem Maß auf, wie
dies bei Frontscheiben und besonders Verbundglasscheiben der Fall
ist.
-
Häufig sind
an Scheinwerfern von Fahrzeugen auch Wascheinrichtungen für die Reinigung
vorhanden, die Verschmutzungen ohne Beeinträchtigung im Sichtfeld eines
Fahrers ermöglichen.
Diese können
automatisch aktiviert werden. Dies kann auch beim Erkennen von Verschmutzungen
mit dem erfindungsgemäßen Bilderfassungssystem über die elektronische
Auswerteeinheit _ initiiert werden, ohne dass ein manueller Eingriff
eines Fahrers erforderlich ist.
-
Die
ausgewerteten und ggf. mittels der elektronischen Auswerteeinheit
selektierten Bildsignale können
zu Ergebnisbildern zum jeweiligen Zeitpunkt zusammengefasst werden.
Diese können
an eine Anzeigeeinheit übertragen
werden, die von einem Fahrer oder anderem Bedienpersonal überwacht,
für die
Bedienung und nachfolgender Berücksichtigung der
so erfassten Umfeldsituation oder den jeweiligen Umfeldbedingungen
genutzt werden können.
-
Die
Bildsignale können
aber auch allein oder zusätzlich
an ein Fahrerassistenzsystem übertragen werden
und z.B. ein unerwünschtes
Abweichen aus einer Spur vermeiden oder bei Erkennung ein Warnsignal
generieren.
-
Erforderliche
Spurwechsel können
aber auch selbstständig
eingeleitet werden, wenn beispielsweise die befahrene Spur gesperrt
oder ein weiteres Befahren infolge eines dort stehenden oder langsam
fahrenden Fahrzeuges ver- oder behindert ist. Ein solches Fahrerassistenzsystem
kann aber auch für
eine Rangier- oder
Einparkhilfe sowie beim Befahren von Tiefgaragen, insbesondere bei
wechselnden Beleuchtungsverhältnissen
hilfreich sein, um Beschädigungen
an Fahrzeugen u.a. zu vermeiden.
-
Mit
der Erfindung können
Bildinformationen innerhalb eines von den Bilderfassungsmodulen
erfassbaren Umfeldbereiches zumindest nahezu vollständig erhalten
werden. Es können
auch Bildsignale für
Bereiche mit Beleuchtungsstärken
erhalten werden, die mit bloßem
Auge eigentlich nicht mehr erkannt werden. Auch ein plötzlicher
Ausfall eines Scheinwerfers kann besser kompensiert werden.
-
Werden
Bilderfassungsmodule in den zwei üblicherweise an Fahrzeugen
ohnehin vorhandenen Scheinwerfergehäusen untergebracht, kann der
Abstand zwischen den Scheinwerfergehäusen ausgenutzt werden, so
dass dadurch die erfassten Bildsignale auch zu Stereobildern elektronisch
verarbeitet werden können.
-
Da
auch in einem Scheinwerfergehäuse mehrere
mit Bildsensoren gebildete Einheiten, die wiederum von einander abweichende
Beleuchtungsstärkebereiche/Dynamikbereiche
aufweisen, darin aufgenommen sein können, sind diese sehr nah beieinander
angeordnet. Daraus resultiert eine geringe perspektivische Abweichung
der jeweils erfassten Bildsignale, was zu einer weitestgehenden
Fehlerfreiheit der zu Ergebnisbildern fusionierten Bildsignale führen kann.
-
Da
Bildsignale aus dem gleichen Spektralbereich elektromagnetischer
Strahlung erfasst und verarbeitet werden, ist deren Fusionierung
sehr einfach, im Vergleich zu herkömmlichen Lösungen, bei denen dies häufig sogar
ausgeschlossen ist.
-
Durch
die mögliche
zeitgleiche Erfassung und Berücksichtigung
von Bildsignalen können
Artefakte, die bei sich schnell verändernden Szenarien und Erfassung
von Belichtungsserien, die dann anschließend fusioniert werden müssen, vermieden werden.
Bei Belichtungsserien kann keine zeitgleiche Erfassung erfolgen
und/oder es müssen
voneinander abweichende Belichtungszeiten berücksichtigt werden. Dadurch
sind Objektverschiebungen bei den so durch Fusionierung erhaltenen
Bildern nicht zu vermeiden.
-
Das
erfindungsgemäße Bilderfassungssystem
weist von Hause aus ein gewisses Maß an Redundanz auf, wenn z.B.
ein Bilderfassungsmodul bzw. daran vorhandene Bildsensoren ausfallen
oder abgeschattet sind.
-
Bei
Anordnung von Bilderfassungsmodulen in Scheinwerfergehäusen kann
kostenreduzierend auf eigene Gehäuse
verzichtet werden.
-
Nachfolgend
soll die Erfindung beispielhaft näher erläutert werden.
-
Dabei
zeigen:
-
1 in
schematischer Form ein Beispiel eines in einem Scheinwerfergehäuse aufgenommen Bilderfassungssystems,
-
2 ein
Blockschaltbild von Komponenten eines Beispiels eines erfindungsgemäßen Bilderfassungssystems
und
-
3 ein
Diagramm mit möglichen
Beleuchtungsstärkebereichen
von Bildsensoren.
-
In 1 ist
in schematischer Form eine Ausführung
eines erfindungsgemäßen Bilderfassungssystems
gezeigt. Dabei sind in einem Scheinwerfergehäuse 1 mit Klarglasscheibe
neben zwei Scheinwerfern zwei Bilderfassungsmodule 2 und 3 möglichst
dicht beieinander und mit möglichst
unbeeinträchtigtem
Erfassungsfeld vor dem jeweiligen Fahrzeug angeordnet. Im Scheinwerfergehäuse 1 kann außerdem auch
eine elektronische Auswerteeinheit 11 für die mit den Bilderfassungsmodulen 2 und 3 erfassten
Bildsignale aufgenommen sein.
-
Es
besteht auch die Möglichkeit
die Bilderfassungsmodule bei Scheinwerfern, die als so genanntes „Kurvenlicht" an Fahrzeugen vorhanden sind,
auch mindestens einen der Bilderfassungsmodule 2 und/oder 3 mit
geeigneten Antriebsmitteln analog zum Scheinwerfer mit zu verschwenken.
-
Eine
mögliche
Ausbildung soll auch mit 2 verdeutlicht werden. Dabei
können
im Bilderfassungsmodul 2 mit CCD-Sensoren als Bildsensoren,
die in Form eines Arrays angeordnet sind, Bildsignale für Bildbe reiche,
die schwach ausgeleuchtet sind, vorhanden sein. Diese sind in der
Lage Bildsignale auch mit geringerer Beleuchtungsstärke zu erfassen.
-
Im
Bilderfassungsmodul 3 sind zwei solcher Bildsensoren 5 und 6 mit
CMOS-Sensoren, die ebenfalls als Array ausgebildet sind, vorhanden.
Diese weisen eine geringere Empfindlichkeit bei elektromagnetischer
Strahlung mit kleinerer Beleuchtungsstärke auf, als CCD-Sensoren.
Sie können
Bildsignale mit höherer
Intensität
erfassen, ohne dass es zu Übersteuerungen
kommt.
-
Um
sich voneinander unterscheidende Dynamikbereiche und Beleuchtungsstärkebereiche
der Bildsensoren 5 und 6 zu erreichen, kann vor
einem der Bildsensoren 5 ein geeignetes optisches Filter 7 angeordnet
sein, mit dem die Intensität
der auf den mit CMOS-Sensoren gebildeten Bildsensoren 5 oder 6 auftreffenden
elektromagnetischen Strahlung zu reduzieren. Dadurch kann eine Bildsignalerfassung auch
aus beobachteten sehr hell ausgeleuchteten Umfeldbereichen erreicht
werden, ohne dass Übersteuerungen
zu verzeichnen sind.
-
Die
mit den Bildsensoren 4, 5 und 6 erfassbaren
und nutzbaren Beleuchtungsstärkebereiche können dem
in 3 gezeigten Diagramm entnommen werden. Die drei
Beleuchtungsstärkebereiche decken
den Bereich zwischen 0 und 2·106 Lux mit entsprechenden Grauwerten für die Erstellung
von Ergebnisbildern 12 lückenlos mit hierfür nutzbaren Bildsignalen
ab.
-
Die
mit den Bildsensoren 4 sowie den Bildsensoren 5 und 6 zeitgleich
erfassten Bildsignale werden als Einzelbilder 8, 9 und 10 an
die elektronische Auswerteeinheit 11 übertragen und darin zeitsynchron
zu ei nem Ergebnisbild fusioniert. Dabei können die ortsaufgelösten Einzelbildsignale
so verarbeitet werden, dass Ergebnisbilder lediglich mit Bildsignalen
erstellt werden, die mit einzelnen Sensoren innerhalb ihres vorgegebenen
Beleuchtungsstärkebereiches
zweifelsfrei detektiert worden sind. So können übersteuerte Bildsignale quasi
aussortiert und Ergebnisbilder mit einem breiteren Spektrum von Beleuchtungsstärke gebildet
werden.
-
Mittels
der elektronischen Auswerteeinheit 11 kann auch ein Versatz
der Perspektive durch die konstruktionsbedingte Anordnung von Bilderfassungsmodulen 2 und 3 sowie
der Bildsensoren 4, 5 und 6 berücksichtigt
und durch geeignete Bearbeitung der Bildsignaldaten kompensiert
werden.
-
Die
erstellten Ergebnisbilder 12, die die Anforderungen der
Empfindlichkeit und den Dynamikumfang erfüllen, können dann an eine Anzeigeeinheit 13 oder
zu einer online-Bildanalyseeinheit 14 übertragen werden. Mit einer
online-Bildanalyseeinheit 14 können Kenngrößen mittels einer elektronischen
Bildverarbeitung aus Ergebnisbildern ermittelt werden, die in weiteren
Modulen des jeweiligen Fahrzeugs, wie der Fahrzeugsteuerung 16 und/oder
einem Fahrerassistenzsystem 17 genutzt werden können.