-
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug umfassend eine Umfeldkamera mit einer Optik und mit einem aus Pixeln aufgebauten Bildsensor.
-
Aktuell werden in mehr und mehr Kraftfahrzeugen Umfeldkameras eingesetzt, um mit diesen Fahrerassistenzsysteme, wie beispielsweise eine Fahrspurerkennung, eine Verkehrszeichenerkennung oder einen Fernlichtassistenten zu realisieren. Dabei werden je nach Fahrerassistenzsystem unterschiedliche Anforderungen an die Umfeldkamera gestellt, die darüber hinaus noch in Abhängigkeit der Umgebungsbedingungen, also beispielsweise in Abhängigkeit der Lichtverhältnisse in der Umgebung des Kraftfahrzeuges, in welchem die Umfeldkamera eingesetzt ist, variieren.
-
Da die meisten Parameter durch die Ausgestaltung der Umfeldkamera quasi konstruktiv vorgegeben sind und in der Regel im Betrieb der Umfeldkamera nicht variiert werden können, muss für die meisten Parameter eine Systemauslegung gefunden werden, die einerseits allen Funktionen gerecht wird und andererseits für verschiedene Umgebungsbedingungen geeignet ist.
-
Ein Parameter, der bei aktuellen Umfeldkameras typischerweise im Betrieb variabel vorgegeben werden kann, ist die sogenannte Belichtungszeit. So wird beispielsweise tagsüber eine kürzere Belichtungszeit gewählt als in der Nacht, um auf diese Weise den typischerweise vorherrschenden Lichtbedingungen Rechnung zu tragen.
-
Für eine Fahrspurerkennung beispielsweise muss dabei unter Nachtlichtbedingungen die Belichtungszeit relativ deutlich verlängert werden, so dass auch entfernte Fahrbahnmarkierungen noch mit einer ausreichenden Kontrastauflösung abgebildet werden und dementsprechend von einer Bildauswerteeinheit erkannt oder ermittelt werden können. Als Folge der relativ langen Belichtungszeit können dann jedoch einzelne aktive Lichtquellen oder Licht reflektierende Oberflächen in der Umgebung des Kraftfahrzeuges zu einer Überbelichtung führen, so dass hierdurch ein Teil der von der Umfeldkamera generierten Bilddaten unbrauchbar ist. Derartige Situationen treten insbesondere bei Fahrten auf unbeleuchteten Straßen, also beispielsweise Landstraßen, auf, bei denen das Kraftfahrzeug nur gelegentlich auf Gegenverkehr, also eine aktive Lichtquelle, trifft oder an Verkehrsschildern mit einer Licht reflektierenden Oberfläche, vorbei fährt.
-
Soll nun zusätzlich zur Fahrspurerkennung zum Beispiel auch eine Verkehrsschildererkennung realisiert werden, so lässt sich für Nachtlichtbedingungen tendenziell keine Belichtungszeit finden, die sowohl den Anforderungen der Fahrspurerkennung als auch den Anforderungen der Verkehrsschildererkennung hinreichend gerecht wird. Um dennoch die Funktion beider Fahrerassistenzsysteme auch bei solchen Bedingungen zu gewährleisten, wird mittels der Bildsensoren typischerweise eine Sequenz aus Einzelbildern oder vielmehr eine permanente Abfolge von Einzelbildern generiert, wobei in regelmäßigen Abständen zumindest ein Einzelbild mit einer verkürzten Belichtungszeit aufgenommen wird, sodass quasi Einzelbilder mit unterschiedlichen Belichtungszeiten für verschiedenen Fahrerassistenzsysteme oder verschiedenen Funktionen eines Fahrerassistenzsystems zur Verfügung stehen, die zudem an unterschiedliche Umgebungslichtbedingungen angepasst sind.
-
Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, ein vorteilhaft ausgestaltetes Fahrerassistenzsystem anzugeben.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 1. Bevorzugte Weiterbildungen sind in den rückbezogenen Ansprüchen enthalten.
-
Ein entsprechendes Fahrerassistenzsystem ist hierbei für ein Kraftfahrzeug ausgelegt und umfasst eine Umfeldkamera mit einer Optik und mit einem aus Pixeln aufgebauten Bildsensor. Dabei ist für die Pixel eine Belichtungszeit-Obergrenze, insbesondere eine für alle Pixel identische Belichtungszeit-Obergrenze, vorgegeben und darüber hinaus ist für jedes Pixel eine von den übrigen unabhängige, sich automatisch anpassende, also quasi dynamische, effektive Belichtungszeit realisiert. Jene effektive Belichtungszeit ist hierbei durch die Belichtungszeit-Obergrenze begrenzt und die effektive Belichtungszeit wird durch den auf das entsprechende Pixel auftreffenden Photonenstrom bestimmt.
-
Auf diese Weise wird unter anderem eine Überbelichtung einzelner Pixel und infolgedessen des gesamten Bildsensors vermieden, weswegen auf die Generierung von Einzelbildern mit unterschiedlichen Belichtungszeiten verzichtet werden kann und verzichtet wird.
-
Diesem Funktionsprinzip liegt dabei die Überlegung zugrunde, dass eine Überbelichtung in den meisten Fällen nicht den gesamten Bildsensor betrifft, sondern auf einen Bereich, also mehrere Pixel, begrenzt ist, also z. B. eine Anzahl von Pixeln, auf denen ein Verkehrsschild mit Licht reflektierender Oberfläche abgebildet wird. Infolge des erhöhten Lichtaufkommens auf diese Pixel wird die effektive Belichtungszeit für diese Pixel automatisch angepasst und verkürzt. Dies führt dazu, dass in einem einzigen Einzelbild durch eine Bildauswerteeinheit während einer Nachtfahrt sowohl Fahrbahnmarkierungen als auch Verkehrsschilder erkannt werden können, obwohl von diesen sehr unterschiedliche Lichtintensitäten ausgehen und auf dem Bildsensor auftreffen. Die entsprechenden Bilddaten lassen sich somit sowohl für eine Fahrspurerkennung als auch für eine Verkehrsschildererkennung, also quasi für ein Fahrerassistenzsystem mit zwei Funktionen oder für zwei Fahrerassistenzsysteme mit je einer Funktion nutzen.
-
Die automatische Verkürzung der Belichtungszeit für zumindest einige Pixel bei der Abbildung von Verkehrszeichen auf dem Bildsensor hat darüber hinaus den Vorteil, dass hierdurch die durch die Eigengeschwindigkeit des Kraftfahrzeuges bedingte Bewegungsunschärfe reduziert wird, was wiederum die Verkehrszeichenerkennung durch die entsprechende Bildauswerteeinheit erleichtert.
-
Wie bereits erwähnt, werden als Umfeldkameras in der Regel Digitalkameras eingesetzt, die typischerweise in einer regelmäßigen zeitlichen Abfolge, also quasi in einem vorgegebenen Zeitintervall oder in einem vorgegebenen Takt, Einzelbilder generieren. Auch im Falle des hier vorgestellten Fahrerassistenzsystems wird eine entsprechend ausgestaltete Umfeldkamera bevorzugt, wobei je nach Ausführungsvariante eine einheitliche Belichtungszeit-Obergrenze für alle Einzelbilder einer Sequenz, die zum Beispiel auch die gesamte Betriebsdauer des Fahrerassistenzsystems während einer einzelnen Fahrt wiedergibt und typischerweise mehrere hundert oder mehrere tausend Bilder umfasst, vorgegeben ist. D.h. also, dass die Belichtungszeit-Obergrenze bei gleich bleibenden Umgebungslichtbedingungen bevorzugt unverändert belassen wird und darüber hinaus bevorzugt lediglich an sich signifikant verändernde Umgebungslichtbedingungen angepasst wird.
-
Es wird also im einfachsten Fall beispielsweise für Fahrten bei Tageslicht eine Belichtungszeit-Obergrenze vorgegeben und eine weitere Belichtungszeit-Obergrenze für Fahrten bei Umgebungslichtbedingungen, wie sie des Nachts üblich sind. In diesem Fall ist die Umfeldkamera dann für die Umsetzung verschiedener Betriebsmodi eingerichtet, also z. B. einen Betriebsmodus für Tagfahrten und einen Betriebsmodus für Nachtfahrten, so dass für jeden Betriebsmodus eine eigene und insbesondere genau eine Belichtungszeit-Obergrenze vorgegeben ist.
-
In vorteilhafter Weiterbildung umfasst das Fahrerassistenzsystem dann zumindest eine Steuereinheit, die eingerichtet ist, einen Betriebsmodus für die Umfeldkamera vorzugeben und entsprechende Wechsel zwischen den Betriebsmodi zu steuern, wobei die Steuereinheit hierfür einen Betriebsmodus auf der Basis der ermittelten Umgebungsbedingungen aus einer Anzahl vorgegebener, hinterlegter Betriebsmodi auswählt. Die Betriebsmodi werden dann also nicht beispielsweise in Abhängigkeit der Tageszeit ausgewählt, sondern zweckdienlicherweise in Abhängigkeit der Umgebungslichtbedingungen, die z. B. durch Auswertung der Bilddaten ermittelt wird.
-
Alternativ oder zusätzlich hierzu ist es vorgesehen, die Belichtungszeit-Obergrenze dynamisch an die Umgebungslichtbedingungen anzupassen und dementsprechend ist eine bevorzugte Ausführungsvariante des Fahrerassistenzsystems hierfür eingerichtet. Die Umgebungslichtbedingungen werden dabei vorzugsweise durch eine Auswertung der Bilddaten des Bildsensors in einer Steuereinheit ermittelt, beispielsweise indem die gesamte Lichtmenge erfasst wird, die in einem Messzyklus auf den Bildsensor auftrifft. In Abhängigkeit der ermittelten Umgebungslichtbedingung wird dann durch die Steuereinheit automatisch eine Belichtungszeit-Obergrenze für die Umfeldkamera vorgegeben, die nachfolgend so lange beibehalten wird, bis eine signifikante Änderung der Umgebungslichtbedingungen durch die Steuereinheit ermittelt wird.
-
Typischerweise erfolgt die Anpassung der Belichtungszeit-Obergrenze dabei innerhalb eines vorgegebenen Werte-Fensters und dementsprechend ist bevorzugt ein Wertebereich vorgegeben, aus dem die Steuereinheit in Abhängigkeit einer ermittelten Umgebungslichtbedingung einen Wert für die Belichtungszeit-Obergrenze auswählt. Im einfachsten Fall sind dabei mehrere diskrete Werte für die Belichtungszeit-Obergrenze in einem Speicher der Steuereinheit hinterlegt, aus der die Steuereinheit je nach Umgebungslichtbedingung einen Wert zur Vorgabe für die Umfeldkamera auswählt.
-
Des Weiteren ist es von Vorteil, in einem vorgegebenen Takt für alle Pixel zeitsynchron einen Belichtungsstart vorzugeben, also einen Bildsensor mit „global Shutter“ anstelle eines „Rolling Shutter“ zu realisieren. Hierdurch lässt sich u. a. die Bewegungsunschärfe weiter reduzieren, was insbesondere im Falle einer vorgesehenen Verkehrsschilderkennung von Vorteil ist.
-
Weiter hat es sich als zweckdienlich erwiesen, den Bildsensor derart zu gestalten, dass die effektive Belichtungszeit eines jeden Pixels mittels eines elektronischen Zählwerks einer Ausleseelektronik, nachfolgend auch kurz Zähler genannt, ermittelt wird, wobei das elektronische Zählwerk bevorzugt als nicht-lineares Zählwerk ausgestaltet ist. Auf diese Weise lässt sich der Dynamikbereich erhöhen und auch für die messtechnisch erfassten Signale der Pixel mit reduzierter Belichtungszeit eine ausreichende Kontrastauflösung realisieren.
-
Gemäß einer Ausführungsvariante wird der nicht-lineare Zähler dadurch realisiert, dass während einer Ermittlung einer effektiven Belichtungszeit die Zählerperiodendauer ausgehend von der Referenzperiodendauer des elektronischen Zählwerks, also quasi des Grundtakts, schrittweise um ein ganzzahliges Vielfaches der Referenzperiodendauer erhöht wird.
-
Alternativ lässt sich auch ein ansteuerbarer Taktgeber realisieren, durch dessen Ansteuerung die Referenzperiodendauer des elektronischen Zählwerks variiert werden kann. Dies lässt sich beispielsweise mittels eines steuerbaren Oszillators umsetzen, dessen Frequenz durch Vorgabe einer Spannung angepasst werden kann. Die Spannung wird hierbei z.B. mittels eines Kondensators vorgegeben, sodass sich die Spannung mit einem Starten des Zählwerks entsprechend einer Entladekurve eines Kondensators ändert.
-
In jedem Fall ist es dabei zudem von Vorteil, das elektronische Zählwerk als digitales Zählwerk auszubilden und die Ausleseelektronik derart einzurichten, dass die Zählerperiodendauer erhöht wird, wenn eine Umschaltung auf ein höherwertiges Bit erfolgt.
-
Gemäß einer weiteren Ausführungsvariante wird ein linearer Zähler eingesetzt und das Ergebnis wird in ein Format mit Mantisse und Exponent übertragen. So wird beispielsweise das Ergebnis eines 12-Bit Zählers mittels eines 4-Bit Exponenten und einer 4-Bit Mantisse dargestellt. Hierbei ist die Position der gültigen Stellen über den Exponenten ausgedrückt und der Wert mit einer 4-Bit Auflösung. Mit einem 5/3 Format kann ein 16-Bit Zähler ebenfalls in 8-Bit gepackt werden. Auf diese Weise ist es möglich, den Zähler linear zu halten und dennoch mit einer schmalen 8-Bit Schnittstelle Werte eines großen Dynamikbereichs zu übertragen.
-
Bevorzugt wird darüber hinaus ein sogenannter CMOS-Digital-Pixel-Sensor als Bildsensor eingesetzt, da sich das hier vorgeschlagene Prinzip mit einem solchen problemlos umsetzen lässt. Bei einem entsprechenden CMOS-Digital-Pixel-Sensor, kurz CMOS-DPS, ist bereits eine Ausleseelektronik realisiert, bei der im Prinzip zwei Messverfahren parallel genutzt werden.
-
Zum einen ist für die einzelnen Zellen oder Pixel ein Ladungszustand vorgegeben, der erreicht wird, wenn eine bestimmte Lichtmenge auf das entsprechende Pixel aufgetroffen ist und die Zeit bis zum Erreichen des entsprechenden Ladungszustandes wird messtechnisch erfasst. Je höher die Lichtintensität ist, der das entsprechende Pixel ausgesetzt ist, desto früher wird dieser Ladezustand erreicht und desto kürzer ist die Zeit, die messtechnisch erfasst wird und nach der der Messvorgang quasi abgebrochen wird. Dieses Messverfahren lässt sich zur Realisierung einer sich automatisch anpassenden effektiven Belichtungszeit nutzen.
-
Zudem ist bei einem solchen CMOS-DPS typischerweise die Dauer eines Messvorgangs begrenzt, sodass der Messvorgang nach einer bestimmten, vorgegebenen Zeitdauer automatisch, unabhängig vom Ladungszustand abgebrochen wird. In diesem Fall wird dann der Ladungszustand des Pixels erfasst und ausgewertet, so wie dies prinzipiell bei CMOS- oder CCD-Bildsensoren geschieht. Auf diese Weise lässt sich dann die Belichtungszeit-Obergrenze realisieren, wie sie beim zuvor beschriebenen erfinderischen Prinzip gefordert wird.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand einer schematischen Zeichnung näher erläutert. Darin zeigen:
-
1 in einem Blockschaltbild ein Fahrerassistenzsystem.
-
Ein nachfolgend exemplarisch beschriebenes und in 1 skizziertes Fahrerassistenzsystem 2 ist in einem Kraftfahrzeug 4 verbaut und umfasst eine Umfeldkamera 6 zur Generierung von Bilddaten, die die Umgebung des Kraftfahrzeuges 4 abbilden, sowie eine Auswerteeinheit 8, welche signaltechnisch an die Umfeldkamera 6 angebunden ist und mit deren Hilfe die mittels der Umfeldkamera 6 generierten Bilddaten ausgewertet werden.
-
Hierbei ist die Auswerteeinheit 8 zur einer Objekterkennung eingerichtet, die es ermöglicht, Fahrbahnmarkierungen einerseits und Verkehrsschilder andererseits zu identifizieren und dementsprechend ist das Fahrerassistenzsystem 2 für zwei Hilfsfunktionen zur Unterstützung eines Fahrzeugführers ausgebildet, nämlich einer Fahrspurerkennung und einer Verkehrsschildererkennung.
-
Die Umfeldkamera 6 wiederum umfasst einen Bildsensor 10, eine Optik 12 sowie eine Steuereinheit 14, mit deren Hilfe der Bildsensor 10 im Betrieb angesteuert wird, sodass je nach Umgebungslichtbedingung eine Belichtungszeit-Obergrenze für den Bildsensor 10 automatisch vorgegeben wird. Die Umgebungslichtbedingung wird hierbei durch Auswertung der Bilddaten des Bildsensors 10 in der Steuereinheit 14 ermittelt, indem die gesamte Lichtmenge erfasst wird, die in einem Messzyklus auf den Bildsensor 10 auftrifft.
-
Der Bildsensor 10 ist weiter als sogenannter CMOS-Digital-Pixel-Sensor ausgebildet und umfasst eine Anzahl regelmäßig angeordneter lichtempfindlicher Zellen, die sogenannten Pixel 16, sowie eine Ausleseelektronik 18 mit einem Zählwerk 20.
-
Durch die Ausleseelektronik 18 wird alle 60 Millisekunden ein Messvorgang gestartet, wobei jedes Pixel 16 eine eigene Messeinheit ausbildet und wobei der Messvorgang für alle Pixel 16 gleichzeitig gestartet wird. Nach Ablauf der Messzeit von 40 Millisekunden, also nach Erreichen der Belichtungszeit-Obergrenze, wird der Messvorgang gestoppt und der durch den auf ein Pixel 16 auftreffenden Photonenstrom bedingte Ladungszustand eines jeden Pixels 16 wird von der Ausleseelektronik 18 erfasst und in ein digitales Signal umgewandelt. Durch die Vorgabe einer einheitlichen Messzeit ist dabei eine Belichtungszeit-Obergrenze vorgegeben, die für alle Pixel 16 gleich ist.
-
Zudem ist ein Ladungszustand vorgegeben, der einen vorzeitigen Messvorgangsabbruch auslöst, sobald dieser erreicht ist, wobei die Messvorgänge nur bei denjenigen Pixeln 16 vorzeitig beendet wird, die den entsprechenden Ladungszustand erreichen, auf die also eine vorgegebene Lichtmenge aufgetroffen ist. Hierdurch ist eine sich automatisch anpassende effektive Belichtungszeit realisiert und eine Überbelichtung einzelner Pixel 16 und infolgedessen des Bildsensors 10 wird vermieden.
-
Die Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit dem Ausführungsbeispiel beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 2
- Fahrerassistenzsystem
- 4
- Kraftfahrzeug
- 6
- Umfeldkamera
- 8
- Auswerteeinheit
- 10
- Bildsensor
- 12
- Optik
- 14
- Steuereinheit
- 16
- Pixel
- 18
- Ausleseelektronik
- 20
- Zählwerk
