DE102017100531A1 - Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug - Google Patents

Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug Download PDF

Info

Publication number
DE102017100531A1
DE102017100531A1 DE102017100531.5A DE102017100531A DE102017100531A1 DE 102017100531 A1 DE102017100531 A1 DE 102017100531A1 DE 102017100531 A DE102017100531 A DE 102017100531A DE 102017100531 A1 DE102017100531 A1 DE 102017100531A1
Authority
DE
Germany
Prior art keywords
operating mode
histogram
image
camera
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017100531.5A
Other languages
English (en)
Inventor
Peadar Conneely
Patrick Eoghan Denny
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102017100531.5A priority Critical patent/DE102017100531A1/de
Priority to PCT/EP2018/050626 priority patent/WO2018130600A1/en
Publication of DE102017100531A1 publication Critical patent/DE102017100531A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Kamera (2) eines Kraftfahrzeugs (1), bei welchem die Kamera (2) in einem ersten Betriebsmodus (12) betrieben wird und im ersten Betriebsmodus (12) ein Bild (13) von einem Umgebungsbereich (7) des Kraftfahrzeugs (1) mit der Kamera (2) aufgenommen wird, wobei ein Histogramm (14) des Bilds (13) bestimmt wird und in dem Histogramm (14) ein Histogrammbereich (26) bestimmt wird, wobei alle Häufigkeitswerte (25) von Intensitätswertklassen (22) des Histogramms (14) im Histogrammbereich (26) mit einem Häufigkeitsgrenzwert (27) verglichen werden und von dem ersten Betriebsmodus (12) in einen von dem ersten Betriebsmodus (12) unterschiedlichen zweiten Betriebsmodus (15) der Kamera (2) gewechselt wird (S2), falls die verglichenen Häufigkeitswerte (25) im Histogrammbereich (26) kleiner als der Häufigkeitsgrenzwert (27) sind, wobei im zweiten Betriebsmodus (15) ein weiteres Bild (16) mit der Kamera (2) aufgenommen wird und die Kamera (2) im ersten Betriebsmodus (12) und im zweiten Betriebsmodus (15) mit einer identischen Belichtungseinstellung (18) betrieben wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer Kamera eines Kraftfahrzeugs. Die Kamera wird in einem ersten Betriebsmodus betrieben. Im ersten Betriebsmodus wird ein Bild von einem Umgebungsbereich des Kraftfahrzeugs mit der Kamera aufgenommen. Weiterhin wird ein Histogramm des Bilds bestimmt und in dem Histogramm wird ein Histogrammbereich bestimmt. Die Erfindung betrifft auch eine zum Ausführen des Verfahrens ausgebildete Kamera sowie ein Kraftfahrzeug mit einer dementsprechenden Kamera.
  • Verfahren zum Betreiben einer Kamera eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. So zeigt die US 2014/0111637 A1 beispielsweise ein Bildaufnahmegerät zur Aufnahme eines Bilds außerhalb eines Kraftfahrzeugs. Die Kamera wird dabei belichtungsabhängig betrieben.
  • Bei weiteren bekannten Verfahren wird die Kamera beispielsweise mit unterschiedlichen Belichtungseinstellungen für Tag und für Nacht betrieben. So wird die Belichtungszeit der Kamera beim Betrieb in der Nacht üblicherweise erhöht. Üblicherweise wird auch die Lichtempfindlichkeit des Bildsensors der Kamera dementsprechend angepasst.
  • Nachteilig ist jedoch, dass die Belichtungseinstellung der Kamera nicht beliebig angepasst werden kann. Problematisch ist auch die zeitgleiche Abbildung von hellen und dunklen Objekten in einem Bild. Helle Objekte erfordern üblicherweise eine andere Belichtungseinstellung als dunkle Objekte, um eine detaillierte Abbildung der jeweiligen Objekte zu erreichen.
  • Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie eine Kamera eines Kraftfahrzeugs derart betrieben werden kann, dass ein Umgebungsbereich des Kraftfahrzeugs rauschärmer und detaillierter abgebildet werden kann.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren sowie durch eine Kamera und ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
  • Bei einem erfindungsgemäßen Verfahren wird eine Kamera eines Kraftfahrzeugs betrieben. Die Kamera wird in einem ersten Betriebsmodus betrieben und im ersten Betriebsmodus wird ein Bild von einem Umgebungsbereich des Kraftfahrzeugs mit der Kamera aufgenommen. Es wird ein Histogramm des Bilds bestimmt und in dem Histogramm wird ein Histogrammbereich bestimmt. Als ein wesentlicher Gedanke der Erfindung ist es vorgesehen, dass alle Häufigkeitswerte von Intensitätswertklassen des Histogramms im Histogrammbereich mit einem Häufigkeitsgrenzwert verglichen werden und von dem ersten Betriebsmodus in einen von dem ersten Betriebsmodus unterschiedlichen zweiten Betriebsmodus der Kamera gewechselt wird, falls die verglichenen Häufigkeitswerte im Histogrammbereich kleiner als der Häufigkeitsgrenzwert sind. Im zweiten Betriebsmodus wird ein weiteres Bild mit der Kamera aufgenommen. Die Kamera wird im ersten Betriebsmodus und im zweiten Betriebsmodus mit einer identischen Belichtungseinstellung betrieben.
  • Durch das erfindungsgemäße Verfahren wird es möglich eine Kamera eines Kraftfahrzeugs derart zu betreiben, dass ein verkehrstechnisch relevantes, helles Objekt, insbesondere bei schlechten Lichtverhältnissen, also beispielsweise bei Nacht, deutlicher beziehungsweise detaillierter abgebildet wird und ein im Vergleich dazu dunkler Umgebungsbereich deutlicher beziehungsweise detaillierter abgebildet wird.
  • Die jeweilige Intensitätswertklasse bezeichnet jeweils ein Bin beziehungsweise eine Säule des Histogramms. Die Intensitätswertklasse kann beispielsweise einen oder mehrere Intensitätswerte des Bilds umfassen. Eine Höhe der jeweiligen Säule des Histogramms wird dann durch den jeweiligen Häufigkeitswert beschrieben.
  • Möglich wird das aufgrund des ersten Betriebsmodus und des zweiten Betriebsmodus. So wird die Kamera im ersten Betriebsmodus derart betrieben, dass ein helles Objekt mit einem feinstufigen Intensitätswertintervall abgebildet wird. Durch das feinstufigere Intensitätswertintervall sind die Helligkeitsunterschiede zwischen den Intensitätswerten bei hellen Objekten geringer, als dies bei dem zweiten Betriebsmodus der Fall ist. Geringe Helligkeitsunterschiede des hellen Objekts sind also in dem Bild erkennbar. Als Folge kann dann beispielsweise erkannt werden, ob es sich bei dem hellen Objekt um Scheinwerfer eines weiteren Kraftfahrzeugs im Umgebungsbereich handelt. Im zweiten Betriebsmodus wird Wert darauf gelegt den im Vergleich zum hellen Objekt dunklen Umgebungsbereich deutlich darzustellen. Hierzu wird dann beispielsweise der dunklere Umgebungsbereich mit einem feinstufigen Intensitätswertintervall abgebildet. Dunkle Objekte im Umgebungsbereich können dadurch deutlicher erkannt werden und beispielsweise einer Klasse von Hindernissen für das Kraftfahrzeug zugeordnet werden.
  • Der Wechsel von dem ersten Betriebsmodus in den zweiten Betriebsmodus erfolgt abhängig von dem Histogramm des im ersten Betriebsmodus aufgenommenen Bilds. Es wird gewechselt, wenn alle Häufigkeitswerte im Histogrammbereich kleiner als der Häufigkeitsgrenzwert sind. Es kann dann angenommen werden, dass sich kein helles Objekt im Bild befindet. Als Folge wird in den zweiten Betriebsmodus gewechselt, um den dunklen Umgebungsbereich deutlicher, also detaillierter, abbilden zu können. Dafür kann es vorkommen, dass das helle Objekt im zweiten Betriebsmodus nicht mehr so deutlich wie im ersten Betriebsmodus abgebildet wird.
  • Die Belichtungseinstellung der Kamera ist während des ersten Betriebsmodus und während des zweiten Betriebsmodus identisch. Das Bild und das weitere Bild können dadurch mit einer höheren Qualität, also detaillierter und rauschärmer, aufgenommen werden, als wenn die Belichtungseinstellung angepasst werden würde. Für den zweiten Betriebsmodus wird also insbesondere die Belichtungseinstellung des ersten Betriebsmodus beibehalten. Durch die Belichtungseinstellung wird insbesondere eine Belichtungszeit der Kamera vorgegeben. Von der Belichtungseinstellung kann aber auch eine Lichtempfindlichkeit eines Bildsensors der Kamera beziehungsweise eine Verstärkungseinstellung des Bildsensors umfasst sein.
  • Im zweiten Betriebsmodus könnte die Belichtungszeit auch erhöht werden, da insbesondere weniger helle Bereiche abgebildet werden. So kann die Belichtungszeit beispielsweise auch innerhalb eines Toleranzintervalls vom ersten Betriebsmodus zum zweiten Betriebsmodus angepasst werden. Allerdings werden bewegte Objekte bei längerer Belichtungszeit auch unschärfer abgebildet, was zu einer geringeren Qualität des weiteren Bilds führen würde. Wenn sich das Kraftfahrzeug beispielsweise mit der Kamera bewegt, kommt vielen - im erdfesten Koordinatensystem eigentlich statischen Objekten - aber genau die Rolle von bewegten Objekten zu.
  • Sowohl der erste Betriebsmodus als auch der zweite Betriebsmodus sind im Gegensatz zu einem nicht weiter beschriebenen Tagbetriebsmodus der Kamera insbesondere als Nachtbetriebsmodus vorgesehen.
  • Vorzugsweise ist es vorgesehen, dass der Histogrammbereich innerhalb von 20 %, insbesondere 15 %, des Intensitätswertbereichs des Histogramms mit den größten Intensitätswerten bestimmt wird und somit wird der Histogrammbereich innerhalb der insbesondere 20%, insbesondere 15%, der größten Intensitätswerte des gesamten Intensitätswertbereichs des Histogramms bestimmt. Der Histogrammbereich wird also vorzugsweise im Bereich des Histogramms mit den hellsten Intensitätswerten bestimmt. Dadurch kann anhand des Histogrammbereichs beispielsweise ermittelt werden, ob sich ein helles Objekt im Bild befindet. Der Histogrammbereich erstreckt sich somit vorzugsweise nur innerhalb des letzten Fünftels des Intensitätswertbereichs des Histogramms. Insbesondere erstreckt sich der Histogrammbereich aber auch nur innerhalb der letzten 15 % des Intensitätswertbereichs. Dadurch kann der Wechsel vom ersten Betriebsmodus in den zweiten Betriebsmodus noch zuverlässiger erfolgen, da nur bei Vorhandensein von in die letzten 20 %, insbesondere in die letzten 15 %, des Intensitätswertbereichs fallende helle Objekten gewechselt wird.
  • Vorzugsweise ist es vorgesehen, dass das Bild im ersten Betriebsmodus mit einem, insbesondere lokalen, ersten Tone-Mapping-Verfahren aufgenommen beziehungsweise erzeugt wird und das weitere Bild im zweiten Betriebsmodus mit einem von dem ersten Tone-Mapping-Verfahren unterschiedlichen, insbesondere lokalen, zweiten Tone-Mapping-Verfahren aufgenommen wird, wobei ein Dynamikumfang des weiteren Bilds durch das zweite Tone-Mapping-Verfahren weniger stark als ein Dynamikumfang des mit dem ersten Tone-Mapping-Verfahren aufgenommenen Bilds reduziert wird. Vorzugsweise liegt das erste Tone-Mapping-Verfahren und/oder das zweite Tone-Mapping-Verfahren als ein lokales Tone-Mapping-Verfahren vor. Durch das Tone-Mapping-Verfahren, welches auch als Dynamikkompressionsverfahren bezeichnet wird, wird der Dynamikumfang von Hochkontrastbildern beziehungsweise HDR-Bildern (HDR - high dynamic range) also von digitalen Bildern mit hohem Helligkeitsumfang komprimiert. So wird beim Tone-Mapping der Kontrastumfang eines Hochkontrastbildes verringert, um es auf für niedrigere Dynamikumfänge konzipierten Ausgabegeräten verlustfrei darstellen zu können. Für das jeweilige Tone-Mapping-Verfahren genutzte Tone-Mapping-Operatoren lassen sich beispielsweise in im Folgenden aufgeführte Operatorenklassen einteilen. Sogenannte globale Operatoren verwenden eine Funktion, die jedem HDR-Wert einen dynamikkomprimierten Wert zuweist und die auf jeden Bildpunkt angewandt wird. Im Gegensatz dazu wird bei lokalen Operatoren diese Funktion für jeden Bildpunkt je nach lokalem Adaptationsniveau variiert. Frequenz-basierte Operatoren nutzen eine andere Technik, bei der der Dynamikumfang von Bildregionen je nach Ortsfrequenz reduziert wird. Schließlich gibt es noch gradientenbasierte Operatoren, die die Helligkeitsgradienten des Ausgangsbildes für jeden Bildpunkt abschwächen, um ein LDR-Bild (LDR - low dynamic range) beziehungsweise Bild mit geringem Helligkeitsumfang zu erzeugen. Lokale Operatoren können im Gegensatz zu globalen Operatoren eine größere Anzahl von HDR-Bildern verarbeiten, da sie einen größeren Dynamikumfang darstellen können, ohne Details zu verlieren. Bei lokalen Operatoren wird davon ausgegangen, dass die menschliche Helligkeitswahrnehmung sich nicht dem gesamten Bild anpasst, sondern nur kleineren Regionen. Insgesamt wird das weitere Bild somit mit weniger Rauschen und schärfer als das Bild aufgenommen.
  • Vorzugsweise ist es vorgesehen, dass das Bild im ersten Betriebsmodus mit einem, insbesondere lokalen, ersten Tone-Mapping-Verfahren aufgenommen wird und beim Aufnehmen des weiteren Bilds im zweiten Betriebsmodus das erste Tone-Mapping-Verfahren, insbesondere jegliches Tone-Mapping-Verfahren, deaktiviert wird. Dadurch wird das weitere Bild analog zur vorteilhaften Beschreibung des zweiten Tone-Mapping-Verfahrens wiederum mit weniger Rauschen und schärfer als das Bild aufgenommen.
  • Vorzugsweise ist es vorgesehen, dass im zweiten Betriebsmodus eine Mehrzahl von benachbarten Bildsensorelementen eines Bildsensors der Kamera zu einem Bildsensorelementblock des Bildsensors zusammengefasst wird und das weitere Bild abhängig von dem Bildsensorelementblock aufgenommen wird. Der Bildsensorelementblock umfasst insbesondere mindestens zwei Bildsensorelemente. Durch das Bildpunkt Binning wird eine Bildpunktinformation des weiteren Bilds, insbesondere in der Ladungsdomain des Bildsensors, zusammengefasst. Insbesondere werden die benachbarten Bildsensorelemente des Bildsensors der Kamera zusammengefasst. Durch die Bildung von Bildsensorelementblöcken wird eine höhere Lichtempfindlichkeit pro virtuellem Bildsensorelement erreicht, wobei sich der Signal-Rauschabstand verbessert, da das Rauschen statistisch verteilt ist. Im Gegenzug wird jedoch auch die Bildauflösung entsprechend der Anzahl der zusammengefassten Bildsensorelemente reduziert und das Bild wird gröber. Beim Bildpunkt Binning werden Bildsensorelemente beispielsweise innerhalb einer Zeile und/oder einer Spalte zusammengefasst. Diese Zusammenfassung geschieht durch Addition der Helligkeitswerte, entweder auf analogem Weg durch physikalische Ladungsaddition und Ladungstransport auf dem Bildsensor selbst hin zum lokalen Zeilenverstärker und/oder digital durch Addition der digitalisierten Werte. Analoges Binning erhöht die Bildrate der Kamera, da weniger Bildsensorelemente ausgelesen und digitalisiert werden müssen. Bei einer Abbildung von zum Beispiel 4:1 werden die Bildsensorelemente mit der halben Horizontalfrequenz ausgeben und die Vertikalfrequenz beibehalten. Die Aufnahme eines Bilds dauert aufgrund der halben Zeilenzahl dann nur halb so lange. Die Belichtungszeit wird damit pro virtuellem Bildsensorelement halbiert, dieser besitzt aber vorab bereits die theoretisch vierfache Ladungsmenge. Alternativ werden die benachbarten Bildsensorelemente einer Zeile analog und die benachbarten Zeilen beispielsweise aber auch digital zusammengefasst. Ein weiterer Vorteil des Verfahrens ist die Reduzierung der Bandbreite bei der Übertragung an das nachfolgende Bearbeitungssystem, besonders wenn sehr hochauflösende Sensoren genutzt werden, deren Pixelanzahl für die konkrete Anwendung nicht benötigt wird - bei der es aber auf einen hohen Dynamikumfang ankommt und ein späteres Zusammenfassen ohnehin nötig wäre. Ergänzend kann das Zusammenfassen nicht allein durch die Chipmatrix erfolgen, sondern zusätzlich noch durch einen dem Analog-Digital-Wandler nachgeschalteten digitalen Signalprozessor. Solche Sensoren können beispielsweise extern per digitaler Schnittstelle konfiguriert werde, um zum Beispiel die gewünschte Bildauflösung und die Vorfilterung einzustellen. Es kann auch ein permanenter Helligkeitsabgleich durchgeführt werden, um ein Binningverhältnis einer vorherrschenden Belichtung des Umgebungsbereichs anzupassen.
  • Vorzugsweise ist es weiterhin vorgesehen, dass eine Anzahl der im zweiten Betriebsmodus zum Bildsensorelementblock zusammengefassten Bildsensorelemente anhand einer Gesamtanzahl der Bildsensorelemente des Bildsensors der Kamera und/oder einer Auflösung eines Displays zum Ausgeben des weiteren Bilds bestimmt wird. Anhand der Gesamtanzahl der Bildsensorelemente und/oder der Auflösung des Displays wird die Anzahl der Bildsensorelemente des Bildsensorelementblocks bedarfsgerechter bestimmt. Die Anzahl wird für die vorliegende Situation dadurch also weder zu gering noch zu übermäßig bestimmt. Bei zu geringer Anzahl und einem daraus folgenden zu kleinen Bildsensorelementblock wird der Effekt des Bildpunkt Binnings zu gering, während bei übermäßiger Anzahl und einem daraus folgenden zu großen Bildsensorelementblock die Bildpunktanzahl unnötig stark reduziert wird.
  • Vorzugsweise ist es vorgesehen, dass ein weiterer Histogrammbereich innerhalb von 20 % bis 80 %, insbesondere von 30 % bis 70 %, bezogen auf die Intensitätswerte des Intensitätswertbereichs des Histogramms bestimmt wird und der Wechsel in den zweiten Betriebsmodus unterdrückt wird, falls ein Häufigkeitswert einer Intensitätswertklasse im weiteren Histogrammbereich des Histogramms größer als ein weiterer Häufigkeitsgrenzwert ist. Anhand des im mittleren Bereich des Intensitätswertbereichs des Histogramms angeordneten weiteren Histogrammbereichs kann auf eine Temperatur des Bildsensors der Kamera zurück geschlossen werden. So zeigt der weitere Histogrammbereich beispielsweise zumindest einen Häufigkeitswert der größer als der weitere Häufigkeitsgrenzwert ist, wenn die Temperatur des Bildsensors eine bestimmte Temperatur erreicht oder diese überschritten hat. Eine nachteilige Folge von erhöhter Temperatur des Bildsensors ist ein verstärkt auftretendes Rauschen im Bild. Für diesen Fall wird der Wechsel in den zweiten Betriebsmodus unterdrückt, insbesondere bis der Häufigkeitswert, insbesondere alle Häufigkeitswerte im weiteren Histogrammbereich, wieder kleiner oder gleich groß wie der Häufigkeitsgrenzwert ist beziehungsweise sind und somit davon ausgegangen werden kann, dass die Temperatur wieder auf einem Niveau ist, bei welchem das Bildrauschen für die Bildqualität akzeptabel ist. Anhand des weiteren Histogrammbereichs kann der Wechsel in den zweiten Betriebsmodus also temperaturabhängig erfolgen, ohne dass die Temperatur des Bildsensors explizit mit einem Temperatursensor der Kamera gemessen werden muss. Ergänzend kann die Bildsensortemperatur aber auch mit einem Temperatursensor gemessen werden und in die Entscheidung über den Wechsel zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus einfließen.
  • Vorzugsweise ist es vorgesehen, dass ein weiteres Histogramm des weiteren Bilds bestimmt wird und ein weiterer Histogrammbereich innerhalb von 20 % bis 80 %, insbesondere von 30 % bis 70 %, bezogen auf die Intensitätswerte des Intensitätswertbereichs des weiteren Histogramms bestimmt wird, wobei von dem zweiten Betriebsmodus in den ersten Betriebsmodus gewechselt wird, falls ein Häufigkeitswert einer Intensitätswertklasse im weiteren Histogrammbereich des weiteren Histogramms größer als ein weiterer Häufigkeitsgrenzwert ist. Der weitere Histogrammbereich wird vorzugsweise auch in dem weiteren Histogramm des weiteren Bilds bestimmt. Dadurch kann von dem zweiten Betriebsmodus in den ersten Betriebsmodus zurückgewechselt werden, falls dort aufgrund von erhöhter Bildsensortemperatur zumindest ein Häufigkeitswert innerhalb des weiteren Histogrammbereichs den weiteren Häufigkeitsgrenzwert überschreitet. Bei erhöhter Bildsensortemperatur wäre die Qualität des weiteren Bilds nicht mehr ausreichend genug und es wird vorzugsweise wieder in den ersten Betriebsmodus gewechselt.
  • In einer Ausführungsform kann es vorgesehen sein, dass eine Temperatur eines Bildsensors der Kamera bestimmt wird und der Wechsel in den zweiten Betriebsmodus unterdrückt wird, falls die Temperatur des Bildsensors größer als ein Temperaturgrenzwert ist. Der Vorteil des temperaturabhängigen Betriebs ist auch hier wie bereits zuvor geschildert vorhanden. Zusätzlich zum Bestimmen der Temperatur kann der Wechsel auch abhängig von der Auswertung des weiteren Histogrammbereichs durchgeführt werden. Vorzugsweise wird die Temperatur des Bildsensors mit einem Temperatursensor der Kamera bestimmt, beziehungsweise gemessen. Vorteilhaft ist das Bestimmen der Temperatur mittels des Temperatursensors, da die Temperatur dadurch präzise bestimmt werden kann und somit der temperaturabhängige Betrieb der Kamera im ersten Betriebsmodus und im zweiten Betriebsmodus zuverlässiger erfolgt. Weiterhin wird der Umgebungsbereich durch den temperaturabhängigen Betrieb rauschärmer abgebildet.
  • Vorzugsweise ist es vorgesehen, dass ein weiteres Histogramm des weiteren Bilds bestimmt wird und der Histogrammbereich im weiteren Histogramm bestimmt wird, wobei von dem zweiten Betriebsmodus zurück in den ersten Betriebsmodus gewechselt wird, falls ein Häufigkeitswert einer Intensitätswertklasse des weiteren Histogramms im Histogrammbereich des weiteren Histogramms größer als der Häufigkeitsgrenzwert ist. Für den Fall, dass im weiteren Bild, aufgrund Überschreiten des Häufigkeitsgrenzwerts durch einen Häufigkeitswert innerhalb des Histogrammbereichs des weiteren Bilds, von einer Abbildung eines hellen Objekts im weiteren Bild ausgegangen wird, und somit die Voraussetzungen für den Wechsel vom ersten Betriebsmodus in den zweiten Betriebsmodus nicht mehr gegeben sind, wird vorzugsweise vom zweiten Betriebsmodus in den ersten Betriebsmodus zurück gewechselt. Dadurch wird der Umgebungsbereich weiterhin den im Umgebungsbereich angeordneten Objekten angemessen detailliert und deutlich abgebildet.
  • Insbesondere wird der Wechsel von dem zweiten Betriebsmodus zurück in den ersten Betriebsmodus abhängig von einer Hysterese durchgeführt. Die Hysterese wird auch als Schaltdifferenz bezeichnet. So wird der Wechsel nicht mehr abhängig von dem festen Häufigkeitsgrenzwert durchgeführt. Stattdessen erfolgt der Wechsel von dem zweiten Betriebsmodus zurück in den ersten Betriebsmodus erst dann, falls der Häufigkeitswert größer als der Häufigkeitsgrenzwert plus ein Hysteresewert ist. Der Hysteresewert kann dabei beispielsweise bis zu 10 % des Häufigkeitsgrenzwerts oder mehr betragen. Ergänzend oder alternativ kann auch der Wechsel von dem ersten Betriebsmodus in den zweiten Betriebsmodus abhängig von einer Hysterese durchgeführt werden. Der Wechsel in den zweiten Betriebsmodus erfolgt erst dann, wenn der Häufigkeitswert kleiner als der Häufigkeitsgrenzwert minus dem Hysteresewert ist. Vorteilhaft ist der hystereseabhängige Wechsel, da dadurch ein hochfrequentes Hin- und Herwechseln zwischen den Betriebsmodi verhindert wird, falls sich der Häufigkeitswert innerhalb von kurzer Zeit um den Häufigkeitsgrenzwert herum geringfügig ändert und diesen abwechselnd um weniger als beispielsweise 10 % unterschreitet und um weniger als beispielsweise 10 % überschreitet.
  • Insbesondere wird auch der Wechsel in den zweiten Betriebsmodus abhängig von der Hysterese unterdrückt, falls der Häufigkeitswert der Intensitätswertklasse im weiteren Histogrammbereich des Histogramms größer als der weitere Häufigkeitsgrenzwert plus ein weiterer Hysteresewert ist. Der weitere Hysteresewert kann auch hier beispielsweise 10 % des weiteren Häufigkeitsgrenzwerts betragen.
  • Vorzugsweise ist es vorgesehen, dass im Bild ein Licht von einer Kraftfahrzeugbeleuchtung eines im Umgebungsbereich vorhandenen weiteren Kraftfahrzeugs abgebildet wird und das abgebildete Licht eindeutig zu einem Teil einer ersten Lichtquelle der Kraftfahrzeugbeleuchtung und eindeutig zu einem weiteren Teil einer zweiten Lichtquelle der Kraftfahrzeugbeleuchtung zugeordnet wird. Im ersten Betriebsmodus wird das weitere Kraftfahrzeug vorzugsweise dadurch erkannt, indem die Kraftfahrzeugbeleuchtung als zwei voneinander beabstandete Lichtquellen, nämlich die erste Lichtquelle und die zweite Lichtquelle, erkannt wird. Zwei voneinander in einem bestimmten Abstand angeordnete und bezüglich ihrer Form und Lichtfarbe hochgradig ähnlich erscheinende Lichtquellen, sind beispielsweise ein Hinweis auf die Scheinwerfer des weiteren Kraftfahrzeugs. Vorteilhaft ist, dass das weitere Kraftfahrzeug dadurch im Bild zuverlässig erkannt wird. Es können also im Bild abgebildete Lichtquellen vorzugsweise dahingehend klassifiziert werden, ob sie zu einem weiteren Kraftfahrzeug oder einem kraftfahrzeugfremden Objekt im Umgebungsbereich gehören. Das Zuordnen beziehungsweise das Erkennen der Kraftfahrzeugbeleuchtung als zwei voneinander beabstandete Lichtquellen wird insbesondere mit einem Verfahren des maschinellen Sehens durchgeführt.
  • In einer weiteren Ausführungsform kann es vorgesehen sein, dass die Kamera im ersten Betriebsmodus und im zweiten Betriebsmodus mit einem identischen Gammawert betrieben wird. Mit dem Gammawert wird ein Ausgleichsfaktor eines abbildenden Systems an das Empfinden des menschlichen Auges bezeichnet. Diese anhand des Gammawerts durchgeführte Gammakorrektur ist insbesondere eine Korrekturfunktion zur Überführung einer physikalisch proportional wachsenden Größe in eine dem menschlichen Empfinden gemäß nicht linear wachsende Größe. Der Gammawert wird im ersten Betriebsmodus und im zweiten Betriebsmodus vorzugsweise unverändert beibehalten, um das weitere Bild mit einer höheren Bildqualität bereitstellen zu können.
  • Weiterhin kann es vorgesehen sein, dass beim Aufnehmen des weiteren Bilds im zweiten Betriebsmodus ein Schwarzbereichclipping und/oder eine Beschränkung eines Dynamikumfangs des weiteren Bilds deaktiviert wird. Durch Clipping wird ein Teil des Intensitätswertbereichs des Bilds zu einem einzigen Wert, üblicherweise einem Wert am jeweiligen Ende des Intensitätswertbereichs, also beispielsweise 0 oder 255, bei einem 8 Bit Intensitätswertbereich, zusammengefasst. Schwarzbereichclipping beschreibt das Zusammenfassen von zu dem Intensitätswert 0 benachbarten, dunklen Intensitätswerten des Intensitätswertbereichs. Als Folge verbleibt ein größerer Teil des Intensitätswertbereichs für die Abbildung der restlichen, helleren Helligkeitswerte des Umgebungsbereichs. Der Dynamikumfang beziehungsweise der Dynamikbereich bezeichnet insbesondere den Quotienten aus größtem und kleinstem von Rauschen beziehungsweise Körnung unterscheidbaren Helligkeitswert. Der Quotient kann dabei im 2er-Logarithmus als Blendenstufen angegeben werden. Der Dynamikbereich eines Motivs im Umgebungsbereich überschreitet den Dynamikbereich der Kamera oft weit. Ein Hochkontrastbild kann beispielsweise durch die Kamera mit einer einzigen Aufnahme aufgenommen werden oder aus einer Belichtungsreihe von Bildern mit geringem Dynamikumfang erstellt werden. Hierbei werden die einzelnen Aufnahmen so miteinander kombiniert, dass der Kontrast des Motivs vollständig erfasst und absolute Helligkeitswerte gespeichert werden. Um ein Hochkontrastbild durch ein Medium mit niedrigerem Dynamikbereich, beispielsweise einem Display, ausgeben zu können, wird insbesondere ein Tone-Mapping-Verfahren beziehungsweise eine Dynamikkompression angewandt.
  • Die Erfindung betrifft auch eine Kamera für ein Kraftfahrzeug, welche dazu ausgebildet ist, ein erfindungsgemäßes Verfahren durchzuführen.
  • Insbesondere weist die Kamera ein Kraftfahrzeugbefestigungselement auf, mit welchem die Kamera an einem Kraftfahrzeug befestigt werden kann.
  • Die Kamera ist vorzugsweise Bestandteil eines Fahrerassistenzsystems des Kraftfahrzeugs, beispielsweise eines Umfeldsichtsystems (CMS - camera monitoring system) mit dem ein Umgebungsbereich des Kraftfahrzeugs zumindest teilweise erfasst werden kann. Bei dem Umfeldsichtsystem (CMS) sind die Außenspiegel des Kraftfahrzeugs vorzugsweise durch Kameras ersetzt. Ein mit der Kamera aufgenommenes Bild kann dann beispielsweise genutzt werden, um verkehrstechnisch relevante Objekte im Umgebungsbereich, wie beispielsweise ein weiteres Kraftfahrzeug zu erkennen.
  • Weiterhin betrifft die Erfindung auch ein Kraftfahrzeug mit einer erfindungsgemäßen Kamera.
  • Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Kamera sowie für das erfindungsgemäße Kraftfahrzeug.
  • Sowohl die in den Unterlagen angegebenen konkreten Werte von Parametern als auch die Angabe von Parametern und das Verhältnis von Parametern zueinander für die Charakterisierung von spezifischen Eigenschaften der Kamera sind auch im Rahmen von Abweichungen, beispielsweise aufgrund von Messfehlern, Systemfehlern, DIN-Toleranzen etc., als vom Rahmen der Erfindung mitumfasst anzusehen, sodass in diesem Zusammenhang auch Angaben betreffend einer Gleichheit von Werten von genannten Parametern auch im Rahmen einer Angabe „im Wesentlichen“ gleich anzusehen sind.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
  • Dabei zeigen:
    • 1 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einer Kamera;
    • 2 ein Ablaufdiagramm eines Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Betreiben der Kamera mit einem Wechsel von einem ersten Betriebsmodus der Kamera in einen zweiten Betriebsmodus der Kamera;
    • 3 eine schematische Darstellung eines Histogramms von einem im ersten Betriebsmodus aufgenommenen Bild mit einem Histogrammbereich und einem weiteren Histogrammbereich;
    • 4 eine schematische Darstellung des im ersten Betriebsmodus aufgenommenen Bilds mit einer Kraftfahrzeugbeleuchtung eines weiteren Kraftfahrzeugs, welche eindeutig einer ersten Lichtquelle der Kraftfahrzeugbeleuchtung und eindeutig einer zweiten Lichtquelle der Kraftfahrzeugbeleuchtung zugeordnet werden kann;
    • 5 eine schematische Darstellung eines im zweiten Betriebsmodus aufgenommenen weiteren Bilds mit einer Kraftfahrzeugbeleuchtung des weiteren Kraftfahrzeugs, welche nicht eindeutig der ersten Lichtquelle und nicht eindeutig der zweiten Lichtquelle zugeordnet werden kann;
    • 6 eine weitere schematische Darstellung des im ersten Betriebsmodus aufgenommenen Bilds mit im Vergleich zum weiteren Bild unschärferen Kanten; und
    • 7 eine weitere schematische Darstellung des im zweiten Betriebsmodus aufgenommenen weiteren Bilds mit im Vergleich zum Bild schärferen Kanten.
  • In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • 1 zeigt ein Ausführungsbeispiel eines Kraftfahrzeugs 1 mit zumindest einer Kamera 2. Die Kamera 2 ist an einer Front 3 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 2 ist jedoch vielfältig möglich, so kann die Kamera 2 beispielsweise auch an einem Heck 4 des Kraftfahrzeugs 1 oder einer linken Seite 5 des Kraftfahrzeugs 1 oder einer rechten Seite 6 des Kraftfahrzeugs 1 angeordnet sein.
  • Die Kamera 2 ist gemäß dem Ausführungsbeispiel derart an dem Kraftfahrzeug 1 angeordnet, dass ein Umgebungsbereich 7 des Kraftfahrzeugs 1 zumindest teilweise erfasst wird.
  • Die Kamera 2 weist einen Bildsensor 8 mit Bildsensorelementen 9 auf. Der Bildsensor 8 ist vorzugsweise als CCD-Sensor (CCD - charge-coupled device) oder als CMOS-Sensor (CMOS - complementary metal-oxide-semiconductor) ausgebildet. Weiterhin ist die Kamera 2 vorzugsweise als Videokamera ausgebildet, welche eine Bildsequenz von Einzelbildern aufnimmt.
  • Gemäß dem Ausführungsbeispiel umfasst die Kamera 2 eine Auswerteeinheit 10. Die Auswerteeinheit 10 ist dabei separat zur Kamera 2 ausgebildet oder aber in die Kamera 2 integriert. Durch die Auswerteeinheit 10 wird die Bildsequenz ausgewertet und/oder es werden Korrekturen, beispielsweise durch Anwenden von Filtern, an den jeweiligen Einzelbildern vorgenommen.
  • 2 zeigt ein Ablaufdiagramm 11 eines Verfahrens zum Betreiben der Kamera 2. In einem ersten Schritt S1 wird die Kamera 2 für einen Betrieb bei geringer Helligkeit, insbesondere einen Nachtbetrieb, initialisiert. Der Nachtbetrieb unterscheidet sich von einem Tagbetrieb der Kamera 2 insbesondere durch eine unterschiedliche Belichtungseinstellung der Kamera 2. Durch die Belichtungseinstellung wird insbesondere eine Belichtungszeit vorgegeben. Eine geringe Helligkeit liegt insbesondere dann vor, wenn der Umgebungsbereich 7 zumindest teilweise geringer ausgeleuchtet ist, als dies bei normaler Sonneneinstrahlung der Fall ist.
  • Gemäß dem Ausführungsbeispiel wird die Kamera 2 durch den Schritt S1 in einen ersten Betriebsmodus 12 versetzt. Im ersten Betriebsmodus 12 wird ein Bild 13 von zumindest einem Teil des Umgebungsbereichs 7 aufgenommen. Von dem, insbesondere gesamten, Bild 13 wird ein - in 3 gezeigtes - Histogramm 14 bestimmt. Abhängig von dem Histogramm 14 des Bilds 13 wird die Kamera 2 in einem Schritt S2 in einen zweiten Betriebsmodus 15 gewechselt.
  • Im zweiten Betriebsmodus 15 wird dann ein weiteres Bild 16 aufgenommen. Vom weiteren Bild 16 wird ein weiteres Histogramm 17 bestimmt. Abhängig von dem weiteren Histogramm 17 wird in einem Schritt S3 von dem zweiten Betriebsmodus 15 in den ersten Betriebsmodus 12 zurück gewechselt.
  • Eine Belichtungseinstellung 18 der Kamera 2 ist im ersten Betriebsmodus 12 und im zweiten Betriebsmodus 15 identisch. Durch die Belichtungseinstellung 18 wird insbesondere eine Belichtungszeit der Kamera 2 vorgegeben. Die Belichtungseinstellung 18 kann aber auch eine Blendeneinstellung der Kamera 2 oder eine Lichtempfindlichkeit des Bildsensors 8 beziehungsweise eine Signalverstärkungseinstellung des Bildsensors 8 umfassen.
  • Im ersten Betriebsmodus 12 wird das Bild 13 mit einem ersten Tone-Mapping-Verfahren 19 aufgenommen und im zweiten Betriebsmodus 15 wird das weitere Bild 16 mit einem zweiten Tone-Mapping-Verfahren 20 aufgenommen. Beim zweiten Tone-Mapping-Verfahren 20 wird ein Dynamikumfang des weiteren Bilds 16 weniger stark reduziert als ein Dynamikumfang des Bilds 13 beim ersten Tone-Mapping-Verfahren 19 reduziert wird.
  • In einem alternativen Ausführungsbeispiel wird im zweiten Betriebsmodus 15 gar kein Tone-Mapping-Verfahren durchgeführt. Das weitere Bild 16 wird also ohne Tone-Mapping-Verfahren erzeugt. Das erste Tone-Mapping-Verfahren 19 wird folglich im zweiten Betriebsmodus 15 deaktiviert.
  • Weiterhin wird im zweiten Betriebsmodus 15 eine Mehrzahl von benachbarten Bildsensorelementen 9 des Bildsensors 8 zu einem Bildsensorelementblock des Bildsensors 8 als sogenanntes Bildpunkt Binning zusammengefasst.
  • Eine Anzahl der im zweiten Betriebsmodus 15 zusammengefassten Bildsensorelemente 9 wird gemäß dem Ausführungsbeispiel anhand einer Gesamtanzahl der Bildsensorelemente 9 und/oder einer Auflösung eines Displays 21 des Kraftfahrzeugs 1 bestimmt. Das Display 21 ist mit der Kamera 2 gekoppelt. Vorzugsweise wird das weitere Bild 16 auf dem Display 21 ausgegeben.
  • 3 zeigt das Histogramm 14. An einer Abszisse A des Histogramms 14 sind Intensitätswertklassen 22 eingetragen. Eine jeweilige Intensitätswertklasse 22 ist beispielsweise durch einen - auch in den 4 bis 7 gezeigten - Intensitätswert 23 des Bilds 13 gegeben. Die jeweilige Intensitätswertklasse 22 kann aber auch mehrere Intensitätswerte 23 umfassen. Der Intensitätswert 23 liegt innerhalb eines Intensitätswertbereichs 24 des Bilds 13. Der Intensitätswertbereich 24 erstreckt sich beispielsweise von 0 bis 255 bei 8 Bit Farbtiefe. Das Bild 13 kann aber auch eine beliebige andere Farbtiefe, beispielsweise 9 Bit, 10 Bit, 12 Bit oder 16 Bit, aufweisen. Auch kann das Bild 13 mehrere Farbkanäle aufweisen. Im Weiteren wird der Anschaulichkeit halber nur von Vorliegen eines einzigen Farbkanals beziehungsweise Intensitätswertkanals des Bilds 13 ausgegangen. Die maximal mögliche Menge an Abstufungen beziehungsweise Farbabstufungen wird üblicherweise in Bits angegeben und benennt damit die Farbtiefe des Bilds 13. Diese Abstufungen stellen eine Skala dar, auf der die eigentliche Farbinformation gespeichert wird. Die Farbtiefe ist also die mathematische Basis der tatsächlichen Farbinformation.
  • Die jeweilige Intensitätswertklasse 22 bezeichnet jeweils ein Bin beziehungsweise eine Säule des Histogramms 14. Die Intensitätswertklasse 22 kann beispielsweise einen oder mehrere Intensitätswerte 23 des Bilds 13 umfassen und kann vielfältig vorgegeben werden. Der Intensitätswertbereich 24 umfasst vorzugsweise alle Intensitätswerte 23 des Bilds 13.
  • Weiterhin sind an einer Ordinate O des Histogramms 14 Häufigkeitswerte 25 eingetragen. Durch die jeweiligen Häufigkeitswerte 25 wird beschrieben, wie oft die jeweilige Intensitätswertklasse 22 im Bild 13 vorkommt.
  • Im Histogramm 14 wird während des ersten Betriebsmodus 12 ein Histogrammbereich 26 bestimmt. Der Histogrammbereich 26 erstreckt sich gemäß dem Ausführungsbeispiel nur über 15 % des Intensitätswertbereichs 24 des Histogramms 14 mit den größten Intensitätswerten beziehungsweise den Intensitätswertklassen mit den größten Intensitätswerten. Der Histogrammbereich 26 erstreckt sich also insbesondere nicht über den gesamten Intensitätswertbereich 24 des Histogramms 14.
  • Alle Häufigkeitswerte 25 innerhalb des Histogrammbereichs 26 werden mit einem Häufigkeitsgrenzwert 27 verglichen. Falls die Häufigkeitswerte 25 innerhalb des Histogrammbereichs 26 kleiner als der Häufigkeitsgrenzwert 27 sind, wird in den zweiten Betriebsmodus 15 gewechselt.
  • Im zweiten Betriebsmodus 15 wird in dem weiteren Histogramm 17 des weiteren Bilds 16 dann auch der Histogrammbereich 26 bestimmt. Der Histogrammbereich 26 ist im Histogramm 14 und im weiteren Histogramm 17 an der gleichen Position und erstreckt sich über den gleichen Intensitätswertbereich 24 beziehungsweise über die gleichen Intensitätswertklassen 22. Es wird zumindest ein Häufigkeitswert, insbesondere alle Häufigkeitswerte, des weiteren Histogramms 17 innerhalb des Histogrammbereichs 26 mit dem Häufigkeitsgrenzwert 27 verglichen. Falls zumindest ein Häufigkeitswert des weiteren Histogramms 17 innerhalb des Histogrammbereichs 26 gleich groß oder größer wie der Häufigkeitsgrenzwert 27 ist, wird zurück in den ersten Betriebsmodus 12 gewechselt.
  • Der Wechsel zwischen den Betriebsmodi 12, 15 erfolgt insbesondere abhängig von einer Hysterese. So wird der Häufigkeitsgrenzwert 27 insbesondere mit einem Hysteresewert ergänzt oder reduziert, wodurch ein hochfrequentes Oszillieren zwischen dem ersten Betriebsmodus 12 und dem zweiten Betriebsmodus 15 unterdrückt wird. So wird beispielsweise von dem zweiten Betriebsmodus 15 zurück in den ersten Betriebsmodus 12 erst dann gewechselt, falls der Häufigkeitswert 25 größer als der Häufigkeitsgrenzwert 27 plus ein Hysteresewert ist. Der Hysteresewert ist dabei beispielsweise 10 % des Häufigkeitsgrenzwerts 27. Ergänzend oder alternativ wird auch der Wechsel von dem ersten Betriebsmodus 12 in den zweiten Betriebsmodus 15 abhängig von einer Hysterese durchgeführt. Der Wechsel in den zweiten Betriebsmodus 15 erfolgt erst dann, wenn der Häufigkeitswert 25 kleiner als der Häufigkeitsgrenzwert 27 minus dem Hysteresewert ist.
  • Ergänzend wird gemäß dem Ausführungsbeispiel ein weiterer Histogrammbereich 28 des Histogramms 14 bestimmt. Der weitere Histogrammbereich 28 erstreckt sich im Ausführungsbeispiel von 30 % bis 70 % des Intensitätswertbereichs 24 des Histogramms 14. Zumindest einer der Häufigkeitswerte 25, insbesondere alle Häufigkeitswerte 25, innerhalb des weiteren Histogrammbereichs 28 werden mit einem weiteren Häufigkeitsgrenzwert 29 verglichen. Falls einer der Häufigkeitswerte 25 innerhalb des weiteren Histogrammbereichs 28 größer als der weitere Häufigkeitsgrenzwert 29 ist, wird der Wechsel von dem ersten Betriebsmodus 12 in den zweiten Betriebsmodus 15 unterdrückt. Der Wechsel wird in diesem Fall also selbst dann nicht durchgeführt, wenn alle Häufigkeitswerte 25 innerhalb des Histogrammbereichs 26 kleiner als der Häufigkeitsgrenzwert sind.
  • Weiterhin wird der weitere Histogrammbereich 28 vorzugsweise auch im weiteren Histogramm 17 bestimmt. Es wird dann von dem zweiten Betriebsmodus 15 in den ersten Betriebsmodus 12 zurück gewechselt, falls einer der Häufigkeitswerte 25 innerhalb des weiteren Histogrammbereichs 28 des weiteren Histogramms 17 größer als der weitere Häufigkeitsgrenzwert 29 ist.
  • Ergänzend oder alternativ zum Bestimmen des weiteren Histogrammbereichs 28 wird eine aktuelle Temperatur des Bildsensors 8 bestimmt. Die Temperatur wird beispielsweise mit einem Temperatursensor der Kamera 2 bestimmt. Falls die Temperatur größer als ein Temperaturgrenzwert ist, wird der Wechsel in den zweiten Betriebsmodus 15 unterdrückt oder es wird vom zweiten Betriebsmodus 15 in den ersten Betriebsmodus 12 zurück gewechselt.
  • 4 zeigt das Bild 13. In dem Bild 13 ist ein Licht 30 einer Kraftfahrzeugbeleuchtung 31 eines weiteren Kraftfahrzeugs 32 abgebildet. Das weitere Kraftfahrzeug 32 befindet sich zum Zeitpunkt der Aufnahme des Bilds 13 im Umgebungsbereich 7 des Kraftfahrzeugs 1. Anhand des Bilds 13 kann das abgebildete Licht 30 eindeutig zu einem Teil 33 einer ersten Lichtquelle 34 der Kraftfahrzeugbeleuchtung 31 und eindeutig zu einem weiteren Teil 35 einer zweiten Lichtquelle 36 der Kraftfahrzeugbeleuchtung 31 zugeordnet werden.
  • 5 zeigt das weitere Bild 16. In dem weiteren Bild 16 ist das Licht 30 der Kraftfahrzeugbeleuchtung 31 abgebildet. Anhand des weiteren Bilds 16 kann das abgebildete Licht 30 nicht eindeutig der ersten Lichtquelle 34 oder der zweiten Lichtquelle 36 zugeordnet werden. Das Licht 30 erscheint als wenn es von nur einer einzigen Lichtquelle abgegeben wird. Eine Beurteilung anhand der abgebildeten Lichtquellen 34, 36, ob sich das weitere Kraftfahrzeug 32 im weiteren Bild 16 befindet ist nicht so zuverlässig wie im Bild 13 möglich.
  • 6 zeigt ein weiteres Ausführungsbeispiel des im ersten Betriebsmodus 12 aufgenommenen Bilds 13. Aufgenommen ist ein Testmuster, um die Bildqualität des Bilds 13 beurteilen zu können. Im Vergleich zum weiteren Bild 16 sind Kanten 37 des Bilds 13 unschärfer beziehungsweise die Flanken der höheren Frequenzen fallen flacher ab und das Bild 13 weist ein höheres Bildrauschen auf.
  • 7 zeigt ein weiteres Ausführungsbeispiel des im zweiten Betriebsmodus 15 aufgenommenen weiteren Bilds 16. Aufgenommen ist wieder das Testmuster aus 6. Im Vergleich zum Bild 13 sind Kanten 38 des weiteren Bilds 16 schärfer beziehungsweise die Flanken der höheren Frequenzen fallen steiler ab und das weitere Bild 16 weist ein geringeres Bildrauschen auf. Möglich wird das unter anderem durch den Verzicht auf das zweite Tone-Mapping-Verfahren 20. Nun wird ein größerer Teil des Intensitätswertbereichs 24 für die Abbildung der dunkleren Bereiche des Umgebungsbereichs 7 genutzt als dies mit dem ersten Tone-Mapping-Verfahren 19 oder dem zweiten Tone-Mapping-Verfahren 20 der Fall wäre. Zudem führt insbesondere der temperaturabhängige Betrieb der Kamera 2 zu weniger Rauschen im jeweiligen Bild 13, 16.
  • Durch das Verfahren wird es ermöglicht zwischen einem Betriebsmodus, insbesondere dem ersten Betriebsmodus 12, zum zuverlässigeren Erkennen von entgegenkommenden Kraftfahrzeugen und einem Betriebsmodus, insbesondere dem zweiten Betriebsmodus 15, mit einer höheren Bildqualität, insbesondere schärferen Kanten und weniger Rauschen, hin und her zu wechseln. Weiterhin wird durch das heuristische Verfahren, insbesondere durch den histogrammabhängigen Wechsel in den Schritten S2 und S3, zuverlässig ein situationsgerechter Zeitpunkt für den jeweiligen Wechsel bestimmt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2014/0111637 A1 [0002]

Claims (15)

  1. Verfahren zum Betreiben einer Kamera (2) eines Kraftfahrzeugs (1), bei welchem die Kamera (2) in einem ersten Betriebsmodus (12) betrieben wird und im ersten Betriebsmodus (12) ein Bild (13) von einem Umgebungsbereich (7) des Kraftfahrzeugs (1) mit der Kamera (2) aufgenommen wird, wobei ein Histogramm (14) des Bilds (13) bestimmt wird und in dem Histogramm (14) ein Histogrammbereich (26) bestimmt wird, dadurch gekennzeichnet, dass alle Häufigkeitswerte (25) von Intensitätswertklassen (22) des Histogramms (14) im Histogrammbereich (26) mit einem Häufigkeitsgrenzwert (27) verglichen werden und von dem ersten Betriebsmodus (12) in einen von dem ersten Betriebsmodus (12) unterschiedlichen zweiten Betriebsmodus (15) der Kamera (2) gewechselt wird (S2), falls die verglichenen Häufigkeitswerte (25) im Histogrammbereich (26) kleiner als der Häufigkeitsgrenzwert (27) sind, wobei im zweiten Betriebsmodus (15) ein weiteres Bild (16) mit der Kamera (2) aufgenommen wird und die Kamera (2) im ersten Betriebsmodus (12) und im zweiten Betriebsmodus (15) mit einer identischen Belichtungseinstellung (18) betrieben wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Histogrammbereich (26) innerhalb von 20 %, insbesondere 15 %, des Intensitätswertbereichs (24) des Histogramms (14) mit den größten Intensitätswerten (23) bestimmt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild (13) im ersten Betriebsmodus (12) mit einem, insbesondere lokalen, ersten Tone-Mapping-Verfahren (19) aufgenommen wird und das weitere Bild (16) im zweiten Betriebsmodus (15) mit einem von dem ersten Tone-Mapping-Verfahren (19) unterschiedlichen zweiten Tone-Mapping-Verfahren (20) aufgenommen wird, wobei ein Dynamikumfang des weiteren Bilds (16) durch das zweite Tone-Mapping-Verfahren (20) weniger stark als ein Dynamikumfang des mit dem ersten Tone-Mapping-Verfahren (19) aufgenommenen Bilds (13) reduziert wird.
  4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild (13) im ersten Betriebsmodus (12) mit einem, insbesondere lokalen, ersten Tone-Mapping-Verfahren (19) aufgenommen wird und beim Aufnehmen des weiteren Bilds (16) im zweiten Betriebsmodus (15) das erste Tone-Mapping-Verfahren (19), insbesondere jegliches Tone-Mapping-Verfahren (19, 20), deaktiviert wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im zweiten Betriebsmodus (15) eine Mehrzahl von benachbarten Bildsensorelementen (9) eines Bildsensors (8) der Kamera (2) zu einem Bildsensorelementblock des Bildsensors (8) zusammengefasst wird und das weitere Bild (16) abhängig von dem Bildsensorelementblock aufgenommen wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass eine Anzahl der im zweiten Betriebsmodus (15) zum Bildsensorelementblock zusammengefassten Bildsensorelemente (9) anhand einer Gesamtanzahl der Bildsensorelemente (9) des Bildsensors (8) der Kamera (2) und/oder einer Auflösung eines Displays (21) zum Ausgeben des weiteren Bilds (16) bestimmt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiterer Histogrammbereich (28) innerhalb von 20 % bis 80 %, insbesondere von 30 % bis 70 %, des Intensitätswertbereichs (24) des Histogramms (14) bestimmt wird und der Wechsel in den zweiten Betriebsmodus (15) unterdrückt wird, falls ein Häufigkeitswert (25) einer Intensitätswertklasse (22) im weiteren Histogrammbereich (28) des Histogramms (14) größer als ein weiterer Häufigkeitsgrenzwert (29) ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres Histogramm (17) des weiteren Bilds (16) bestimmt wird und ein weiterer Histogrammbereich (28) innerhalb von 20 % bis 80 %, insbesondere von 30 % bis 70 %, des Intensitätswertbereichs (24) des weiteren Histogramms (17) bestimmt wird, wobei von dem zweiten Betriebsmodus (15) in den ersten Betriebsmodus (12) gewechselt wird (S3), falls ein Häufigkeitswert (25) einer Intensitätswertklasse (22) im weiteren Histogrammbereich (28) des weiteren Histogramms (17) größer als ein weiterer Häufigkeitsgrenzwert (29) ist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Temperatur eines Bildsensors (8) der Kamera (2) bestimmt wird und der Wechsel in den zweiten Betriebsmodus (15) unterdrückt wird, falls die Temperatur des Bildsensors (8) größer als ein Temperaturgrenzwert ist.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres Histogramm (17) des weiteren Bilds (16) bestimmt wird und der Histogrammbereich (26) im weiteren Histogramm (17) bestimmt wird, wobei von dem zweiten Betriebsmodus (15) zurück in den ersten Betriebsmodus (12) gewechselt wird, falls ein Häufigkeitswert (25) einer Intensitätswertklasse (22) des weiteren Histogramms (17) im Histogrammbereich (26) des weiteren Histogramms (17) größer als der Häufigkeitsgrenzwert (27) ist.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Bild (13) ein Licht (30) von einer Kraftfahrzeugbeleuchtung (31) eines im Umgebungsbereich (7) vorhandenen weiteren Kraftfahrzeugs (32) abgebildet wird und das abgebildete Licht (30) eindeutig zu einem Teil (33) einer ersten Lichtquelle (34) der Kraftfahrzeugbeleuchtung (31) und eindeutig zu einem weiteren Teil (35) einer zweiten Lichtquelle (36) der Kraftfahrzeugbeleuchtung (31) zugeordnet wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (2) im ersten Betriebsmodus (12) und im zweiten Betriebsmodus (15) mit einem identischen Gammawert betrieben wird.
  13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Aufnehmen des weiteren Bilds (16) im zweiten Betriebsmodus (15) ein Schwarzbereichclipping und/oder eine Beschränkung eines Dynamikumfangs des weiteren Bilds (16) deaktiviert wird.
  14. Kamera (2) für ein Kraftfahrzeug (1), welche dazu ausgebildet ist ein Verfahren gemäß einem der vorhergehenden Ansprüche auszuführen.
  15. Kraftfahrzeug (1) mit einer Kamera (2) nach Anspruch 14.
DE102017100531.5A 2017-01-12 2017-01-12 Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug Pending DE102017100531A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017100531.5A DE102017100531A1 (de) 2017-01-12 2017-01-12 Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug
PCT/EP2018/050626 WO2018130600A1 (en) 2017-01-12 2018-01-11 Method for operating a camera with a first operating mode and a second operating mode, camera and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017100531.5A DE102017100531A1 (de) 2017-01-12 2017-01-12 Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102017100531A1 true DE102017100531A1 (de) 2018-07-12

Family

ID=60943039

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017100531.5A Pending DE102017100531A1 (de) 2017-01-12 2017-01-12 Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug

Country Status (2)

Country Link
DE (1) DE102017100531A1 (de)
WO (1) WO2018130600A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140111637A1 (en) 2012-10-22 2014-04-24 GM Global Technology Operations LLC Dynamic Rearview Mirror Adaptive Dimming Overlay Through Scene Brightness Estimation
US20150350513A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Constant Bracket High Dynamic Range (cHDR) Operations

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314847B2 (en) * 2010-05-25 2012-11-20 Apple Inc. Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
US9635271B2 (en) * 2011-11-17 2017-04-25 GM Global Technology Operations LLC Vision-based scene detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140111637A1 (en) 2012-10-22 2014-04-24 GM Global Technology Operations LLC Dynamic Rearview Mirror Adaptive Dimming Overlay Through Scene Brightness Estimation
US20150350513A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Constant Bracket High Dynamic Range (cHDR) Operations

Also Published As

Publication number Publication date
WO2018130600A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
DE69828046T2 (de) Erweiterter dynamikbereich für bildformungssystem und verfahren
DE69937342T2 (de) Bilderfassungs-System und Verfahren mit dynamischer Helligkeitssteuerung
DE102016218843A1 (de) Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung
DE102013012810A1 (de) Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
EP1706773A1 (de) Nachtsichtsystem für kraftfahrzeuge mit partiellem optischem filter
EP1372111B1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102017116849A1 (de) Indirektes Sichtsystem für ein Fahrzeug
DE102009055269A1 (de) Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
DE102013115000A1 (de) Blendungsminderung für dynamischen Rückspiegel
DE102017219694A1 (de) Bilderzeugungsvorrichtung
WO2006067005A1 (de) Vorrichtung und verfahren zur beeinflussung des auf einen bildsensor auftreffenden lichts
DE102010028746B4 (de) Bildsensor und Verfahren zum Aufnehmen eines Bildes
DE102015014263A1 (de) Verfahren und Vorrichtung zur fahrsituationsabhängigen Parametervariation bei einem fahrzeugseitigen Kamera-Monitor-System
DE102010030108A1 (de) Farbbildsensor
DE102004010908B4 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
DE202017006792U1 (de) Bildverarbeitungseinheit und Computerprogramm zur Erkennung und Korrektur von Bildfehlern
DE102018207388B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug
DE102017100531A1 (de) Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug
DE102014114328A1 (de) Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung
DE102010002312A1 (de) Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug
DE102015205479A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE102021132645A1 (de) Bildsensoranordnung, Fahrzeugkamera und Verfahren zur Steuerung einer Bildsensoranordnung
DE102013011844A1 (de) Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE10239994B4 (de) Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems
DE102018212179A1 (de) Bildverarbeitungsvorrichtung und verfahren zur bildverarbeitung

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000

R012 Request for examination validly filed