DE102008044325A1

DE102008044325A1 - Imager-Halbleiterbauelement, Kameraanordnung und Verfahren zum Regeln eines Imager-Halbleiterbauelementes

Info

Publication number: DE102008044325A1
Application number: DE102008044325A
Authority: DE
Inventors: Alexander Wuerz-Wessel; Lothar Bergen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-12-03
Filing date: 2008-12-03
Publication date: 2010-06-10

Abstract

Die Erfindung betrifft ein Imager-Halbleiterbauelement für eine Kamera (6), das aufweist: ein Pixel-Array (12), das eine Array-Anordnung von fotosensitiven Pixeln (Pij) aufweist, und eine Registereinrichtung (14) zur beschreibbaren Speicherung von Kameraparametern zur Einstellung oder Regelung der Pixel (Pj) des Pixel-Arrays (12). Erfindungsgemäß ist vorgesehen, dass die Registereinrichtung (14) mindestens zwei Register (14a, 14b) aufweist, die separat adressierbar und unabhängig voneinander mit Kameraparametern beschreibbar sind, wobei die Register (14a, 14b) zur Einstellung oder Regelung unterschiedlicher Array-Bereiche (12a, 12b) des Pixel-Arrays (12) vorgesehen sind. Hierbei wird inbesondere eine vertikale Unterteilung in Array-Bereiche aus einer oder mehreren Zeilen (Zi) gewählt, wobei in dem Array-Bereich für einen oberen Bildbereich eine kürzere Integrationszeit für eine Verkehrszeichenerkennung und in einem Array-Bereich für einen unteren Bildbereich eine längere Integrationszeit für eine Spurerkennung geregelt werden kann.

Description

Stand der Technik
In Fahrzeugen werden Kameras mit Imager-Halbleiterbauelementen zur Erfassung insbesondere des Außenraumes des Fahrzeugs, d. h. einer Verkehrsszene, vorzugsweise vor oder hinter dem Fahrzeug eingesetzt. Neben der Darstellung des Bildes auf einer Anzeigeeinrichtung werden insbesondere auch verschiedene Funktionen bzw. Applikationen unterstützt, bei denen die von der Kamera ausgegebenen Bildsignale ausgewertet werden. Das Imager-Halbleiterbauelemente wird hierzu entsprechend geregelt, wobei im Allgemeinen Kameraparameter bzw. Parametersätze von der bei der Regelung eingesetzten Steuereinrichtung an eine Registereinrichtung im Imager-Halbleiterbauelement ausgegeben werden, die insbesondere die Integrationszeit bzw. Belichtungszeit, Zeitpunkt bzw. Höhen von Reset-Spannungen, Offsets, Verstärkungen und weitere Parameter betreffen.
Unterschiedliche Funktionen haben im Allgemeinen unterschiedliche Anforderungen an die Regelung des Imager-Halbleiterbauelementes. Besonders bei Nacht kommen diese Unterschiede zum Tragen. Da sich aufgrund der Eigenbewegung des Fahrzeugs und damit der Kamera Objekte während der Belichtungszeit durchs Bild bewegen, werden die aufgenommenen Objekte im Bild unscharf. Dementsprechend hat z. B. eine Verkehrszeichenerkennung das Ziel einer kurzen Belichtungszeit, um scharfe Strukturen zu erkennen. Eine Spurerkennung hingegen versucht im Allgemeinen, eine möglichst große Vorausschauweite zu erzielen, wozu eine lange Belichtungszeit hilfreich ist, um z. B. unterbrochene Linien auch in größerer Entfernung, d. h. als lichtschwache Objekte, zu er kennen. Die verschiedenen Funktionen stehen somit bezüglich der Kameraregelung zum Teil im Konflikt.
Um diesen Konflikt zu lösen, werden z. T. Kompromissregelungen implementiert. Nachteilhaft hieran ist jedoch, dass nicht sämtliche Funktionen mit der gleichen Performance bzw. Qualität dargestellt werden, wie sie bei jeder Funktion einzeln möglich wären.
Die DE 103 18 499 A1 beschreibt ein Verfahren und eine Vorrichtung zur Einstellung eines Bildsensors, wobei wenigstens ein Belichtungsparameter in Abhängigkeit wenigstens einer Kenngröße wenigstens eines Bildausschnittes eingestellt wird. Hierbei werden Kenngrößen von Bildausschnitten mit relevanten Objekten erzeugt, die ein Maß für die Helligkeitsverteilung des wenigstens einen Bildausschnittes sind. Als Kenngrößen können insbesondere statistische Größen wie Mittelwert, Median, Maximum oder Minimum der Grauwerteverteilung dienen. Eine Segmentierung in z. B. Vordergrund und Hintergrund ist bei diesem System nicht erforderlich.
Die DE 10 2004 047 476 A1 beschreibt ein weiteres System zur Einstellung einer Kamera, bei dem Belichtungsparameter in Abhängigkeit eines Bildbereichs eingestellt werden, der in Abhängigkeit des Horizonts ermittelt wird. Hierbei wird eine den realen Horizont repräsentierende Linie ermittelt und zur Unterteilung des Bildes herangezogen.
Als Imager-Halbleiterbauelemente bzw. Imager-Chips werden unter anderem Global Shutter Imager verwendet, bei denen die Parameter für das ganze Bild gesetzt sind. Die Pixel werden gemeinsam durch einen Reset bzw. Rücksetzvorgang zurückgesetzt und nach der vorgegebenen Integrationszeit ausgelesen. Weiterhin sind Rolling Shutter Imager bekannt, bei denen der Imager-Chip nicht angehalten wird, sondern sukzessive die einzelnen Zeilen jeweils zurückgesetzt und nach der Integrationszeit ausgelesen werden. Hierbei kann z. B. ein erster Zeiger sukzessive die Zeilen durchlaufen und die Pixel der betreffenden Zeilen zurücksetzen, und nachfolgend durch einen zweiten Zeiger, der mit entsprechendem Zeitversatz die Zeilen durchläuft, die Auslesung der Zeilen nach der Integrationszeit erfolgen.
Offenbarung der Erfindung
Erfindungsgemäß werden mindestens zwei Register zur Einstellung bzw. Regulierung verschiedener Array-Bereiche des Pixel-Arrays des Imager-Chips (Imager-Halbleiterbauelementes) verwendet. Hierbei können insbesondere in vertikaler Richtung getrennte Array-Bereiche bzw. Bildbereiche des erfassten Bildes unterschiedlich geregelt werden.
Erfindungsgemäß wird somit nicht ein gemeinsames Register zur Ansteuerung bzw. Einstellung des Pixel-Arrays verwendet, sondern verschiedene Register; die verschiedenen Register können bereits baulich getrennt sein, oder auch durch Unterteilung einer gemeinsamen Registereinrichtung erzeugt werden.
Die verschiedenen Register sind hierbei unterschiedlich und unabhängig voneinander mit Kameraparametern bzw. Parametersätzen beschreibbar, so dass eine Regelung der verschiedenen Array-Bereiche des Pixel-Arrays mit unterschiedlichen Kameraparametern möglich ist.
Der Erfindung liegt die Erkenntnis zu Grunde, dass bei einem von einer Fahrzeugkamera typischerweise aufgenommenen Bild einer Verkehrsszene die verschiedenen Arbeitsbereiche der Funktionen, insbesondere auch der Spurerkennung und der Verkehrszeichenerkennung, im Wesentlichen disjunkt sind und nach Bildbereichen getrennt werden können. Vorzugsweise kann eine Trennung bzw. Unterteilung nach Bildzeilen erfolgen. Insbesondere wird in einem unteren Bildbereich die Fahrbahn mit den verschiedenen Spuren und die Spuren begrenzenden Fahrbahnmarkierungen aufgenommen, und in einem oberen Bildbereich, der z. B. Umgebungsbereiche wie Häuser, Bäume und den Himmel enthält, auch die im allgemeinen seitlich neben der Fahrbahn stehenden Verkehrszeichen erfasst.
Erfindungsgemäß wird somit eine Unterteilung des Bildes bzw. der Array-Anordnung von Imager-Pixeln in Bereiche vorgenommen, die mit unterschiedlichen Parameter-Sätzen geregelt werden, wobei die Parametersätze den jeweiligen Funktionsanforderungen angepasst werden können.
Zur unterschiedlichen Regelung sind erfindungsgemäß mehrere beschreibbare Register vorgesehen. Erfindungsgemäß kann insbesondere ein Rolling Shutter-Imager, bei dem die einzelnen Zeilen sukzessive zurückgesetzt und später sukzessive ausgelesen werden. Bei Verwendung eines derartigen Rolling Shutter-Imagers mit den erfindungsgemäß vorgesehenen mehreren Registern werden somit die Regelparameter jeweils eines Registers verwendet, bis die letzte Zeile dieses Registers bzw. des ihm zugeordneten Array-Bereiches ereicht ist, und dann nachfolgend auf die Parametersätze des nachfolgenden Registers umgestellt.
Erfindungsgemäß können insbesondere zwei Register für zwei Array-Bereiche bzw. Bildbereiche eingesetzt werden; grundsätzlich können jedoch auch Unterteilungen in mehr als zwei, z. B. drei Bereiche gewählt werden, wobei z. B. ein mittlerer Bildbereich erfasst wird, der Teile der Fahrbahn in größerer Entfernung wiedergibt. Grundsätzlich kann die Anzahl der Register und somit der Array-Bereiche bis zur Zeilenanzahl n des Pixel-Arrays gewählt werden.
Die Register bzw. Registereinteilung kann bereites fest vorgenommen sein oder erfindungsgemäß auch während der Regelung dynamisch angepasst werden. Erfindungsgemäß werden hierbei jedoch immer verschiedene Register verwendet, anders als z. B. in der DE 10 2004 047 476 A1 , in der ein relevanter Bildbereich erfasst wird, der nachfolgend die Belichtungsparameter des gesamten Registers bestimmt.
Kurze Beschreibung der Zeichnungen
1 eine Darstellung des Pixel-Arrays und des Registers eines Imager-Chips gemäß einer Ausführungsform der Erfindung;
2 eine Verkehrsszene aus Sicht des erfindungsgemäßen Fahrzeuges;
3 eine Aufsicht auf die Verkehrsszene aus 2;
4 ein Blockdiagramm der Kameraanordnung aus Kamera und Steuereinrichtung.
Beschreibung der Ausführungsformen
2 und 3 zeigen eine Straßenszene 1, bei der auf einer Fahrbahn 2 mit z. B. den Spuren 2a, 2b und 2c ein Fahrzeug 3 z. B. auf der Spur 2b fährt. In oder an dem Fahrzeug 3 ist hinter dessen Windschutzscheibe 4 – oder auch im Bereich des Stoßfängers 5 – eine Kamera 6 angebracht, die einen Imager-Chip 8 aufweist, der gemäß 4 Bildsignale S1 an eine Steuereinrichtung 10 im Fahrzeug 3 ausgibt. Die Steuereinrichtung 10 stellt wiederum durch Steuersignale S2 die Kameraparameter in dem Imager-Chip 8 ein; die Steuersignale S2 können insbesondere Kameraparameter-Signale S2 sein. Die von der Steuereinrichtung 10 empfangenen Bilder und gegebenenfalls hieraus ermittelte Daten können nachfolgend als weitere Signale S3 fahrzeugintern ausgegeben werden. Die Kamera 6 und die Steuereinrichtung 10 bilden eine Kameraanordnung 7, die insbesondere auch als eine Baueinheit ausgebildet sein kann.
Der Imager-Chip 8 weist gemäß 1 ein Pixel-Array 12 und eine Registereinrichtung 14 auf. Das Pixel-Array 12 weist eine Matrix- bzw. Array-Anordnung einzelner Pixel Pij mit i als Zeilennummer und j als Spaltennummer auf, wobei n Zeilen Zi vorgesehen sind, d. h. bis zu der untersten, letzten Zeile Zn. Der Imager-Chip ist vorzugsweise im CMOS-Technologie, ggf. aber auch in CCD-Technologie hergestellt. Erfindungsgemäß ist der Imager-Chip 8 vorzugsweise als Rolling-Shutter-Imager 8 ausgebildet, so dass die einzelnen Zeilen i = 1 ... n sukzessiv zurückgesetzt und nachfolgend sukzessiv ausgelesen werden.
Erfindungsgemäß ist die Registereinrichtung 14 in mehrere beschreibbare Register 14a, 14b unterteilt. In der Ausführungsform der 1 sind beispielhaft zwei Register 14a, 14b gezeigt, es können grundsätzlich jedoch auch mehr als zwei Register vorgesehen sein, z. B. bis zur Zeilenanzahl n.
Das erste Register 14a ist für einen oberen Array-Bereich 12a und das zweite Register 14b für einen unteren Array-Bereich 12b vorgesehen. Diese Unterteilung kann insbesondere symmetrisch erfolgen, sodass bei n als gerader Zahl der obere Array-Bereich 12a die Zeilen Zi mit i = 1, ... n/2 und der untere Array-Bereich 12b die Zeilen Zi für i = n/2 + 1, ... n enthält. Eine horizontale Trennlinie 16 ist zur Verdeutlichung der Unterteilung in 1 und 2 eingezeichnet.
2 zeigt die Straßenszene 1 aus Sicht der Kamera 6. Das erfasste Bild 15 wird auf dem Pixel-Array 12 des Imager-Chips 8 aufgenommen, wobei der Ein fachheit halber hier angenommen wird, dass der obere Bildbereich 15a auf den oberen Array-Bereich 12a des Pixel-Arrays 12 abgebildet wird, und der untere Bildbereich 15b auf den unteren Array-Bereich 12b. Grundsätzlich kann die horizontale Trennlinie 16 auch außermittig bzw. unsymmetrisch verlaufen; insbesondere kann gemäß einer erfindungsgemäß Ausbildung die Lage der Trennlinie 16 jeweils entsprechend der Auswertung des Bildes 15 angepasst werden.
In dem oberen Bildbereich 15a können insbesondere der Horizont und Teilbereiche der Straßenszene 1 oberhalb der Fahrbahn 2 liegen; somit sind insbesondere auch Verkehrszeichen 18, die rechts neben der Fahrbahn 2 etwas erhöht, z. B. in einer Höhe zwischen 1,5 m und 3 m angeordnet sind, in der oberen Bildhälfte 15a angeordnet. Das erste Register 14a kann somit Kameraparameter für eine Verkehrszeichenerkennung einstellen, z. B. eine kurze Belichtungszeit zur Erkennung der Verkehrszeichen 18 für eine qualitative Auswertung. Das zweite Register 14b stellt hingegen die Kameraparameter für die untere Bildhälfte 15b, in der insbesondere die Fahrbahn 2 mit den Spuren 2a, 2b, 2c, sowie teilweise auch weitere Verkehrsteilnehmer 20, insbesondere Fahrzeuge 20, sowohl auf der eigenen Spur 2b als auch auf den benachbarten Spuren 2a, 2c enthalten sind. Weiterhin sind in der unteren Bildhälfte 15b die Fahrbahnmarkierungen 22 angeordnet, die die Spuren 2a, 2b, 2c begrenzen und somit auch voneinander trennen.
Somit kann in dem oberen Bild 15a insbesondere eine Verkehrszeichenerkennung durchgeführt werden, so dass im ersten Register 14a eine kurze Integrationszeit festgesetzt wird. In der unteren Bildhälfte 15b kann insbesondere eine Spurerkennung durchgeführt werden, so dass hier längere Belichtungszeiten eingestellt werden können.
Weitere Funktionen können ebenfalls den beiden Bildhälften 15a, 15b bzw. den mehreren Bildbereichen zugeordnet werden. So kann z. B. in der unteren Bildhälfte 15b eine Moving Objekt Detection bzw. Trajektorenbildung durchgeführt werden. Weiterhin kann ein Fernlichtassistent in dem unteren oder auch einem mittleren Bildbereich durchgeführt werden, der bei einer Unterteilung des Bildes 15 und somit auch des Pixel-Arrays 12 in drei Bereiche entsteht und den Bereich der Fahrbahn 2 im größerem Abstand wiedergibt.
Die Abbildung des erfassten Bildes 15 auf dem Array 12 ist von der Optik der Kamera 6 abhängig; falls das erfasste Bild 15 invertiert auf das Array 12 abgebildet wird, sind die obigen Ausführungen zur Regelung der Array-Bereich 12a, 12b entsprechend zu vertauschen.
Erfindungsgemäß können die beiden Register 14a, 14b insbesondere hardwaremäßig getrennt ausgebildet sein. Sie können jedoch grundsätzlich auch in einem gemeinsamen Speicher bzw. integriert ausgebildet, jedoch unterschiedlich adressiert werden. Bei dieser letzten Ausführungsform ist eine dynamische Anpassung der Lage der horizontalen Trennungslinie 16 vorteilhaft, wozu z. B. der Horizont detektiert werden kann.
Erfindungsgemäß kann grundsätzlich nicht nur eine horizontale Unterteilung, sondern ggf. auch eine Unterteilung in weitere Bildbereiche gewählt werden, z. B. zur Verkehrszeichendetektion mit einem rechten mittleren, insbesondere keilförmigen Bereich.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 10318499 A1 [0004]
- DE 102004047476 A1 [0005, 0014]

Claims

Imager-Halbleiterbauelement für eine Kamera (6), wobei das Imager-Halbleiterbauelement (8) aufweist: ein Pixel-Array (12), das eine Array-Anordnung von fotosensiven Pixeln (Pij) aufweist, und eine Registereinrichtung (14) zur beschreibbaren Speicherung von Kameraparametern zur Einstellung oder Regelung der Pixel (Pij) des Pixel-Arrays (12), dadurch gekennzeichnet, dass die Registereinrichtung (14) mindestens zwei Register (14a, 14b) aufweist, die separat adressierbar und unabhängig voneinander mit Kameraparametern beschreibbar sind, wobei die Register (14a, 14b) zur Einstellung oder Regelung unterschiedlicher Array-Bereiche (12a, 12b) des Pixel-Arrays (12) vorgesehen sind.
Imager-Halbleiterbauelement nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens zwei Array-Bereiche (12a, 12b) in vertikaler Richtung getrennt sind und jeweils durch ein oder mehrere Zeilen (Zi) des Pixel-Arrays (12) gebildet sind.
Imager-Halbleiterbauelement nach Anspruch 2, dadurch gekennzeichnet, dass die Registereinrichtung (14) genau zwei Register (14a, 14b) aufweist und das Pixel-Array (12) in einen oberen Array-Bereich (12a) und einen unteren Array-Bereich (12b) unterteilt ist, wobei in einem ersten Register (14a) zur Einstellung oder Regelung des ersten Array-Bereichs (12a) für einen oberen Bildbereich (15a) Kameraparameter für eine kürzere Integrationszeit der Imager-Pixel (Pj) und in dem zweiten Register (14b) zur Einstellung oder Regelung des zweiten Array-Bereichs (12b) für einen unteren Bildbereich (15b) Kameraparameter für eine größere Integrationszeit der Imager-Pixel (Pij) gespeichert sind.
Imager-Halbleiterbauelement nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Registereinrichtung (14) fest in die mindestens zwei Register (14a, 14b) unterteilt ist.
Imager-Halbleiterbauelement nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Registereinrichtung (14) wahlweise in verschiedenen Register (14a, 14b) unterschiedlicher Größe unterteilbar ist.
Imager-Halbleiterbauelement nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass es als Global Shutter Imager-Halbleiterbauelement ausgebildet ist und die Zeilen (Zi) des Pixel-Arrays (12) zu unterschiedlichen Zeitpunkten zurückgesetzt und ausgelesen werden.
Kameraanordnung (7) für ein Fahrzeug (3), insbesondere zur Erfassung einer Straßenszene (1) außerhalb des Fahrzeugs (3), die mindestens aufweist: eine Kamera (6) mit einem Imager-Halbleiterbauelement (8) nach einem der vorherigen Ansprüche, und eine Steuereinrichtung (10) zum Auslesen von Bildsignalen (S1) des Imager-Halbleiterbauelements (8) und Ausgabe von Kameraparameter-Signalen (S2) an die mehreren Register (14a, 14b) des Imager-Halbleiterbauelementes (8), wobei die Steuereinrichtung (10) die Array-Bereiche (12a, 12b) durch Ausgabe unterschiedlicher Kameraparameter-Signale (S2) an die mehreren Register (14a, 14b) unabhängig voneinander regelt.
Kameraanordnung nach Anspruch 7, dadurch gekennzeichnet, dass die Steuereinrichtung (10) in dem ersten Register (14a) zur Einstellung oder Regelung des ersten Array-Bereichs (12a) für einen oberen Bildbereich (15a) eine kürzere Integrationszeit der Imager-Pixel (Pij) für eine Verkehrszeichenerkennung regelt und in dem zweiten Register (14b) zur Einstellung oder Regelung des zweiten Array-Bereichs (12b) für einen unteren Bildbereich (15b) eine größere Integrationszeit der Imager-Pixel (Pij) für eine Spurerkennung regelt.
Kameraanordnung (7) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Kameraanordnung eine horizontale Trennlinie (16) zur vertikalen Unterteilung des Pixel-Arrays (12) in einen oberen Array-Bereich (12a) und einen unteren Array-Bereich (12b) in Abhängigkeit von den aufgenommenen Bildsignalen (S1) oder einer Auswertung der aufgenommenen Bildsignale (S1) einstellt.
Kameraanordnung nach Anspruch 9, dadurch gekennzeichnet, dass die Steuereinrichtung (10) die horizontale Trennlinie (16) etwa im Bereich eines ermittelten Horizontes des erfassten Bildes (15) einstellt.
Verfahren zur Regelung eines Imager-Halbleiterbauelementes (8), bei dem verschiedene Array-Bereiche (12a, 12b) eines Pixel-Arrays (12) eines Imager-Halbleiterbauelementes (8) mit verschiedenen Kameraparametern geregelt werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass unterschiedliche Kameraparameter-Signale (S2) in mindestens zwei verschiedene, beschreibbare Register (14a, 14b) zur Regelung der Array-Bereiche (12a, 12b) gespeichert werden.
Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass in einem ersten Array-Bereich (12a) für einen oberen Bildbereich (15a) einer erfassten Straßenszene die Imager-Pixel (Pij) mit einer kürzeren Integrationszeit, insbesondere für eine Verkehrszeichenerkennung, und in einem zweiten Array-Bereich (12b) für einen unteren Bildbereich (15b) die Imager-Pixel (Pij) mit einer längeren Integrationszeit, insbesondere für eine Spurerkennung, geregelt werden.