-
Die vorliegende Erfindung betrifft Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung sowie entsprechende digitale Stereokameraanordnungen. Die vorliegende Erfindung betrifft insbesondere Bildverarbeitungsverfahren, um mithilfe der digitalen Stereokameraanordnung eine Entfernung zwischen einem Objekt und der digitalen Stereokameraanordnung zu bestimmen.
-
Bei zahlreichen Anwendungen im Bereich von Fahrerassistenzsystemen für Fahrzeuge, wie z.B. Personenkraftwagen oder Lastkraftwagen, ist eine Entfernung zu Objekten außerhalb des Fahrzeugs zu bestimmen. Um neben einer Bildinformation auch eine Entfernungsinformation zu erhalten, kann beispielsweise eine Stereokamera verwendet werden. Analog zur menschlichen Wahrnehmung wird hierbei mit zwei nebeneinander angeordneten Kameras oder Bildsensoren eine Tiefeninformation einer Szene bestimmt. Durch den Abstand der beiden Bildsensoren (Basisbreite) wird ein Objekt aus zwei unterschiedlichen Perspektiven aufgenommen. Dies führt zu einer Verschiebung in der Abbildung. Ein Abstand zwischen der Abbildung desselben Objekts in den Abbildungen der beiden Bildsensoren wird als Disparität bezeichnet und ist ein Maß für die Entfernung des Objekts zu der Stereokamera. Je größer die Disparität, umso näher ist das Objekt, und umgekehrt ist das Objekt umso weiter weg, je kleiner die Disparität ist. Für die Entfernungsbestimmung ist eine sehr genaue Disparitätsbestimmung erforderlich. Als Bildsensoren können beispielsweise so genannte Charge Coupled Devices (CCD) verwendet werden, welche eine matrixförmige Anordnung von einer Vielzahl von lichtempfindlichen Sensorelementen aufweisen, um eine Abbildung des Objekts in Form einer Menge von Bildpunkten, denen jeweils ein Helligkeitswert und/oder Farbwert zugeordnet sein kann, bereitzustellen. Bei vielen Anwendungen, wie z.B. Fahrerassistenzsystemen, ist neben der Entfernung zu den Objekten auch eine Farbinformation nützlich oder hilfreich. Daher können als Bildsensoren Farbbildsensoren verwendet werden, welche beispielsweise mittels Filtern den Sensorelementen jeweils nur Licht in bestimmten Wellenlängenbereichen zuführen. Den Sensorelementen können beispielsweise jeweils entweder ein Rotfilter, ein Grünfilter oder ein Blaufilter zugeordnet werden. Bei üblichen Farbbildsensoren werden den Sensorelementen mittels der Filter beispielsweise die Farben Rot, Grün und Blau in einem so genannten Bayer-Muster zugeordnet. Die Farbfilter können Artefakten hervorrufen, welche zu einer effektiven Auflösungsverringerung führen, wodurch die Disparitätsbestimmung und somit die Entfernungsbestimmung beeinträchtigt werden können.
-
In diesem Zusammenhang beschreibt die
DE 60 2004 012 353 T2 ein infrarotes Nachtsichtgerät zum Erstellen von Farbbildern. Ein System zum Erkennen einer Straßenszene bei Nacht für Kraftfahrzeuge umfasst wenigstens eine Projektionsvorrichtung, die ein Infrarotlicht in Richtung der Straßenszene aussendet, und einen ersten Sensor zum Erfassen eines ersten Bildes der Straßenszene. Der erste Sensor ist ein Farbsensor, welcher im Wesentlichen Strahlung im sichtbaren Bereich erfasst. Das System erfasst weiterhin einen zweiten Monochromsensor zur Erfassung eines zweiten Infrarotbildes der Straßenszene. Das erste Bild ist ein Bild mit realen Farben im sichtbaren Bereich und das zweite Bild ist ein monochromes Bild im Infrarotbereich. Ein Verarbeitungsmittel kombiniert das erste Bild mit dem zweiten Bild.
-
Die
US 7 385 680 B2 betrifft ein Kameramodul. Mehrere Linsen des Kameramoduls, mehrere Wellenlängenauswahlbereiche, welche jeweils mindestens ein optisches Filter aufweisen, und mehrere Bildgebungsbereiche werden in einer Eins-zu-Eins-Beziehung angeordnet. Mindestens zwei der mehreren Wellenlängenauswahlbereiche übertragen Licht in mindestens einem Wellenlängenband aus Infrarotlicht, rotem Licht, grünem Licht und blauem Licht. Eine Entfernung zu einem Objekt wird auf der Grundlage von mindestens zwei Teilen einer Bildinformation berechnet, welche von mindestens zwei Bildgebungsbereichen ausgegeben werden, welche den mindestens zwei Wellenlängenauswahlbereichen entsprechen.
-
Die
US 5 001 558 A betrifft ein Nachtsichtsystem mit einer Farbvideokamera. Eine Infrarotbildgebungsvorrichtung und eine Farbkamera betrachten die gleiche Szene und geben Ausgangssignale aus, welche für einen Farbmonitor gemischt und zu diesem ausgegeben werden, sodass eine Szene bei Nacht in einem Schwarz/Weißformat sichtbar ist, wobei warme Objekte dunkel erscheinen und helle Farben, wie z.B. Lichter, in einer natürlichen Farbe erscheinen, welche dem Schwarz/Weißbild überlagert wird.
-
Die
EP 2 522 951 A1 offenbart eine Stereokameravorrichtung, bei der ein Stereobild von einem Objekt erfasst wird und eine Korrespondenzpunktsuche zwischen den Bildern des Stereobildes durchgeführt wird. Ferner wird eine repräsentative Wellenlänge des Lichts und ein Parameterwert, welcher der repräsentativen Wellenlänge entspricht, ermittelt. Dreidimensionale Informationen über das Objekt werden dann aus dem Ergebnis der Punktsuche unter Verwendung des Parameterwerts ermittelt.
-
Die
WO 2012/ 051 720 A2 beschreibt ein Videobildgebungssystem, bei dem mit einer ersten Kamera zwei Farbbilder mit geringer Auflösung und mit einer zweiten Kamera vier monochromatische Bilder mit hoher Auflösung erfasst werden, wobei die erfassten Bilder weiterverarbeitet und im Anschluss fusioniert werden. Die
DE 10 2007 034 608 A1 betrifft ein Kamerasystem mit einer Kamera und einem einzelnen Bildsensor. Der Bildsensor ist hierbei so ausgestaltet, dass in zwei benachbarten Zeilen die erste Zeile abwechselnd lichtempfindliche Elemente mit einem Blaufilter und lichtempfindliche Elemente mit einem Rotfilter aufweist und die zweite Zeile lichtempfindliche Elemente ohne einen Farbfilter aufweist.
-
Die
DE 10 2008 035 150 A1 betrifft ein Stereokamerasystem mit mindestens zwei Bilderfassungssensoren, die fest mit einer Platine verbunden sind, wobei die Bilderfassungssensoren einen durch die Platine festgelegten Abstand zueinander haben.
-
-
Aufgabe der vorliegenden Erfindung ist es, eine möglichst genaue Entfernungsinformation und gleichzeitig eine Farbbildinformation einer Szene oder eines Objekts bereitzustellen.
-
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung nach Anspruch 1, eine digitale Stereokameraanordnung nach Anspruch 7 und ein Fahrzeug nach Anspruch 9 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.
-
Gemäß der vorliegenden Erfindung wird ein Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung bereitgestellt. Die digitale Stereokameraanordnung umfasst einen ersten Bildsensor und einen zweiten Bildsensor. Der erste Bildsensor und der zweite Bildsensor können beabstandet zueinander in einer gemeinsamen Bildebene angeordnet sein. Der erste Bildsensor umfasst erste Farbsensorelemente, zweite Farbsensorelemente und Gesamtspektrumsensorelemente. Die ersten Farbsensorelemente dienen zur Erfassung einer Lichtintensität in einem vorgegebenen ersten Wellenlängenbereich und die zweiten Farbsensorelemente dienen zur Erfassung einer Lichtintensität innerhalb eines vorgegebenen zweiten Wellenlängenbereichs, welcher unterschiedlich zu dem ersten Wellenlängenbereich ist. Der zweite Bildsensor umfasst zumindest Gesamtspektrumsensorelemente. Die Gesamtspektrumsensorelemente sind nicht farbselektiv und dienen zur Erfassung der Lichtintensität im gesamten sichtbaren Spektrum. Anders ausgedrückt, umfasst der erste Bildsensor Farbsensorelemente, welche zur Erfassung unterschiedlicher Farben ausgestaltet sind, beispielsweise Sensorelemente zur Erfassung von rotem Licht und Sensorelemente zur Erfassung von blauem Licht. Hierbei ist bei dem ersten Bildsensor jeweils ein Gesamtspektrumsensorelement benachbart zu einem der ersten Farbsensorelemente und einem der zweiten Farbsensorelemente angeordnet, wobei eines dieser beiden Farbsensorelemente unmittelbar über dem Gesamtspektrumsensorelement und das andere dieser beiden Farbsensorelemente unmittelbar unter dem Gesamtspektrumsensorelement angeordnet ist. Der erste Bildsensor kann beispielsweise dadurch realisiert werden, dass den einzelnen Farbsensorelementen entsprechende Farbfilter zugeordnet sind, wohingegen bei dem ersten und dem zweiten Bildsensor den Gesamtspektrumsensorelementen keine Farbfilter zugeordnet sind. Die Farbfilter können derart ausgestaltet sein, dass sie nur Licht innerhalb des ersten bzw. zweiten Wellenlängenbereichs passieren lassen. In Abhängigkeit von den Signalen der Gesamtspektrumsensorelemente des ersten Bildsensors und des zweiten Bildsensors wird eine Entfernung zwischen einem Objekt und der digitalen Stereokameraanordnung bestimmt. Mittels der Informationen der Farbsensorelemente wird eine Farbinformation des Objekts bereitgestellt, wobei eine Lichtintensität innerhalb eines dritten Wellenlängenbereichs, welcher unterschiedlich zu dem ersten und dem zweiten Wellenlängenbereich ist, in Abhängigkeit von den erfassten Lichtintensitäten jeweils übereinander angeordneter erster Farbsensorelemente, zweiter Farbsensorelemente und Gesamtspektrumsensorelemente des ersten Bildsensors bestimmt wird.
-
Bei dem Verfahren wird eine erste Abbildung eines Objekts oder einer Szene mit dem ersten Bildsensor erfasst und eine zweite Abbildung des Objekts mit dem zweiten Bildsensor erfasst. Die erste Abbildung umfasst daher eine Farbinformation des Objekts und die zweite Abbildung lediglich eine so genannte Schwarzweißinformation des Objekts. Eine Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung wird in Abhängigkeit von der ersten Abbildung und der zweiten Abbildung bestimmt. Anders ausgedrückt wird die Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung durch Auswerten eines Farbbildes des ersten Bildsensors und eines Schwarzweißbildes des zweiten Bildsensors bestimmt. Wenn der erste Bildsensor und der zweite Bildsensor eine im Wesentlichen gleiche physikalische Auflösung aufweisen, hat der erste Bildsensor aufgrund von Filtern und Farbartefakten eine geringere effektiv nutzbare Auflösung als der zweite Bildsensor. Da die effektive Auflösung der zweiten Abbildung (Schwarzweißbild) verglichen mit der Auflösung einer entsprechenden Farbaufnahme erheblich höher ist, kann die Entfernung zu dem Objekt beispielsweise über eine Disparitätsbestimmung zwischen der ersten Abbildung und der zweiten Abbildung sehr genau bestimmt werden. Eine Farbinformation des Objekts kann von der ersten Abbildung bereitgestellt werden. Dadurch kann mit nur einer digitalen Stereokameraanordnung sowohl eine genaue Entfernungsbestimmung durchgeführt werden als auch eine Farbinformation der erfassten Szene bereitgestellt werden.
-
Der erste Bildsensor kann ferner dritte Farbsensorelemente umfassen, welche zur Erfassung der Lichtintensität in einem vorgegebenen dritten Wellenlängenbereich ausgestaltet sind, welcher unterschiedlich zu dem ersten und zweiten Wellenlängenbereich ist. Somit kann der erste Bildsensor beispielsweise Farbsensorelemente für die Farben Rot, Grün und Blau umfassen. Der erste Bildsensor kann auch zur Erfassung anderer Farben ausgestaltet sein, beispielsweise zur Erfassung von Zyan oder Magenta. Dadurch kann eine geeignete Farbinformation des erfassten Objekts bereitgestellt werden.
-
Gemäß einer Ausführungsform werden zur Erfassung der ersten Abbildung Signale von den ersten, zweiten und ggf. dritten Farbsensorelementen des ersten Bildsensors mit einer ersten Verstärkung verstärkt und zur Erfassung der zweiten Abbildung Signale von den Gesamtspektrumsensorelementen des zweiten Bildsensors mit einer zweiten Verstärkung verstärkt. Die zweite Verstärkung ist unterschiedlich zu der ersten Verstärkung. Dadurch kann eine durch die Farbfilter reduzierte Bildintensität der Signale des ersten Bildsensors kompensiert werden.
-
Gemäß der Erfindung umfasst der erste Bildsensor ferner Gesamtspektrumsensorelemente, welche zur Erfassung der Lichtintensität zumindest innerhalb des vorgegebenen ersten Wellenlängenbereichs und des vorgegebenen zweiten Wellenlängenbereichs ausgestaltet sind. Eine Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung kann dann in Abhängigkeit von einem auf den Gesamtspektrumsensorelementen des ersten Bildsensors basierenden Teil der ersten Abbildung und der zweiten Abbildung bestimmt werden. Dadurch kann die Genauigkeit der Entfernungsbestimmung weiter verbessert werden.
-
Ein Gesamtspektrumsensorelement des ersten Bildsensors ist ferner benachbart zu einem der ersten Farbsensorelemente und einem der zweiten Farbsensorelemente des ersten Bildsensors angeordnet. In Abhängigkeit von den erfassten Lichtintensitäten des ersten Farbsensorelements, des zweiten Farbsensorelements und des Gesamtspektrumsensorelements des ersten Bildsensors wird dann eine Lichtintensität innerhalb eines dritten Wellenlängenbereichs bestimmt, welcher unterschiedlich zu dem ersten und dem zweiten Wellenlängenbereich ist. Wenn beispielsweise das erste Farbsensorelement und das zweite Farbsensorelement für rotes bzw. blaues Licht sensitiv sind, kann eine Grünkomponente des Lichts, welches im Bereich des ersten Farbsensorelements, des zweiten Farbsensorelements und des benachbarten Gesamtspektrumsensorelements einfällt, bestimmt werden, indem von der Lichtintensität des Gesamtspektrumsensorelements die Lichtintensität des ersten Farbsensorelements und die Lichtintensität des zweiten Farbsensorelements abgezogen wird. Somit kann die zuvor beschriebene hohe Genauigkeit der Entfernungsbestimmung sichergestellt werden und darüber hinaus eine Farbinformation des Objekts über ein weites Farbspektrum, welches beispielsweise eine Rotkomponente, eine Blaukomponente und die zuvor beschriebene berechnete Grünkomponente umfasst, bereitgestellt werden.
-
Die ersten Farbsensorelemente, die zweiten Farbsensorelemente und die Gesamtspektrumsensorelemente des ersten Bildsensors können in mehreren Zeilen angeordnet sein. Eine der mehreren Zeilen umfasst dabei entweder nur Gesamtspektrumsensorelemente oder gar keine Gesamtspektrumsensorelemente, sondern nur Farbsensorelemente. Da zur Abstandsbestimmung insbesondere eine horizontale Auflösung der Bildsensoren möglichst hoch sein sollte, um eine genaue Disparitätsbestimmung durchführen zu können, ist es vorteilhaft, in dem ersten Bildsensor beispielsweise abwechselnd Zeilen mit nur Gesamtspektrumsensorelementen und Zeilen mit nur Farbsensorelementen anzuordnen. Die Zeilen mit nur den Gesamtspektrumsensorelementen können in Kombination mit der Abbildung von dem zweiten Bildsensor zur Bestimmung der Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung verwendet werden und liefern eine sehr genaue Entfernungsinformation. Die Farbsensorelemente können, wie zuvor beschrieben, in Verbindung mit den Gesamtspektrumsensorelementen eine Vollspektrumfarbinformation bereitstellen.
-
Es kann ein kostengünstiger und handelsüblicher Schwarzweißbildsensor als der zweite Bildsensor verwendet werden, wodurch die Stereokameraanordnung entsprechend preisgünstig realisiert werden kann.
-
Gemäß einer weiteren Ausführungsform umfasst der zweite Bildsensor zusätzlich zu den Gesamtspektrumsensorelementen auch erste und zweite Farbsensorelemente, welche zur Erfassung einer Lichtintensität innerhalb des vorgegebenen ersten Wellenlängenbereichs und des vorgegebenen zweiten Wellenlängenbereichs ausgestaltet sind. Wenn sowohl der erste als auch der zweite Bildsensor sowohl Farbsensorelemente als auch Gesamtspektrumsensorelemente aufweist, kann die Stereokameraanordnung mit zwei identischen Bildsensoren aufgebaut werden, wodurch die Kosten für die Stereokameraanordnung verringert werden können. Darüber hinaus können in diesem Fall sowohl der erste Bildsensor als auch der zweite Bildsensor zur Farbinformation des Objekts beitragen.
-
Der erste Bildsensor und der zweite Bildsensor können jeweils Sensorelemente, welche zur Erfassung von Licht nur innerhalb eines bestimmten Wellenlängenbereichs ausgestaltet sind, sowie Sensorelemente, welche beispielsweise das gesamte Spektrum des sichtbaren Lichts erfassen können umfassen. Auf der Grundlage der Signale von den Gesamtspektrumsensorelementen wird eine Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung beispielsweise über eine Disparität bestimmt. Mittels der Informationen der Farbsensorelemente kann zusätzlich eine Farbinformation des Objekts von jedem der Bildsensoren bereitgestellt werden. Da die effektive Auflösung der Gesamtspektrumsensorelemente, wenn sie beispielsweise in gesonderten Zeilen mit nur Gesamtspektrumsensorelementen angeordnet sind, erheblich höher ist als die effektive Auflösung der Farbsensorelemente und darüber hinaus frei von spektralen Artefakten sind, kann die Entfernung auf der Grundlage der Gesamtspektrumsensorelemente mit einer hohen Genauigkeit bestimmt werden.
-
Die Farbsensorelemente können beispielsweise realisiert werden, indem geeignete Farbfilter den entsprechenden Farbsensorelementen zugeordnet werden.
-
Gemäß der vorliegenden Erfindung wird weiterhin eine digitale Stereokameraanordnung bereitgestellt, welche einen ersten Bildsensor, einen zweiten Bildsensor und eine Verarbeitungseinheit umfasst. Der erste Bildsensor und der zweite Bildsensor können beispielsweise beabstandet zueinander in einer gemeinsamen Bilderfassungsebene angeordnet sein. Der erste Bildsensor umfasst erste Farbsensorelemente, zweite Farbsensorelemente und Gesamtspektrumsensorelemente. Die ersten Farbsensorelemente sind zur Erfassung einer Lichtintensität innerhalb eines vorgegebenen ersten Wellenlängenbereichs ausgestaltet und die zweiten Farbsensorelemente sind zur Erfassung einer Lichtintensität innerhalb eines vorgegebenen zweiten Wellenlängenbereichs ausgestaltet. Der zweite Wellenlängenbereich ist unterschiedlich zu dem ersten Wellenlängenbereich. Der zweite Bildsensor umfasst zumindest Gesamtspektrumsensorelemente. Die Gesamtspektrumsensorelemente sind nicht farbselektiv und dienen zur Erfassung der Lichtintensität im gesamten sichtbaren Spektrum . Hierbei ist bei dem ersten Bildsensor jeweils ein Gesamtspektrumsensorelement benachbart zu einem der ersten Farbsensorelemente und einem der zweiten Farbsensorelemente angeordnet, wobei eines dieser beiden Farbsensorelemente unmittelbar über dem Gesamtspektrumsensorelement und das andere dieser beiden Farbsensorelemente unmittelbar unter dem Gesamtspektrumsensorelement angeordnet ist, Die Verarbeitungseinheit ist mit dem ersten und zweiten Bildsensor gekoppelt und in der Lage, in Abhängigkeit von den Signalen der Gesamtspektrumsensorelemente des ersten Bildsensors und des zweiten Bildsensorseine Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung zu bestimmen, und mittels der Informationen der Farbsensorelemente eine Farbinformation des Objekts bereitzustellen, wobei eine Lichtintensität innerhalb eines dritten Wellenlängenbereichs, welcher unterschiedlich zu dem ersten und dem zweiten Wellenlängenbereich ist, in Abhängigkeit von den erfassten Lichtintensitäten jeweils übereinander angeordneter erster Farbsensorelemente, zweiter Farbsensorelemente und Gesamtspektrumsensorelemente des ersten Bildsensors bestimmt wird. Der zweite Bildsensor kann beispielsweise ein Schwarzweißbildsensor sein. Der erste Bildsensor weist auch Zeilen ohne Farbfilter auf, sodass die Sensorelemente in diesen Zeilen ebenfalls Gesamtspektrumsensorelemente darstellen.
-
Umfasst der zweite Bildsensor ebenfalls die zuvor beschriebenen ersten Farbsensorelemente, zweiten Farbsensorelemente und Gesamtspektrumsensorelemente, so kann. die Entfernung basierend auf nur einem Teil der ersten Abbildung und einem Teil der zweiten Abbildung bestimmt werden, nämlich auf dem Teil der jeweiligen Abbildung, welcher auf der Grundlage der Gesamtspektrumsensorelemente des jeweiligen Bildsensors erfasst wurde. Beide Bildsensoren können beispielsweise Sensorelemente mit Farbfiltern und Sensorelemente ohne Farbfilter aufweisen, Informationen der Gesamtspektrumsensorelemente werden insbesondere für die Bestimmung der Entfernung zwischen dem Objekt und der digitalen Stereokameraanordnung verwendet. Daher sind die Gesamtspektrumsensorelemente vorzugsweise in eigenen Zeilen in den jeweiligen Bildsensoren angeordnet. Darüber hinaus sind diese Zeilen von Gesamtspektrumsensorelementen vorzugsweise in beiden Bildsensoren jeweils auf einer gleichen Bildhöhe angeordnet, sodass eine Disparitätsbestimmung auf einfache Art und Weise durchgeführt werden kann.
-
Schließlich wird gemäß der vorliegenden Erfindung ein Fahrzeug mit einer Stereokameraanordnung, wie sie zuvor beschrieben wurde, bereitgestellt.
-
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung im Detail beschrieben werden.
- 1 zeigt schematisch eine Anordnung von Farbsensorelementen in einem Bildsensor gemäß einer Ausführungsform der vorliegenden Erfindung.
- 2 zeigt eine Anordnung von Farbsensorelementen und Gesamtspektrumsensorelementen in einem Bildsensor gemäß einer Ausführungsform der vorliegenden Erfindung.
- 3 zeigt eine Anordnung von Gesamtspektrumsensorelementen in einem Bildsensor gemäß einer Ausführungsform der vorliegenden Erfindung.
- 4 zeigt eine digitale Stereokameraanordnung gemäß einer Ausführungsform der vorliegenden Erfindung.
- 5 zeigt ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Eine Stereokameraanordnung kann verwendet werden, um sowohl eine Bildinformation als auch eine Entfernungsinformation bezüglich eines Objekts oder einer Szene zu erhalten. Bei einer Stereokameraanordnung nehmen zwei beabstandet nebeneinander angeordnete Bildsensoren gleichzeitig stereoskopische Abbildungen des Objekts oder der Szene auf. Durch den Abstand der beiden Bildsensoren wird ein Objekt mit zwei unterschiedlichen Perspektiven aufgenommen, was zu einer unterschiedlichen Abbildung des Objekts in den stereoskopischen Abbildungen führt. Der Abstand zwischen der Abbildung desselben Objekts in den beiden stereoskopischen Abbildungen wird als Disparität bezeichnet und ist ein Maß für die Entfernung zu dem Objekt.
-
Zur digitalen Bilderfassung werden üblicherweise Bildsensoren verwendet, welche eine Vielzahl von Sensorelementen aufweisen. Dabei wird grundsätzlich zwischen sogenannten Farbbildsensoren, welche eine Farbbildinformation liefern, und Schwarz-Weiß-Bildsensoren, welche nur Grauwertinformationen liefern, unterschieden. Farbbildsensoren umfassen eine Vielzahl von Sensorelementen, welche jeweils zur Erfassung nur eines bestimmten Farbspektrumbereichs ausgestaltet sind. Dies kann beispielsweise durch Anordnen von entsprechenden Filtern vor den Farbsensorelementen erreicht werden. Ein Farbbildsensor kann beispielsweise drei unterschiedliche Arten von Farbsensorelementen umfassen, beispielsweise Farbsensorelemente für rotes Licht, Farbsensorelemente für grünes Licht und Farbsensorelemente für blaues Licht. Diese Farbsensorelemente können in einem sogenannten Bayer-Pattern angeordnet sein. 1 zeigt einen Ausschnitt eines derartigen Farbbildsensors 10 mit Farbsensorelementen für rotes Licht R, Farbsensorelementen für grünes Licht G und Farbsensorelementen für blaues Licht B, welche in einem Bayer-Muster angeordnet sind.
-
Schwarz-Weiß-Bildsensoren umfassen ebenfalls eine Vielzahl von Sensorelementen, welche jedoch jeweils zur Erfassung eines Helligkeitswertes über beispielsweise das gesamte Spektrum des sichtbaren Lichts ausgestaltet sind. Die Sensorelemente des Schwarz-Weiß-Bildsensors sind daher alle gleichartig aufgebaut. Nachfolgend werden Sensorelemente des Schwarz-Weiß-Bildsensors auch als Gesamtsprekturmsensorelemente bezeichnet. 3 zeigt einen Ausschnitt eines Schwarz-Weiß-Bildsensors 30, wobei jedes Kästchen ein Gesamtspektrumsensorelement darstellt.
-
Für die oben genannte Entfernungsbestimmung mittels einer Stereokameraanordnung ist eine sehr genaue Disparitätsbestimmung erforderlich. Aus diesem Grund sind herkömmliche Farbbildsensoren mit beispielsweise dem oben beschriebenen Bayer-Muster schlechter als Schwarz-Weiß-Bildsensoren bei vergleichbarer Anzahl von Sensorelementen. Bei den Farbbildsensoren führen insbesondere die Farbfilter zu Artefakten, welche zu einer effektiven Auflösungsverringerung führen können. Andererseits ist bei einer Vielzahl von Anwendungen auch eine Farbinformation nützlich, welche von einem Schwarz-Weiß-Bildsensor jedoch nicht bereitgestellt werden kann.
-
Da bei Stereokameraanordnungen die beiden Bildsensoren nebeneinander angeordnet sind, ist insbesondere eine hohe horizontale Auflösung für eine genaue Disparitätsbestimmung erforderlich. Um dies zu erreichen, werden nachfolgend verschiedene Stereokameraanordnungen beschrieben, welche den zuvor beschriebenen Farbbildsensor 10, den zuvor beschriebenen Schwarz-Weiß-Bildsensor 30 und/oder den nachfolgend beschriebenen Teilfarbbildsensor 20 umfassen.
-
2 zeigt einen Ausschnitt eines Teilfarbbildsensors 20. Der Teilfarbbildsensor 20 umfasst Zeilen mit Farbsensorelementen und Zeilen mit Gesamtspektrumsensorelementen. Die Zeilen mit Farbsensorelementen und Gesamtspektrumsensorelementen können sich beispielsweise abwechseln. In den Zeilen mit den Farbsensorelementen können beispielsweise Farbsensorelemente für zwei oder mehr unterschiedliche Wellenlängenbereiche angeordnet sein. Realisiert werden kann ein derartiger Teilfarbbildsensor beispielsweise indem eine Farbfilteranordnung so gewählt wird, dass jede zweite Sensorelementzeile frei von Farbfiltern bleibt. In dem in 2 gezeigten Teilfarbbildsensor umfassen die Zeilen mit Farbsensorelementen Farbsensorelemente für blaues Licht B und rotes Licht R. Zusätzlich können auch Farbsensorelement zur Erfassung von grünem Licht in den Zeilen mit den Farbsensorelementen angeordnet werden. Die Grünkomponente kann jedoch auch bestimmt werden, indem von einem Gesamtspektrumsensorelement der Wert der benachbarten Rot- und Blau-Farbsensorelemente abgezogen wird. Die in 2 gezeigte Anordnung von Gesamtspektrumsensorelementen und Farbsensorelementen ist für eine derartige Farbrekonstruktion besonders geeignet, da hierbei die Gesamtspektrumsensorelemente jeweils sowohl zu einem Rot-Farbsensorelement R als auch zu einem Blau-Farbsensorelement B benachbart sind.
-
4 zeigt schematisch eine Stereokameraanordnung 40, welche einen ersten Bildsensor 41, einen zweiten Bildsensor 42 und eine Verarbeitungseinheit 43 umfasst. Die Verarbeitungseinheit 43 ist mit den Bildsensoren 41, 42 gekoppelt und ausgestaltet, eine erste Abbildung eines Objekts 44 mit dem ersten Bildsensor 41 und eine zweite Abbildung des Objekts 44 mit dem zweiten Bildsensor 42 zu erfassen. Auf der Grundlage der ersten und zweiten Abbildung ist die Verarbeitungseinheit 43 in der Lage, einen Abstand 45 zwischen den Bildsensoren 41, 42 und dem Objekt 44 über eine stereoskopische Auswertung zu bestimmen.
-
Nachfolgend werden verschiedene Ausführungsformen beschrieben werden, welche unterschiedliche Kombinationen von ersten und zweiten Bildsensoren 41, 42 verwenden.
-
Bei einer ersten Ausführungsform wird als erster Bildsensor 41 ein Teilfarbbildsensor 20 und als zweiter Bildsensor 42 ein weiterer Teilfarbbildsensor 20 verwendet. Wie zuvor beschrieben, kann auch mit den Teilfarbbildsensoren 20 ein Vollfarbbild rekonstruiert werden, indem die Grünkomponente bestimmt wird, indem von jeweils einem Gesamtspektrumsensorelement der Wert der benachbarten Rot- und Blau-Farbsensorelemente gezogen wird. Dadurch dass jede zweite Zeile frei von Farbfiltern ist, und somit Gesamtspektrumsensorelemente zur Verfügung stellt, stehen ein vertikal unterabgetastetes Schwarz-Weiß-Bild und ein horizontal vollabgetastetes Schwarz-Weiß-Bild zur Verfügung. Durch das horizontal vollabgetastete Schwarz-Weiß-Bild kann eine sehr genaue Disparitätsbestimmung durchgeführt werden, wodurch eine entsprechend genaue Bestimmung der Entfernung 45 zu dem Objekt 44 bestimmt werden kann. Alternativ zu dem gezeigten Beispiel mit roten und blauen Farbsensorelementen R, B sind auch z.B. Cyan- und Magenta-Farbsensorelemente oder andere Farbkombinationen möglich. Es ist auch möglich, in den Zeilen mit Farbsensorelementen einige Gesamtspektrumsensorelemente vorzusehen. Entscheidend ist, dass es Zeilen gibt, welche zumindest in für die Disparitätsschätzung relevanten Bereichen nur Gesamtspektrumsensorelemente aufweisen, d.h. Zeilen, welche frei von Farbfiltern sind. Vorzugsweise kann jede zweite Zeile Gesamtspektrumsensorelemente aufweisen, aber auch andere Anordnungen, bei denen beispielsweise nur jede dritte Zeile nur mit Gesamtspektrumsensorelementen versehen ist, sind möglich.
-
Bei einer zweiten Ausführungsform ist der erste Bildsensor 41 ein Teilfarbbildsensor 20 und der zweite Bildsensor 42 ein Schwarz-Weiß-Bildsensor 30. Für die Disparitätsbestimmung ist es wichtig, dass eine Zeile mit nur Gesamtspektrumsensorelemente, eine sogenannte Schwarz-Weiß-Bildzeile, in dem ersten Bildsensor 41 mit einer entsprechenden Schwarz-Weiß-Bildzeile in den zweiten Bildsensor 42 der Stereokameraanordnung korrespondiert, d.h. auf gleicher Höhe liegt. Aufgrund von Fertigungstoleranzen lässt sich dies aber nicht immer sicherstellen, wenn, wie in der ersten Ausführungsform beschrieben, zwei Teilfarbbildsensoren für die Stereokameraanordnung 40 verwendet werden. Daher wird in dieser zweiten Ausführungsform ein Teilfarbbildsensor mit einem Schwarz-Weiß-Bildsensor kombiniert, so dass es zu den Schwarz-Weiß-Bildzeilen im Teilfarbbildsensor auf jeden Fall korrespondierende Schwarz-Weiß-Bildzeilen im Schwarz-Weiß-Bildsensor gibt.
-
Sehr kleine farbige Objekte, beispielsweise rote Rücklichter eines vorausfahrenden Fahrzeugs in großer Entfernung, können mit jedem beliebigen Gesamtspektrumsensorelement des Schwarz-Weiß-Bildsensors detektiert werden. Im Gegensatz dazu sind bei Farbbildsensoren nur bestimmte Farbsensorelemente mit der entsprechenden Farbzuordnung dazu in der Lage. Beispielsweise sind bei einem Farbbildsensor rote Objekte oder rote Lichter nicht mit allen Farbsensorelementen erfassbar, da beispielsweise entsprechende Grün-Filter oder Blau-Filter dieses Licht bei Grün-Farbsensorelementen oder Blau-Farbsensorelementen herausfiltern. Dies kann insbesondere bei der Erkennung von Rücklichtern von weit entfernten Fahrzeugen unerwünscht sein. Dadurch, dass bei dieser zweiten Ausführungsform ein Schwarz-Weiß-Bildsensor in der Stereokameraanordnung 40 verwendet wird, können auch sehr kleine rote Rücklichter zuverlässig erfasst werden. Durch den Farbbildsensor kann parallel eine zuverlässige Farbbestimmung durchgeführt werden.
-
Schließlich kann durch die Kombination von einem Schwarz-Weiß-Bildsensor und einem Teilfarbbildsensor ein hochaufgelöstes Schwarz-Weiß-Bild für bestimmte Bildverarbeitungsverfahren, wie z.B. eine Kantendetektion oder eine Objektverfolgung, zur Verfügung gestellt werden. Gleichzeitig kann die Farbinformation als weiteres Objektmerkmal genutzt werden.
-
Bei einer dritten Ausführungsform wird als erster Bildsensor 41 ein Farbbildsensor 10 und als zweiter Bildsensor 42 ein Schwarz-Weiß-Bildsensor 30 verwendet. Aus den von den Bildsensoren 41 und 42 erfassten Abbildungen des Objekts 44 lässt sich sowohl eine Helligkeitsinformation als auch eine Farbinformation bestimmen. Die Bestimmung der Entfernung 45 zwischen der Stereokameraanordnung 40 und dem Objekt 44 mittels einer Disparitätsbestimmung kann mit hoher Genauigkeit durchgeführt werden, indem beispielsweise aus der Abbildung des Farbbildsensors 41 ein entsprechendes Schwarz-Weiß-Bild erzeugt wird, welches in Kombination mit der Schwarz-Weiß-Abbildung des Schwarz-Weiß-Bildsensors 42 zur Paritätsbestimmung verwendet wird. Die Genauigkeit der Abstandsbestimmung verringert sich nur geringfügig gegenüber einer Verwendung von zwei Schwarz-Weiß-Bildsensoren. Durch die Verwendung von sowohl einem Schwarz-Weiß-Bildsensor als auch einem Farbbildsensor können sehr kleine farbige Objekte, beispielsweise Rücklichter in großer Entfernung, auf jedem Bildpunkt zuverlässig detektiert werden. Mittels des Schwarz-Weiß-Bildsensors können die sehr kleinen roten Rücklichter erkannt und verfolgt werden. Mittels des Farbbildsensors kann parallel eine Farbbestimmung durchgeführt werden, sobald das Rücklicht auf ein entsprechendes rotes Farbsensorelement trifft. Weiterhin kann das Bild von dem Schwarz-Weiß-Bildsensor für Bildverarbeitungsverfahren verwendet werden, welche keine Farbinformationen benötigen, wie z.B. eine Kantendetektion oder eine Objektverfolgung, ein sogenanntes Tracking. Die Farbinformation kann dann als zusätzliches Objektmerkmal hinzugefügt werden.
-
5 zeigt ein Fahrzeug 50 mit der Stereokameraanordnung 40. Die Stereokameraanordnung 40 kann beispielsweise in einem vorderen Bereich des Fahrzeugs 50 angeordnet sein, um beispielsweise eine Szene vor dem Fahrzeug zu erfassen. Die Stereokameraanordnung 40 kann beispielsweise im Bereich eines Innenrückspiegels angeordnet sein. Die Stereokameraanordnung 40 kann beispielsweise für ein automatisches Abstandsregelungssystem verwendet werden, welches den Abstand zu einem vorausfahrenden Fahrzeug oder zu einem Hindernis vor dem Fahrzeug bestimmt und eine Fahrzeuggeschwindigkeit entsprechend anpasst, um eine Kollision mit dem vorausfahrenden Fahrzeug oder dem Hindernis zu vermeiden. Weitere Anwendungen der Stereokameraanordnung 40 sind denkbar, beispielsweise in Verbindung mit einer Einparkhilfe.
