DE112015001741T5

DE112015001741T5 - System und Verfahren für Nachtvisionsobjektdetektion und Fahrerassistenz

Info

Publication number: DE112015001741T5
Application number: DE112015001741.0T
Authority: DE
Inventors: Gregory Gerhard SCHAMP; Mario Joseph HADDAD; Michael John Higgins-Luthman; Truman SHEN
Original assignee: TK Holdings Inc
Current assignee: Joyson Safety Systems Acquisition LLC
Priority date: 2014-04-08
Filing date: 2015-04-08
Publication date: 2016-12-29
Also published as: US20150288948A1; WO2015157410A1; CN106132783A

Abstract

Ein Stereovisionssystem beinhaltet einen ersten Kamerasensor und einen zweiten Kamerasensor. Der erste Kamerasensor ist dazu konfiguriert, eine erste reflektierte Energie zu erfassen und erste Sensorsignale basierend auf der erfassten ersten reflektierten Energie zu erzeugen. Der zweite Kamerasensor ist dazu konfiguriert, eine zweite reflektierte Energie zu erfassen und zweite Sensorsignale basierend auf der erfassten zweiten reflektierten Energie zu erzeugen. Das Stereovisionssystem beinhaltet ferner einen Prozessor, der dazu konfiguriert ist, die ersten Sensorsignale von dem ersten Kamerasensor und die zweiten Sensorsignale von dem zweiten Kamerasensor zu empfangen. Der Prozessor ist dazu konfiguriert, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen durchzuführen. Der erste Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen. Der zweite Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht Priorität auf die und die Vorteile der vorläufigen US-Patentanmeldung mit der Nr. 61/976,930, eingereicht am 8. April 2014. Die vorstehende vorläufige Anmeldung wird vorliegend unter Bezugnahme in ihrer Gesamtheit aufgenommen.
HINTERGRUND
Die vorliegende Offenbarung bezieht sich allgemein auf das Gebiet von Stereovisionssystemen. Insbesondere bezieht sich die Offenbarung auf ein Stereovisionssystem mit Eigenschaften für einen verbesserten Betrieb bei schwachen Lichtbedingungen und auf Verfahren zum Detektieren und Verfolgen von Objekten bei schwachen Lichtbedingungen.
Ein Stereovisionssystem kann in ein Fahrzeug integriert sein, damit eine Sicht eines Bereiches vor dem Fahrzeug bei Nachtbedingungen und anderen schwachen Umgebungsbedingungen bereitgestellt wird, und kann mehrere Kamerasensoren beinhalten. Stereovisionssysteme können zum Detektieren von Objekten und Schätzen der Position von Objekten im Weg des Fahrzeugs in drei Dimensionen verwendet werden. Die Detektion und die Schätzung können von einer leicht unterschiedlichen Projektion der Objekte auf zwei Kamerasensoren, die mit einem horizontalen Versatz zwischen ihnen positioniert sind, erhalten werden. Der Unterschied zwischen den Bildern der beiden Sensoren wird horizontale Disparität genannt. Die Disparität ist die Informationsquelle für die dritte Dimension der Position.
Ein typisches Stereovisionssystem kann mit zwei identischen Kamerasensoren mit parallelen Ziellinienvektoren ausgestattet sein. Die beiden Kamerasensoren sind mit einem Versatz in einer Richtung positioniert, die orthogonal zu den Ziellinienvektoren ist. Dieser Versatz oder Abstand wird der Basislinienabstand genannt. Der Basislinienabstand und die Kollinearitätstoleranz zwischen den Ziellinien der beiden Visionssensoren wirkt sich auf die dreidimensionale Genauigkeit aus.
Ein Radar, beispielsweise ein Monopulsradar, ist typischerweise mit zwei Empfangs- und/oder zwei Sendeaperturen mit einem Ziellinienwinkel und einer relativen Positionierung ausgestattet, die auf eine ähnliche Art und Weise wie der oben beschriebene Stereovisionssensor ausgewählt werden. Bei einem Radar mit zwei Empfangsaperturen erreicht zum Beispiel die Rückstreuung von einem Ziel, die eine der Empfangsaperturen erreicht, typischerweise die andere Apertur mit einer leicht längeren oder kürzeren Rückweglänge. Der Unterschied in der Rückweglänge wird zum Berechnen des Winkels des Ziels hinsichtlich eines Referenzwinkels verwendet.
Wie die meisten Visionssysteme leiden Kamerasensoren für ein Stereovisionssystem unter nachteiliger Beleuchtung und nachteiligen Wetterbedingungen, wenn die Assistenz am meisten benötigt wird. Bei schwachen Lichtbedingungen, wie etwa zwischen Abend- und Morgendämmerung, kann das Timing der Kamerabelichtung erhöht werden. Infolgedessen kann die Integrität eines Bildes, das von zwei Kamerasensoren aufgenommen wird, hinreichend degradiert sein, so dass ein System oder ein Verfahren die horizontale Disparität zwischen den beiden Sensoren nicht bestimmen kann. Daher besteht ein Bedarf für ein System und ein Verfahren zum Messen der horizontalen Disparität zwischen Kamerasensoren bei schwachen Lichtbedingungen.
KURZDARSTELLUNG
Eine offenbarte Ausführungsform bezieht sich auf ein Stereovisionssystem zur Verwendung in einem Fahrzeug. Das Stereovisionssystem beinhaltet einen ersten Kamerasensor und einen zweiten Kamerasensor. Der erste Kamerasensor ist dazu konfiguriert, eine erste reflektierte Energie zu erfassen und erste Sensorsignale basierend auf der erfassten ersten reflektierten Energie zu erzeugen. Der zweite Kamerasensor ist dazu konfiguriert, eine zweite reflektierte Energie zu erfassen und zweite Sensorsignale basierend auf der erfassten zweiten reflektierten Energie zu erzeugen. Das Stereovisionssystem beinhaltet ferner einen Prozessor, der dazu konfiguriert ist, die ersten Sensorsignale von dem ersten Kamerasensor und die zweiten Sensorsignale von dem zweiten Kamerasensor zu empfangen. Der Prozessor ist dazu konfiguriert, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen durchzuführen. Der erste Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen. Der zweite Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen.
Eine andere offenbarte Ausführungsform bezieht sich auf ein Stereovisionssystem zur Verwendung in einem Fahrzeug. Das Stereovisionssystem beinhaltet einen ersten Kamerasensor, einen zweiten Kamerasensor und einen dritten Kamerasensor. Der erste Kamerasensor ist dazu konfiguriert, eine erste reflektierte Energie zu erfassen und erste Sensorsignale basierend auf der erfassten ersten reflektierten Energie zu erzeugen. Der zweite Kamerasensor ist dazu konfiguriert, eine zweite reflektierte Energie zu erfassen und zweite Sensorsignale basierend auf der erfassten zweiten reflektierten Energie zu erzeugen. Der dritte Kamerasensor ist dazu konfiguriert, eine dritte reflektierte Energie zu erfassen und dritte Sensorsignale basierend auf der erfassten dritten reflektierten Energie zu erzeugen. Das Stereovisionssystem beinhaltet ferner einen Prozessor, der dazu konfiguriert ist, die ersten Sensorsignale von dem ersten Kamerasensor, die zweiten Sensorsignale von dem zweiten Kamerasensor und die dritten Sensorsignale von dem dritten Kamerasensor zu empfangen. Der Prozessor ist ferner dazu konfiguriert, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und/oder den zweiten Sensorsignalen und/oder den dritten Sensorsignalen durchzuführen. Der erste Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine sichtbare Strahlung ist, zu erfassen. Der zweite Kamerasensor ist dazu konfiguriert, reflektierte Energie, die eine sichtbare Strahlung ist, zu erfassen. Der dritte Kamerasensor ist dazu konfiguriert, Energie, die eine Infrarotstrahlung ist, zu erfassen.
Eine noch andere offenbarte Ausführungsform bezieht sich auf ein Verfahren für Stereovision in einem Fahrzeug. Das Verfahren beinhaltet ein Erfassen einer ersten reflektierten Energie mittels eines ersten Kamerasensors; ein Erzeugen von ersten Sensorsignalen basierend auf der erfassten ersten reflektierten Energie; ein Erfassen einer zweiten reflektierten Energie mittels eines zweiten Kamerasensors; ein Erzeugen von zweiten Sensorsignalen basierend auf der erfassten zweiten reflektierten Energie und ein Durchführen einer Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen. Die erste reflektierte Energie ist eine Infrarotstrahlung. Die zweite reflektierte Energie ist eine Infrarotstrahlung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht einen Vergleich einer Stereoentfernungskarte, die durch ein Stereovisionssystem erzeugt wird, zwischen einem typischen Tagesszenario und einem typischen Nachtszenario.
2 veranschaulicht ein Stereokamerasystem des Stereovisionssystems, einschließlich einer linken Kamera und einer rechten Kamera.
3 ist ein Flussdiagramm eines Prozesses zum Detektieren, Verfolgen und Klassifizieren eines Objektes aus der Stereoentfernungskarte, die durch das Stereokamerasystem erzeugt wird; wobei die Stereoentfernungskarte unter Verwendung von linken Kamerabildern und rechten Kamerabildern berechnet wird.
4 veranschaulicht eine Quantenausbeute der zentralen Kamera des Stereokamerasystems.
5 veranschaulicht eine Stereoentfernungskarte, die unter Verwendung des linken Kamerabildes und des rechten Kamerabildes des Stereokamerasystems erzeugt wird, wobei die Kameras mit passiver Beleuchtung betrieben werden.
6 veranschaulicht einen überlagerten gestreuten konischen Strahl, der von einem Fahrzeugscheinwerfer projiziert wird, was einen Beleuchtungsprozess des Stereovisionssystems veranschaulicht.
7 veranschaulicht Stereonachtbilder der linken Kamera und der rechten Kamera des Stereokamerasystems und die resultierende Stereoentfernungskarte, die durch das Stereovisionssystem erzeugt wird.
8 veranschaulicht ein Stereokamerasystem des Stereovisionssystems, einschließlich einer linken Kamera, einer rechten Kamera und einer zentralen Kamera.
9 ist ein Flussdiagramm eines Prozesses zum Detektieren, Verfolgen und Klassifizieren eines Objektes aus der Stereoentfernungskarte, die durch das Stereokamerasystem von 8 erzeugt wird; wobei die Stereoentfernungskarte unter Verwendung von linken-zentralen Kamerabildern und zentralen-rechten Kamerabildern berechnet wird.
Die 10A–10B veranschaulichen eine Stereovisionsgeometrie für eine linke Kamera und eine rechte Kamera des Stereokamerasystems und allgemeiner den Prozess des Berechnens einer Entfernungskarte.
11 veranschaulicht eine Stereovisionsgeometrie für eine linke Kamera und eine rechte Kamera mit schmaler Basislinie und breiter Basislinie.
12 ist ein Graph, der eine Disparität zwischen Bildern, die durch die linke Kamera und die rechte Kamera des Stereokamerasystems aufgenommen werden, für eine Konfiguration mit schmaler Basislinie und mit breiter Basislinie veranschaulicht.
13 ist eine Tabelle, die Disparitätsniveaus für Bilder, die durch die linke Kamera und die rechte Kamera des Stereokamerasystems aufgenommen werden, für eine Konfiguration mit schmaler Basislinie und mit breiter Basislinie veranschaulicht.
14 veranschaulicht Intensitätsbilder, die von dem Stereokamerasystem in einer Konfiguration mit kombinierter schmaler Basislinie und breiter Basislinie erfasst werden.
15 veranschaulicht eine kombinierte Entfernungskarte, die von den in 14 veranschaulichten Intensitätsbildern erzeugt wird.
AUSFÜHRLICHE BESCHREIBUNG
Allgemein mit Bezug auf die Figuren sind Systeme und Verfahren für Nachtvisionsobjektdetektion und Fahrerassistenz dargestellt und beschrieben. Verschiedene Sensortechnologien, Sensorkonfigurationen und Beleuchtungsmethoden sind offenbart, die verwendet werden können, damit Probleme bezüglich des Stereovisionssystems (SVS), das in Nachtumgebungen oder anderen schwachen Umgebungen arbeiten, überwunden werden.
Das Stereovisionssystem kann ein Kamerasystem beinhalten, das mehrere Kamerasensoren zum Erfassen von Objekten beinhaltet. Das Stereovisionssystem beinhaltet ein Stereokamerasystem, das zwei Kameras beinhaltet, die reflektierte Energie im Wellenlängenbereich von 0,9 bis 1,8 μm (900 bis 1800 nm) erfassen. Das Stereovisionssystem ist mit einer augensicheren Zusatzbeleuchtung ausgestattet, die bei schwachen Lichtbedingungen gezielt aktiviert wird. Das Stereokamerasystem kann optional eine dritte zentrale Kamera beinhalten, die für Datenfusionsmethoden verwendet werden kann, damit dem Stereovisionssystem zusätzliche Fähigkeiten hinzugefügt werden.
Typische Stereovisionssysteme besitzen verbesserte Objektdetektions- und -verfolgungsfähigkeiten in vielen Umweltbedingungen. Die Gesamtsystemleistung kann jedoch bei Szenarien, die eine schwache Umgebungsbeleuchtung (z. B. im Schatten von Gebäuden oder Baumen, in Tunneln und in überdachten Parkhäusern) und einen Nachtbetrieb mit Abständen über das Scheinwerfermuster des Fahrzeugs hinaus (z. B. 30 Meter bei der Verwendung von Abblendlichtern und 50 Meter bei der Verwendung von Fernlichtern) umfassen, eingeschränkt sein.
Mit Bezug auf 1 ist ein Vergleich von Stereoentfernungskarten, die durch ein typisches Stereovisionssystem erzeugt werden, veranschaulicht, die ein typisches Tagesszenario 10 und ein typisches Nachtszenario 12 veranschaulichen. Der Vergleich der Bilder stellt die charakteristischen Unterschiede zwischen einer Tages- und Nachtleistung des Stereovisionssystems dar. Die Stereoentfernungskarte ist graphisch über ein linkes Kamerabild für ein typisches Tages- und Nachtszenario dargestellt. Die farbigen Bereiche 14 jeder Stereoentfernungskarte stellen eine gültige Stereoentfernungsfüllung unter Verwendung der Entfernungsskala 16 dar, die in jedem Bild unten links dargestellt ist. Das Nachtszenario 12 stellt eine drastische Verringerung von Entfernungsfüllung von der Fahrbahn entlang des Fahrwegs des Hostfahrzeugs und von der oberen Hälfte der Zielfahrzeuge dar. Bei manchen Ausführungsformen ist die Stereoentfernungsmessung vorsätzlich auf eine Maximalelevation (z. B. 4 Meter) eingeschränkt, was eine Entfernungsfüllung in den oberen Bereichen beim Tagesszenario 10 verhindern kann.
Eine erfolgreiche Stereoentfernungsmessung ist aufgemessene Disparitäten (Spaltenverschiebungen) zwischen korrelierten Strukturen, wie sie in dem linken und dem rechten Bild erscheinen, die durch die Kameras des Stereovisionssystems aufgenommen werden, angewiesen. Bei schwachen Umgebungsbedingungen erhöht sich das Kamerabelichtungstiming. Dies degradiert im Gegenzug die linke und die rechte Bildqualität (die Bildbereiche sind unscharf und defokussiert) und letztendlich kann die Suche nach korrelierten Strukturen zwischen dem linken und dem rechten Bild scheitern. Die schwarzen Bereiche 18 in den Stereoentfernungskarten von 1 zeigen diesen Zustand an.
2 veranschaulicht ein Stereokamerasystem 22 eines Stereovisionssystems (SVS) 20, einschließlich einer linken Kamera 24 und einer rechten Kamera 26. Das Stereokamerasystem 22 ist mit einem Fahrzeug integriert dargestellt, es versteht sich, dass das Stereokamerasystem 22 des SVS 20 und des Fahrzeugs an einer beliebigen Stelle in einem Fahrzeug implementiert sein kann. Das Stereokamerasystem 22 arbeitet im kurzwelligen Infrarot(SWIR)-Band.
Das Stereovisionssystem 20 der vorliegenden Offenbarung kann eine Verarbeitungsschaltung 30 beinhalten, die einen Prozessor 32 und einen Speicher 34 zum Ausführen der verschiedenen vorliegend beschriebenen Tätigkeiten beinhaltet. Der Prozessor 32 kann als ein Allzweckprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC), ein oder mehrere feldprogrammierbare Gate-Arrays (FPGAs), eine Gruppe von Verarbeitungskomponenten oder andere geeignete elektronische Verarbeitungskomponenten implementiert sein. Der Speicher 34 ist eine oder mehrere Einrichtungen (z. B. RAM, ROM, Flash-Speicher, Festplattenspeicher usw.) zum Speichern von Daten und/oder Computercode zum Ausführen und/oder Ermöglichen der verschiedenen Benutzer- oder Clientprozesse, -ebenen und -module, die in der vorliegenden Offenbarung beschrieben sind. Der Speicher 34 kann ein flüchtiger Speicher oder ein nichtflüchtiger Speicher sein oder diesen beinhalten und kann Datenbankenkomponenten, Objektcodekomponenten, Scriptkomponenten oder eine beliebige andere Art von Informationsstruktur zum Unterstützen der verschiedenen Tätigkeiten und Informationsstrukturen der vorliegenden Offenbarung beinhalten. Der Speicher 34 ist kommunikativ mit dem Prozessor 32 verbunden und beinhaltet Computercode- oder Anweisungsmodule zum Ausführen eines oder mehrerer vorliegend beschriebener Prozesse.
Das Stereovisionssystem 20 der vorliegenden Offenbarung kann ferner eine Zusatz- oder Aktivbeleuchtungsquelle oder -komponente 36 beinhalten. Die Beleuchtungsquelle 36 kann genutzt werden, damit eine Beleuchtung (z. B. Infrarotbeleuchtung) bereitgestellt wird, um dem Stereokamerasystem 22 zu ermöglichen, Bilder in lichtlosen Szenen aufzunehmen (d. h. Fahren in nichtbeleuchteten Tunneln und Parkhäusern oder Fahren unter dicken Waldlaubdächern usw.).
Die Systeme und Verfahren der vorliegenden Offenbarung stellen einen Erfassungsmodus bereit, der unter Verwendung des Stereokamerasystems 22 von 2 implementierbar ist. Bei einer Ausführungsform beinhaltet das Stereokamerasystem 22 zwei oder mehr Kameras, die in der Lage sind, Energie im Wellenlängenbereich von 0,9 bis 1,8 μm (900 bis 1800 nm) zu erfassen. Die Brennebenenarrays oder die energieempfindlichen Bereiche der Kameras beinhalten einen Infrarotdetektor, der von einem geeigneten Material ausgebildet ist, wie etwa Indiumgalliumarsenid (InGaAs), auch als Galliumindiumarsenid (GaInAs) bekannt. Ein Beispiel für das nach vorne gerichtete SWIR-Stereokamerasystem 22 ist in 2 dargestellt. Dieser Erfassungsmodus kann die linke Kamera 24 und die rechte Kamera 26 des Stereokamerasystems 22 verwenden.
Das Erfassen im SWIR-Band weist eine Gemeinsamkeit mit dem Erfassen in dem für den Menschen sichtbaren Band (dem Wellenlängenbereich von 0,35 bis 0,7 μm oder 350 bis 700 nm) auf. SWIR-Licht ist reflektierendes Licht, das wie Licht in dem vom Menschen sichtbaren Band von Objektoberflächen reflektiert wird. Demzufolge können Bilder von der Kamera, die im SWIR-Band arbeitet, unter Verwendung gängiger Maschinenvisionsmethoden verarbeitet werden, die aus Bildern entwickelt wurden, die mit Kameras gesammelt wurden, die zum Erfassen im für den Menschen sichtbaren Band in der Lage sind. Bilder von der Kamera des SWIR-Systems, das aus InGaAs konstruiert ist, sind in der Winkelauflösung und in den räumlichen Details mit Bildern von Kameras, die aus Siliziumoxiden konstruiert sind (die im für den Menschen sichtbaren Band erfassen), vergleichbar.
Eine Stereoabstimmung der Bilder von der linken Kamera 24 und der rechten Kamera 26 vom Stereokamerasystem 22, das im sichtbaren Band arbeitet, erzeugt eine Stereoentfernungskarte (oder Stereodisparitätskarte). Die Stereoabstimmung der Bilder kann unter Verwendung von einem oder mehreren der bekannten Verfahren (z. B. CENSUS, Summe der absoluten Differenzen (SAD) oder normierte Kreuzkorrelation (NCC)) erreicht werden. Die Stereoabstimmung der Bilder kann mit der Verarbeitungsschaltung 30 des Stereovisionssystems 20, einer ihrer Komponenten (z. B. Prozessor 32, Speicher 34 usw.) oder mit einem anderen Datenverarbeitungselement, das in Kommunikation mit der Verarbeitungsschaltung 30 steht, ausgeführt werden. Längsdistanzmessungen an Pixelpositionen werden entweder mit den linken Kamerapixelpositionen oder den rechten Kamerapixelpositionen korreliert. Die Elemente der Stereoentfernungskarte (oder Stereodisparitätskarte) werden häufig als „Entfernungs-Pix” oder „Entfernungs-Pixel” bezeichnet.
Die Stereoentfernungskarte kann als die Basis für verschiedene Module des Stereovisionssystems 20 (z. B. für Objektdetektion, Objektverfolgung und Kollisionswahrscheinlichkeit) und für verschiedene Fahrzeugsubsysteme und -anwendungen, wie etwa vorausschauende Kollisionswarnung, automatisches Notfallbremsen, adaptive Geschwindigkeitsregelung, Kinderüberfahrschutz usw. verwendet werden. Derartige Beispiele von Maschinenvisionsalgorithmen sind in der US-Patentanmeldung mit der Nr. 2013/0251194, dem US-Patent mit der Nr. 8,509,523 und dem US-Patent mit der Nr. 8,594,370 offenbart, die alle vorliegend unter Bezugnahme aufgenommen werden. Es versteht sich, dass die Stereoentfernungskarte für eine beliebige andere Art von Fahrzeugsubsystem oder -anwendung verwendet werden kann.
Mit Bezug auf 3 ist ein Flussdiagramm eines Prozesses 40 zum Detektieren, Verfolgen und Klassifizieren eines Objektes von der Stereoentfernungskarte, die durch das Stereokamerasystem 22 erzeugt wird, dargestellt. Die Stereoentfernungskarte wird unter Verwendung mehrerer Bilder berechnet, die durch das Stereokamerasystem aufgenommen werden. Gemäß einem Ausführungsbeispiel wird ein linkes Kamerabild durch die linke Kamera 24 bereitgestellt (Schritt 42) und wird ein rechtes Kamerabild durch die rechte Kamera 26 wie oben beschrieben bereitgestellt (Schritt 44).
Das linke Bild und das rechte Bild, die durch die linke Kamera und die rechte Kamera bereitgestellt werden, werden rektifiziert (Schritt 46). Eine Bildrektifizierung kann allgemein ein Entfernen einer Linsenverzerrung von dem linken und dem rechten Kamerabild und epipolares Abgleichen des linken und des rechten Kamerabildes beinhalten.
Das rektifizierte Bild wird zum Erzeugen einer Stereoentfernungskarte verwendet (Schritt 48). Die Stereoentfernungskarte kann unter Verwendung eines oder mehrerer bekannter Verfahren (z. B. CENSUS, SAD, NCC usw.) wie oben beschrieben berechnet werden.
Die Stereoentfernungskarte wird analysiert, damit Objekte detektiert werden (Schritt 50). Die Objektdetektion beinhaltet allgemein den Prozess des Identifizierens legitimer Objekte in den Bildern, des Trennens von Vordergrund- und Hintergrundobjekten in den Bildern und des Berechnens von Positionsmessungen für jedes Objekt bezüglich des Fahrzeugs (z. B. Berechnen der Längsdistanz, der Querdistanz, der Höhe oder der Elevation des Objektes bezüglich des Fahrzeugs).
Die Objekte, die in dem Objektdetektionsschritt detektiert werden, werden verfolgt und klassifiziert (Schritt 52). Dies beinhaltet ein Identifizieren von assoziierten Objekten in aufeinanderfolgenden Videobildern, die durch die Kameras aufgenommen werden, ein Schätzen von kinematischen Eigenschaften der Objekte und ein Klassifizieren der Objekte nach vordefinierten Kategorien (z. B. Fahrzeug, Fußgänger, Fahrradfahrer usw.).
Ein Ausgabesignal wird basierend auf einem Ergebnis der Objektverfolgung (Schritt 54) bereitgestellt, um eine Assistenz für einen Fahrer des Fahrzeugs bereitzustellen. Der Prozessor 32 kann zum Beispiel ein Ausgabesignal an ein Fahrzeugsystem oder eine Sicherheitsanwendung bereitstellen. Basierend auf den verfolgten und klassifizierten Objekten können die eine oder die mehreren Sicherheitsanwendungen aktiviert werden (Schritt 56). Die aktivierten Sicherheitsanwendungen können verschiedene Arten von Anwendungen zum Assistieren des Fahrers sein. Beispiele für derartige Anwendungen können ein vorausschauendes Kollisionswarnungs(FCW)-System, ein automatisches Notfallbrems(AEB)-System, ein adaptives Geschwindigkeitsregelungs(ACC)-System und ein Kinderüberfahrschutz(CBP)-System beinhalten. Bei weiteren Ausführungsformen können andere Sicherheitsanwendungen oder andere Anwendungen basierend auf der Objektverfolgung und -klassifizierung aktiviert werden. Bei weiteren Ausführungsformen kann das Ausgabesignal an den Fahrer des Fahrzeugs weitergeleitet werden, wie etwa mit einer Anzeige (z. B. einer Mittelkonsolenanzeige, Armaturenbrettanzeige, Heads-Up-Display usw.) und/oder einer Audio- oder Tastalarmeinrichtung oder einer visuellen Alarmeinrichtung.
Mit Bezug auf 4 ist ein Graph 60, der die Quantenausbeute von InGaAr veranschaulicht, bei verschiedenen Wellenlängen dargestellt. Das Erfassen im SWIR-Band bietet einen Vorteil über das Erfassen in dem für den Menschen sichtbaren Band mit Kameras, die aus Siliziumoxiden konstruiert sind. Insbesondere können SWIR-Kameras, die aus InGaAs konstruiert sind, aufgrund ihrer hohen Quantenausbeute (wie im Graph von 4 veranschaulicht), einem nahezu 100%-igen Pixelfüllfaktor und äußerst niedrigen Störungen in den Ausleseschaltkreisen nachts besser arbeiten. Der Pixelfüllfaktor bezieht sich auf den Prozentanteil einer Photo-Stelle (einem Pixel auf einem Bildsensor), die über einen bestimmten Wellenlängenbereich auf Licht empfindlich ist. Wenn der Füllfaktor niedriger ist, ist der Sensor bei schwachen Lichtbedingungen weniger empfindlich. CMOS(komplementäre Metalloxid-Halbleiter)-Kameras benötigen Schaltkreise an jeder Photo-Stelle, um Störungen herauszufiltern und andere Funktionen durchzuführen. Diese Kameras weisen typischerweise einen Maximalpixelfüllfaktor von 50% auf.
Jetzt mit Bezug auf 5 sind ein beispielhaftes linkes Kamerabild 70, rechtes Kamerabild 72 und eine beispielhafte Stereoentfernungskarte 74 dargestellt. Das beispielhafte linke Kamerabild 70 und rechte Kamerabild werden durch SWIR-Kameras, die aus InGaAs konstruiert sind, bereitgestellt. Die Kameras wurden passiv ohne eine Zusatz- oder Aktivbeleuchtung betrieben. Kameras, die aus InGaAs konstruiert sind, profitieren von einer atmosphärischen Erscheinung, die Nachthimmelbestrahlung oder Nachtglühen genannt wird. Die Nachthimmelbestrahlung ist eine schwache Lichtemission in der oberen Atmosphäre, die durch eine Rekombination von Teilchen, die durch die Sonne photo-ionisiert werden, der Lumineszenz von kosmischen Strahlen, die auf die obere Atmosphäre treffen, und der Chemo-Lumineszenz, die dadurch bewirkt wird, dass Sauerstoff und Stickstoff mit Hydroxylionen reagieren, bewirkt wird. Dies bietet die Möglichkeit, Kameras, die aus InGaAs konstruiert sind, nachts passiv ohne eine Zusatz- oder Aktivbeleuchtung erfolgreich zu betreiben. Die Nachthimmelbestrahlung ist im SWIR-Band vorhanden, in dem InGaAs-Kameras den Spitzenwirkungsgrad erreichen. Die Nachthimmelbestrahlung ist nicht in dem vom Menschen sichtbaren Band oder durch Kameras, die aus Siliziumoxiden konstruiert sind, detektierbar.
Bei manchen Ausführungsformen können SWIR-Kameras, die aus InGaAs konstruiert sind, keine optimalen oder zeitgerechten Ergebnisse in lichtlosen Szenen (z. B. Fahren in nichtbeleuchteten Tunneln und Parkhäusern oder Fahren unter dicken Waldlaubdächern) liefern. Viele Fahrzeugsubsysteme oder -anwendungen (z. B. FCW, AEB, ACC und CBP wie oben beschrieben) benötigen hohe Szenenabtastraten (Kamerabildraten von mindestens 30 Bildern pro Sekunde), damit zuverlässige Niveaus für das Aktivieren von Maschinenvisionsalgorithmen (Objektdetektion, Objektklassifizierung, Objektverfolgung und Kollisionswahrscheinlichkeit) bestimmt werden. Die Bildratenanforderung schränkt das maximale zulässige Integrations- oder Belichtungstiming einer Kamera (die Zeit, die zum Sammeln von Lichtenergie für ein einzelnes Bild festgelegt wird) erheblich ein.
In derartigen Fallen kann eine Zusatzbeleuchtung, die durch die Zusatz- oder Aktivbeleuchtungsquelle oder -komponente 36 erzeugt wird, bereitgestellt werden. Bei einer Ausführungsform kann die Zusatz- oder Aktivbeleuchtungsquelle 36 Laserdioden beinhalten. Die von den Laserdioden erzeugte Beleuchtung kann Energie im Wellenlängenbereich von 1,2 bis 1,8 μm (1200 bis 1800 nm) emittieren. Laserenergie in einem Teilbereich dieses Wellenlängenbereichs ist durch The Center for Devices and Radiological Health (CDRH), einer Zweigstelle der United States Food and Drug Administration (FDA), die für die Strahlungssicherheitsleistung von nicht-medizinischen Einrichtungen, die elektromagnetische Strahlung emittieren, verantwortlich ist, als augensicher zugelassen. Die CDRH-Augensicherheitszulassung beinhaltet spezifisch Laserenergieemissionen von 1,4 bis 1,6 μm (1400 bis 1600 nm).
Die Zusatzbeleuchtung im SWIR-Band ist für Kraftfahrzeugsicherheitsanwendungen und andere Fahrzeugsubsysteme und -anwendungen geeignet. Die Beleuchtung im SWIR-Band ist für den Menschen nicht sichtbar und würde demzufolge den Fahrer des ausgestatteten Fahrzeugs nicht ablenken und die Sicht von Fahrern in den entgegenkommenden Fahrzeugen nicht beeinträchtigten. Die von den Laserdioden erzeugte Beleuchtung kann kompakt in eine Scheinwerferbaugruppe des Fahrzeugs für nach vorne schauende Sicherheitsanwendungen und in einer Rücklichtbaugruppe des Fahrzeugs für nach hinten schauende Sicherheitsanwendungen integriert sein.
Jetzt mit Bezug auf 6 kann die von der Beleuchtungsquelle 36 erzeugte Zusatzbeleuchtung (oder Aktivbeleuchtung) zwischen einem kollimierten Strahl und einem gestreuten konischen Strahl geändert werden. Gemäß einem Ausführungsbeispiel beinhaltet die Beleuchtungsquelle 36 ein spezialisiertes optisches Filter, um die Beleuchtung zwischen einem kollimierten Strahl und einem gestreuten konischen Strahl zu ändern. Der konische Strahl kann kreisförmig (symmetrische Breite und Höhe) oder ellipsenförmig (asymmetrische Breite und Höhe) innerhalb eines festgelegten Streuungswinkels sein. Kraftfahrzeugsicherheitsanwendungen benötigen typischerweise einen ellipsenförmigen konischen Strahl, bei dem die Breite größer als die Höhe ist. Spezialisierte optische Filter dieser Art können gewerblich erhältlich und vollständig mit Laseremissionen im Wellenlängenbereich von 1,4 bis 1,6 μm (1400 bis 1600 nm) kompatibel sein. Die Zusatzbeleuchtung (oder Aktivbeleuchtung) kann entweder stets an (kontinuierlich) sein oder zyklisch zwischen Ein- und Aus-Zuständen hin und her geschaltet (gepulst) werden, wobei der Ein-Zustand mit dem Kamerabelichtungsintervall synchronisiert ist (d. h. die Zusatzbeleuchtung wird projiziert, während die Kamera reflektierte Lichtenergie im Wellenlängenbereich von 1,4 bis 1,6 μm sammelt).
Die Zusatzbeleuchtung im SWIR-Band kann auch von mehreren Lichtquellen 36 (z. B. mehrere Laserdioden, die Energie im Wellenlängenbereich von 1,4 bis 1,6 μm emittieren) erzeugt werden. Der kollimierte Strahl von jeder Lichtquelle 36 kann in einen konischen Strahl mit einem spezifischen Streuungswinkel gestreut sein. Die konischen Strahlen können sich überlagern, so dass ein geschichteter breitförmiger Aktivbeleuchtungsbereich gebildet wird. Gemäß einem Ausführungsbeispiel können die eine oder die mehreren Lichtquellen 36 überlagerte gestreute konische Strahlen mit Streuungswinkeln von 60°, 40° und 20° projizieren. Laserenergie, die in einen konischen Strahl gestreut ist, weist eine inverse Beziehung zwischen dem Streuungswinkel und dem Längsdistanzbeleuchtungsabstand auf. Ein größerer Streuungswinkel verringert den Längsdistanzbeleuchtungsabstand. Beispielsweise liefert ein erster konischer Strahl 80 mit einem Streuungswinkel von 60° einen Längsdistanzbeleuchtungsabstand von 30 Meter, liefert ein zweiter konischer Strahl 82 mit einem Streuungswinkel von 40° einen Längsdistanzbeleuchtungsabstand von 60 Meter und liefert ein dritter konischer Strahl 84 mit einem Streuungswinkel von 20° einen Längsdistanzbeleuchtungsabstand von 90 Meter. Überlagerte gestreute konische Strahlen können von einer Scheinwerferposition des Fahrzeugs, wie in 6 dargestellt, projiziert werden. Die überlagerten gestreuten konischen Strahlen 80, 82 und 84 sind eine virtuelle Ebene 85 schneidend dargestellt. Der Energiequerschnitt mit der höchsten Energie in dem dunkelsten zentralen Bereich 86 entspricht dem konischen Strahl 84 mit einem Streuungswinkel von 20°. Der gesamte Querschnittsbereich 88 entspricht den drei konischen Bereichen 80, 82 und 84.
Jetzt mit Bezug auf 7 sind ein linkes Kamerabild 90, ein rechtes Kamerabild 92 und eine Stereoentfernungskarte 94 gemäß einem Ausführungsbeispiel dargestellt. Die Kamerabilder 90 und 92 sind Nachtstereobilder von den SWIR-Kameras. Die resultierende Stereoentfernungskarte wird mit dem CENSUS-Stereoabstimmungsverfahren berechnet. Die Bilder 90 und 92 sind als Bilder dargestellt, die durch Kameras aufgenommen werden, die aktiv mit einer Zusatzbeleuchtung betrieben werden (z. B. einem einzelnen gestreuten konischen Strahl mit einem 60° horizontalen Streuungswinkel). Die Stereoentfernungskarte 94 liefert erheblich mehr Entfernungsfüllung 96 im Vergleich zu der Stereoentfernungskarte 74 von 5 (die mit passiver Beleuchtung erhalten wird).
Das oben Geschriebene beschreibt eine Ausführungsform des Stereokamerasystems, das eine linke Kamera und eine rechte Kamera (z. B. linke Kamera 24 und rechte Kamera 26) integriert. Jetzt mit Bezug auf 8 beinhaltet eine weitere Variante des vorliegend beschriebenen Stereovisionssystems eine dritte InGaAs-Kamera, die zwischen der linken Kamera und der rechten Kamera positioniert ist. Ein Stereokamerasystem 102 mit dualer Basislinie eines Stereovisionssystems (SVS) 100 beinhaltet eine linke Kamera 104, eine rechte Kamera 106 und eine zentrale Kamera 108. Das Stereokamerasystem 102 ist mit einem Fahrzeug integriert dargestellt, es versteht sich, dass das Stereokamerasystem 102 des SVS 100 und des Fahrzeugs an einer beliebigen Stelle in einem Fahrzeug implementiert sein kann. Das Stereokamerasystem 102 arbeitet in dem kurzwelligen Infrarot(SWIR)-Band. Das Stereovisionssystem 100 kann ferner eine Verarbeitungsschaltung 116 beinhalten, die einen Prozessor 112 und einen Speicher 114 zum Ausführen der verschiedenen vorliegend beschriebenen Tätigkeiten und eine oder mehrere Zusatz- oder Aktivbeleuchtungsquellen 36 beinhaltet. Gemäß einem Ausführungsbeispiel ist die zentrale Kamera 108 mit der linken Kamera 104 und der rechten Kamera 106 identisch (z. B. das gleiche Sichtfeld und die gleiche Bildauflösung). Das Hinzufügen der zentralen Kamera 108 kann zwei alternative Stereoabstimmungsmethoden ermöglichen, eine Stereoabstimmung mit zusammengesetzter schmaler Basislinie und eine Stereoabstimmung mit dualer Basislinie wie im Folgenden beschrieben.
Mit Bezug auf 9 ist ein Flussdiagramm eines Prozesses 120 zum Detektieren, Verfolgen und Klassifizieren eines Objektes von der Stereoentfernungskarte, die durch das Stereokamerasystem 102 erzeugt wird, dargestellt. Der Prozess 120 von 9 veranschaulicht einen Stereoabstimmungsprozess mit zusammengesetzter schmaler Basislinie. Die Stereoabstimmung mit zusammengesetzter schmaler Basislinie bezieht sich auf den Prozess des Berechnens von zwei Stereoentfernungskarten (unter Verwendung des CENSUS, SAD, NCC oder eines anderen Verfahrens) von dem Paar bestehend aus der linken Kamera 104 und der zentralen Kamera 108 und dem Paar bestehend aus der zentralen Kamera 108 und der rechten Kamera 106. Die Stereoentfernungskarten werden aus den Intensitätsbildern berechnet, die von jeder der drei Kameras (linke Kamera 104, zentrale Kamera 108, rechte Kamera 106) während eines diskreten Zeitintervalls erfasst werden. Das diskrete Zeitintervall kann als Belichtungszeit oder Integrationszeit bezeichnet werden und kann zum Beispiel ½ Millisekunde während hellen Sonnenlichtbedingungen und 25 Millisekunden während schwachen Lichtbedingungen betragen.
Mit Bezug auf den Prozess von 9 kann der Prozess 120 sich von dem Prozess 40 von 3 darin unterscheiden, dass der Bildrektifizierungsschritt, der Stereoabstimmungsschritt, der Objektdetektionsschritt und der Objektverfolgungs- und -klassifizierungsschritt für eine Kombination von sowohl dem linken Kamerabild und dem zentralen Kamerabild in einem ersten Subprozess 122 als auch dem zentralen Kamerabild und dem rechten Kamerabild in einem zweiten Subprozess 124 durchgeführt werden. Die Objekte, die in aufeinanderfolgenden Videobildern von sowohl dem linken-zentralen als auch dem zentralen-rechten Kamerapaar in den Subprozessen 122 und 124 detektiert, verfolgt und klassifiziert worden sind, werden jeweils zusammengefügt (Schritt 125). Ein Ausgabesignal wird basierend auf einem Ergebnis der Objektverfolgung (Schritt 126) bereitgestellt, um eine Assistenz für einen Fahrer des Fahrzeugs bereitzustellen. Basierend auf den verfolgten und klassifizierten Objekten können die eine oder die mehreren Sicherheitsanwendungen aktiviert werden (Schritt 128).
Jetzt mit Bezug auf die 10A und 10B ist die Stereovisionsgeometrie für ein Zwei-Kamera-System 130 und der Prozess des Berechnens einer Stereoentfernungskarte für das Zwei-Kamera-System dargestellt. Die Längsdistanz der beiden Kameras kann die folgende Beziehung aufweisen: Längsdistanz = (Basislinie × Brennweite)/Disparität (Gleichung 1)
10A veranschaulicht eine Vogelperspektive von zwei nach außen schauenden Kameras (L und R) mit sich überlagernden Sichtfeldern (FOVs) und zwei Bereichen (1 und 2) mit differenzieller Längsdistanz. 10B veranschaulicht das Erscheinen von Bereich 1 und Bereich 2 in dem linken Kamerabild und dem rechten Kamerabild, die durch die linke Kamera und die rechte Kamera aufgenommen werden.
Die Basislinie ist der reale physische Abstand zwischen den optischen Mittelachsen von zwei Kameras (durch den Pfeil 132 in 10A veranschaulicht). Die Basislinienabstände können beliebig groß sein (z. B. 120 mm, 165 mm, 200 mm).
Die Disparität ist der Bildkoordinatenabstand (in Pixeln) zwischen übereinstimmenden Bereichen in dem linken Kamerabild und dem rechten Kamerabild. Der Abstand ist für die Disparität, die dem Bereich 2 in den beiden Bildern entspricht, als D_LR[2] dargestellt. Die Bereiche können eine beliebige Größe besitzen, von einzelnen Pixeln zu beliebig förmigen Pixel-Clustern. Die Disparität kann zum Beispiel innerhalb des CENSUS-Verfahrens oder eines anderen Verfahrens berechnet werden. Das Berechnen der Disparität zwischen übereinstimmenden Pixeln (einem Bereich der Größe 1 × 1) in dem linken Kamerabild und dem rechten Kamerabild führt zu einer Stereoentfernungskarte (oder Stereodisparitätskarte) mit eindeutigen Längsdistanzmessungen für jedes Pixel (allgemein als „Entfernungs-Pix” oder „Entfernungs-Pixel” bezeichnet), die Intensitätspixeln in dem linken Kamerabild oder dem rechten Kamerabild entsprechen. Dieser Prozess ergibt die Entfernungskarte mit der höchsten Auflösung, ist aber rechenintensiv.
Die Brennweite ist die kalibrierte Messung der optischen Konvergenz für kollimierte Lichtstrahlen oder äquivalent der Abstand, der benötigt wird, um zu bewirken, dass sich parallele Lichtstrahlen an einem einzigen Punkt schneiden, nachdem sie die Linse durchlaufen haben. Alle drei Kameras des Stereokamerasystems können identische Linsenelemente verwenden und demzufolge die gleiche Brennweite aufweisen.
Die Beziehung zwischen der Längsdistanz, Basislinie, Brennweite und Disparität (Gleichung 1) gibt die inverse Proportionalität der Längsdistanz und der Disparität an. Eine große Disparität entspricht einer kleinen Längsdistanz und eine kleine Disparität entspricht einer großen Längsdistanz. Mit Bezug auf 10B ist die Disparität für den Bereich 2 kleiner als die Disparität für den Bereich 1. Mit Bezug auf 10A entspricht die kleinere Disparität für den Bereich 2 einer größeren Längsdistanz im Vergleich zu Bereich 1.
Die Basislinie und die Brennweite können variiert werden, was zu verschiedenen Vorteilen oder Nachteilen für das Stereovisionssystem führen kann. Eine größere Basislinie kann zu einer besseren Längsdistanzgenauigkeit führen, dies kann jedoch zu einer größeren Blindzone führen. Mit Bezug auf 11 ist eine minimale detektierbare Längsdistanz für eine Konfiguration 134 mit schmaler Basislinie und eine Konfiguration 136 mit breiter Basislinie für das Stereokamerasystem 130 veranschaulicht. Die minimale detektierbare Längsdistanz befindet sich an dem Vertex der überlagerten FOVs der Kameras.
Mit Bezug auf 12 ist eine graphische Disparitätsdarstellung 140 für die Konfiguration mit schmaler Basislinie (Linie 142) und die Konfiguration mit breiter Basislinie (Linie 144) dargestellt. Die minimale detektierbare Längsdistanz bei der Konfiguration mit schmaler Basislinie beträgt 1,2 Meter während die minimale detektierbare Längsdistanz bei der Konfiguration mit breiter Basislinie 3,1 Meter beträgt.
Mit Bezug auf 13 ist eine Tabelle 146 dargestellt, die tabellarische Disparitätswerte für die Konfiguration mit schmaler Basislinie und die Konfiguration mit breiter Basislinie des Stereokamerasystems von 11 darstellt. Die Disparitäten sind nur für ganzzahlige Längsdistanzwerte von 1 bis 30 Metern Längsdistanz dargestellt. Ein „entf.” gibt an, dass die Disparität für den entsprechenden Längsdistanzwert nicht verfügbar ist (er befindet sich unter der minimalen detektierbaren Längsdistanz).
Die 12–13 veranschaulichen den großen Unterschied bei Disparitätswerten zwischen dem Stereokamerasystem 134 mit schmaler Basislinie und dem Stereokamerasystem 136 mit breiter Basislinie. Beispielsweise kann ein Bereich bei 4 Meter Längsdistanz eine relativ kleine Disparität in dem Stereokamerasystem 134 mit schmaler Basislinie (z. B. 27 Pixel) aufweisen. Derselbe Bereich bei 4 Meter Längsdistanz wird eine relativ große Disparität in dem Stereokamerasystem 136 mit breiter Basislinie (z. B. 53 Pixel) im Vergleich zu dem Stereokamerasystem 134 mit schmaler Basislinie aufweisen.
Wie oben angegeben wird die Disparität innerhalb des Stereoabstimmungsverfahrens (CENSUS, SAD oder NCC) berechnet. Um übereinstimmende Bereiche in dem linken Kamerabild und dem rechten Kamerabild zu finden, durchsucht das Verfahren alle möglichen Disparitäten. Mit anderen Worten, durchsucht das Stereoabstimmungsverfahren für ein bestimmtes Intensitätspixel (einen 1 × 1 Bereich) in dem linken Kamerabild nach dem am besten übereinstimmenden Pixel in dem rechten Kamerabild über alle möglichen Disparitäten (Pixelabstände vom gegenwärtigen Pixel) hinweg. Für ein bestimmtes Stereokamerasystem verringert eine Reduzierung der Maximalanzahl von Disparitäten geometrisch das benötigte Durchsuchen zum optimalen Abstimmen von Pixeln zwischen dem linken Kamerabild und dem rechten Kamerabild. Im Gegenzug verringert dies die Ausführungszeit für die Stereoabstimmung, was schnellere Bildraten (Erfassen und Verarbeiten von mehr Bildern innerhalb eines festgelegten Zeitintervalls) und ein mögliches Laufen des Stereoabstimmungsverfahrens auf einem preiswerteren eingebetteten Prozessor ermöglicht.
Wiederum mit Bezug auf 8 verwendet das Stereokamerasystem 102 mit dualer Basislinie die von der linken Kamera 104 und der zentralen Kamera 108 erfassten Intensitätsbilder für die Stereoabstimmung aller Bereiche innerhalb eines ersten Längsdistanzintervalls (z. B. eines Intervalls von 21 Meter bis 1,2 Meter). Mit anderen Worten sucht das Stereoabstimmungsverfahren für jedes Pixel in dem linken Kamerabild nach dem am besten übereinstimmenden Pixel in dem zentralen Kamerabild aber alle möglichen Disparitäten in einer ersten Entfernung (z. B. eine Disparität zwischen 6 und 62) hinweg. Das Stereokamerasystem 102 mit dualer Basislinie verwendet die Intensitätsbilder, die von der linken Kamera 104 und der rechten Kamera 106 erfasst werden, für die Stereoabstimmung aller Bereiche innerhalb eines zweiten Längsdistanzintervalls (z. B. des Intervalls von 100 Meter bis 21 Meter). Mit anderen Worten sucht das Stereoabstimmungsverfahren für jedes Pixel in dem linken Kamerabild nach dem am besten übereinstimmenden Pixel in dem rechten Kamerabild über alle möglichen Disparitäten in einer zweiten Entfernung (z. B. eine Disparität zwischen 10 und 3) hinweg. Diese Suche kann auf den oberen Teil der Intensitätsbilder eingeschränkt sein (abhängig von den Kamerabefestigungspositionen), da Bereiche bei einer Längsdistanz von 21 Metern und mehr allgemein nur in dem oberen Teil des Bildes auftreten. Das Stereokamerasystem 102 mit dualer Basislinie kann genutzt werden, um eine einzige Stereoentfernungskarte mit eindeutigen Längsdistanzmessungen für jedes Pixel, die Intensitätspixelpositionen entsprechen, zu erzeugen.
Mit Bezug auf die 14–15 ist eine beispielhafte Ausgabe des Stereokamerasystems mit dualer Basislinie dargestellt. Eine erste Entfernungskarte 150 wird von der Stereoabstimmung der Intensitätsbilder berechnet, die von dem linken Kamerabild 154 und dem zentralen Kamerabild 155 erfasst werden. Eine zweite Entfernungskarte 152 wird von der Stereoabstimmung des linken Kamerabildes 154 und des rechten Kamerabildes 156 berechnet. Die erste Entfernungskarte 150 und die zweite Entfernungskarte 152 können in eine einzige Entfernungskarte 158 kombiniert werden.
Eine weitere alternative Ausführungsform der vorliegenden Offenbarung kann ein hybrides Kamerasystem sein, das ein Paar Kameras, die im sichtbaren Band (mit einem kleinen Zusatz im Infraroten bis 1050 nm) arbeiten, und eine zentrale Kamera im SWIR-Band wie oben beschrieben beinhaltet. Gemäß einem Ausführungsbeispiel sind die beiden Kameras, die im sichtbaren Band arbeiten, in der Lage, Energie in einem ersten Wellenlängenbereich (z. B. einem Wellenlängenbereich von 0,4 bis 1,1 μm (400 bis 1100 nm)) zu erfassen. Die Brennweitenarrays der Kameras können aus üblicher CMOS-Technologie konstruiert sein. Gemäß einem Ausführungsbeispiel ist die zentrale Kamera, die in dem SWIR-Band arbeitet, in der Lage, Energie in einem zweiten Wellenlängenbereich (z. B. einem Wellenlängenbereich von 0,9 bis 1,8 μm) wie oben beschrieben zu erfassen.
Die Bilder, die sich aus der Verwendung der SWIR-Kamera des hybriden Kamerasystems ergeben, können verwendet werden, um die Informationen, die von den Kameras erhalten werden, die im sichtbaren Band arbeiten, zu bestätigen. Die SWIR-Kamera weist andere spektrale Eigenschaften wie die CMOS-Kameras auf. Demzufolge können die Bilder von der SWIR-Kamera Informationen mit Umgebungsfarben, die im Infraroten gut reflektieren, wie etwa Rot, nicht so gut bestätigen.
Schwarze Kleidung (und andere schwarze Materialien) reflektieren jedoch gut im Infraroten. Somit kann die SWIR-Kamera schwarze Kleidung nachts viel besser „sehen”, da übliche Halogenscheinwerfer eine erhebliche Leistung im Infraroten aufweisen, da sie fast eine Schwarzkörperstrahlung sind. Die durch die SWIR-Kamera detektierten schwarzen Objekte stellen eine bedeutende Ergänzung zu den durch die CMOS-Kameras detektierten Objekten dar. Die Verwendung der SWIR-Kamera ermöglicht dem Bildprozessor, die schwarzen Materialien deutlicher anzuzeigen, und dem Objektdetektionssystem, die Objekte einfacher zu detektieren.
Die SWIR-Bilder mit aktiver SWIR-Beleuchtung können mit den Informationen von den CMOS-Stereokameras zusammengeführt werden, damit die CMOS-Stereokameraleistung verbessert wird. Die CMOS-Kamerasensoren können bei 900 mm ungefähr 1/6 der Spitzenwertempfindlichkeit aufweisen, was über 1050 nm zu nahe Null abnimmt und zu einer erhöhten Signalstärke führt. Dies kann von Vorteil sein, wenn sich der normale Scheinwerfer im Abblendlicht befindet, da die SWIR-Beleuchtung unsichtbar ist und daher ein Muster ähnlich zu sichtbaren Fernlichtern beleuchten kann. Daher werden der obere Teil von Fußgängern, nahe Fahrzeuge und andere Objekte für das Stereovisionssystem beleuchtet.
Mit der SWIR-Beleuchtung weist der SWIR-Kamerasensor größere Signale auf und kann eine bessere Bestätigung oder Validierungsprüfung für das sichtbare CMOS-Stereosystem sein. Gemäß einem weiteren Ausführungsbeispiel kann ein thermischer Infrarotsensor/eine thermische Infrarotkamera anstatt dem SWIR-Sensor verwendet werden. Zum Beispiel kann ein langwelliger Infrarotsensor, der eine Detektion einer selbstleuchtenden Infrarotstrahlung von Objekten ermöglicht, verwendet werden. Diese Art von thermischem Infrarotsensor detektiert Strahlung von Objekten, die in diesem thermischen Bereich ausstrahlen, da die Objekte Temperaturen über dem absoluten Nullpunkt aufweisen. Lebewesen strahlen typischerweise um eine Wellenlänge von etwa 10 μm aus. Fahrzeuge und Infrastruktur strahlen bei kürzeren Wellenlängen aus, da sie heißer werden. Entweder eine SWIR-Kamera oder eine thermische Infrarotkamera kann an der zentralen Position des Stereovisionssystems verwendet werden.
Die Stereosensoren und der Infrarotsensor können zusammenarbeiten, damit die Nachtvisionsfühigkeit des Stereovisionssystems verbessert wird. Als ein Beispiel kann eine Sensorfusion verwendet werden, um Informationen zusammenzuführen, die aus Kameras entnommen werden, die in verschiedenen Spektralbändern erfassen. Um zu jedem Zeitpunkt dieselbe Szene zu erfassen, sind Sensoren typischerweise so ausgerichtet, dass ihre Sichtlinien parallel zueinander liegen. Eine Sensorkalibrierung ist häufig ein notwendiger Schritt, um Linsenverzerrung in den Bildern zu entfernen und die epipolare Einschränkung für eine Stereoabstimmung zu erfüllen. Die geometrischen Beziehungen zwischen dem Infrarotsensor und den Stereosensoren (relative Positionen und Drehungen) können während der Kalibrierung auch präzise berechnet werden, so dass die Erfassungsbereiche der zwei verschiedenen Sensoren mathematisch genau in Beziehung gesetzt werden können.
Eine Sensorfusion kann auf verschiedenste Art und Weise und mit unterschiedlichen Niveaus auftreten. Bei einer Ausführungsform kann eine Sensorfusion bei dem Rohsignalniveau auftreten. Falls die Stereosensoren und der Infrarotsensor die gleiche räumliche Auflösung (Winkelgrad pro Pixel) in sowohl der horizontalen als auch der vertikalen Richtung aufweisen, kann das Infrarotbild zu dem linken und dem rechten Stereobild registriert werden. Die Registrierung der rektifizierten Bilder ermöglicht, dass das Infrarotbild mit dem linken und dem rechten Stereobild zusammengefügt wird, damit das Signal-Störungs-Verhältnis in den Stereobildern verbessert wird. Dieser Ansatz kombiniert die Stereosensoren und den Infrarotsensor beim Bildniveau und nimmt an, dass Objekte Energie sowohl im sichtbaren Lichtspektrum als auch dem Infrarotspektrum reflektieren oder ausstrahlen.
Bei einer anderen Ausführungsform kann eine Sensorfusion beim Entfernungskartenniveau stattfinden. Falls die Stereosensoren und der Infrarotsensor die gleiche räumliche Auflösung (Winkelgrad pro Pixel) in sowohl der horizontalen als auch der vertikalen Richtung aufweisen, kann das Infrarotbild zu dem linken Stereobild registriert werden. Angenommen, dass die Stereoentfernungskarte zu dem linken Stereobild referenziert ist, kann das Infrarotbild mit der Entfernungskarte kombiniert werden, wodurch Löcher und fehlende Teile in der Entfernungskarte basierend auf einer Infrarotbildsegmentierung gefüllt werden. Dieser Ansatz nimmt auch an, dass Objekte Energie in sowohl dem sichtbaren Lichtspektrum als auch dem Infrarotspektrum reflektieren oder ausstrahlen.
Bei einer anderen Ausführungsform kann eine Sensorfusion beim Detektionsniveau stattfinden. Der vorliegende Infrarotsensor kann auch durch eine Technologie, die keine Bilder erzeugt, wie etwa LIDAR oder Radar, oder eine andere Technologie, die Entfernungsinformationen liefert, ersetzt werden. Eine Objektdetektion und -segmentierung kann in Stereoentfernungskarten und den Infrarotbildern oder einer anderen Entfernungstechnologie separat durchgeführt werden. Dreidimensionale Positionen von detektierten Objekten können auch separat basierend auf verfügbaren Informationen von jedem Sensor berechnet werden. Abhängig von der Szene, die erfasst werden soll, kann eine Sensorfusion auf verschiedenste Art und Weise stattfinden.
Falls beispielsweise ein Objekt völlig oder teilweise durch den Stereosensor detektiert wird, kann die Stereodetektion als ein Hinweis in infrarotbildbasierter Objektdetektion und -segmentierung dienen und kann die Längsdistanz des detektierten Objektes direkt von der Stereodetektion erhalten werden. Dies ist besonders nützlich, wenn ein Teil des Objektes von der Stereoentfernungskarte fehlt (z. B. eine schwarze Hose eines Fußgängers in der Nacht).
Falls ein Objekt nur durch den Infrarotsensor oder einer Nicht-CMOS-Entfernungstechnologie detektiert wird, ist die Infrarot- oder Nicht-CMOS-Detektion die Ausgabe des Fusionsprozesses und kann der Stereosensor eine dynamische Neigungswinkelberechnung der drei Kamerasensoren basierend auf Entfernungsinformationen der flachen Straßenoberfläche unmittelbar vor dem Hostfahrzeug bereitstellen. Die dynamischen Neigungsinformationen ermöglichen eine genaue Längsdistanzberechnung des detektierten Objektes im Infrarotbild oder den Nicht-CMOS-Daten. In diesem Fall spielt der Infrarot- oder Nicht-CMOS-Sensor eine wichtige Rolle beim Detektieren von dunklen Objekten, die im sichtbaren Lichtspektrum nicht gesehen werden können.
Die Konstruktion und die Anordnung der Systeme und Verfahren wie in den verschiedenen Ausführungsbeispielen dargestellt, sind nur zur Veranschaulichung. Obwohl in dieser Offenbarung nur wenige Ausführungsformen ausführlich beschrieben worden sind, sind viele Modifikationen möglich (z. B. Variationen in der Größe, den Abmessungen, Strukturen, Formen und Proportionen der verschiedenen Elemente, Parameterwerte, Befestigungsanordnungen, Verwendung von Materialien, Farben, Ausrichtungen usw.). Beispielsweise kann die Position von Elementen umgedreht oder anderweitig variiert werden und kann die Art oder Anzahl von diskreten Elementen oder Positionen verändert oder variiert werden. Dementsprechend ist beabsichtigt, dass alle derartigen Modifikationen innerhalb des Schutzumfangs der vorliegenden Offenbarung enthalten sind. Die Reihenfolge oder Sequenz jeglicher Prozess- oder Verfahrensschritte kann gemäß alternativer Ausführungsformen variiert oder in eine neue Reihenfolge gebracht werden. Andere Substitutionen, Modifikationen, Änderungen und Weglassungen können am Design, an den Betriebsbedingungen und der Anordnung der Ausführungsbeispiele vorgenommen werden, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen.
Die vorliegende Offenbarung zieht Verfahren, Systeme und Programmprodukte auf einem beliebigen maschinenlesbaren Medium zum Durchführen verschiedener Operationen in Betracht. Die Ausführungsformen der vorliegenden Offenbarung können unter Verwendung von existierenden Computerprozessoren oder durch einen Spezialcomputerprozessor für ein geeignetes System, das für diesen oder einen anderen Zweck integriert ist, oder durch ein festverdrahtetes System implementiert werden. Ausführungsformen im Schutzumfang der vorliegenden Offenbarung beinhalten Programmprodukte, die maschinenlesbare Medien zum Führen oder Aufweisen von auf diesen gespeicherten maschinenausführbaren Anweisungen oder Datenstrukturen umfassen. Derartige maschinenlesbare Medien können beliebige verfügbare Medien sein, auf die durch einen Allzweck- oder Spezialcomputer oder eine andere Maschine mit einem Prozessor zugegriffen werden können. Beispielshalber können derartige maschinenlesbare Medien RAM, ROM, EPROM, EEPROM, CD-ROM oder einen anderen optischen Plattenspeicher, magnetischen Plattenspeicher oder andere magnetische Speichereinrichtungen oder ein beliebiges anderes Medium, das dazu verwendet werden kann, einen gewünschten Programmcode in der Form von maschinenausführbaren Anweisungen oder Datenstrukturen zu führen oder zu speichern und auf das durch einen Allzweck- oder Spezialcomputer oder eine andere Maschine mit einem Prozessor zugegriffen werden kann, umfassen. Kombinationen des oben Genannten sind auch im Umfang von maschinenlesbaren Medien enthalten. Maschinenausführbare Anweisungen beinhalten zum Beispiel Anweisungen und Daten, die bewirken, dass ein Allzweckcomputer, ein Spezialcomputer oder Spezialverarbeitungsmaschinen eine bestimmte Funktion oder Gruppe von Funktionen durchführt.
Obwohl die Figuren eine spezifische Reihenfolge von Verfahrensschritten darstellen können, kann sich die Reihenfolge der Schritte von der, die abgebildet ist, unterscheiden. Auch können zwei oder mehr Schritte gleichzeitig oder teilweise gleichzeitig durchgeführt werden. Eine derartige Variation ist von den gewählten Software- und Hardwaresystemen und von einer Entwicklerauswahl abhängig. Alle derartigen Variationen liegen im Schutzumfang der Offenbarung. Gleichermaßen könnten Softwareimplementierungen mit Standardprogrammierungsmethoden mit regelbasierter Logik und anderer Logik erreicht werden, damit die verschiedenen Verbindungsschritte, Verarbeitungsschritte, Vergleichsschritte und Entscheidungsschritte erreicht werden.

Claims

Stereovisionssystem zur Verwendung in einem Fahrzeug, wobei das Stereovisionssystem Folgendes umfasst: einen ersten Kamerasensor, der dazu konfiguriert ist, eine erste reflektierte Energie zu erfassen und erste Sensorsignale basierend auf der erfassten ersten reflektierten Energie zu erzeugen; einen zweiten Kamerasensor, der dazu konfiguriert ist, eine zweite reflektierte Energie zu erfassen und zweite Sensorsignale basierend auf der erfassten zweiten reflektierten Energie zu erzeugen; und einen Prozessor, der dazu konfiguriert ist, die ersten Sensorsignale von dem ersten Kamerasensor und die zweiten Sensorsignale von dem zweiten Kamerasensor zu empfangen, wobei der Prozessor dazu konfiguriert ist, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen durchzuführen, wobei der erste Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen, und wobei der zweite Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen.
Stereovisionssystem nach Anspruch 1, wobei der Prozessor dazu konfiguriert ist, die Stereoabstimmung durch Erzeugen einer Stereoentfernungskarte durchzuführen, wobei der Prozessor dazu konfiguriert ist, die Objektdetektion unter Verwendung der Stereoentfernungskarte durchzuführen, wobei der Prozessor dazu konfiguriert ist, eine Objektverfolgung unter Verwendung eines Ergebnisses der Objektdetektion durchzuführen, und wobei der Prozessor dazu konfiguriert ist, ein Ausgabesignal basierend auf einem Ergebnis der Objektverfolgung bereitzustellen, um eine Assistenz für einen Fahrer des Fahrzeugs bereitzustellen.
Stereovisionssystem nach Anspruch 1, wobei der erste Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine kurzwellige Infrarotstrahlung ist, zu erfassen, und wobei der zweite Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine kurzwellige Infrarotstrahlung ist, zu erfassen.
Stereovisionssystem nach Anspruch 1, wobei ein energieempfindlicher Bereich des ersten Kamerasensors unter Verwendung von Indiumgalliumarsenid konstruiert ist und wobei ein energieempfindlicher Bereich des zweiten Kamerasensors unter Verwendung von Indiumgalliumarsenid konstruiert ist.
Stereovisionssystem nach Anspruch 1, wobei das Stereovisionssystem keine Aktivbeleuchtungskomponente zum Emittieren elektromagnetischer Strahlung beinhaltet, die durch das Stereovisionssystem nach ihrer Reflexion von Objekten in einer Umgebung, die durch das Stereovisionssystem erfasst wird, erfasst werden kann.
Stereovisionssystem nach Anspruch 1, wobei das Stereovisionssystem keine Komponente zum Emittieren von Infrarotstrahlung beinhaltet.
Stereovisionssystem nach Anspruch 1, wobei das Stereovisionssystem ferner Folgendes umfasst: eine Aktivbeleuchtungskomponente, die zum Emittieren von Infrarotstrahlung konfiguriert ist.
Stereovisionssystem nach Anspruch 7, wobei die Aktivbeleuchtungskomponente dazu konfiguriert ist, zwischen einem Emittieren von Infrarotstrahlung und keinem Emittieren von Infrarotstrahlung abwechselt, und wobei die Aktivbeleuchtungskomponente dazu konfiguriert ist, Infrarotstrahlung synchron mit einem Belichtungsintervall des ersten Kamerasensors und einem Belichtungsintervall des zweiten Kamerasensors zu emittieren.
Stereovisionssystem nach Anspruch 7, wobei die Aktivbeleuchtungskomponente Folgendes umfasst: eine oder mehrere Laserdioden, die dazu konfiguriert sind, Infrarotstrahlung in einem oder mehreren kollimierten Strahlen zu emittieren; und ein oder mehrere optische Filter, die dazu konfiguriert sind, einen oder mehrere gestreute konische Strahlen aus dem einen oder den mehreren kollimierten Strahlen zu erzeugen.
Stereovisionssystem nach Anspruch 9, wobei die eine oder die mehreren Laserdioden Folgendes umfassen: eine erste Laserdiode, die dazu konfiguriert ist, Infrarotstrahlung in einem ersten kollimierten Strahl zu emittieren; eine zweite Laserdiode, die dazu konfiguriert ist, Infrarotstrahlung in einem zweiten kollimierten Strahl zu emittieren: und eine dritte Laserdiode, die dazu konfiguriert ist, Infrarotstrahlung in einem dritten kollimierten Strahl zu emittieren, wobei das eine oder die mehreren optischen Filter Folgendes umfassen: ein erstes optisches Filter, das dazu konfiguriert ist, einen ersten gestreuten konischen Strahl mit einem ersten Streuungswinkel aus dem ersten kollimierten Strahl zu erzeugen; ein zweites optisches Filter, das dazu konfiguriert ist, einen zweiten gestreuten konischen Strahl mit einem zweiten Streuungswinkel aus dem zweiten kollimierten Strahl zu erzeugen; und ein drittes optisches Filter, das dazu konfiguriert ist, einen dritten gestreuten konischen Strahl mit einem dritten Streuungswinkel aus dem dritten kollimierten Strahl zu erzeugen, wobei sich der erste Streuungswinkel von dem zweiten Streuungswinkel und dem dritten Streuungswinkel unterscheidet und wobei sich der zweite Streuungswinkel von dem dritten Streuungswinkel unterscheidet.
Stereovisionssystem nach Anspruch 1, wobei das Stereovisionssystem ferner Folgendes umfasst: einen dritten Kamerasensor, der dazu konfiguriert ist, eine dritte reflektierte Energie zu erfassen und dritte Sensorsignale basierend auf der erfassten dritten reflektierten Energie zu erzeugen, wobei der Prozessor dazu konfiguriert ist, die dritten Sensorsignale von dem dritten Kamerasensor zu empfangen, und wobei der dritte Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine Infrarotstrahlung ist, zu erfassen.
Stereovisionssystem nach Anspruch 11, wobei der zweite Kamerasensor zwischen dem ersten Kamerasensor und dem dritten Kamerasensor positioniert ist, wobei der Prozessor dazu konfiguriert ist, eine erste Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen aber nicht den dritten Sensorsignalen durchzuführen, und wobei der Prozessor dazu konfiguriert ist, eine zweite Stereoabstimmung basierend auf den zweiten Sensorsignalen und den dritten Sensorsignalen aber nicht den ersten Sensorsignalen durchzuführen.
Stereovisionssystem nach Anspruch 12, wobei der Prozessor die erste Stereoabstimmung für eine erste Längsdistanzentfernung mit einem ersten Minimallängsdistanzabstand und einem ersten Maximallängsdistanzabstand durchführt, wobei der Prozessor die zweite Stereoabstimmung für eine zweite Längsdistanzentfernung mit einem zweiten Minimallängsdistanzabstand und einem zweiten Maximal längsdistanzabstand durchführt und wobei der erste Minimallängsdistanzabstand im Wesentlichen der gleiche wie der zweite Minimallängsdistanzabstand ist.
Stereovisionssystem nach Anspruch 12, wobei der Prozessor dazu konfiguriert ist, eine erste Objektverfolgung basierend auf einem Ergebnis der ersten Stereoabstimmung aber nicht basierend auf einem Ergebnis der zweiten Stereoabstimmung durchzuführen, und wobei der Prozessor dazu konfiguriert ist, eine zweite Objektverfolgung basierend auf einem Ergebnis der zweiten Stereoabstimmung aber nicht basierend auf einem Ergebnis der ersten Stereoabstimmung durchzuführen.
Stereovisionssystem nach Anspruch 14, wobei der Prozessor dazu konfiguriert ist, ein Zusammenfügen eines Ergebnisses der ersten Objektverfolgung und eines Ergebnisses der zweiten Objektverfolgung durchzuführen.
Stereovisionssystem nach Anspruch 11, wobei der zweite Kamerasensor zwischen dem ersten Kamerasensor und dem dritten Kamerasensor positioniert ist, wobei der Prozessor dazu konfiguriert ist, eine erste Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen aber nicht den dritten Sensorsignalen durchzuführen, und wobei der Prozessor dazu konfiguriert ist, eine zweite Stereoabstimmung basierend auf den ersten Sensorsignalen und den dritten Sensorsignalen aber nicht den zweiten Sensorsignalen durchzuführen.
Stereovisionssystem nach Anspruch 16, wobei der Prozessor die erste Stereoabstimmung für eine erste Längsdistanzentfernung mit einem ersten Minimallängsdistanzabstand und einem ersten Maximallängsdistanzabstand durchführt, wobei der Prozessor die zweite Stereoabstimmung für eine zweite Längsdistanzentfernung mit einem zweiten Minimallängsdistanzabstand und einem zweiten Maximallängsdistanzabstand durchführt und wobei der erste Maximallängsdistanzabstand im Wesentlichen der gleiche wie der zweite Minimallängsdistanzabstand ist.
Stereovisionssystem nach Anspruch 16, wobei der Prozessor dazu konfiguriert ist, ein Zusammenfügen eines Ergebnisses der ersten Stereoabstimmung und eines Ergebnisses der zweiten Stereoabstimmung durchzuführen.
Stereovisionssystem nach Anspruch 18, wobei der Prozessor das Zusammenfügen durchführt, indem er eine Vereinigung einer ersten Stereoentfernungskarte, die sich aus der ersten Stereoabstimmung ergibt, und einer zweiten Stereoentfernungskarte, die sich aus der zweiten Stereoabstimmung ergibt, durchführt.
Stereovisionssystem zur Verwendung in einem Fahrzeug, wobei das Stereovisionssystem Folgendes umfasst: einen ersten Kamerasensor, der dazu konfiguriert ist, eine erste reflektierte Energie zu erfassen und erste Sensorsignale basierend auf der erfassten ersten reflektierten Energie zu erzeugen; einen zweiten Kamerasensor, der dazu konfiguriert ist, eine zweite reflektierte Energie zu erfassen und zweite Sensorsignale basierend auf der erfassten zweiten reflektierten Energie zu erzeugen; einen dritten Kamerasensor, der dazu konfiguriert ist, eine dritte Energie zu erfassen und dritte Sensorsignale basierend auf der erfassten dritten reflektierten Energie zu erzeugen; und einen Prozessor, der dazu konfiguriert ist, die ersten Sensorsignale von dem ersten Kamerasensor, die zweiten Sensorsignale von dem zweiten Kamerasensor und die dritten Sensorsignale von dem dritten Kamerasensor zu empfangen, wobei der Prozessor ferner dazu konfiguriert ist, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und/oder den zweiten Sensorsignalen und/oder den dritten Sensorsignalen durchzuführen, wobei der erste Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine sichtbare Strahlung ist, zu erfassen, wobei der zweite Kamerasensor dazu konfiguriert ist, reflektierte Energie, die eine sichtbare Strahlung ist, zu erfassen, wobei der dritte Kamerasensor dazu konfiguriert ist, Energie, die eine Infrarotstrahlung ist, zu erfassen.
Stereovisionssystem nach Anspruch 20, wobei der dritte Kamerasensor dazu konfiguriert ist, Energie, die eine thermische emittierte Energie ist, zu erfassen.
Stereovisionssystem nach Anspruch 20, wobei der Prozessor dazu konfiguriert ist, ein Zusammenfügen des ersten Sensorsignals, des zweiten Sensorsignals und des dritten Sensorsignals nach dem Durchführen einer Bildrektifizierung aber vor dem Durchführen einer Stereoabstimmung durchzuführen.
Stereovisionssystem nach Anspruch 20, wobei der Prozessor dazu konfiguriert ist, ein Kombinieren des ersten Sensorsignals, des zweiten Sensorsignals und des dritten Sensorsignals nach dem Durchführen einer Bildrektifizierung aber vor dem Durchführen einer Stereoabstimmung durchzuführen.
Stereovisionssystem nach Anspruch 20, wobei der Prozessor dazu konfiguriert ist, eine Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen durchzuführen, um eine Stereoentfernungskarte zu erzeugen, und wobei der Prozessor dazu konfiguriert ist, ein Kombinieren der dritten Sensorsignale mit der Stereoentfernungskarte durchzuführen.
Stereovisionssystem nach Anspruch 20, wobei der Prozessor dazu konfiguriert ist, eine erste Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen durchzuführen, wobei der Prozessor dazu konfiguriert ist, eine erste Objektverfolgung basierend auf einem Ergebnis der ersten Stereoabstimmung durchzuführen, wobei der Prozessor dazu konfiguriert ist, eine zweite Objektverfolgung basierend auf den dritten Sensorsignalen durchzuführen, und wobei der Prozessor dazu konfiguriert ist, ein Kombinieren eines Ergebnisses der ersten Objektverfolgung und eines Ergebnisses der zweiten Objektverfolgung durchzuführen.
Verfahren für Stereovision in einem Fahrzeug, wobei das Verfahren Folgendes umfasst: Erfassen einer ersten reflektierten Energie unter Verwendung eines ersten Kamerasensors; Erzeugen von ersten Sensorsignalen basierend auf der erfassten ersten reflektierten Energie; Erfassen einer zweiten reflektierten Energie unter Verwendung eines zweiten Kamerasensors; Erzeugen von zweiten Sensorsignalen basierend auf der erfassten zweiten reflektierten Energie und Durchführen einer Stereoabstimmung basierend auf den ersten Sensorsignalen und den zweiten Sensorsignalen, wobei die erste reflektierte Energie eine Infrarotstrahlung ist und wobei die zweite reflektierte Energie eine Infrarotstrahlung ist.