DE112021005856T5

DE112021005856T5 - Kombinieren von informationen einer kamera für sichtbares licht und einer wärmekamera

Info

Publication number: DE112021005856T5
Application number: DE112021005856.8T
Authority: DE
Inventors: Kumar Subrata Kundu; Kumar Naveen Bangalore Ramaiah
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2021-01-21
Filing date: 2021-09-17
Publication date: 2023-11-02
Also published as: US20220230018A1; JP2024503671A; WO2022158039A1; US11676403B2

Abstract

Die Erfindung betrifft ein System und ein Verfahren, welche die Fahrzeugsteuerung zur verbesserten Sicherheit, automatisierten Navigation und dergleichen automatisieren oder verbessern.Die zu lösende Aufgabe besteht im Kombinieren von und Reagieren auf Sensormesswerte der mehreren Sensoren in Echtzeit-Verarbeitungsfähigkeiten in einer Vielfalt von unterschiedlichen Umwelt-, Verkehrs- und Straßenbedingungen.In einigen Beispielen können ein oder mehrere Prozessoren wenigstens ein erstes Bild sichtbaren Lichts und ein erstes Wärmebild empfangen. Ferner kann der Prozessor / können die Prozessoren ein Kantenbild aus dem wenigstens einen ersten Bild sichtbaren Lichts, das Kantenbereiche im wenigstens einen ersten Bild sichtbaren Lichts identifiziert. Eine Spurmarkierung oder/und ein Straßenrandbereichs können auf Basis wenigstens teilweise einer Information vom Kantenbild bestimmt werden. Zusätzlich können ein oder mehrere erste interessierende Bereiche im ersten Wärmebild auf Basis der Spurmarkierung oder/und des Straßenrandbereichs bestimmt werden. Ferner kann eine Verstärkung eines Wärmesensors auf Basis des einen oder der mehreren interessierenden Bereiche im ersten Wärmebild angepasst werden.

Description

[Technisches Gebiet]
Die vorliegende Erfindung betrifft ein System und ein Verfahren, welche die Fahrzeugsteuerung zur verbesserten Sicherheit, automatisierten Navigation und dergleichen automatisieren oder verbessern.
[Bisheriger Stand der Technik]
Advanced Driver Assistance Systems (ADAS) sowie halbautonome Fahrzeugsysteme, selbstfahrende Systeme oder anderweitige Systeme für autonomes Fahren (Autonomous Driving, AD) sind Systeme, welche die Fahrzeugsteuerung zur verbesserten Sicherheit, automatisierten Navigation und dergleichen automatisieren oder anderweitig verbessern. Diese Systeme verwenden typischerweise mehrere Arten von Sensoren zum Erkennen der Fahrbahn und zum Erkennen und Vermeiden von anderen Fahrzeugen, Hindernissen, Fußgängern usw. Das Kombinieren von und Reagieren auf die Sensormesswerte der mehreren Sensoren in Echtzeit mit begrenzten Verarbeitungsfähigkeiten in einer Vielfalt von unterschiedlichen Umwelt-, Verkehrs- und Straßenbedingungen können aber eine Herausforderung darstellen.
[Zusammenfassung der Erfindung]
[Technische Aufgabe]
Die zu lösende Aufgabe besteht im Kombinieren von und Reagieren auf Sensormesswerte der mehreren Sensoren in Echtzeit-Verarbeitungsfähigkeiten in einer Vielfalt von unterschiedlichen Umwelt-, Verkehrs- und Straßenbedingungen.
[Technische Lösung]
In einigen Ausführungen können ein oder mehrere Prozessoren wenigstens ein erstes Bild sichtbaren Lichts und ein erstes Wärmebild empfangen. Ferner kann der Prozessor / können die Prozessoren ein Kantenbild aus dem wenigstens einen ersten Bild sichtbaren Lichts, das Kantenbereiche im wenigstens einen ersten Bild sichtbaren Lichts identifiziert. Eine Spurmarkierung oder/und ein Straßenrandbereichs können auf Basis wenigstens teilweise einer Information vom Kantenbild bestimmt werden. Zusätzlich können ein oder mehrere erste interessierende Bereiche im ersten Wärmebild auf Basis der Spurmarkierung oder/und des Straßenrandbereichs bestimmt werden. Ferner kann eine Verstärkung eines Wärmesensors auf Basis des einen oder der mehreren interessierenden Bereiche im ersten Wärmebild angepasst werden.
Zusätzlich können in einigen Ausführungen ein oder mehrere Prozessoren ein oder mehrere Bilder sichtbaren Lichts und ein Wärmebild empfangen. Ein oder mehrere interessierende Bereiche können im Wärmebild bestimmt werden und der eine oder die mehreren interessierenden Bereiche können dem einen oder den mehreren Bildern sichtbaren Lichts zugeordnet werden. Der Prozessor kann / die Prozessoren können ein Disparitätskartenbild, das einen oder mehrere Bereiche dichterer Disparität entsprechend dem einen oder den mehreren interessierenden Bereichen mit einem oder mehreren Bereichen dünnbesetzterer Disparität entsprechend Bereichen außerhalb des einen oder der mehreren interessierenden Bereiche kombiniert, aus dem einen oder den mehreren Bildern sichtbaren Lichts auf Basis der Zuordnung erzeugen.
[Vorteilhafte Wirkungen der Erfindung]
Einige vorliegende Ausführungen verbessern die Erfassung und Erkennung von Hindernissen und Straßenmerkmalen für alle Arten von Wetterbedingungen, etwa für AD/ADAS-Anwendungen. Beispielsweise kann es schwierig sein, Hindernisse, die Fahrbahn, Schilder, Ampeln usw. bei allen Wetter- und Lichtbedingungen unter Verwendung eines einzigen Sensors, etwa ausschließlich einer Stereo- oder Monokamera für sichtbares Licht oder ausschließlich einer Wärmekamera, zu erfassen und zu erkennen. Dementsprechend sehen einige vorliegende Beispiele für effiziente Fusion von Bildern einer Kamera für sichtbares Licht und Wärmekamerabildern das Ausführen einer hochpräzisen Erfassungs- und Erkennungsfähigkeit für eine große Zahl von Wetter- und Straßenbedingungen vor.
[Kurze Beschreibung der Zeichnungen]
Die ausführliche Beschreibung erfolgt in Bezug auf die beigefügten Figuren. In den Figuren identifizieren die Stellen ganz links die Figur, in der das Bezugszeichen zuerst auftritt. Die Verwendung der gleichen Bezugszeichen in verschiedenen Figuren gibt ähnliche oder identische Elemente oder Merkmale an.

1 zeigt ein zum Durchführen der Erkennung der Umgebung eines Fahrzeugs ausgebildetes Beispielerkennungssystem gemäß einiger Ausführungen.
2 zeigt eine Beispielarchitektur eines Erkennungssystems, das im Fahrzeug 102 enthalten sein kann, gemäß einiger Ausführungen.
3 zeigt eine Beispielarchitektur eines Erkennungs- und Fahrzeugsteuersystems 300, das im Fahrzeug enthalten sein kann, gemäß einiger Ausführungen.
4 zeigt ein Beispiel einer vom Kameraystem durchgeführten Bilderfassung gemäß einiger Ausführungen.
5 zeigt ein Fließbild zur Darstellung eines Beispielprozesses zur dynamischen Verstärkungseinstellung unter Verwendung von Stereokamerabildern gemäß einiger Ausführungen.
6 zeigt ein Fließbild zur Darstellung eines Beispielprozesses zur dynamischen Verstärkungseinstellung unter Verwendung eines Monokamerabildes gemäß einiger Ausführungen.
7 zeigt ein Fließbild zur Darstellung eines Beispielprozesses zum Erzeugen eines Disparitätskantenbildes gemäß einiger Ausführungen.
8 zeigt einen Beispielprozess zum Bestimmen einer relativen Stellung einer Kamera für sichtbares Licht zu einer Wärmekamera oder umgekehrt gemäß einiger Ausführungsformen.
9 zeigt eine Beispiel-Nachschlagetabelle und einen Beispielentscheidungsbaum zum Auswählen eines Verstärkungsgewichts gemäß einiger Ausführungen.
10 zeigt Beispielwärmebilder vor und nach der dynamischen Kalibrierungseinstellung gemäß einiger Ausführungen.
11 zeigt ein Fließbild zur Darstellung eines Beispielprozesses zum Erzeugen eines Disparitätskantenbildes, das Bereiche dünnbesetzter und dichter Disparität kombiniert, gemäß einiger Ausführungen.
12 zeigt Beispielbilder zum Bestimmen von Bereichen höherer und niedrigerer Priorität gemäß einiger Ausführungen.
13 zeigt ein Beispiel eines Blockvergleichs zum Bestimmen von Bereichen höherer Priorität in den Stereobildern gemäß einiger Ausführungen.
14 zeigt ein Beispiel-Disparitätskartenbild mit kombinierten Bereichen dünnbesetzter und dichter Disparität, bestimmt gemäß einiger Ausführungen.

[Beschreibung der Ausführungsformen]
Einige vorliegende Ausführungen betreffen Verfahren und Anordnungen, welche die von einer oder mehreren Kameras für sichtbares Licht und einer oder mehreren Wärmekameras empfangenen Informationen zum Durchführen einer Erkennung, etwa einer Fahrbahnerkennung, einer Hinderniserkennung, einer Hindernisvermeidung oder anderer Erkennungs- und Navigationsermöglichungsfunktionen kombinieren können. Beispielsweise können die vorliegenden Ausführungen eine Disparitätskarte auf Basis wenigstens teilweise von von einer Wärmekamera und einer oder mehreren Kameras für sichtbares Licht empfangenen Informationen erzeugen. Zusätzlich können die vorliegenden Ausführungen eine dynamische Anpassung der Wärmekameraverstärkung zum Erhöhen der Genauigkeit der vorliegenden Erkennungsergebnisse durchführen.
Als ein Beispiel können die hier beschriebenen Verfahren intelligent Bereiche von Karten dünnbesetzter Disparität und Karten dichter Disparität zum Verwenden zur Hindernisvermeidung und anderen Navigationsfunktionen auf Basis wenigstens teilweise von Wärmekamerainformationen berechnen. Zusätzlich können einige Beispiele dynamische Anpassungen von Wärmekamera-Verstärkungswerten auf Basis von von Bildern einer Kamera für sichtbares Licht bestimmten Kantendisparitätsinformationen durchfuhren. Beispielsweise können die vorliegenden Kantendisparitätsinformationen aus von einer Kamera für sichtbares Licht, etwa einer Monokamera für sichtbares Licht oder einer Stereokamera für sichtbares Licht, empfangenen Bildern extrahiert werden.
Einige vorliegende Ausführungen verbessern die Erfassung und Erkennung von Hindernissen und Straßenmerkmalen für alle Arten von Wetterbedingungen, etwa für AD/ADAS-Anwendungen. Beispielsweise kann es schwierig sein, Hindernisse, die Fahrbahn, Schilder, Ampeln usw. bei allen Wetter- und Lichtbedingungen unter Verwendung eines einzigen Sensors, etwa ausschließlich einer Stereo- oder Monokamera für sichtbares Licht oder ausschließlich einer Wärmekamera, zu erfassen und zu erkennen. Dementsprechend sehen einige vorliegende Beispiele für effiziente Fusion von Bildern einer Kamera für sichtbares Licht und Wärmekamerabildern das Ausführen einer hochpräzisen Erfassungs- und Erkennungsfähigkeit für eine große Zahl von Wetter- und Straßenbedingungen vor.
Als ein Beispiel kann das vorliegende System eine Wärmekamera und wenigstens eine im Fahrzeug montierte Kamera für sichtbares Licht umfassen. Die jeweiligen Sehfelder der Wärmekamera und der Kamera(s) für sichtbares Licht können breit genug sein, um die Straße vor dem Fahrzeug sowie den Straßenrand und die Straßenseitenobjekte zu erfassen. Wenn die Sehfelder der Wärmekamera und Kamera(s) für sichtbares Licht in etwa gleich sind, können die Berechnungen im Vergleich zu anderen vorliegenden Beispielen, in denen die Sehfelder der Wärmekamera und Kamera(s) für sichtbares Licht unterschiedlich sind. Wenn die Sehfelder beispielsweise unterschiedlich sind, kann eine zusätzliche Kalibrieroperation verwendet werden, um die Sehfelder bei der Fusion der von der Wärmekamera und der Kamera / den Kameras für sichtbares empfangenen Bilder abzugleichen. Ferner sind die vorliegenden Ausführungen nicht auf das Erfassen von Bildern der Fahrbahn vor dem Fahrzeug beschränkt, sondern können auch für das Erfassen von Bildern seitlich vom und hinter dem Fahrzeug verwendet werden, etwa zum Durchführen einer Erkennung der gesamten das Fahrzeug umgebenden Umgebung.
Das Durchführen einer zuverlässigen Erkennung von Hindernissen für verschiedene unterschiedliche Arten von Wetterbedingungen kann für ADAS/AD-Systeme eine herausfordernde Aufgabe darstellen. Dementsprechend können die vorliegenden Ausführungen ein effizientes Fusionsverfahren von Kamerabildern sichtbaren Lichts und Wärmekamerabildern umfassen, um genaue Erfassungs- und Erkennungsraten für eine große Vielzahl von Bedingungen zu ermöglichen. Beispielsweise können einige vorliegende Beispiele ein Rohdaten-Fusionsverfahren verwenden, das die Disparitätskartenqualität und -effizienz verbessert und das eine automatische Anpassung der Wärmekamera-Sensorverstärkung zum Durchführen der Erkennung von Hindernissen unter Verwendung von verschmolzenen Kameradaten vorsieht. Dies ermöglicht dem vorliegenden System, eine verbesserte Erkennungsleistung im Vergleich zu herkömmlichen Lösungen bereitzustellen. Zusätzlich können vorliegende Ausführungen helfen, eine umfassende Bewertung der Straßenszenen bereitzustellen, beispielsweise um Hindernisse über relativ weite Entfernungen zu erfassen. In einigen Fällen kann künstliche Intelligenz eingesetzt werden, um eine hochpräzise Erkennungsleistung unter Verwendung von Informationen der Kamera(s) für sichtbares Licht und Wärmekamerainformationen zu erzielen.
Zum Zwecke der Erläuterung sind Beispielausfiihrungen im Umfeld des Erfassens und der Fusion von Bildern sichtbaren Lichts und Wärmebildern zum Erfassen und Erkennen von Fahrzeugumgebungen beschrieben. Die vorliegenden Ausführungen sind aber nicht auf die bereitgestellten spezifischen Beispiele beschränkt und können auf andere Arten von Kameras, andere Arten von Wärmemessvorrichtungen, andere Arten von Fahrzeugen, anderen Arten von Straßen und Hindernissen, andere Wetterbedingungen usw. erweitert werden, wie einem Fachmann aufgrund der vorliegenden Offenbarung klar wird.
1 zeigt ein zum Durchführen der Erkennung der Umgebung eines Fahrzeugs 102 ausgebildetes Beispielerkennungssystem 100 gemäß einiger Ausführungen. In diesem Beispiel wird angenommen, dass das Fahrzeug 102 auf einer Fahrbahn oder einem anderen Fahrweg 104 in einer durch den Pfeil 106 angegebenen Richtung fährt. Das vorliegende Erkennungssystem 100 kann wenigstens ein Kamerasystem 108 umfassen, das im Fahrzeug 102 montiert sein kann. Im dargestellten Beispiel kann das Kamerasystem 108 eine Kamera 110 für sichtbares Licht und eine Wärmekamera 112 umfassen. In diesem Beispiel ist die Kamera 110 für sichtbares Licht eine Stereokamera für sichtbares Licht. In anderen Beispielen kann das Kamerasystem 108 eine oder mehrere Monokameras für sichtbares Licht statt der oder zusätzlich zur Stereokamera für sichtbares Licht als Kamera 110 für sichtbares Licht umfassen. Ferner können in einigen Fällen mehrere Wärmekameras 112 enthalten sein. Zusätzlich können, während die Kameras 110, 112 im Kamerasystem 108 als beispielsweise gemeinsam auf dem Fahrzeugdach angeordnet dargestellt sind, die Wärmekamera 112 und/oder die Kamera 110 für sichtbares Licht in anderen Beispielen zusammen oder getrennt in einer von verschiedenen unterschiedlichen Positionen am Fahrzeug 102 angeordnet sein.
Im dargestellten Beispiel stimmt ein Sehfeld 114 der Kamera 110 für sichtbares Licht mit einem Sehfeld 116 der Wärmekamera 112 überein. Die Kamerasehfelder 114, 116 können breit genug sein, um die Straße oder andere Fahrwege 104 vor dem Fahrzeug 102, ein entgegenkommendes Fahrzeug / entgegenkommende Fahrzeuge 118, einen Straßenrand 120, einen Straßenseitenbereich 122, Straßenspurmarkierungen 124 usw. zu erfassen. Zusätzlich kann sich in anderen Beispielen das Sehfeld 114 der Kamera 110 für sichtbares Licht vom Sehfeld 116 der Wärmekamera 112 unterscheiden, etwa durch Bereitstellen eines anderen Winkels der Bilderfassung oder dergleichen in einer seitlichen oder/und vertikalen Richtung.
In einigen Fällen kann das Kamerasystem 108 Bilder kontinuierlich entsprechend den jeweiligen Sehfeldern 114, 116 erfassen, während das Fahrzeug 102 in Betrieb ist, beispielsweise mit 10 Frames pro Sekunde, 15 Frames pro Sekunde, 30 Frames pro Sekunde, 60 Frames pro Sekunde oder in jeder anderen gewünschten Frequenz, die Bilder mit einer ausreichend hohen Rate bereitstellt, um die Erkennung des Fahrwegs 104 und von Hindernissen auf dem Fahrweg rechtzeitig zu ermöglichen, um Ausweichmanöver durchzuführen oder sich anderweitig an die Erkennungsinformationen anzupassen. Beispielsweise kann die Bilderfassungsfrequenz (Abtastfrequenz) des Kamerasystems 108 mit der Zunahme der Fahrzeuggeschwindigkeit zunehmen. Zusätzlich kann in einigen Fällen die Kamera 110 für sichtbares Licht Bilder mit einer Abtastfrequenz erfassen, die sich von der Abtastfrequenz der Wärmekamera 112 unterscheidet.
Das Fahrzeug 102 kann ein oder mehrere Fahrzeug-Computervorichtungen 126 umfassen wie nachfolgend zusätzlich erläutert. Die Fahrzeug-Computervorrichtung(en) 126 kann/können ein Erkennungsprogramm 128 und ein Fahrzeugsteuerprogramm 130 ausführen. In einigen Fällen kann das Erkennungsprogramm 128 die von den Kameras des Kamerasystems 108 erfassten Bilder empfangen und kann die Verarbeitung an Bildern durchführen, um die Erkennung für den aktuellen Fahrweg 104 des Fahrzeugs 102 durchzuführen. Das Erkennungsprogramm 128 kann Erkennungsinformationen zu erfassten und erkannten Merkmalen und Hindernissen an das Fahrzeugsteuerprogramm 130 liefern, das eine oder mehrere Aktionen auf Basis der Erkennungsinformationen anstoßen kann, etwa das Ausgeben einer Warnung zum Warnen eines Fahrzeuginsassen, das Bremsen des Fahrzeugs 102, das Beschleunigen des Fahrzeugs, das Lenken von einem oder mehreren Rädern des Fahrzeugs 102 oder dergleichen.
In einigen Fällen kann das Kamerasystem 108 wenigstens eine Fahrzeug-Computervorrichtung 126 umfassen, die das Erkennungsprogramm 128 ausführt. In anderen Fällen kann/können die Fahrzeug-Computervorrichtung(en) 126 getrennt vom Kamerasystem 108 und an einer anderen Stelle im Fahrzeug 102 zum Ausführen des Erkennungsprogramms 128 angeordnet sein. In jedem Fall kann/können die Fahrzeug-Computervorrichtung(en) 126 Bilder vom Kamerasystem 108 empfangen und kann/können die Bilder zum Erfassen der Straße, von Straßenmerkmalen, Schildern, Hindernissen, anderen Fahrzeugen und dergleichen verarbeiten.
In einigen Beispielen kann das Erkennungsprogramm 128 eine Parallaxenkarte aus den empfangenen Bildern erzeugen, beispielsweise unter Verwendung von Stereokamerabildern, Monokamerabildern oder von mehreren Monokameras aufgenommenen Bildern. Wenn eine Monokamera verwendet wird, kann eine Tiefe unter Verwendung eines trainierten maschinellen Lernmodells (nicht dargestellt in 1) berechnet werden. Beispielsweise kann zunächst eine Menge von Monokularbildern und ihrer entsprechenden Bodenwirklichkeits-Parallaxenkarten erfasst und zum Trainieren des maschinellen Lernmodells verwendet werden. Anschließend kann das maschinelle Lernmodell zum Vorhersagen von Näherungswerten der Parallaxenkarte als eine Funktion von neu erfassten Bildern verwendet werden.
Alternativ können im Falle einer Stereokamera oder von mehreren Kameras Bildern durch zwei oder mehr Kameras erfasst werden. Die erfassten Bilder können zum Berechnen einer Parallaxe unter Verwendung von Blockvergleichsverfahren, etwa eines halbglobalen Blockvergleichs oder eines anderen geeigneten Verfahrens, verwendet werden. Parallaxeninformationen können zum Erzeugen einer Disparitätskarte verwendet werden. In einigen vorliegenden Beispielen wird ein Stereokamerasystem als ein Beispielsystem zum Erläutern einiger Beispielausführungen verwendet; ein Fachmann kann aber nachvollziehen, dass ähnliche Anordnungen und Verfahren unter Verwendung von Systemen mit einer einzigen Monokamera oder mehreren Monokameras ebenso angewendet werden können.
Wärmekameras (manchmal ebenfalls einfach als „Wärmesensoren“ bezeichnet) und Kameras für sichtbares Licht arbeiten in verschiedenen Spektren von elektromagnetischen Wellen. Beispielsweise können Kamerasensoren für sichtbares Licht, etwa für die Monokameras für sichtbares Licht und Stereokameras für sichtbares Licht wie hier beschrieben, im sichtbaren Lichtspektrum arbeiten. Das Infrarot-(IR-)Spektrum kann in der Wellenlänge vom nominalen roten Rand des sichtbaren Spektrums bei etwa 0,75 Mikrometer bis fast einer Größe von 1 Millimeter reichen und umfasst daher die meiste von Objekten nahe der Raumtemperatur ausgestrahlte Wärmestrahlung. Somit weist das IR-Spektrum, das die Wärmestrahlung einschließt, längere Wellenlängen auf als das sichtbare Lichtspektrum und ist daher für das menschliche Auge unsichtbar. Da die von Objekten ausgestrahlte Wärmestrahlung elektromagnetischen Wellen typischerweise im Fern-Wärmespektrum entspricht, können Wärmesensoren diese Wellen erfassen und ein Wärmebild erzeugen.
Ferner können in einigen Beispielen die Wärmekameras hier von Nah-IR-Kameras unterschieden werden. Beispielsweise können Nah-IR-Kameras Wellenlängen von beispielsweise 0,75 bis 1,4 Mikrometer erfassen, während Wärmekameras hier beispielsweise Wellenlängen in einem Bereich von 8 bis 15 Mikrometer erfassen können. Dementsprechend können in einem Beispiel Nah-IR-Kameras die gleichen Sensoren verwenden wie Kameras für sichtbares Licht und können Umgebungs-IR-Licht oder IR-Dioden zum Empfangen von IR-Licht in den erforderlichen Wellenlängen verwenden, während Wärmekameras hier das Erfassen von ausgestrahlter Wärme in Mittel- bis Fern-IR-Wellenlängen verwenden.
Allgemein können Kameras für sichtbares Licht Bilder für eine bessere Erkennungsleistung tagsüber im Vergleich zur Nacht bereitstellen, etwa unter Berücksichtigung von Erfassungsbereich, Lichtstärke usw. Eine Disparitätskarte kann Informationen zum Ermöglichen von Erfassung und Erkennung von Merkmalen im Sehfeld, etwa Fahrbahn, Hindernisse usw., sowie zum Schätzen von Abständen zu erkannten Merkmalen bereitstellen. Beispielsweise kann eine Disparitätskarte unter Verwendung von linken und rechten Kamerabildern von einer Stereokamera erzeugt werden. Die Qualität der erzeugten Disparitätskarte kann mit der Qualität der Erkennungs- und Abstandsschätzungsleistung korrelieren. Eine Disparitätskarte mit höherer Qualität, häufig als „dichte“ Disparitätskarte bezeichnet, kann hochpräzise Informationen für die meisten beim Erzeugen der dichten Disparitätskarte berücksichtigten Pixel bereitstellen. Eine Disparitätskarte mit niedrigerer Qualität hingegen, häufig als eine „dünnbesetzte“ Disparitätskarte bezeichnet, kann präzise Informationen nur für eine begrenzte Zahl von Pixeln in den erfassten Bildern bereitstellen. Die Erzeugung von dichten Disparitätskarten erfordert aber relativ viel Rechenaufwand im Vergleich zur Erzeugung von dünnbesetzten Disparitätskarten und kann eine teurere Verarbeitungseinheit und einen teureren Speicher erfordern. Somit können dünnbesetzte Disparitätskarten zum Reduzieren der Rechenanforderungen verwendet werden, selbst wenn eine dünnbesetzte Disparitätskarte gegebenenfalls nicht die korrekten Informationen für alle erforderlichen Pixel darstellt.
Die vorliegenden Wärmekameras können eine überragende Leistung unter Restlichtbedingungen im Vergleich zu Kameras für sichtbares Licht liefern. Eine Wärmekamera kann aber auf Basis der Kalibrierung der Pixelverstärkung des Wärmesensors begrenzt sein, was dazu führt, dass der Wärmesensor unter einigen Bedingungen nicht ausreichend empfindlich ist. Dementsprechend sorgen die vorliegenden Ausführungen für eine automatische Kompensation für die Sensorpixelverstärkung bei verschiedenen Bedingungen. Beispielsweise können spät nachts, etwa bei niedrigeren Temperaturen, die Kalibrierungs-/Verstärkungsparameter der Wärmekamera so angepasst werden, dass kleine Temperaturunterschiede von der Wärmekamera erfasst werden können. Die vorliegenden Verfahren können beispielsweise das Unterscheiden zwischen Fahrbahn und Spurmarkierungen in der Nacht auf Basis der vorliegenden intelligenten Sensorverstärkungseinstellung ermöglichen.
Vorliegende Ausführungen sehen die Fusion von Daten einer Kamera für sichtbares Licht und Wärmekameradaten vor, um überragende Erkennungsergebnisse zu ermöglichen. Beispielsweise umfassen die vorliegenden Verfahren das intelligente Bestimmen von Bereichen eines Bildes zum Berechnen einer dichten Disparitätskarte und anderen Bereichen für eine dünnbesetzte Disparitätskarte auf Basis teilweise von Wärmekamerainformationen, so dass die Erkennungsgenauigkeit verbessert werden kann, während eine kostengünstigere Verarbeitungseinheit und ein kostengünstigerer Speicher verwendet werden. Die vorliegenden Verfahren können beispielsweise die intelligente Fusion von Wärmebildinformationen und Informationen sichtbaren Lichts zum Identifizieren der Bereiche niedrigerer Priorität, für die dünnbesetzte Disparitätsberechnungen ausreichen, und Identifizieren von Bereichen höherer Priorität eines Bildes, für die dichte Disparitätsberechnungen zweckmäßig sind, umfassen.
Ferner können die Verfahren hier dynamische Anpassungen von Wärmesensor-Verstärkungswerten durch Verwenden von von einem oder mehreren Bildern von Kameras für sichtbares Licht bestimmten Kantendisparitätsinformationen zum Erhöhen der Erfassungs- und Erkennungsgenauigkeit von Hindernissen und Straßeninformationen in der Nacht umfassen. Beispielsweise können vorliegenden Verfahren das Ändern des Verstärkungswerts des einzelnen Pixels umfassen, während eine lange Kante von einer Mono-/Stereokamera gefunden wird.
Die hier erfassten Wärmebilder können Informationen auf Basis der erfassten Temperatur von jedem Hindernis oder anderem Objekt, eines Straßenmerkmals usw. liefern. Es können keine Informationen wie Textur, Farbe und Schatten auf Wärmekamerabildern extrahiert werden, die allgemein in Bildern einer Kamera für sichtbares Licht verfügbar sind. Daher sind mit Kameras für sichtbare Lichtspektren verwendete Hinderniserfassungsalgorithmen aufgrund der inhärenten Unterschiede zwischen von Wärmekameras erfassten Bildern und von Kameras für sichtbares Licht erfassten Bildern gegebenenfalls nicht für die Verwendung mit Wärmekamerabildern geeignet.
In einigen vorliegenden Beispielen kann zum Entscheiden über Bereiche zum Erzeugen von dünnbesetzten und dichten Disparitätskarteninformationen das System entweder eine Schwellenwertoperation gefolgt von einer Clustering-Operation verwenden oder kann ein semantisches Segmentierungsnetzwerk, etwa durch Verwenden von Deep Learning oder Instanzsegmentierung, verwenden. Im Falle der Schwellenwertoperation kann zunächst eine erste Schwelle auf jedes Pixel im erfassten Bild angewendet werden. Beispielsweise können Pixel mit Werten, die niedriger sind als die erste Schwelle, als Niedertemperaturbereiche berücksichtigt werden und können entfernt werden, während Pixel, welche die Schwelle überschreiten, als Hotspots berücksichtigt und erhalten werden können. Anschließend können unter Verwendung einer Clustering-Operation die Bereiche mit niedrigerer Priorität und höherer Priorität des Bildes bestimmt werden. Insbesondere können die Bereiche mit niedrigerer Priorität einer dichteren Disparitätsverarbeitung unterzogen werden, während die Bereiche mit höherer Priorität einer dünnbesetzteren Disparitätsverarbeitung unterzogen werden können.
Alternativ können beim Verwenden des semantischen Segmentierungsnetzwerks und von Deep Learning, Instanzsegmentierung oder einem anderen maschinellen Lernmodell zum Bestimmen der interessierenden Bereiche die Pixel in einem Bild zunächst in ein entsprechendes Segment und eine entsprechende Klasse klassifiziert werden. Beispielsweise kann jede Klasse und jedes Segment die Fahrbahnmerkmale angeben. Eine Datenbank (nicht dargestellt in 1) einer großen Menge von Wärmebildern kann zusammengestellt werden, die unter einer Vielfalt von verschiedenen Szenarios und Bedingungen, etwa Wetter, Tag, Nacht, verschiedene Fahrbahntypen usw., erfasste Bilder umfassen, und die ebenfalls verschiedene Hindernisse und Straßenmerkmale, etwa Fußgänger, Fahrzeuge, Ampeln, Bordsteine, Straßenbeleuchtung, Schilder usw. enthaltende Bilder umfassen. Sobald die Datenbank und entsprechende Bezeichnungen erstellt sind, kann das semantische Segmentierungsnetzwerk unter Verwendung eines Teils der Datenbank trainiert werden und das trainierte maschinelle Lernmodell kann unter Verwendung eines anderen Teils der Datenbank evaluiert werden, um eine genaue Ausgabe sicherzustellen. Anschließend kann während der Verwendung ein erfasstes Wärmebild am trainierten maschinellen Lernmodell eingegeben werden und das trainierte Modell kann die interessierenden Bereiche ausgeben. Dementsprechend können die interessierenden Bereiche einer dichten Disparitätsverarbeitung unterzogen werden, während die restlichen Bilder einer dünnbesetzten Disparitätsverarbeitung zum Erzeugen eines kombinierten dünnbesetzten und dichten Disparitätskartenbildes unterzogen werden können.
2 zeigt eine Beispielarchitektur eines Erkennungssystems 200, das im Fahrzeug 102 enthalten sein kann, gemäß einiger Ausführungen. Jede Computervorrichtung 126 kann einen oder mehrere Prozessoren 202, ein oder mehrere computerlesbare Medien 204 und eine oder mehrere Kommunikationsschnittstellen 206 umfassen. In einigen Beispielen kann/können die Computervorrichtung(en) 126 eine oder mehrere elektronische Steuereinheiten oder einen von verschiedenen anderen Typen von Computervorrichtungen umfassen. Beispielsweise kann/können die Computervorrichtung(en) 126 eine oder mehrere elektronische Steuereinheiten für ADAS/AD zum Steuern von kritischen von kritischen Fahrzeugsystemen zum Durchführen von ADAS- und/oder AD-Aufgaben wie Navigation, Bremsen, Lenken, Beschleunigen, Verzögerung usw. umfassen. Die Computervorrichtung(en) 126 kann/können ebenfalls andere elektronische Steuereinheiten zum Steuern von anderen Fahrzeugsystemen umfassen.
Elektronische Steuereinheit ist ein allgemeiner Begriff für ein integriertes System, das ein oder mehrere der Systeme, Teilsysteme oder Komponenten in einem Fahrzeug steuert. Software, etwa das Erkennungsprogramm 128 und das Fahrzeugsteuerprogramm 130, kann von einer oder mehreren elektronischen Steuereinheiten ausgeführt werden und kann in einem Teil der computerlesbaren Medien 204 (beispielsweise einem Programm-ROM), verknüpft mit der jeweiligen elektronischen Steuereinheit, gespeichert sein, um der elektronischen Steuereinheit zu ermöglichen, als ein integriertes System zu funktionieren. Elektronische Steuereinheiten können typischerweise miteinander über einen Fahrzeugbus 208 gemäß einem Fahrzeugbusprotokoll kommunizieren. Beispielsweise ist das Controller-Area-Network-Bus-(CAN-Bus-)Protokoll ein Fahrzeugbusprotokoll, das elektronischen Steuereinheiten und anderen Fahrzeugvorrichtungen und -systemen ein Kommunizieren miteinander ohne einen Hostcomputer ermöglicht. Ein CAN-Bus kann wenigstens zwei verschiedene Typen umfassen. Beispielsweise kann ein Hochgeschwindigkeits-CAN in Anwendungen verwendet werden, in denen der Bus von einem Ende der Umgebung zur anderen verläuft, während ein fehlertolerantes CAN häufig verwendet wird, wenn Gruppen von Knoten miteinander verbunden sind.
Jede elektronische Steuereinheit oder andere Fahrzeugcomputervorrichtung 126 kann einen oder mehrere Prozessoren 202 umfassen, die einen oder mehrere Central Processing Units (CPUs), Graphics Processing Units (GPUs), Mikroprozessoren, Mikrocomputer, Mikrocontroller, Digitalsignalprozessoren, Zustandsautomaten, Logikschaltungen und/oder andere Vorrichtungen, die Signale auf Basis von operativen Anweisungen manipulieren, umfassen können. Beispielsweise kann der Prozessor / können die Prozessoren 202 einen oder mehrere Hardwareprozessoren und/oder Logikschaltungen eines beliebigen geeigneten Typs, spezifisch programmiert oder ausgebildet zum Ausführen der Algorithmen und anderen Prozesse wie hier beschrieben, umfassen. Der Prozessor kann / die Prozessoren 202 können zum Abrufen und Ausführen von in den computerlesbaren Medien 204 gespeicherten computerlesbaren Anweisungen, die den Prozessor / die Prozessoren 202 zum Ausführen der hier beschriebenen Funktionen programmieren können, ausgebildet sein.
Die computerlesbaren Medien 204 können einen flüchtigen und nichtflüchtigen Speicher und/oder entnehmbare und nicht entnehmbare Medien, ausgeführt in einem beliebigen Typ von Technologie für die Speicherung von Informationen, etwa computerlesbare Anweisungen, Datenstrukturen, Programme, Programmmodule und anderen Code oder andere Daten, umfassen. Beispielsweise können die computerlesbaren Medien 204 unter anderem RAM, ROM, EEPROM, Flash-Speicher oder eine andere Speichertechnologie, optischen Speicher, Solid-State-Speicher, Magnetplatten, Cloud-Speicher oder ein beliebiges anderes Medium, das zum Speichern der gewünschten Informationen verwendet werden kann und auf das durch eine Computervorrichtung zugegriffen werden kann, umfassen. Je nach Konfiguration der Fahrzeugcomputervorrichtung(en) 126 können die computerlesbaren Medien 204 ein physisches nichtflüchtiges Medium in dem Ausmaß sein, dass, wenn erwähnt, nichtflüchtige computerlesbare Medien Medien wie Energie, Trägersignale, elektromagnetische Wellen und/oder Signale als solche ausschließen. In einigen Fällen können sich die computerlesbaren Medien 204 am gleichen Ort befinden wie die Fahrzeugcomputervorrichtung 126, während in anderen Beispielen die computerlesbaren Medien 204 teilweise entfernt von der Fahrzeugcomputervorrichtung 126 sein können, etwa zugänglich über ein drahtloses Netzwerk oder dergleichen.
Die computerlesbaren Medien 204 können zum Speichern einer beliebigen Zahl von Funktionskomponenten, die vom Prozessor / von den Prozessoren 202 ausführbar sind, verwendet werden. In vielen Ausführungen umfassen diese Funktionskomponenten Anweisungen oder Programme, die vom Prozessor / von den Prozessoren 202 ausführbar sind und, wenn ausgeführt, insbesondere den Prozessor / die Prozessoren 202 zum Ausführen der hier zugewiesenen Aktionen an der Fahrzeugcomputervorrichtung 126 programmieren. In den computerlesbaren Medien 204 gespeicherte Funktionskomponenten können das Erkennungsprogramm 128 und das Fahrzeugsteuerprogramm 130 umfassen, von denen jedes ein oder mehrere Computerprogramme, Anwendungen, ausführbaren Code oder Teile hiervon umfassen kann. Ferner können, während diese Programme in diesem Beispiel zusammen dargestellt sind, während der Verwendung einige oder alle dieser Programme auf einer separaten Computervorrichtung / auf separaten Computervorrichtungen 126 ausgeführt werden.
Zusätzlich können die computerlesbaren Medien 204 Daten, Datenstrukturen und andere Informationen speichern, die zum Ausführen der hier beschriebenen Funktionen und Dienste verwendet werden. Beispielsweise können die computerlesbaren Medien 204 Erkennungsinformationen 212, Fahrzeugdaten 214, Bilddaten 216, ein oder mehrere maschinelle Lernmodelle (MLM(s)) 218, eine Verstärkungs-Nachschlagetabelle 219, andere Sensordaten 220 usw. speichern. Ferner können, während diese Daten und Datenstrukturen in diesem Beispiel zusammen dargestellt sind, während der Verwendung einige oder alle dieser Daten und/oder Datenstrukturen von oder mit einer separaten Computervorrichtung / separaten Computervorrichtungen 126 gespeichert werden. Die Computervorrichtung(en) 126 kann/können ebenfalls andere Funktionskomponenten und Daten, die Programme, Treiber usw. umfassen können, und die von den Funktionskomponenten verwendeten oder erzeugten Daten umfassen oder pflegen. Ferner kann/können die Computervorrichtung(en) 126 viele weitere logische, programmtechnische und physische Komponenten umfassen, von denen die zuvor beschriebenen lediglich Beispiele sind, die mit der vorliegenden Erläuterung verknüpft sind.
Die eine oder die mehreren Kommunikationsschnittstellen 206 können eine oder mehrere Software- und Hardwarekomponenten zum Ermöglichen der Kommunikation mit verschiedenen anderen Vorrichtungen, etwa über den Fahrzeugbus 208 und/oder über ein oder mehrere Netzwerke (nicht dargestellt in 2), umfassen. Beispielsweise kann/können die Kommunikationsschnittstelle(n) 206 eine Kommunikation durch ein oder mehrere Elemente der Gruppe umfassend ein LAN, das Internet, Kabelnetzwerke, Funknetze, drahtlose Netzwerke (beispielsweise Wi-Fi) und festverdrahtete Netzwerke (beispielsweise CAN, Fibre Channel, Glasfaser, Ethernet), direkte Verbindungen sowie Nahbereichkommunikation wie Bluetooth (eingetragene Marke) und dergleichen als zusätzlich an anderer Stelle hier aufgezählt ermöglichen.
Die Computervorrichtung(en) 126 kann/können mit dem Kamerasystem 108 über den Fahrzeugbus 208, eine direkte Verbindung oder einen anderen Typ von Verbindung zum Empfangen von Bilddaten 216 vom Kamerasystem 108 kommunizieren. Beispielsweise kann wie nachfolgend ausführlich erläutert das Erkennungsprogramm 128 die Bilddaten 216 vom Kamerasystem 108 empfangen und kann eine Erkennung von Merkmalen in den Bildern durchführen. Im Beispiel von 2 können die empfangenen Bilddaten 216 Bilder 222 sichtbaren Lichts und Wärmebilder 223 umfassen. Beispielsweise können einige oder alle Bilddaten 216 als Rohbilddaten ohne wesentliche Verarbeitung empfangen werden. Alternativ kann in anderen Beispielen wie beispielsweise in Bezug auf 3 zusätzlich nachfolgend beschrieben das Kamerasystem 108 die Erkennung in den Bildern durchführen, statt die Rohbilddaten an die Fahrzeugcomputervorrichtung 126 zu senden.
Zusätzlich kann/können die Computervorrichtung(en) 126 Fahrzeugdaten 214 von anderen Systemen und/oder anderen Sensoren im Fahrzeug empfangen. Beispielsweise kann das Fahrzeug eine Vielzahl von anderen Sensoren 225 zusätzlich zum Kamerasystem 108 umfassen, die vom Fahrzeugsteuerprogramm 130 verwendete Sensorinformationen liefern können. Mehrere unvollständige Beispiele von anderen Sensoren 225 können Radar, Lidar, Ultraschall, einen Global-Positioning-System-(GPS-)Empfänger, andere Kameras, die beispielsweise in andere Richtungen zeigen, und dergleichen umfassen. Zusätzlich können die vom Fahrzeugsteuerprogramm 130 verwendeten Fahrzeugdaten 214 von verschiedenen Fahrzeugsystemen, etwa von einem mit der Federung verknüpften Federungssteuergerät 224, einem mit der Lenkung verknüpften Lenkungssteuergerät 226, einem mit einer Bremsanlage und einem Beschleunigungssystem verknüpften Fahrzeuggeschwindigkeits-Steuergerät 228 usw. empfangene oder mit diesen verknüpfte Informationen umfassen.
Beispielsweise kann das Erkennungsprogramm 128 die Bilder 222 sichtbaren Lichts und die Wärmebilder 223 vom Kamerasystem 108 kontinuierlich als die Bilddaten 216 empfangen, beispielsweise wenn das Kamerasystem 108 Bilder des Fahrwegs oder anderer Umgebung des Fahrzeugs erfasst, während das Fahrzeug in Bewegung ist. Ferner kann das Erkennungsprogramm 128 die empfangenen Bilddaten 216 verarbeiten, um Straßenmerkmale, Hindernisse usw. zu erkennen. Das Erkennungsprogramm 128 kann die Erkennungsinformationen 212 zu erfassten Hindernissen, Straßenmerkmalen usw. an das Fahrzeugsteuerprogramm 130 liefern, das eine oder mehrere Aktionen als Reaktion auf die Erkennungsinformationen durchführen kann. In einigen Beispielen kann das Fahrzeugsteuerprogramm 130 und/oder das Erkennungsprogramm 128 die aus den Bilddaten 216 bestimmten Erkennungsinformationen 212 mit den anderen Sensordaten 220 verschmelzen oder anderweitig kombinieren und konsolidieren, um zusätzliche verfügbare Informationen an das Fahrzeugsteuerprogramm 130 zum Steuern des Fahrzeugs zu liefern.
Beispielsweise kann das Fahrzeugsteuerprogramm 130 regelbasierte und/oder auf künstlicher Intelligenz basierte Steueralgorithmen verwenden, um Parameter zur Fahrzeugsteuerung zu bestimmen. Das Fahrzeugsteuerprogramm 130 kann beispielsweise ein oder mehrere maschinelle Lernmodelle (nicht dargestellt in 2) zum Bestimmen einer geeigneten Aktion, etwa Bremsen, Lenken, Verzögern, Beschleunigen oder dergleichen, anwenden. Ferner kann das Fahrzeugsteuerprogramm 130 ein oder mehrere Steuersignale 238 an ein oder mehrere Fahrzeugsysteme als Reaktion auf die Erkennungsinformationen 212 senden. Beispielsweise kann das Fahrzeugsteuerprogramm 130 Steuersignale 238 an das Federungssteuergerät 224, das Lenkungssteuergerät 226 und/oder das Fahrzeuggeschwindigkeits-Steuergerät 228 senden. Die Steuersignale 238 können beispielsweise einen spezifizierten Federkoeffizienten und/oder Dämpfungssteuerinformationen, die an das Federungssteuergerät 224 gesendet werden, einen an das Lenkungssteuergerät 226 zum Lenken von einem oder mehreren Rädern gesendeten spezifizierten Lenkwinkel und/oder an das Fahrzeuggeschwindigkeits-Steuergerät 228 gesendete spezifizierte Brems- oder Beschleunigungssteuerinformationen umfassen.
Zusätzlich oder alternativ, etwa wenn sich das Fahrzeug unter der Kontrolle eines menschlichen Fahrers befindet, kann das Fahrzeugsteuerprogramm 130 ein Steuersignal 238 an eine Anzeige 240 zum Anzeigen einer Warnung und/oder an eine oder mehrere Warnvorrichtungen 242, etwa eine akustische oder optische Warnvorrichtung, senden. Beispiele für Warnvorrichtungen 242 umfassen Lautsprecher, die eine hörbare Warnung erzeugen können, haptische Vorrichtungen, die ein Vibrieren oder eine andere Art von taktiler Warnung erzeugen können (beispielsweise in einem Sitz oder Lenkrad), und/oder eine optische Signalvorrichtung, die eine optische Warnung erzeugen kann.
3 zeigt eine Beispielarchitektur eines Erkennungs- und Fahrzeugsteuersystems 300, das im Fahrzeug 102 enthalten sein kann, gemäß einiger Ausführungen. In diesem Beispiel kann das Kamerasystem 108 eine Verarbeitungsfähigkeit zum Bestimmen von Erkennungsinformationen 212 unabhängig von der/den Fahrzeugcomputervorrichtung(en) 126 umfassen. Dementsprechend umfasst das Kamerasystem 180 einen oder mehrere Prozessoren 302, ein oder mehrere computerlesbare Medien 304 und ein oder mehrere Kommunikationsschnittstellen 306. Der eine oder die mehreren Prozessoren 302 können beliebige der zuvor in Bezug auf 2 beschriebenen Prozessoren 202 oder andere geeignete Prozessoren zum Durchführen der hier beschriebenen Operationen sein oder diese umfassen. Ferner können das eine oder die mehreren computerlesbaren Medien 302 beliebige der zuvor in Bezug auf 2 beschriebenen computerlesbaren Medien 204 oder andere geeignete computerlesbare Medien sein oder diese umfassen. Ebenso können die Kommunikationsschnittstellen 306 beliebige der zuvor in Bezug auf 2 beschriebenen Kommunikationsschnittstellen 206 oder andere geeignete Kommunikationsschnittstellen sein oder diese umfassen.
Zusätzlich umfasst das Kamerasystem 108 die Kamera(s) 110 für sichtbares Licht und die Wärmekamera(s) 112, die nach dem Stand der Technik ein oder mehrere Objektive, eine oder mehrere Fokussierungssysteme und einen oder mehrere Bildsensoren sowie einen oder mehrere Wärmesensoren umfassen können. In diesem Beispiel kann das Kamerasystem 108 das Erkennungsprogramm 128 auf dem einen oder den mehreren Prozessoren 302 ausführen. Dementsprechend kann/können die Kamera(s) 110 für sichtbares und die Wärmekamera(s) 112 Bilder in ihren jeweiligen Sehfeldern erfassen und können die erfassten Bilder auf den computerlesbaren Medien 304 als Bilddaten 216 speichern.
In einigen Beispielen empfängt das Erkennungsprogramm 128 die Bilddaten 216 von der/den Kamera(s) 110 für sichtbares Licht und der/den Wärmekamera(s) 112. Beispielsweise kann das Erkennungsprogramm 128 kontinuierlich Bilddaten 216 von der/den Kamera(s) 110 für sichtbares Licht und der/den Wärmekamera(s) 112 in einem Puffer in den computerlesbaren Medien 304 empfangen, wenn die jeweiligen Bilder sichtbaren Lichts und Wärmebilder erfasst werden. Ferner kann das Erkennungsprogramm 128 eine Erkennungsverarbeitung an den empfangenen Bildern durchführen wie nachfolgend ausführlicher beschrieben. Das Erkennungsprogramm 128 kann anschließend Erkennungsinformationen 212 an die Fahrzeugcomputervorrichtungen 126 in Echtzeit senden. Das Fahrzeugsteuerprogramm 130 kann anschließend die Erkennungsinformationen 212 zum Steuern des Fahrzeugs wie zuvor in Bezug auf 2 beschrieben und zusätzlich nachfolgend beschrieben verarbeiten.
In einigen Beispielen kann/können die Fahrzeugcomputervorrichtung(en) 126 ein Konsolidierungsprogramm 308 ausführen, das zunächst die Erkennungsinformationen 212 empfangen kann und das ebenfalls die anderen Sensordaten 220 empfangen kann. Beispielsweise kann das Konsolidierungsprogramm 308 die Erkennungsinformationen 212 mit den anderen Sensordaten vergleichen und abstimmen, um eine vollständigere Darstellung der Umgebung des Fahrzeugs an das Fahrzeugsteuerprogramm 130 zu liefern. Ähnlich wie beim zuvor beschriebenen Beispiel von 2 kann das Fahrzeugsteuerprogramm 130 ein oder mehrere Steuersignale 238 an ein oder mehrere Fahrzeugsysteme 224, 226, 228, 240 und/oder 242 auf Basis der empfangenen Erkennungsinformationen 212 und der anderen Sensordaten 220 senden. Ferner kann/können, während die Kamera(s) 110 für sichtbares Licht und die Wärmekamera(s) 112 als den/die gleichen Prozessor(en) 302 und/oder die gleichen Fahrzeugcomputervorrichtungen 126 verwendend in einigen vorliegenden Beispielen beschrieben sind, die Kamera(s) 110 für sichtbares Licht einen oder mehrere Prozessoren 302 und/oder Fahrzeugcomputervorrichtungen 126 verwenden, die sich von den durch die Wärmekamera(s) 112 verwendeten unterscheiden.
4 zeigt ein Beispiel einer vom Kamerasystem 108 durchgeführten Bilderfassung 400 gemäß einiger Ausführungen. In diesem Beispiel umfasst das Kamerasystem 108 eine Stereokamera 110 für sichtbares Licht und eine Wärmekamera 112. Beispielsweise kann die Stereokamera 112 für sichtbares Licht ein rechtes Objektiv 402 und ein linkes Objektiv 404 umfassen. Das rechte Objektiv 402 kann ein rechtes Bild 406 erfassen und das linke Objektiv 404 kann ein linkes Bild 408 erfassen. Zusätzlich kann die Wärmekamera 112 ein Wärmebild 410 unter Verwendung eines Wärmesensors 412, etwa eines Mikrobolometers oder dergleichen, erfassen. Wie zuvor beschrieben kann in einigen Beispielen das Sehfeld der Stereokamera 110 für sichtbares Licht und das Sehfeld der Wärmekamera 112 in etwa gleich sein. In anderen Beispielen, in denen sich das Sehfeld der Stereokamera 110 für sichtbares Licht wesentlich vom Sehfeld der Wärmekamera 112 unterscheidet, können zusätzliche Umwandlungsberechnungen durchgeführt werden, um die Unterschiede in den Sehfeldern der jeweiligen Kameras 110, 112 zum Ausrichten eines Überlappungsabschnitts der jeweiligen Sehfelder zu berücksichtigen.
Wie nachfolgend zusätzlich beschrieben kann das System (beispielsweise das System 100, 200 und/oder 300) rechtes und linkes Bild 406 und 408 jeweils zum Bestimmen eines Parallaxenbildes verwenden, das als ein Disparitätskartenbild bezeichnet wird. Beispielsweise kann das System das Disparitätskartenbild unter Verwendung der zwei Stereobilder links und rechts 406 und 408 auf Basis eines Blockvergleichsverfahrens berechnen. Nach dem Stand der Technik kann beispielsweise, wenn ein Punkt PL = (u1, v1) im linken Bild 408, der entsprechende Punkt PR = (u2, v2) im rechten Bild 406 auf der gleichen Höhe sein wie PL, wenn v1 = v2 gemessen von einer gemeinsamen Basislinie. Somit kann die Parallaxenmessung unter Verwendung einer einfachen Stereokameratheorie bestimmt werden, in der die Parallaxe wie folgt definiert werden kann: $d = u 2 - u 1 EQ$
Auf Basis der bestimmten Parallaxe können vorliegende Ausführungen das Disparitätsbild durch Bestimmen der Tiefeninformation eines 3D-Punkts aus der Parallaxe bestimmen, da die Disparität umgekehrt proportional zur entsprechenden Parallaxe ist. Dementsprechend kann die Tiefe unter Verwendung von linken und rechten Bildern und der tatsächlichen Disparität berechnet werden, beispielsweise mit: $Z = fb/d EQ$
Dabei ist Z der Abstand (die Tiefe) entlang der Kameraachse, f die Brennweite in Pixeln, b eine Basislinie in Metern und d die Disparität in Pixeln.
In einigen vorliegenden Beispielen kann das System das Wärmebild 410 wenigstens teilweise zum Bestimmen, welche Bereiche des Disparitätskartenbildes als eine dichte Disparitätskarte zu berechnen sind und welche anderen Bereiche als eine dünnbesetzte Disparitätskarte berechnet werden können, verwenden, so dass die Erkennungsgenauigkeit verbessert werden kann, während die Verarbeitungszeit reduziert wird und/oder eine kostengünstigere Verarbeitungseinheit und ein kostengünstigerer Speicher verwendet werden können. Die vorliegenden Verfahren können beispielsweise das intelligente Berücksichtigen von Wärmebildinformationen und Informationen sichtbaren Lichts zum Identifizieren der Bereiche niedrigerer Priorität, für die dünnbesetzte Disparitätsberechnungen ausreichen, und Identifizieren von Bereichen höherer Priorität des Bildes, für die dichte Disparitätsberechnungen zweckmäßig sind, umfassen.
Wenigstens ein Abschnitt von 5-8 und 11 umfasst Fließbilder zur Darstellung von Beispielalgorithmen oder anderen Prozessen gemäß einiger Ausführungen. Die Prozesse sind als Sammlungen von Blöcken in Logikfließbildern dargestellt, die eine Abfolge von Operationen darstellen, von denen einige oder alle als Hardware, Software oder eine Kombination von beiden ausgebildet sein können. Im Kontext von Software können die Blöcke auf einem oder mehreren computerlesbaren Medien gespeicherte computerausführbare Anweisungen darstellen, die, wenn von einem oder mehreren Prozessoren ausgeführt, die Prozessoren zum Durchführen der genannten Operationen programmieren. Allgemein umfassen computerausführbare Anweisungen Routinen, Programme, Objekte, Komponenten, Datenstrukturen und dergleichen, die bestimmte Funktion ausführen oder bestimmte Datentyp implementieren. Die Reihenfolge, in der die Blöcke beschrieben sind, ist nicht als Einschränkung zu verstehen. Eine beliebige Zahl der beschriebenen Blöcke kann in einer beliebigen Reihenfolge und/oder parallel zum Ausführen des Prozesses oder alternativer Prozesse kombiniert sein und nicht alle Blöcke müssen ausgeführt werden. Zu Erläuterungszwecken sind die Prozesse in Bezug auf die Umgebungen, Rahmen und Systeme beschrieben wie in den vorliegenden Beispielen beschrieben, obgleich die Prozesse in einer breiten Vielfalt von anderen Umgebungen, Rahmen und Systemen ausgeführt sein können.
5 zeigt ein Fließbild zur Darstellung eines Beispielprozesses 500 zur dynamischen Verstärkungseinstellung unter Verwendung von Stereokamerabildern gemäß einiger Ausführungen. In einigen Beispielen kann der Prozess 500 von den Systemen 100, 200 und/oder 300 wie zuvor beschrieben durch Ausführen des Erkennungsprogramms 128 ausgeführt werden.
In 502 kann das System ein Signal zum Veranlassen der Stereokamera für sichtbares Licht zum Erfassen von Bildern sichtbaren Lichts senden. Beispielsweise kann, wenn das Fahrzeug gestartet, in Fahrt gesetzt oder anderweitig zum Beginn der Fahrt vorbereitet wird, das Fahrzeugsteuerprogramm 130 oder ein anderes Programm ein Signal an die Fahrzeugsensoren, einschließlich das Kamerasystem 108, zum Beginnen des Empfangs und der Verarbeitung von Sensorinformationen, einschließlich Bilder von der Stereokamera für sichtbares Licht, senden.
In 504 kann das System ein Signal zum Veranlassen der Wärmekamera zum Erfassen von Wärmebildern senden. Beispielsweise kann das Signal auf die gleiche Weise ausgelöst werden wie zuvor in 502 beschrieben für die Kamera für sichtbares Licht oder auf Basis eines anderen Auslösers, etwa einer Tageszeit, der Lichtbedingungen oder dergleichen.
In 505 kann das System zum Durchführen der Verstärkungseinstellung relevante lokale Bedingungen bestimmen, etwa aktuelle Wetterbedingungen, Tageszeit, Sonnenstand in Bezug auf das Sehfeld der Wärmekamera, Straßentyp usw. Wie nachfolgend zusätzlich erläutert können diese und/oder andere Bedingungen zum Bestimmen eines Verstärkungsgewichts zum Durchführen einer Verstärkungskalibrierungseinstellung der Wärmekamera verwendet werden. In einigen Beispielen können einige oder alle dieser Informationen auf Basis von von den anderen Sensoren 225 empfangenen Sensorinformationen wie zuvor in Bezug auf 2 und 3 beschrieben bestimmt werden.
In 506 kann das System ein linkes Bild sichtbaren Lichts von der Stereokamera für sichtbares Licht empfangen.
In 508 kann das System ein rechtes Bild sichtbaren Lichts von der Stereokamera für sichtbares Licht empfangen.
In 510 kann das System ein Wärmebild von der Wärmekamera empfangen. Beispielsweise kann das Wärmebild gleichzeitig mit dem linken Bild sichtbaren Lichts und dem rechten Bild sichtbaren Lichts erfasst und empfangen werden, so dass die von jedem der drei Bilder erfasste Szene in etwa gleich ist.
In 512 kann das System ein Disparitätskartenbild auf Basis des empfangenen linken Bildes sichtbaren Lichts und des empfangenen rechten Bildes sichtbaren Lichts erzeugen. Beispielsweise kann zunächst eine Parallaxe und Disparität wie zuvor beschrieben aus linkem und rechtem Bild berechnet werden. In diesem Beispiel kann das Disparitätskartenbild ein dünnbesetztes Disparitätskartenbild sein. In anderen Beispielen kann das Disparitätskartenbild ein zusammengesetztes dünnbesetztes und dichtes Disparitätskartenbild, erzeugt wie zuvor in Bezug auf 11-14 beschrieben, sein.
In 514 kann das System ein Kantenbild aus dem linken oder rechten Bild sichtbaren Lichts, etwa dem in 508 in diesem Beispiel empfangenen rechten Bild sichtbaren Lichts, erzeugen. Beispielsweise kann das Kantenbild aus wenigstens einem von linkem oder rechtem Bild 506 oder 508 unter Verwendung von einem der verschiedenen Kantenerfassungsverfahren nach dem Stand der Technik bestimmt werden. Beispielsweise kann das Kantenbild im rechten Bild sichtbaren Lichts identifizierte Kanten angeben und die für das Kantenbild bestimmten Kanteninformationen können beim Bestimmen, wie viel Rauschen aus dem Disparitätskartenbild beim Bestimmen des Disparitätskantenbildes wie nachfolgend zusätzlich beschrieben zu entfernen ist, helfen.
In 516 kann das System ein Disparitätskantenbild aus dem in 512 bestimmten Disparitätskartenbild und dem in 514 bestimmten Kantenbild bestimmen. Beispielsweise kann das Disparitätskantenbild durch Vergleichen des Disparitätskartenbildes und des Kantenbildes bestimmt werden, so dass Kantenbildinformationen zum Behalten von Bereichen des Disparitätskartenbildes, die starke Kanten aufweisen, verwendet werden können. Diese Bereiche können anschließend zur Verstärkungseinstellung ausgewählt werden, während gleichzeitig Rauschen aus dem Disparitätskartenbild ausgefiltert werden kann. Beispielsweise steuert die Menge von Kanteninformationen, wie viel Rauschen entfernt wird und wie viel Disparitätsinformationen ausgegeben werden. Weitere Details des Bestimmens des Disparitätskantenbildes sind nachfolgend in Bezug auf 7 beschrieben.
In 518 kann das System Spurmarkierungen und Straßenrandbereiche im Disparitätskantenbild bestimmen. Beispielsweise können verschiedene Erkennungsverfahren auf das Disparitätskantenbild angewendet werden, um Spurmarkierungen und Straßenränder wie Bordsteine, Standstreifen und dergleichen zu identifizieren.
In 520 kann das System eine axiale Umwandlung vom Stereokamerabild zum Wärmebild durchführen. Ein Beispiel der axialen Umwandlung ist nachfolgend in Bezug auf 8 beschrieben.
In 522 kann das System interessierende Bereiche im Wärmebild auf Basis des umgewandelten Disparitätskantenbildes einschließlich der in 518 im Disparitätskantenbild erkannten Spurmarkierungen und Straßenrandbereiche bestimmen.
In 524 kann das System eine Verstärkungseinstellung an der Wärmesensorkalibrierung auf Basis der interessierenden Bereiche des in 522 bestimmten Wärmebildes durchführen. Beispielsweise kann die Verstärkungseinstellung auf Basis der nachfolgend in Bezug auf 9 beschriebenen Nachschlagetabelle durchgeführt werden.
In 526 kann das System Spurmarkierungen, Straßenränder, Fahrbahnrauheit usw. aus einem nach der Verstärkungseinstellung der Wärmesensorkalibrierung empfangenen Wärmebild bestimmen. Insbesondere kann das System eine Erkennung unter Verwendung eines nach der Verstärkungseinstellung zum Durchführen der Erkennung der Merkmale im Bild durchführen. Beispielsweise weist das nach der Verstärkungseinstellung empfangene Wärmebild typischerweise einen höheren Kontrast von signifikanten Merkmalen auf, um eine genauere Erkennung der Straßenmerkmale, Hindernisse und dergleichen zu ermöglichen.
6 zeigt ein Fließbild zur Darstellung eines Beispielprozesses 600 zur dynamischen Verstärkungseinstellung unter Verwendung eines Monokamerabildes gemäß einiger Ausführungen. In einigen Beispielen kann der Prozess 600 von den Systemen 100, 200 und/oder 300 wie zuvor beschrieben durch Ausführen des Erkennungsprogramms 128 ausgeführt werden, wobei dies jedoch mit einer Monokamera für sichtbares Licht statt der zuvor beschriebenen Stereokamera 110 für sichtbares Licht erfolgt.
In 602 kann das System ein Signal zum Veranlassen der Monokamera für sichtbares Licht zum Erfassen von Monobildern sichtbaren Lichts senden. Beispielsweise kann, wenn das Fahrzeug gestartet, in Fahrt gesetzt oder anderweitig zum Beginn der Fahrt vorbereitet wird, das Fahrzeugsteuerprogramm 130 oder ein anderes Programm ein Signal an die Fahrzeugsensoren, einschließlich das Kamerasystem 108, zum Beginnen des Empfangs und der Verarbeitung von Sensorinformationen, einschließlich Bilder von der Monokamera für sichtbares Licht, senden.
In 604 kann das System ein Signal zum Veranlassen der Wärmekamera zum Erfassen von Wärmebildern senden. Beispielsweise kann das Signal auf die gleiche Weise ausgelöst werden wie zuvor in 602 beschrieben für die Kamera für sichtbares Licht oder auf Basis eines anderen Auslösers, etwa einer Tageszeit, der Lichtbedingungen oder dergleichen.
In 605 kann das System zum Durchführen der Verstärkungseinstellung relevante lokale Bedingungen bestimmen, etwa aktuelle Wetterbedingungen, Tageszeit, Sonnenstand in Bezug auf das Sehfeld der Wärmekamera, Straßentyp usw. Wie nachfolgend zusätzlich erläutert können diese und/oder andere Bedingungen zum Bestimmen eines Verstärkungsgewichts zum Durchführen einer Verstärkungskalibrierungseinstellung der Wärmekamera verwendet werden. In einigen Beispielen können einige oder alle dieser Informationen auf Basis von von den anderen Sensoren 225 empfangenen Sensorinformationen wie zuvor in Bezug auf 2 und 3 beschrieben bestimmt werden.
In 606 kann das System ein Monobild sichtbaren Lichts von der Monokamera für sichtbares Licht empfangen.
In 608 kann das System ein Wärmebild von der Wärmekamera empfangen. Beispielsweise kann das Wärmebild gleichzeitig mit dem Monobild sichtbaren Lichts erfasst und empfangen werden, so dass die von Mono- und Wärmebild erfasste Szene in etwa gleich ist.
In 610 kann das System ein Kantenbild aus dem Monobild sichtbaren Lichts erzeugen. Beispielsweise kann das Kantenbild unter Verwendung eines beliebigen von verschiedenen Kantenerfassungsverfahren nach dem Stand der Technik bestimmt werden. Das Kantenbild kann im Monobild sichtbaren Lichts identifizierte Kanten angeben.
In 612 kann das System potentielle Spurmarkierungen im Kantenbild bestimmen. Beispielsweise kann ein beliebiges von verschiedenen Erkennungsverfahren zum Erkennen von Spurmarkierungen im Kantenbild verwendet werden.
In 614 kann das System potentielle erkannte Spurmarkierungsarten zur Verwendung beim Bestimmen von interessierenden Bereichen im Wärmekamerabild liefern.
In 615 kann das System ein Disparitätsbild aus dem Monobild sichtbaren Lichts bestimmen. Das System kann beispielsweise ein maschinelles Lernmodell verwenden, das zum Bestimmen einer Disparitätskarte für Monokamerabilder trainiert wurde, etwa auf Basis des Vergleichens von aufeinander folgenden Monokamerabildern miteinander oder dergleichen. Beispielsweise kann ein künstliches neuronales Netz, etwa ein faltendes neuronales Netz, oder eine andere Art von maschinellem Lernmodell unter Verwendung einer Trainingsmenge von Monobildern bei bekannten Fahrzeuggeschwindigkeiten trainiert werden, um dem maschinellen Lernmodell zu ermöglichen, anschließend Disparitätskarten aus Monokamerabildern auf Basis einer bekannten Fahrzeuggeschwindigkeit zu erzeugen. Ferner werden einem Fachmann auf dem Gebiet der vorliegenden Offenbarung andere Verfahren zum Erzeugen von Disparitätskarten aus einem oder mehreren Monokamerabildern klar. Zusätzlich wird in alternativen Beispielen eine Disparitätskarte nicht erzeugt und es kann das Kantenbild allein zum Bestimmen der interessierenden Bereiche verwendet werden.
In 616 kann das System ein Disparitätskantenbild aus dem in 615 bestimmten Disparitätskartenbild und dem in 610 bestimmten Kantenbild bestimmen. Beispielsweise kann das Disparitätskantenbild durch Vergleichen des Disparitätskartenbildes und des Kantenbildes bestimmt werden, so dass Kantenbildinformationen zum Behalten von Bereichen des Disparitätskartenbildes, die starke Kanten aufweisen, verwendet werden können. Diese Bereiche können anschließend zur Verstärkungseinstellung ausgewählt werden, während gleichzeitig Rauschen aus dem Disparitätskartenbild ausgefiltert werden kann. Beispielsweise steuert die Menge von Kanteninformationen, wie viel Rauschen entfernt wird und wie viel Disparitätsinformationen ausgegeben werden. Weitere Details des Bestimmens des Disparitätskantenbildes sind nachfolgend in Bezug auf 7 beschrieben.
In 618 kann das System Spurmarkierungen und Straßenrandbereiche im Disparitätskantenbild bestimmen. Beispielsweise können verschiedene Erkennungsverfahren auf das Disparitätskantenbild angewendet werden, um Spurmarkierungen und Straßenränder wie Bordsteine, Standstreifen und dergleichen zu identifizieren.
In 620 kann das System eine axiale Umwandlung vom Monokamerabild zum Wärmebild durchführen. Ein Beispiel der axialen Umwandlung ist nachfolgend in Bezug auf 8 beschrieben.
In 622 kann das System interessierende Bereiche im Wärmebild auf Basis der potentiellen Spurmarkierungsarten und des umgewandelten Disparitätskantenbildes einschließlich der in 618 im Disparitätskantenbild erkannten Spurmarkierungsbereiche und Straßenrandbereiche bestimmen.
In 624 kann das System eine Verstärkungseinstellung der Wärmesensorkalibrierung auf Basis der interessierenden Bereiche des in 522 bestimmten Wärmebildes durchführen. Beispielsweise kann die Verstärkungseinstellung auf Basis der nachfolgend in Bezug auf 9 beschriebenen Nachschlagetabelle durchgeführt werden.
In 626 kann das System Spurmarkierungen, Straßenränder, Fahrbahnrauheit usw. aus einem nach der Verstärkungseinstellung der Wärmesensorkalibrierung empfangenen Wärmebild bestimmen. Insbesondere kann das System eine Erkennung unter Verwendung eines nach der Verstärkungseinstellung zum Durchführen der Erkennung der Merkmale im Bild durchführen. Beispielsweise weist das nach der Verstärkungseinstellung empfangene Wärmebild typischerweise einen höheren Kontrast von signifikanten Merkmalen auf, um eine genauere Erkennung der Straßenmerkmale, Hindernisse und dergleichen zu ermöglichen.
7 zeigt ein Fließbild zur Darstellung eines Beispielprozesses 700 zum Erzeugen eines Disparitätskantenbildes 701 gemäß einiger Ausführungen. In einigen Beispielen kann der Prozess 700 von den Systemen 100, 200 und/oder 300 wie zuvor beschrieben durch Ausführen des Erkennungsprogramms 128 ausgeführt werden. Beispielsweise kann nach Berechnen des zuvor in Bezug auf 5 oder 6 beschriebenen Disparitätskartenbildes das System das jeweilige Kantenbild zum Entfernen von Pixeln mit ungültigen Disparitätswerten aus dem Disparitätsbild zum Erhalten eines Kantendisparitätsbildes verwenden. Beispielsweise kann die Menge der Kanteninformationen im jeweiligen Kantenbild steuern, wie viel Rauschen aus dem Disparitätsbild zu entfernen und/oder wie viel Disparitätsinformationen im Kantendisparitätsbild einzuschließen sind.
In 702 empfängt das System ein neu bestimmtes Disparitätskartenbild. Beispielsweise kann das Disparitätskartenbild wie zuvor in Bezug auf 4-6 beschrieben bestimmt werden.
In 704 empfängt das System ein neu bestimmtes Kantenbild. Beispielsweise kann das Kantenbild wie zuvor in Bezug auf 5 und 6 beschrieben bestimmt werden.
In 706 kann das System für jedes Pixel im Kantenbild bestimmen, ob ein Unterschied zwischen dem Kantenwert eines ausgewählten aktuellen Pixels und dem Kantenwert eines benachbarten Pixels größer ist als eine Kantenschwelle.
In 708 fährt der Prozess mit 710 fort, wenn der Kantenwert des Pixels größer ist als die Kantenschwelle. Falls nicht, fährt der Prozess mit 716 fort. Beispielsweise kann die Kantenschwelle ETH unter Verwendung einer statistischen Analyse an großen Mengen von Bilddaten abgeleitet werden. Die Bilddaten können beispielsweise verschiedene Szenarien wie unterschiedliche Fahrbahnbedingungen (beispielsweise verschiedene Fahrbahnfarben, etwa von Asphalt oder Beton, usw.), Wetterbedingungen, Tageszeit und dergleichen abdecken. Ferner kann die Kantenschwelle ETH auf Basis von Wetter- und Fahrbahnbedingungen aktualisiert werden.
In 710 kann, wenn der Kantenwert des Pixels größer ist als die Kantenschwelle, das System die Disparitätsinformationen des aktuellen Pixels mit den Disparitätsinformationen eines benachbarten Pixels vergleichen, um zu bestimmen, ob der Disparitätswert des aktuellen Pixels größer ist als eine Disparitätsschwelle DTH. Beispielsweise kann die Disparitätsschwelle DTH unter Verwendung einer statistischen Analyse an großen Mengen von Bilddaten abgeleitet werden. Die Bilddaten können beispielsweise verschiedene Szenarien wie unterschiedliche Fahrbahnbedingungen (beispielsweise verschiedene Fahrbahnfarben, etwa von Asphalt oder Beton, usw.), Wetterbedingungen, Tageszeit und dergleichen abdecken. Ferner kann die Disparitätsschwelle DTH auf Basis von Wetter- und Fahrbahnbedingungen aktualisiert werden. Das System kann den Disparitätswert aus der entsprechenden Pixelposition im in 702 empfangenen Disparitätskartenbild bestimmen.
In 712 fährt der Prozess mit 714 fort, wenn der Disparitätswert des Pixels größer ist als die Disparitätsschwelle DTH. Wenn der Disparitätswert des Pixels nicht größer ist als die Disparitätsschwelle DTH, fährt der Prozess mit 716 fort.
In 714 kann, wenn der Disparitätswert des aktuellen Pixels größer ist als die Disparitätsschwelle, das System einen ersten Multiplizierer zum Erzeugen eines Pixeldisparitätswerts für das Disparitätskantenbild verwenden.
In 716 kann, wenn der Kantenwert des Pixels nicht größer ist als die Kantenschwelle oder der Disparitätswert des Pixels nicht größer ist als die Disparitätsschwelle, das System einen zweiten Multiplizierer zum Erzeugen eines Disparitätswerts für das aktuelle Pixel verwenden.
In 718 kann das System den Disparitätswert des aktuellen Pixels im Kantendisparitätsbild 701 speichern. Der Prozess 700 kann für jedes Pixel in den Disparitäts- und Kantenbildern durchgeführt werden.
8 zeigt einen Beispielprozess 800 zum Bestimmen einer relativen Stellung einer Kamera für sichtbares Licht zu einer Wärmekamera oder umgekehrt gemäß einiger Ausführungsformen. In einigen Beispielen kann der Prozess 800 von den Systemen 100, 200 und/oder 300 wie zuvor beschrieben durch Ausführen des Erkennungsprogramms 128 ausgeführt werden und kann Block 520 von 5 und/oder Block 620 von 6 entsprechen. Beispielsweise kann sich die Achse der Wärmekamera von der Achse der Kamera für sichtbares Licht unterscheiden und daher kann eine Achsumwandlung zum Ausrichten von Abschnitten des Kantendisparitätskarten-Bildes mit dem relevanten Abschnitt des Wärmebildes durchgeführt werden.
In 802 kann das System ein oder mehrere Bilder der Kamera für sichtbares Licht empfangen. In 804 kann das System ein oder mehrere Wärmekamerabilder empfangen.
In 806 kann das System eine homographiebasierte Kalibrierung am / an den empfangenen Bild(ern) sichtbaren Lichts durchführen.
In 808 kann das System eine homographiebasierte Kalibrierung am / an den empfangenen Wärmebild(em) durchführen.
In 810 kann das System eine Ausgangsstellung und kameraintrinsische Parameter für die Kamera für sichtbares Licht bestimmen.
In 812 kann das System eine Ausgangsstellung und kameraintrinsische Parameter für die Wärmekamera bestimmen.
In 814 kann das System eine relative Stellungsoptimierung auf Basis der in 810 und 812 bestimmten Informationen durchführen.
In 816 kann das System eine optimierte relative Stellung der Kamera für sichtbares Licht relativ zur Wärmekamera bestimmen.
In 818 kann das System eine optimierte relative Stellung der Wärmekamera relativ zur Kamera für sichtbares Licht bestimmen. Dementsprechend können unter Verwendung des vorhergehenden Prozesses ausgewählte Bereiche eines Bildes von der Bildachse der Kamera für sichtbares Licht zur Bildachse der Wärmekamera oder umgekehrt umgewandelt werden.
9 zeigt eine Beispiel-Nachschlagetabelle und einen Beispielentscheidungsbaum 900 zum Auswählen eines Verstärkungsgewichts gemäß einiger Ausführungen. Beispielsweise kann wie zuvor in Bezug auf 5, Block 524, und 6, Block 624, das System eine dynamische Verstärkungseinstellung der Kalibrierung eines Wärmesensors der zuvor beschriebenen Wärmekamera 112 durchführen. Die Verstärkungseinstellung kann beispielsweise auf dem Zugriff auf die Nachschlagetabelle und den Entscheidungsbaum 900 zum Bestimmen eines Verstärkungsgewichts zum Durchführen der Verstärkungseinstellung basieren statt jedes Mal Verstärkungseinstellungsberechnungen durchführen zu müssen. Beispielsweise können, nachdem die Achse von jedem Bereich von der Achse der Kamera für sichtbares Licht zur Wärmekameraachse umgewandelt wurde, ein oder mehrere interessierende Bereiche ausgewählt werden und die Verstärkungseinstellung kann dynamisch für Verstärkungswerte unter Verwendung einer Kalibrierung der Pixel des Wärmesensors bestimmt werden, etwa in dem Fall, dass der Wärmesensor ein Mikrobolometer oder anderer Wärmesensor sein kann.
In einigen Beispielen kann der interessierende Bereich durch Ermitteln von Minimum- und Maximumwerten von Reihen und Spalten unter Berücksichtigung aller ausgewählten Bereiche berechnet werden. Auf Basis des interessierenden Bereichs kann die Verstärkung von jedem Pixel intelligent berechnet werden. Die folgende Gleichung ist ein Beispiel einer linearen Gleichung, die zeigt, wie die Verstärkung in einigen Beispielen berechnet werden kann: ${Anstiegsverst \ddot{a} rkung}_{(i, j)} = A_{pix} * W_{obj} * R_{(i, j)} * ƒ_{l fpa}^{l} EQ$
Dabei gilt: A_pix = Pixelfläche; W_obj = Objektprojektionswinkel; R_(i,j) = temperaturabhängiges Ansprechverhalten des Sensors; und $ƒ_{l fpa}^{l} = Temperatur des Sensors .$
Die Nachschlagetabelle und der Entscheidungsbaum 900 können vorab bestimmt werden, so dass das Verstärkungsgewicht für die Anstiegsverstärkung auf Basis von verschiedenen unterschiedlichen Bedingungen wie Straßentyp 902, Wetter 904 und Zeit 906 vorbestimmt werden kann. Der Straßentyp 902 kann in verschiedene unterschiedliche Straßentypen wie Asphalt 908, Pflastersteine 910 und Beton 912 kategorisiert werden. Ferner kann das Wetter 904 in verschiedene unterschiedliche Wettertypen wie Sonnig 914, Bewölkt 916, Regen 918, Nebel 920 und Schnee 922 kategorisiert werden. Ferner kann die Zeit 906 in verschiedene unterschiedliche Zeiten wie Vormittag 924, Nachmittag 926 und Nacht 928 kategorisiert werden. Beispielsweise kann zum Bestimmen einer Verstärkungseinstellung für ein Wärmebild im Entscheidungsbaum 930 von einer Wurzel 932 zu einem von 45 verschiedenen Blättern 934 auf Basis eines Straßentyps 902, eines Wetters 904 und einer Zeit 906 wie aktuell erfasst navigiert werden. Mit jedem der jeweiligen Blätter 934 kann ein unterschiedliches jeweiliges Verstärkungsgewicht G1 bis G45 verknüpft sein. Ferner kann, während ein Entscheidungsbaum 930 in 9 dargestellt ist, eine Datenstruktur jedes anderen geeigneten Typs zum Erzielen des gleichen Ergebnisses verwendet werden.
Zusätzlich sind die für die Nachschlagetabelle und den Entscheidungsbaum 900 von 9 verwendeten Bedingungen nicht auf die in diesem Beispiel enthaltenen beschränkt und können weniger, andere oder zusätzliche Bedingungen umfassen. Beispielsweise kann die Stellung der Sonne relativ zum Sehfeld der Wärmekamera berücksichtigt werden. Die Sonne kann beispielsweise je nach Stellung Licht zur Wärmekamera richten oder kann Licht von der Seite oder von rückwärts zur Wärmekamera richten. Ferner kann sich die relative Stellung der Wärmekamera zur Sonne dynamisch ändern, während das Fahrzeug fährt und seine Richtung ändert, und in einigen Fällen kann die Verstärkung der Wärmekamera dynamisch entsprechend eingestellt werden.
10 zeigt Beispielwärmebilder 1000 vor und nach der dynamischen Kalibrierungseinstellung gemäß einiger Ausführungen. Beispielsweise wird davon ausgegangen, dass zunächst ein erstes Bild 1002 von der Wärmekamera vor der dynamischen Verstärkungseinstellung empfangen wird. Anschließend kann das dynamische Verstärkungseinstellverfahren auf die Kalibrierung des Wärmesensors der Wärmekamera angewendet werden, so dass ein folgendes zweites Bild 1004 einen verbesserten Kontrast und eine verbesserte Merkmalserkennbarkeit aufweisen kann. Beispielsweise verschwimmt im ersten Bild 1002 eine Spurmarkierung 1006 wesentlich mehr mit der Fahrbahn als im zweiten Bild 1004. Die dynamische Verstärkungseinstellung kann kontinuierlich mit sich ändernden Bedingungen, etwa Fahrbahn, Wetter und Zeit, durchgeführt werden. Ferner sind einem Fachmann auf dem Gebiet der vorliegenden Offenbarung, während Fahrbahn, Wetter und Zeit als drei Beispiele für Bedingungen genannt wurden, andere Bedingungen klar, die zur Verstärkungseinstellung verwendet werden können.
11 zeigt ein Fließbild zur Darstellung eines Beispielprozesses 1100 zum Erzeugen eines Disparitätskantenbildes, das Bereiche dünnbesetzter und dichter Disparität kombiniert, gemäß einiger Ausführungen. In einigen Beispielen kann der Prozess 1100 von den Systemen 100, 200 und/oder 300 wie zuvor beschrieben durch Ausführen des Erkennungsprogramms 128 ausgeführt werden.
In 1102 kann das System ein Signal zum Veranlassen der Stereokamera für sichtbares Licht zum Erfassen von Bildern sichtbaren Lichts senden. Beispielsweise kann, wenn das Fahrzeug gestartet, in Fahrt gesetzt oder anderweitig zum Beginn der Fahrt vorbereitet wird, das Fahrzeugsteuerprogramm 130 oder ein anderes Programm ein Signal an die Fahrzeugsensoren, einschließlich das Kamerasystem 108, zum Beginnen des Empfangs und der Verarbeitung von Sensorinformationen, einschließlich Bilder von der Stereokamera für sichtbares Licht, senden.
In 1104 kann das System ein Signal zum Veranlassen der Wärmekamera zum Erfassen von Wärmebildern senden. Beispielsweise kann das Signal auf die gleiche Weise ausgelöst werden wie zuvor in 502 beschrieben für die Kamera für sichtbares Licht oder auf Basis eines anderen Auslösers, etwa einer Tageszeit, der Lichtbedingungen oder dergleichen.
In 1106 kann das System ein linkes Bild sichtbaren Lichts von der Stereokamera für sichtbares Licht empfangen.
In 1108 kann das System ein rechtes Bild sichtbaren Lichts von der Stereokamera für sichtbares Licht empfangen.
In 1110 kann das System ein Wärmebild von der Wärmekamera empfangen. Beispielsweise kann das Wärmebild gleichzeitig mit dem linken Bild sichtbaren Lichts und dem rechten Bild sichtbaren Lichts erfasst und empfangen werden, so dass die von jedem der drei Bilder erfasste Szene in etwa gleich ist. In einigen Beispielen kann das Wärmebild nach der zuvor in Bezug auf 5-10 erläuterten Verstärkungseinstellung empfangen werden.
In 1112 kann das System interessierende Bereiche im Wärmebild bestimmen, um über Bereiche zum Erzeugen von dünnbesetzten und dichten Disparitätskarteninformationen zu entscheiden. Beispielsweise kann das System entweder (1) eine Schwellenwertoperation gefolgt von einer Clustering-Operation verwenden oder (2) ein semantisches Segmentierungsnetzwerk, etwa durch Verwenden von Deep Learning oder Instanzsegmentierung, verwenden. Im Falle der Schwellenwert- und Clustering-Operation der Temperatur kann eine erste Schwelle für die Temperatur auf jedes Pixel im erfassten Bild angewendet werden. Beispielsweise können Pixel mit Werten, die kleiner sind als eine spezifizierte Schwelle, als Niedertemperaturbereiche berücksichtigt werden und können entfernt werden, während Pixel, welche die Schwelle überschreiten, als Hotspots berücksichtigt und erhalten werden können. Somit kann das System das erfasste Bild auf Basis der Graustufe oder des Grauwerts von jedem Pixel als oberhalb oder unterhalb der Schwelle segmentieren.
Alternativ können beim Verwenden des semantischen Segmentierungsnetzwerks und von Deep Learning, Instanzsegmentierung oder einem anderen maschinellen Lernmodell zum Bestimmen der interessierenden Bereiche die Pixel in einem Bild zunächst in ein entsprechendes Segment und eine entsprechende Klasse klassifiziert werden. Beispielsweise kann jede Klasse und jedes Segment die Fahrbahnmerkmale angeben. Eine Datenbank einer großen Menge von Wärmebildern kann als Trainingsdaten zusammengestellt werden, die unter einer Vielfalt von verschiedenen Szenarien und Bedingungen, etwa verschiedenen Wetterbedingungen, verschiedenen Tages- und Nachtzeiten, verschiedenen Fahrbahnarten usw., erfasste Bilder umfassen. Die Wärmebilder in den Trainingsdaten können ebenfalls Bilder umfassen, die verschiedene Hindernisse und Straßenmerkmale enthalten, etwa Fußgänger, Fahrzeuge, Ampeln, Bordsteine, Straßenbeleuchtung, Verkehrsschilder usw. Sobald die Datenbank und entsprechende Bezeichnungen erstellt sind, kann das semantische Segmentierungsnetzwerk unter Verwendung eines Teils der Trainingsdatenbilder trainiert werden und das trainierte maschinelle Lernmodell kann unter Verwendung eines zweiten Teils der Trainingsdaten evaluiert und abgestimmt werden, um eine genaue Ausgabe sicherzustellen. Anschließend kann während der Verwendung ein erfasstes Wärmebild am trainierten maschinellen Lernmodell eingegeben werden und das trainierte Modell kann die interessierenden Bereiche ausgeben. Dementsprechend können wie nachfolgend beschrieben die interessierenden Bereiche einer dichten Disparitätsverarbeitung unterzogen werden, während die restlichen Bilder einer dünnbesetzten Disparitätsverarbeitung unterzogen werden können.
In 1114 kann das System priorisierte dichte und dünnbesetzte Disparitätskartenbereiche im Wärmebild bestimmen. Beispielsweise können unter Verwendung einer Clustering-Operation Cluster von Hotspots als Bereiche hoher Priorität identifiziert werden und es können auf dieser Basis die Bereiche des Bildes mit niedrigerer und höherer Priorität bestimmt werden. Insbesondere können die Bereiche mit niedrigerer Priorität einer dichteren Disparitätsverarbeitung unterzogen werden, während die Bereiche mit höherer Priorität einer dünnbesetzteren Disparitätsverarbeitung unterzogen werden können. Ferner kann der Bereich mit höherer und niedrigerer Priorität teilweise auf Basis von Arten von Hindernissen, Abstandsinformationen usw. ausgewählt werden. Beispielsweise kann jeder Cluster einzeln, etwa auf Basis der Art des Hindernisses, des Abstands zum Objekt usw., betrachtet werden und das System kann jedem Cluster eine Priorität zum Erzeugen der dünnbesetzten und dichten Disparitätskarte zuweisen.
In 1116 kann das System Vorgänge zur Umwandlung vom Wärme- zum Stereobild durchführen. Ein Beispielprozess zum Durchführen dieser Operation ist beispielsweise zuvor in Bezug auf 8 beschrieben.
In 1118 kann das System einen Blockvergleich des Wärmebildes an den empfangenen Stereobildern sichtbaren Lichts durchführen, um den Bildern sichtbaren Lichts die priorisierten dichten Disparitätsbereiche zuzuweisen. Beispielsweise kann das System Blöcke der Stereobilder sichtbaren Lichts mit dem Wärmebild vergleichen, um den Bildern sichtbaren Lichts Bereiche mit höherer Priorität zuzuweisen.
In 1120 kann das System ein Disparitätskartenbild erzeugen, das einige dünnbesetzte Disparitätsbereiche und einige dichte Disparitätsbereiche auf Basis des Blockvergleichs kombiniert. Beispielsweise kann das System eine dichte Disparität nur für die Bereiche mit höherer Priorität berechnen, während für die anderen Bereiche mit niedrigerer Priorität nur eine dünnbesetzte Disparität berechnet wird. Dementsprechenden können die vorliegenden Ausführungen eine höhere Erkennungsgenauigkeit liefern, während die Menge der hierfür erforderlichen Verarbeitungsressourcen reduziert wird. Beispielsweise kann in Bereichen, die mit einer niedrigeren Priorität ausgezeichnet sind, das Bild einem Downsampling unterzogen wird, bevor Disparitätskartenberechnungen durchgeführt werden, und es können dünnbesetzte Vergleichsalgorithmen verwendet werden, um eine Menge von robusten Vergleichen zwischen einem Bildpaar zu erstellen. Für Bereiche mit höherer Priorität hingegen kann das Disparitätskartenbild ohne Downsampling der Stereobildpaare berechnet werden und es können dichte Vergleichsalgorithmen verwendet werden, um Übereinstimmungen für alle Punkte in den jeweiligen Bildern zu finden.
Als ein spezifischeres Beispiel für das Berechnen der Bereiche mit dünnbesetzterer Disparität kann ein ZSAD-(Zero-mean-Sum-of-Absolute-Difference-)basierter Stereoblockvergleichsalgorithmus mit Downsampling der Bildbereiche mit niedrigerer Priorität verwendet werden. Ferner kann zum Berechnen von dichten Disparitätskartenbereichen ein Semi-Global-Matching-(SGM-)Algorithmus ohne Downsampling des Bildes verwendet werden. Zusätzlich kann, wenn eine kostengünstige elektronische Steuereinheit oder ein anderer Prozessor zum Durchführen der Disparitätskartenberechnungen verwendet wird, das gleiche ZSAD-Stereoblockvergleichsverfahren für sowohl die dünnbesetzteren Disparitätskartenberechnungen als auch die dichteren Disparitätskartenberechnungen verwendet werden; bei den dünnbesetzteren Disparitätskartenberechnungen muss aber das Bild zuerst einem Downsampling unterzogen werden, während bei den dichteren Disparitätskartenberechnungen gegebenenfalls kein Downsampling erfolgt.
In 1122 kann das System eine Erkennung auf Basis wenigstens teilweise des kombinierten dünnbesetzten/dichten Disparitätskartenbildes durchführen. Beispielsweise kann das System eine Erkennung von Merkmalen im Disparitätskartenbild unter Verwendung von verschiedenen Erkennungsverfahren nach dem Stand der Technik durchführen. Ferner kann, während das Beispiel von 11 in Bezug auf linke und rechte Stereobilder sichtbaren Lichts beschrieben ist, in anderen Beispielen der Prozess 1100 mit von einer Monokamera für sichtbares Licht empfangenen Bildern durchgeführt werden.
12 zeigt Beispielbilder 1200 zum Bestimmen von Bereichen höherer und niedrigerer Priorität gemäß einiger Ausführungen. Beispielsweise zeigt ein erstes Bild 1202 ein Beispiel eines von der Wärmekamera empfangenen Wärmebildes. Ein zweites Bild 1204 zeigt ein Ergebnis der Verarbeitung des ersten Bildes 1202, etwa durch Verwenden einer semantischen Segmentierung oder eines anderen maschinellen Lernverfahrens wie zuvor beschrieben oder alternativ unter Verwendung des zuvor beschriebenen Schwellenwert- und Clustering-Verfahrens. Zusätzlich zeigt ein drittes Bild 1206 die durch die Verarbeitung zur Auswahl des interessierenden Bereichs ausgewählten priorisierten Bereiche, in denen die Bereiche mit höherer Priorität weiß dargestellt sind und die Bereiche mit niedrigerer Priorität schwarz dargestellt sind.
13 zeigt ein Beispiel 1300 eines Blockvergleichs zum Bestimmen von Bereichen hoher Priorität in den Stereobildern gemäß einiger Ausführungen. In diesem Beispiel wird ein Blockvergleich zwischen einem Wärmebild mit den identifizierten priorisierten Bereichen und von der Kamera für sichtbares Licht empfangenen Stereobildern sichtbaren Lichts durchgeführt. Beispielsweise wird davon ausgegangen, dass das dritte Bild 1206 von 12 ein mit dem rechten Stereobild 406 und dem linken Stereobild 408 wie zuvor in Bezug auf 4 beschrieben verglichener Block ist. Wie in 1302 und 1304 dargestellt resultiert der Blockvergleich im Identifizieren von priorisierten Bereichen 1306 in den jeweiligen Stereobildern 1302 und 1304. Wie zuvor beschrieben kann eine dichtere Disparitätskartenverarbeitung für die Bereiche mit höherer Priorität durchgeführt werden, während eine dünnbesetztere Disparitätskartenverarbeitung für die Bereiche mit niedrigerer Priorität durchgeführt werden kann.
14 zeigt ein Beispiel-Disparitätskartenbild 1400 mit kombinierten Bereichen dünnbesetzter und dichter Disparität, bestimmt gemäß einiger Ausführungen. In diesem Beispiel wurden die Bereiche mit höherer Priorität unter Verwendung einer dichten Disparitätskartenverarbeitung berechnet, während die Bereiche mit niedrigerer Priorität unter Verwendung einer dünnbesetzten Disparitätskartenverarbeitung berechnet wurden. Dementsprechend wurde wie in 1402 und 1403 angegeben eine dünnbesetzte Disparitätskartenverarbeitung beim Bestimmen eines flachen Straßenbereichs des Bildes und eines Himmelbereichs des Bildes verwendet. Hingegen wurde wie in 1404 angegeben eine dichte Disparitätskartenverarbeitung beim Bestimmen eines rauen Straßenbereichs verwendet. Ebenso wurde eine dichte Disparitätskartenverarbeitung in 1406 für Hindernisse, in 1408 für eine rechte Leitplanke und in 1410 für eine linke Leitplanke verwendet. Somit werden nur Abschnitte der Disparitätskarte 1400 unter Verwendung von dichten Disparitätskartenberechnungsverfahren berechnet, wodurch die zum Erzeugen des Disparitätskartenbildes 1400 erforderliche Verarbeitungsmenge reduziert wird.
Die hier beschriebenen Beispielprozesse sind lediglich Beispiele für Prozesse, die zum Erläutern dienen. Einem Fachmann werden durch die vorliegende Offenbarung zahlreiche weitere Variationen klar. Ferner sind, während die vorliegende Offenbarung mehrere Beispiele von geeigneten Rahmen, Architekturen und Umgebungen zum Ausführen der Prozesse darlegt, die vorliegenden Ausführungen nicht auf die dargestellten und erläuterten spezifischen Beispiele beschränkt. Ferner legt die vorliegende Offenbarung verschiedene Beispielausführungen wie in den Zeichnungen beschrieben und dargestellt dar. Die vorliegende Offenbarung ist aber nicht auf die hier beschriebenen und dargestellten Ausführungen beschränkt, sondern kann auf weitere Ausführungen erweitert werden, wie einem Fachmann klar ist oder wird.
Verschiedene hier beschriebene Anweisungen, Prozesse und Verfahren können im allgemeinen Zusammenhang von computerausführbaren Anweisungen, etwa auf computerlesbaren Medien gespeicherten Computerprogrammen und Anwendungen, betrachtet und vom / von den vorliegenden Prozessor(en) ausgeführt werden. Allgemein können die Begriffe „Programm“ und „Anwendung“ austauschbar verwendet werden und können Anweisungen, Routinen, Module, Objekte, Komponenten, Datenstrukturen, ausführbaren Code usw. zum Durchführen von bestimmten Aufgaben oder Ausführen bestimmter Datentypen umfassen. Diese Programme, Anwendungen und dergleichen können als nativer Code ausgeführt werden und können heruntergeladen und ausgeführt werden, etwa in einem virtuellen Computer oder einer anderen Justin-Time-Kompilierungsausführungsumgebung. Typischerweise können die Funktionen der Programme und Anwendungen wie gewünscht in verschiedenen Ausführungen kombiniert oder verteilt sein. Eine Ausführung dieser Programme, Anwendungen und Verfahren können auf Computerspeichermedien gespeichert oder über eine Form von Kommunikationsmedien übertragen werden.
Obgleich der Gegenstand in einer Sprache beschrieben wurde, die für strukturelle Merkmale und/oder methodische Handlungen spezifisch ist, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die spezifischen Merkmale und Handlungen als beispielhafte Formen der Ausführung der Ansprüche offenbart.
[Bezugszeichenliste]
100 Erkennungssystem, 102 Fahrzeug, 104 Fahrweg, 108 Kamerasystem, 110 Kamera für sichtbares Licht, 112 Wärmekamera, 114 Sehfeld, 116 Sehfeld, 118 entgegenkommendes Fahrzeug, 120 Straßenrand, 122 Straßenseitenbereich, 124 Straßenspurmarkierung, 126 Fahrzeugcomputervorrichtung, 128 Erkennungssystem, 130 Fahrzeugsteuersystem, 200 Erkennungssystem, 202 Prozessor, 204 computerlesbare Medien, 206 Kommunikationsschnittstelle, 108 Fahrzeugbus, 212 Erkennungsinformationen, 214 Fahrzeugdaten, 216 Bilddaten, 218 maschinelles Lernmodell, 219 Verstärkungsnachschlagetabelle, 219, 220 andere Sensordaten, 222 Bilder sichtbaren Lichts, 223 Wärmebilder, 225 andere Sensoren, 238 Steuersignale, 240 Anzeige, 242 Warnvorrichtung, 300 Erkennungs- und Fahrzeugsteuersystem, 302 Prozessor, 304 computerlesbare Medien, 306 Kommunikationsschnittstelle, 308 Konsolidierungsprogramm, 400 Bilderfassung, 402 rechtes Objektiv, 404 linkes Objektiv, 406 rechtes Bild, 408 linkes Bild, 410 Wärmebild, 412 Wärmesensor.

Claims

System, umfassend: einen oder mehrere Prozessoren, ausgebildet durch ausführbare Anweisungen zum Durchführen von Operationen, umfassend Empfangen wenigstens eines ersten Bildes sichtbaren Lichts und eines ersten Wärmebildes; Erzeugen eines Kantenbildes aus dem wenigstens einen ersten Bild sichtbaren Lichts, das Kantenbereiche im wenigstens einen ersten Bild sichtbaren Lichts identifiziert; Bestimmen wenigstens einer Spurmarkierung oder eines Straßenrandbereichs auf Basis wenigstens teilweise einer Information vom Kantenbild; Bestimmen eines oder mehrerer erster interessierender Bereiche im ersten Wärmebild auf Basis der Spurmarkierung oder/und des Straßenrandbereichs; Anpassen einer Verstärkung eines Wärmesensors auf Basis des einen oder der mehreren interessierenden Bereiche im ersten Wärmebild; Empfangen eines oder mehrerer zweiter Bilder sichtbaren Lichts und eines zweiten Wärmebildes; Bestimmen eines oder mehrerer zweiter interessierender Bereiche im zweiten Wärmebild; Zuordnen des einen oder der mehreren zweiten interessierenden Bereiche zum einen oder zu den mehreren zweiten Bildern sichtbaren Lichts; und Erzeugen eines Disparitätskartenbildes, das einen oder mehrere Bereiche dichterer Disparität entsprechend dem einen oder den mehreren interessierenden Bereichen mit einem oder mehreren Bereichen dünnbesetzterer Disparität entsprechend Bereichen außerhalb des einen oder der mehreren interessierenden Bereiche kombiniert, aus dem einen oder den mehreren zweiten Bildern sichtbaren Lichts auf Basis der Zuordnung.
System nach Anspruch 1, wobei wenigstens zwei erste Bilder sichtbaren Lichts vorhanden sind, wobei die Operationen ferner umfassen: Bestimmen eines ersten Disparitätskartenbildes aus den ersten Bildern sichtbaren Lichts; Kombinieren von Informationen vom ersten Disparitätskartenbild mit Informationen vom Kantenbild zum Erzeugen eines Disparitätskantenbildes; und Bestimmen der Spurmarkierung oder/und des Straßenrandbereichs auf Basis des Disparitätskantenbildes.
System nach Anspruch 2, wobei die Operationen ferner das Durchführen einer Achsentransformation vom Disparitätskantenbild zum ersten Wärmebild umfassen.
System nach Anspruch 2, wobei die wenigstens zwei ersten Bilder sichtbaren Lichts ein von einer Stereokamera für sichtbares Licht empfangenes linkes Bild und rechtes Bild umfassen.
System nach Anspruch 1, wobei die wenigstens zwei ersten Bilder sichtbaren Lichts von einer Monokamera für sichtbares Licht empfangene Folgebilder umfassen.
System nach Anspruch 1, wobei die Operation zum Bestimmen des einen oder der mehreren zweiten interessierenden Bereiche im zweiten Wärmebild ferner umfasst: Anwenden einer Schwelle auf Pixel des zweiten Wärmebildes; und Durchführen eines Clustering an Pixeln, welche die Schwelle überschreiten, um den einen oder die mehreren zweiten interessierenden Bereiche zu bestimmen.
System nach Anspruch 1, wobei die Operationen ferner umfassen: Durchführen der Erkennung von einem oder mehreren Merkmalen im Disparitätskartenbild zum Bestimmen von Erkennungsinformationen; und Senden von wenigstens einem Steuersignal auf Basis der Erkennungsinformationen, wobei das wenigstens eine Steuersignal wenigstens ein Element der Gruppe umfasst, die umfasst: eine Anweisung zum Steuern eines Fahrzeugs zum Veranlassen des Fahrzeugs zum Beschleunigen oder Verzögern; eine Anweisung zum Steuern des Fahrzeugs zum Veranlassen des Fahrzeugs zum Lenken eines Rads des Fahrzeugs; und eine Anweisung zum Veranlassen des Präsentierens eines Alarms.
Verfahren, umfassend: Empfangen wenigstens eines ersten Bildes sichtbaren Lichts und eines ersten Wärmebildes durch einen oder mehrere Prozessoren; Erzeugen eines Kantenbildes aus dem wenigstens einen ersten Bild sichtbaren Lichts, das Kantenbereiche im wenigstens einen ersten Bild sichtbaren Lichts identifiziert; Bestimmen wenigstens einer Spurmarkierung oder eines Straßenrandbereichs auf Basis wenigstens teilweise einer Information vom Kantenbild; Bestimmen eines oder mehrerer erster interessierender Bereiche im ersten Wärmebild auf Basis der Spurmarkierung oder/und des Straßenrandbereichs; und Anpassen einer Verstärkung eines Wärmesensors auf Basis des einen oder der mehreren interessierenden Bereiche im ersten Wärmebild.
Verfahren nach Anspruch 8, ferner umfassend: Empfangen eines oder mehrerer zweiter Bilder sichtbaren Lichts und eines zweiten Wärmebildes; Bestimmen eines oder mehrerer zweiter interessierender Bereiche im zweiten Wärmebild; Zuordnen des einen oder der mehreren zweiten interessierenden Bereiche zum einen oder zu den mehreren zweiten Bildern sichtbaren Lichts; und Erzeugen eines Disparitätskartenbildes, das einen oder mehrere Bereiche dichterer Disparität entsprechend dem einen oder den mehreren interessierenden Bereichen mit einem oder mehreren Bereichen dünnbesetzterer Disparität entsprechend Bereichen außerhalb des einen oder der mehreren interessierenden Bereiche kombiniert, aus dem einen oder den mehreren zweiten Bildern sichtbaren Lichts auf Basis der Zuordnung.
Verfahren nach Anspruch 9, ferner umfassend: Durchführen der Erkennung von einem oder mehreren Merkmalen im Disparitätskartenbild zum Bestimmen von Erkennungsinformationen; und Senden von wenigstens einem Steuersignal auf Basis der Erkennungsinformationen, wobei das wenigstens eine Steuersignal wenigstens ein Element der Gruppe umfasst, die umfasst: eine Anweisung zum Steuern eines Fahrzeugs zum Veranlassen des Fahrzeugs zum Beschleunigen oder Verzögern; eine Anweisung zum Steuern des Fahrzeugs zum Veranlassen des Fahrzeugs zum Lenken eines Rads des Fahrzeugs; und eine Anweisung zum Veranlassen des Präsentierens eines Alarms.
Verfahren nach Anspruch 8, ferner umfassend das Anpassen der Verstärkung des Wärmesensors auf Basis wenigstens teilweise des Navigierens in einem Entscheidungsbaum zum Bestimmen eines Verstärkungsgewichts zum Anwenden für das Anpassen der Verstärkung, wobei der Entscheidungsbaum eine Vielzahl von auf Basis einer Vielzahl von kombinierten Bedingungen bestimmten Verstärkungsgewichten umfasst.
Verfahren nach Anspruch 8, wobei wenigstens zwei erste Bilder sichtbaren Lichts vorhanden sind, wobei das Verfahren ferner umfasst: Bestimmen eines ersten Disparitätskartenbildes aus den ersten Bildern sichtbaren Lichts; Kombinieren von Informationen vom ersten Disparitätskartenbild mit Informationen vom Kantenbild zum Erzeugen eines Disparitätskantenbildes; und Bestimmen der Spurmarkierung oder/und des Straßenrandbereichs auf Basis des Disparitätskantenbildes.
Verfahren nach Anspruch 12, ferner umfassend das Durchführen einer Achsentransformation vom Disparitätskantenbild zum ersten Wärmebild.
Verfahren nach Anspruch 12, wobei die wenigstens zwei ersten Bilder sichtbaren Lichts ein von einer Stereokamera für sichtbares Licht empfangenes linkes Bild und rechtes Bild umfassen.
System, umfassend: einen oder mehrere Prozessoren, ausgebildet durch ausführbare Anweisungen zum Durchführen von Operationen, umfassend Empfangen eines oder mehrerer Bilder sichtbaren Lichts und eines Wärmebildes; Bestimmen eines oder mehrerer interessierender Bereiche im Wärmebild; Zuordnen des einen oder der mehreren interessierenden Bereiche zum einen oder zu den mehreren Bildern sichtbaren Lichts; und Erzeugen eines Disparitätskartenbildes, das einen oder mehrere Bereiche dichterer Disparität entsprechend dem einen oder den mehreren interessierenden Bereichen mit einem oder mehreren Bereichen dünnbesetzterer Disparität entsprechend Bereichen außerhalb des einen oder der mehreren interessierenden Bereiche kombiniert, aus dem einen oder den mehreren Bildern sichtbaren Lichts auf Basis der Zuordnung.
System nach Anspruch 15, wobei die Operationen ferner das Durchführen einer Erkennung von einem oder mehreren Merkmalen im Disparitätskartenbild zum Durchführen von wenigstens einer Fahrzeugsteuerfunktion umfassen.
System nach Anspruch 15, wobei die Operationen ferner vor dem Empfangen des einen oder der mehreren Bilder sichtbaren Lichts und des Wärmebildes umfassen, Empfangen wenigstens eines vorhergehenden Bildes sichtbaren Lichts und eines vorhergehenden Wärmebildes durch einen oder mehrere Prozessoren; Erzeugen eines Kantenbildes aus dem wenigstens einen vorhergehenden Bild sichtbaren Lichts, das Kantenbereiche im wenigstens einen vorhergehenden Bild sichtbaren Lichts identifiziert; Bestimmen wenigstens einer Spurmarkierung oder eines Straßenrandbereichs auf Basis wenigstens teilweise einer Information vom Kantenbild; Bestimmen eines oder mehrerer interessierender Bereiche im vorhergehenden Wärmebild auf Basis der Spurmarkierung oder/und des Straßenrandbereichs; und Anpassen einer Verstärkung eines Wärmesensors auf Basis des einen oder der mehreren interessierenden Bereiche im vorhergehenden Wärmebild.
System nach Anspruch 15, wobei die Operationen ferner des Bestimmen des einen oder der mehreren Bereiche dünnbesetzterer Disparität durch ein erstes Downsampling des einen oder der mehreren Bilder sichtbaren Lichts umfassen.
System nach Anspruch 15, wobei die Operation zum Bestimmen des einen oder der mehreren zweiten interessierenden Bereiche im zweiten Wärmebild ferner umfasst: Anwenden einer Schwelle auf Pixel des zweiten Wärmebildes; und Durchführen eines Clustering an Pixeln, welche die Schwelle überschreiten, um den einen oder die mehreren zweiten interessierenden Bereiche zu bestimmen.
System nach Anspruch 15, wobei die Operation zum Bestimmen des einen oder der mehreren zweiten interessierenden Bereiche im zweiten Wärmebild ferner das Eingeben des zweiten Wärmebildes an einem trainierten maschinellen Lernmodell zum Identifizieren des einen oder der mehreren zweiten interessierenden Bereiche auf Basis von Trainingsdaten umfassen.