-
Stand der Technik
-
Die Erfindung geht von einem Verfahren und einem Steuergerät zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug und von einem Umfelderfassungssystem nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Heutige Fahrzeuge weisen im Hinblick auf autonomes oder hochautomatisiertes Fahren eine Vielzahl von Fahrassistenzsystemen auf, die oftmals kamerabasiert sind, sodass solche Fahrzeuge zumindest eine Kamera oder zumindest ein Kameramodul aufweisen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein verbessertes Verfahren zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug, weiterhin ein Steuergerät, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm und ein verbessertes Umfelderfassungssystem gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Durch den hier vorgestellten Ansatz wird eine Möglichkeit geschaffen, um bei einem Umfelderfassungssystem für ein Fahrzeug beispielsweise eine Erkennung und Kompensation von Betriebsfehlern bzw. Betriebsbeeinträchtigungen oder Parameterabweichungen zu verbessern. Weiterhin kann beispielsweise eine Betriebsfunktion des Umfelderfassungssystems insbesondere bei schlechten Sichtbedingungen verbessert werden. Zugleich kann durch den hier vorgestellten Ansatz eine Fahrsicherheit bzw. Verkehrssicherheit erhöht werden.
-
Es wird ein Verfahren zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug vorgestellt. Das Umfelderfassungssystem weist eine Projektionseinrichtung und eine Bilderfassungseinrichtung auf. Das Verfahren umfasst einen Schritt des Bereitstellens eines Projektionssignals an eine Schnittstelle zu der Projektionseinrichtung, wobei das Projektionssignal einen Steuerparameter zum Projizieren eines Lichtmusters in einen Umfeldbereich des Fahrzeugs aufweist. Weiterhin umfasst das Verfahren einen Schritt des Einlesens von Bilddaten über eine Schnittstelle zu der Bilderfassungseinrichtung, wobei die Bilddaten (unter anderem) das in den Umfeldbereich projizierte Lichtmuster beinhaltet. In einem Schritt des Verarbeitens werden die Bilddaten unter Verwendung einer Verarbeitungsvorschrift verarbeitet, um den Betriebsparameter zu ermitteln.
-
Das Umfelderfassungssystem kann beispielsweise in einem Fahrzeug in Verbindung mit Fahrassistenzsystemen realisiert sein. Das Fahrzeug kann beispielsweise als ein Personenkraftwagen, als ein Lastkraftwagen oder beispielsweise als ein Nutzfahrzeug ausgeformt sein. Alternativ kann das Fahrzeug auch als ein einspuriges Fahrzeug realisiert werden. Die Projektionseinrichtung kann beispielsweise zumindest eine Lichtquelle, beispielsweise eine laserbasierte Lichtquelle, umfassen. Die Bilderfassungseinrichtung kann beispielsweise als eine Kamera realisiert sein.
-
Gemäß einer Ausführungsform kann im Schritt des Verarbeitens der Betriebsparameter ermittelt werden, der ausgebildet sein kann, um ein Nachfokussieren der Bilderfassungseinrichtung, ein Nachschärfen eines durch die Bilddaten repräsentierten Bildes und zusätzlich oder alternativ ein Nachkalibrieren der Bilderfassungseinrichtung zu bewirken. Vorteilhafterweise kann dadurch ein aktueller Zustand beispielsweise der Bilderfassungseinrichtung und somit eine Funktionalität derselben ermittelt werden.
-
Gemäß einer Ausführungsform kann im Schritt des Bereitstellens das Projektionssignal bereitgestellt werden, um das Lichtmuster zu projizieren, das eine Lichtpunktstruktur, eine Lichtstreifenstruktur und zusätzlich oder alternativ eine Lichtpunktewolke, oder eine sonstige geometrische Struktur, repräsentieren kann. Dabei kann das Lichtmuster in einen fahrzeugexternen Bereich projiziert werden. Das Lichtmuster kann zumindest eine vordefinierte geometrische Eigenschaft aufweisen. Vorteilhafterweise kann so eine unerwünschte Abweichung bei der Funktion der Bilderfassungseinrichtung zuverlässig ermittelt und behoben werden.
-
Ferner kann im Schritt des Verarbeitens die Verarbeitungsvorschrift ein Vergleichen zumindest eines Bildparameters der Bilddaten mit einem hinterlegten Erwartungswert bewirken, um ein Vergleichsergebnis zu erhalten, wobei der Betriebsparameter unter Verwendung des Vergleichsergebnisses ermittelt werden kann. Der Erwartungswert kann mit dem Steuerparameter des Projektionssignals in einer vordefinierten Beziehung stehen. Vorteilhafterweise kann dadurch festgestellt werden, ob die Bilderfassungseinrichtung beispielsweise in einer Vielzahl von Bildbereichen scharf eingestellt ist.
-
Gemäß einer Ausführungsform kann im Schritt des Verarbeitens die Verarbeitungsvorschrift ein Berechnen zumindest eines Unschärfewerts in einem durch die Bilddaten repräsentierten Bild bewirken, wobei der Betriebsparameter unter Verwendung des Unschärfewerts ermittelt werden kann. Vorteilhafterweise kann dadurch anschließend beispielsweise eine vorhandene Unschärfe durch Betätigung einer Autofokuseinrichtung bewältigt werden.
-
Ferner kann im Schritt des Verarbeitens die Verarbeitungsvorschrift ausgebildet sein, um eine Impulsantwortfunktion zu ermitteln. Vorteilhafterweise kann die Punktverwaschungsfunktion und zusätzlich oder alternativ die Impulsantwortfunktion für zumindest einen Lichtpunkt ermittelt werden.
-
Im Schritt des Bereitstellens kann das Projektionssignal gemäß einer Ausführungsform bereitgestellt werden, um das Lichtmuster in einen Objektraum in dem Umfeld des Fahrzeugs projizieren zu können. Insbesondere kann der Objektraum außerhalb des Fahrzeugs angeordnet sein.
-
Gemäß einer Ausführungsform können die Schritte des Verfahrens wiederholt und zusätzlich oder alternativ kontinuierlich durchgeführt werden. Dadurch kann beispielsweise die Bilderfassungseinrichtung in zeitlichen Abständen neu kalibriert und zusätzlich oder alternativ eine Einstellung der Bilderfassungseinrichtung aktualisiert werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann das Steuergerät zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ferner wird ein Umfelderfassungssystem für ein Fahrzeug vorgestellt, wobei das Umfelderfassungssystem eine Projektionseinrichtung zum Projizieren eines Lichtmusters in einen Umfeldbereich des Fahrzeugs, eine Bilderfassungseinrichtung zum Erfassen von Bilddaten, die das in den Umfeldbereich projizierte Lichtmuster repräsentieren, und ein Steuergerät in einer zuvor genannten Variante aufweist, wobei das Steuergerät signalübertragungsfähig mit der Projektionseinrichtung und der Bilderfassungseinrichtung verbunden ist.
-
Vorteilhafterweise kann das Steuergerät ausgebildet sein, um das Umfelderfassungssystem zu betreiben. Das Umfelderfassungssystem kann weiterhin vorteilhaft kostengünstig realisiert werden, da beispielsweise eine Anzahl von Bauteilen bestehen bleibt.
-
Gemäß einer Ausführungsform kann die Projektionseinrichtung als ein LIDAR-System ausgeführt sein. Vorteilhafterweise kann die Projektionseinrichtung beispielsweise in dem Fahrzeug für eine Mehrzahl von Funktionen eingesetzt werden.
-
Ferner kann die Projektionseinrichtung benachbart zu einem Scheinwerfer des Fahrzeugs, beispielsweise integriert im Scheinwerfer des Fahrzeugs, oder zu der Bilderfassungseinrichtung angeordnet sein. Vorteilhafterweise kann durch eine geeignete Position der Projektionseinrichtung und zusätzlich oder alternativ der Bilderfassungseinrichtung ein zu beleuchtender Objektraum angestrahlt und erfasst werden.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine teilschematische Darstellung eines Fahrzeugs mit einem Umfelderfassungssystem;
- 2 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug; und
- 3 ein Blockschaltbild eines Steuergeräts gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine teilschematische Darstellung eines Fahrzeugs 100 mit einem Umfelderfassungssystem 105. Das Fahrzeug 100 ist gemäß diesem Ausführungsbeispiel als ein Personenkraftwagen realisiert. Alternativ ist das Fahrzeug 100 auch als ein Nutzfahrzeug oder als Lastkraftwagen realisierbar. Das Umfelderfassungssystem 105 ist beispielsweise in Verbindung mit Mobiltelefonen, im Verbraucherbereich, aber beispielsweise auch in Verbindung mit Sicherheitssystemen oder für wissenschaftliche Anwendungen einsetzbar. In der hier dargestellten Abbildung ist das Umfelderfassungssystem 105 in Verbindung mit zumindest einem Fahrassistenzsystem des Fahrzeugs 100 eingesetzt. Dazu weist das Umfelderfassungssystem 105 eine Projektionseinrichtung 110, eine Bilderfassungseinrichtung 115 sowie ein Steuergerät 120 auf. Die Projektionseinrichtung 110 ist ausgebildet, um ein Lichtmuster 125 in einen Umfeldbereich 130 des Fahrzeugs 100 zu projizieren. Die Bilderfassungseinrichtung 115 ist ausgebildet, um Bilddaten zu erfassen, die das in den Umfeldbereich 130 projizierte Lichtmuster 125 repräsentieren. Das Steuergerät 120 ist signalübertragungsfähig mit der Projektionseinrichtung 110 und der Bilderfassungseinrichtung 115 verbunden und ausgebildet, um ein Verfahren zum Ermitteln eines Betriebsparameters zum Betreiben des Umfelderfassungssystems 105 anzusteuern oder durchzuführen, wie es in einer der nachfolgenden Figuren näher erläutert ist. Gemäß diesem Ausführungsbeispiel ist die Projektionseinrichtung 110 lediglich optional als ein LIDAR-System ausgeführt und ist beispielsweise benachbart zu der Bilderfassungseinrichtung 115 angeordnet. Alternativ kann die Projektionseinrichtung 110 benachbart zu oder integriert in einem Scheinwerfer 135 des Fahrzeugs 100 angeordnet sein.
-
In anderen Worten ausgedrückt wird durch den hier vorgestellten Ansatz eine Möglichkeit vorgestellt, um unter Verwendung von projizierten Lichtstrukturen, die hier als Lichtmuster 125 bezeichnet sind, einen Autofokus und/oder eine Kalibrierung der Bilderfassungseinrichtung 115 und/oder eine beispielsweise softwarebasierte Nachschärfung von Kamerabildern einzustellen oder durchzuführen.
-
Eine Kamera, die hier als Bilderfassungseinrichtung 115 bezeichnet ist, wird gemäß diesem Ausführungsbeispiel für Fahrerassistenzsysteme und/oder in Verbindung mit hochautomatisiertem Fahren eingesetzt. Daher liefert sie über eine sehr lange Lebenszeit ein scharfes Bild an weiterverarbeitende Algorithmen. Das Bild ist insbesondere dann scharf, wenn eine Bildebene eines Objektivs der Bilderfassungseinrichtung 115 mit einem Kamerasensor zusammenfällt. Ist dies nicht in genügendem Maße gegeben, können in der nachgeschalteten Bildverarbeitung nachträglich Filter eingesetzt werden, um die Bildschärfe zu erhöhen, um eine Detektionsgüte der Algorithmen zu verbessern. Liegt die Bildebene beispielsweise über oder unter dem Sensor, so sinkt die Bildschärfe. Es gibt allerdings einen Toleranzbereich um die Bildebene herum, in der das Bild noch scharf genug ist, der als Schärfentiefebereich („Depth of Focus“, kurz DOF) bezeichnet ist.
-
Während der Kalibrierprozedur sollte ein Zusammenhang zwischen Bildinformation und Realweltgeometrie bekannt sein. Dies wird beispielsweise durch eine intrinsische Kalibrierung im Werk und durch eine extrinsische Kalibrierung beim Kunden gewährleistet, sodass jedes Pixel im Bild einem realen Winkelbereich zugeordnet wird. Zur Kalibrierung der Bilderfassungseinrichtung 115 wird beispielsweise ein Bild von ortsbekannten Lichtquellen aufgenommen, was als intrinsische Kalibrierung bezeichnet ist. Die Raumposition der Lichtquellen sollte dabei mit hinreichend hoher Präzision bekannt sein. Über einen Vergleich der Position der Lichtquellen und der Position der abgebildeten Lichtquellen im Kamerabild wird schließlich ein Kalibrierbezug hergestellt.
-
Vor diesem Hintergrund wird durch den vorgestellten Ansatz die Bilderfassungseinrichtung 115 für das Fahrzeug 100 vorgestellt, wobei die Bilderfassungseinrichtung 115 beispielsweise eine Autofokusfunktion umfasst. Durch den hier vorgestellten Ansatz werden zudem verschiedene Abbildungsfehler der Optik durch eine Software korrigiert. Hierfür werden die Abbildungseigenschaften und Abbildungsfehler ermittelt, wie beispielsweise die Impulsantwortfunktion in Abhängigkeit eines Feldwinkels.
-
Gemäß diesem Ausführungsbeispiel weist die Projektionseinrichtung 110 einen Emitter auf. Der Emitter sendet beispielsweise die Punktwolke mit bekannten Positionen aus, die von der Bilderfassungseinrichtung 115 detektiert und beispielsweise für eine Kalibrierung und/oder für eine Nachschärfung verwendet wird. Der Emitter für strukturierte Lichtmuster 125 ist beispielsweise als ein bereits im Fahrzeug 100 implementiertes LIDAR-System ausgeführt, was auch als „Sensorfusion“ bezeichnet ist. Dieses weist beispielsweise eine kalibrierte Infrarotlichtquelle auf und kann eine 3D-Punktewolke aus einer Laufzeitmessung der Lidarsignale generieren. Dies würde eine Kalibrierung des Videosystems während der Fahrt oder bei jedem Fahrzeugstart ermöglichen. Damit die Bilderfassungseinrichtung 115, die beispielsweise als Videosystem realisiert ist, mit einem LIDAR-Signal arbeiten kann, sollte die Optik für die auch als NIR-Lichtwellenlänge bezeichnete Infrarotlichtwellenlänge des LIDAR-Systems transmittierend, beispielsweise mittels Objektiv und Farbfiltermaske, und/oder der Kamerasensor absorbierend ausgelegt sein. Es ist denkbar, dass LIDAR und Kamera sich gegenseitig kalibrieren und plausibilisieren. Die LIDAR-Lichtquellen senden für den Menschen unsichtbare Laserstrahlen in einen großen Raumwinkelbereich aus. Das LIDAR-System misst die Laufzeit der Laserpulse und errechnet daraus für jeden Laserpuls eine genaue Ortskoordinate der reflektierten Oberfläche. Ein modernes LIDAR-System ist in der Lage, sehr viele Laserpunkte auszusenden, beispielsweise mittels einer geeigneten örtlichen Abtastrate, sodass die Umgebung durch eine dichte Punktewolke in drei Dimensionen beschrieben wird.
-
Alternativ ist der Emitter für strukturierte Lichtmuster 125 als ein eigenes Element ausgeformt, das beispielsweise neben der Bilderfassungseinrichtung 115 oder am Scheinwerfer 135 angeordnet ist. Wenn es direkt neben der Bilderfassungseinrichtung 115 angebracht ist, wird eine Parallaxe zwischen emittierendem Gerät und Bilderfassungseinrichtung 115 reduziert. Der Emitter operiert optional im sichtbaren Spektralbereich, beispielsweise bei jedem Einschaltvorgang des Fahrzeugs 100. Bei der LIDAR-Variante ist es nachweisbar, dass das Objektiv sowie die Farbfiltermaske des Kamerasensors für die LIDAR-Wellenlänge durchlässig sind. Durch die Transmissionseigenschaften von Objektiv und Farbfilterarray des Sensors ist somit ein Auffangen des LIDAR-Signals in der Videokamera nachweisbar.
-
Weiterhin alternativ ist der Emitter für strukturierte Lichtmuster 125 statt am Fahrzeug 100 fest verbaut zu sein, abnehmbar ausgeformt oder ausformbar. In diesem Fall liegt am Fahrzeug 100 eine entsprechend genaue Halterung vor. Im Falle eines Werkstattbesuchs ist beispielsweise ein entsprechendes Projektionsgerät temporär anbringbar und anschließend wieder entfernbar, um die Bilderfassungseinrichtung 115 zu kalibrieren.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ermitteln eines Betriebsparameters zum Betreiben eines Umfelderfassungssystems für ein Fahrzeug gemäß einem Ausführungsbeispiel. Das Verfahren 200 ist dabei in einem Fahrzeug mit einem Umfelderfassungssystem durchführbar, wie es in 1 beschrieben wurde. Das Verfahren 200 umfasst einen Schritt 205 des Bereitstellens, einen Schritt 210 des Einlesens und einen Schritt 215 des Verarbeitens. Im Schritt 205 des Bereitstellens wird ein Projektionssignal an eine Schnittstelle zu der Projektionseinrichtung bereitgestellt. Das Projektionssignal weist dabei einen Steuerparameter zum Projizieren des Lichtmusters in den Umfeldbereich des Fahrzeugs auf. Im Schritt 210 des Einlesens werden Bilddaten über eine Schnittstelle zu der Bilderfassungseinrichtung eingelesen. Die Bilddaten beinhalten dabei unter anderem das in den Umfeldbereich projizierte Lichtmuster. Weiterhin werden im Schritt 215 des Verarbeitens die Bilddaten unter Verwendung einer Verarbeitungsvorschrift verarbeitet, um den Betriebsparameter zu ermitteln.
-
Gemäß diesem Ausführungsbeispiel werden die Schritte 205, 210, 215 des Verfahrens 200 wiederholt und/oder kontinuierlich wiederholt durchgeführt. Dadurch wird beispielsweise eine Aktualisierung in zeitlichen Abständen ermöglicht, sodass der Betriebsparameter aktuell bleibt. Durch das Wiederholen der Schritte 205, 210, 215 wird beispielsweise anders ausgedrückt eine Regelschleife ermöglicht. Optional wird im Schritt 205 des Bereitstellens das Projektionssignal bereitgestellt, um das Lichtmuster in einen Objektraum in dem Umfeld des Fahrzeugs zu projizieren. Der Objektraum ist dabei fahrzeugextern, beispielsweise an einer Front des Fahrzeugs angeordnet. Das Lichtmuster repräsentiert dabei beispielsweise eine Lichtpunktstruktur, eine Lichtstreifenstruktur und/oder eine Lichtpunktewolke, oder eine sonstige geometrische Struktur. Weiterhin optional wird im Schritt 215 des Verarbeitens der Betriebsparameter ermittelt, der ausgebildet ist, um ein Nachfokussieren der Bilderfassungseinrichtung, ein Nachschärfen eines durch die Bilddaten repräsentierten Bildes und/oder ein Nachkalibrieren der Bilderfassungseinrichtung zu bewirken. Dazu bewirkt beispielsweise die Verarbeitungsvorschrift im Schritt 215 des Verarbeitens ein Vergleichen zumindest eines Bildparameters der Bilddaten mit einem hinterlegten Erwartungswert, um ein Vergleichsergebnis zu erhalten. Gemäß diesem Ausführungsbeispiel wird der Betriebsparameter unter Verwendung des Vergleichsergebnisses ermittelt. Zusätzlich oder alternativ bewirkt die Verarbeitungsvorschrift ein Berechnen zumindest eines Unschärfewerts in einem durch die Bilddaten repräsentierten Bild. In diesem Fall wird der Betriebsparameter unter Verwendung des Unschärfewerts ermittelt. Die Verarbeitungsvorschrift ist beispielsweise ausgebildet, um eine Impulsantwortfunktion zu ermitteln. Diese werden gemäß diesem Ausführungsbeispiel jeweils für zumindest einen Lichtpunkt im Objektraum ermittelt.
-
3 zeigt ein Blockschaltbild eines Steuergeräts 120 gemäß einem Ausführungsbeispiel. Das Steuergerät 120 ist beispielsweise in einem Fahrzeug einsetzbar, wie es in 1 beschrieben wurde und ist dem entsprechend beispielsweise als Teil einer Umfelderfassungseinrichtung 105 ausgeformt. Das Steuergerät 120 ist dabei ausgebildet, um die Schritte des Verfahrens, wie es beispielsweise in 2 beschrieben wurde, auszuführen und/oder anzusteuern. Dazu weist das Steuergerät 120 gemäß diesem Ausführungsbeispiel eine Bereitstelleinheit 305, eine Einleseeinheit 310 und eine Verarbeitungseinheit 315 auf. Die Bereitstelleinheit 305 ist ausgebildet, um ein Projektionssignal 320 an eine Schnittstelle zu der Projektionseinrichtung 110 bereitzustellen. Das Projektionssignal 320 weist einen Steuerparameter zum Projizieren eines Lichtmusters in einen Umfeldbereich des Fahrzeugs auf. Die Einleseeinheit 310 ist ausgebildet, um Bilddaten 325 über eine Schnittstelle zu der Bilderfassungseinrichtung 115 einzulesen. Die Bilddaten 325 beinhalten dabei unter anderem das in den Umfeldbereich projizierte Lichtmuster. Ferner ist die Verarbeitungseinheit 315 ausgebildet, um die Bilddaten 325 unter Verwendung einer Verarbeitungsvorschrift 330 zu verarbeiten, um den Betriebsparameter 335 zu ermitteln.
-
Unter Bezugnahme auf die vorstehend beschriebenen Figuren werden Ausführungsbeispiele und Hintergründe von Ausführungsbeispielen nachfolgend mit anderen Worten und zusammenfassend nochmals erläutert oder vorgestellt.
-
Beispielsweise ist das Umfelderfassungssystem 105 in Verbindung mit sicherheitsrelevanten Funktionen des Fahrzeugs 100 einsetzbar. Gemäß einem Ausführungsbeispiel ist in dem Fahrzeug 100 eine Lichtquelle, beispielsweise als Teil der Projektionseinrichtung 110, installiert, die präzise Strukturen, wie beispielsweise Punkte, eine Punktewolke oder Streifen und die hier als Lichtmuster 125 bezeichnet sind, auf die Außenwelt projiziert. Das Lichtmuster 125 wird von der Bilderfassungseinrichtung 115 für beispielsweise Fahrerassistenzsysteme oder hochautomatisiertes Fahren wiederum detektiert und beispielsweise eine Schärfe der abgebildeten Strukturen mit einem hinterlegten Erwartungswert verglichen. Aus den gewonnenen Informationen wird beispielsweise die Unschärfe oder zumindest ein Abbildungsfehler im Bild herausgerechnet. Das Umfelderfassungssystem 105 ermittelt somit eine Schärfeleistung in unterschiedlichen Bildbereichen. Die gewonnene Information wird beispielsweise genutzt, um zu entschieden, ob die Bilderfassungseinrichtung 115 nachfokussiert werden sollte. Auch ist der nachfokussierende Vorgang mit einer Regelschleife überwachbar.
-
Optional wird unter Verwendung des Lichtmusters 125 beispielsweise eine näherungsweise PSF (Point Spread Function - Punktbildverwaschungsfunktion, Impulsantwortfunktion; bzw. der Betrag der PSF) der Optik ermittelt. Dies ist für viele Punkte im Objektraum gleichzeitig durchführbar. Die gewonnene Information, wie beispielsweise eine ortsabhängige PSF, wird beispielsweise zum besseren Nachschärfen des Bildes genutzt.
-
Anders formuliert ist in das Fahrzeug 100 die Lichtquelle installiert, die präzise Strukturen auf die Außenwelt projizieren, die von einer Bilderfassungseinrichtung 115 für Fahrerassistenzsysteme oder hochautomatisiertes Fahren wiederum optional über eine gesamte Lebenszeit des Fahrzeugs 100 detektiert wird. Das auch als Recheneinheit bezeichnete Steuergerät 120 kann aus den Informationen der Bildpositionen der Lichtpunkte im Kamerabild Korrekturen in der intrinsischen und/oder extrinsischen Kalibrierung der Bilderfassungseinrichtung 115 vornehmen. So kann ein Sollwert der Lichtpunktpositionen mit einem Istwert, beispielsweise bei Werksauslieferung, verglichen werden. Die Bilderfassungseinrichtung 115 detektiert diese Strukturen und vergleicht sie beispielsweise mit ihrem Erwartungswert, der beispielsweise durch Laufzeitmessung der Laserpulse über ein im Fahrzeug 100 integriertes LIDAR-System erfasst wurde. Die Bilderfassungseinrichtung 115 wird somit auf das LIDAR-Signal kalibriert und es wird kontrolliert, ob ihre Kalibrierung weiterhin korrekt ist. Weiterhin wird sie optional im Feld beispielsweise während einer Nutzung durch Privatpersonen kontinuierlich nachkalibriert.
-
Die Vorteile sind beispielsweise eine erhöhte Güte der Nachschärfung durch Software vor dem Hintergrund, dass das Gesamtsystem betrachtet wird statt nur ein Objektiv. Ferner ist von Vorteil, dass eine Serienstreuung des Gesamtsystems einen geringeren Einfluss hat, da sich jedes System selbst kalibriert, und dass immer ein aktueller Zustand ermittelt wird statt jener vom Produktionsdatum. Weiterhin vorteilhaft wird eine erhöhte Verfügbarkeit eines Autofokus ermöglicht, beispielsweise bei Nacht und/oder bei wenig Kontrast. Weiterhin wird eine Konfidenz darüber erhöht, dass die Bilderfassungseinrichtung 115 in allen Bildbereichen ausreichend scharf ist. Durch den hier vorgestellten Ansatz wird weiterhin eine Erkennung von Kameradefekten oder ausgefallenen Bildbereichen, beispielsweise Abbildungsproblemen, ermöglicht sowie eine Genauigkeit durch beispielsweise eine schlichtere Kalibrierung des Gesamtsystems gesteigert. Außerdem werden beispielsweise durch eine höhere Konfidenz von Algorithmen eine höhere Sicherheit und ein verbesserter Komfort der Fahrerassistenzfunktionen ermöglicht. Lediglich optional sind Korrekturen einer Veränderung der Intrinsik über Temperatur und Lebensdauereffekte möglich, wodurch eine höhere Präzision auch über die Lebenszeit erreicht wird.
-
Durch den vorgestellten Ansatz wird eine Alternative zu einer bisher genutzten intrinsischen Kalibrierung geschaffen. Bisher ist die intrinsische Kalibrierung kostenintensiv und mit einem aufwendigen Messstand verbunden. Weiterhin ist sie zeitintensiv und unterliegt technischen Beschränkungen. Gerade ein Einfluss beispielsweise einer Windschutzscheibe, wie beispielsweise eine optische Fläche, grobe Toleranzen und Prozessschwankungen der Glasform und/oder Glasqualität, kann eine Präzision von Kalibrierungen reduzieren. Dieser Effekt tritt in einem „Randbereich“ eines Kamerabildes - vor allem bei großen Öffnungswinkeln - besonders stark auf. Um die Präzision der Kalibrierung dennoch zu gewährleisten, kann auf aufwendige und zusätzliche Kalibriermethoden, welche den Windschutzscheibeneffekt reduzieren, hierdurch verzichtet werden. Wird eine Bilderfassungseinrichtung 115 oder eine Windschutzscheibe beispielsweise in der Werkstatt ausgewechselt, wären aufwendige Kalibriermethoden keine Option, da jede Werkstatt teure und komplexe Vorrichtungen bereithalten müsste. So braucht auch keine niedrigere Präzision der Kalibrierung akzeptiert zu werden. Eine Konfidenz oder Genauigkeit der Aussagen von Algorithmen bei der Einschätzung von Realweltkoordinaten kann somit erhöht oder zumindest beibehalten werden, sodass die Bilderfassungseinrichtung 115 vorteilhaft zur Unfallvermeidung beitragen kann. Die Intrinsische Kalibrierung der Bilderfassungseinrichtung 115 verändert sich zudem über die Temperatur. Ein üblicher Lösungsansatz ist es beispielsweise, die typische Änderung der Intrinsik über der Temperatur zu simulieren, in die Kamera einzuspeichern und mithilfe beispielsweise eines Temperatursensors nachzuregeln. Die Intrinsik kann sich auch irreversibel über Lebenszeit, beispielsweise durch Feuchte und/oder Alterung, verändern.
-
Eine Softwarekorrektur der Bildschärfe ist üblicherweise technischen Begrenzungen ausgesetzt. Falls jede Bilderfassungseinrichtung 115 mit demselben Korrekturfilter ausgelegt wird, wäre eine Serienstreuung der Objektive nicht oder kaum herauskalibrierbar, sodass die Bildkorrektur und Nachschärfung an Güte verlieren könnte, was durch den hier vorgestellten Ansatz vermieden wird. Weiterhin wird durch den hier vorgestellten Ansatz ein Aufwand reduziert, der beispielsweise durch eine Kalibrierung einer jeden Bilderfassungseinrichtung 115 mit einem Speichern einer eigenen Korrektur verbunden wäre. Es werden durch den beschriebenen Ansatz verschiedene optische Auswirkungen herauskalibriert. Diese optischen Auswirkungen sind beispielsweise (opto)mechanische Veränderungen, die beispielsweise über eine Lebenszeit oder durch Änderung der Umweltbedingungen hervorgerufen wurden, beispielsweise parasitäre Abbildungseigenschaften, die die Windschutzscheibe oder das Abdeckglas vor dem Kamerasystem erzeugen, oder beispielsweise eine Unschärfe durch Streuung an Partikeln und Tröpfchen in der Luft, wie beispielsweise leichter Nebel, Dunst und/oder Staub.
-
Vor dem Hintergrund, dass Bildbereiche wenig bis gar keine Kontraste bieten, ist der hier vorgestellte Ansatz vorteilhaft. Das bedeutet, dass das Umfelderfassungssystem 105 auch in schlecht ausgeleuchteten Situationen, wie beispielsweise bei einer Fahrt bei Nacht, einsetzbar ist, sodass eine Fahrsicherheit, beispielsweise mittels Bremsassistent oder Spurwechselassistent, weiterhin gegeben ist.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
