-
Stand der Technik
-
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Zur Erfassung der Umwelt werden in Fahrzeugen Sensorsysteme wie LIDAR-Systeme (Light Detecting And Ranging) oder Multikamerasysteme als 3D-vermessende Sensorik eingesetzt.
-
-
Die
US 9 438 877 B2 offenbart eine Versatzmessvorrichtung und eine Abstandsmessvorrichtu ng.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung, weiterhin ein Steuergerät, das dieses Verfahren verwendet, sowie ein entsprechendes Computerprogramm und schließlich ein Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät gemäß den unabhängigen Ansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass ein Rechenaufwand sowie ein Datenaufkommen bei einer Videoverarbeitung einer Stereokameraeinrichtung stark reduziert werden.
-
Es wird ein Verfahren zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug vorgestellt. Das Verfahren weist einen Schritt des Einlesens, einen Schritt des Auswählens, einen Schritt des Ermittelns und einen Schritt des Bestimmens auf. Im Schritt des Einlesens wird ein Stereobildsignal über eine Schnittstelle zu einer Stereokameraeinrichtung eingelesen, wobei das Stereobildsignal ein eine Umgebung des Fahrzeugs abbildendes Stereobild aus einem ersten Kamerabild und einem zweiten Kamerabild repräsentiert. Im Schritt des Auswählens wird eine Mehrzahl von Zeilen des ersten Kamerabilds für eine nachfolgende Tiefenbestimmung ausgewählt, wobei die übrigen Zeilen des ersten Kamerabilds in Bezug auf eine Tiefenbestimmung verworfen werden. Im Schritt des Ermittelns wird zumindest ein ein Objekt abbildender Bildpunkt in der Zeile ermittelt. Im Schritt des Bestimmens wird eine Tiefeninformation bezüglich des Bildpunkts unter Verwendung des Stereobildsignals bestimmt, um einen Abstand des Objekts zu der Stereokameraeinrichtung zu bestimmen.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Die Stereokameraeinrichtung kann ausgebildet sein, um unter Verwendung einer einzigen Kamera zu zwei unterschiedlichen Zeitpunkten jeweils ein Kamerabild zu erfassen, wobei das Stereobildsignal diese beiden Kamerabilder abbildet. Die Stereokameraeinrichtung kann alternativ aber auch ausgebildet sein, um unter Verwendung von zwei an unterschiedlichen Orten angeordneten Kameras gleichzeitig jeweils ein Kamerabild zu erfassen, wobei das Stereobildsignal diese beiden Kamerabilder abbildet. Da im Schritt des Auswählens lediglich eine Mehrzahl von Zeilen des ersten Kamerabilds für die nachfolgende Tiefenbestimmung ausgewählt wird und die übrigen Zeilen des ersten Kamerabilds in Bezug auf die Tiefenbestimmung verworfen werden, ermöglicht dies einen stark reduzierten Rechenaufwand gegenüber einer Tiefenbestimmung beispielsweise aller Pixel des ersten Kamerabilds. Die Mehrzahl von Zeilen kann bei einer Kalibrierung der Stereokameraeinrichtung vorbestimmt worden sein und beispielsweise einen zu überwachenden Bereich mit einem bestimmten Abstand zu einer Bodenebene repräsentieren. So können vorteilhafterweise Bildpunkte in lediglich einer relevanten Zeile ermittelt werden und für die Bildverarbeitung irrelevante Bereiche des ersten Kamerabilds ignoriert werden. Im Schritt des Bestimmens kann die Tiefeninformation unter Verwendung einer robusten Tiefenrekonstruktion bestimmt werden.
-
Im Schritt des Auswählens kann eine Position der Mehrzahl von Zeilen unter Verwendung eines Bewegungssignals, das eine Fahrzeugbewegung des Fahrzeugs repräsentiert, ausgewählt werden. Als das Bewegungssignal können beispielsweise von einer Bewegungsmesssensorik des Fahrzeugs drei Rotationswinkel des Fahrzeugs eingelesen werden, die durch ein Nicken, Federn, Wanken oder Gieren des Fahrzeugs bewirkt werden. So kann im Schritt des Auswählens für die Mehrzahl von Zeilen stets eine Position ausgewählt werden, die stets einen konstanten Winkel und zusätzlich oder alternativ Abstand zur Bodenebene aufweist. Beispielsweise kann hierbei im Schritt des Auswählens eine Mehrzahl von Zeilen ausgewählt werden, welche stets parallel zur Bodenebene verläuft. Somit kann sichergestellt werden, dass die Mehrzahl von Zeilen stets ortsfest in Bezug auf die Umgebung und nicht ortsfest in Bezug auf den Sichtbereich der Kamera ausgewählt wird.
-
Im Schritt des Auswählens kann eine Position der Mehrzahl von Zeilen unter Verwendung eines Kalibierungssignals, das eine Kalibirierungscharakteristik der Stereokameraeinrichtung anzeigt, ausgewählt werden. Das Kalibierungssignal kann beispielsweise Informationen bezüglich einer intrinsischen und zusätzlich oder alternativ extrinsischen Kalibrierung der Stereokameraeinrichtung anzeigen. Das Kalibierungssignal ermöglicht eine Korrektur der Position der Mehrzahl von Zeilen bei einer festgestellten Abweichung.
-
Es ist weiterhin von Vorteil, wenn das Verfahren einen Schritt des Erkennens des Objekts unter Verwendung des Stereobildsignals aufweist. Der Schritt des Erkennens kann nach dem Schritt des Auswählens erfolgen, um den Schritt des Ermittelns zu ermöglichen. Im Schritt des Erkennens können beispielsweise aus einem Videobildstrom an Stereobildern Features aus entweder zwei Zeitpunkten bei einer Kamera oder Features aus unterschiedlichen Blickwinkeln bei zwei Kameras verglichen werden, um das Objekt zu erkennen. Daraus kann dann mit einer robusten Schätzung die Tiefenrekonstruktion der 3D-Umwelt-Objekte vollzogen werden.
-
Im Schritt des Auswählens wird eine Mehrzahl von Zeilen des ersten Kamerabilds für die nachfolgende Tiefenbestimmung ausgewählt, wobei die übrigen Zeilen des ersten Kamerabilds in Bezug auf eine Tiefenbestimmung verworfen werden, wobei im Schritt des Ermittelns zumindest der das Objekt abbildende Bildpunkt in der Mehrzahl von Zeilen ermittelt wird. Dies ermöglicht einen größeren Detektionsbereich zur Ermittlung von Bildpunkten. Ausgewählte Zeilen, in denen im Schritt des Ermittelns keine ein Objekt abbildenden Bildpunkt ermittelt werden, können in Bezug auf die Tiefenbestimmung verworfen werden.
-
Im Schritt des Auswählens können genau vier oder genau acht Zeilen ausgewählt werden. So kann die Funktion eines LIDAR-Systems mit vier oder acht Scanebenen ersetzt werden. Ein zusätzliches LIDAR-System zum Scannen von Scanebenen ist nicht notwendig.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form eines Steuergeräts kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann das Steuergerät zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch das Steuergerät eine Steuerung eines Verfahrens zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug. Hierzu kann das Steuergerät beispielsweise auf Sensorsignale wie ein Stereobildsignal zugreifen, das ein eine Umgebung des Fahrzeugs abbildendes Stereobild aus einem ersten Kamerabild und einem zweiten Kamerabild repräsentiert. Die Ansteuerung erfolgt über Aktoren wie eine Schnittstelle zum Einlesen zumindest des einen Stereobildsignals, eine Auswähleinrichtung zum Auswählen einer Mehrzahl von Zeilen des ersten Kamerabilds für eine nachfolgende Tiefenbestimmung und Verwerfen der übrigen Zeilen des ersten Kamerabilds in Bezug auf eine Tiefenbestimmung, eine Ermittlungseinrichtung zum Ermitteln zumindest eines ein Objekt abbildenden Bildpunkts in der Zeile und eine Bestimmeinrichtung zum Bestimmen einer Tiefeninformation bezüglich des Bildpunkts unter Verwendung des Stereobildsignals, um einen Abstand des Objekts zu der Stereokameraeinrichtung zu bestimmen.
-
Es wird ferner ein Stereokamerasystem vorgestellt, das eine der vorangehend beschriebenen Stereokameraeinrichtungen und das Steuergerät aufweist. Die Stereokameraeinrichtung kann zumindest eine oder zwei Kameras aufweisen.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 ein Blockschaltbild eines Fahrzeugs mit einem Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung gemäß einem Ausführungsbeispiel;
- 2 ein Anwendungsbeispiel einer Bildverarbeitung eines ersten Kamerabilds einer Stereokameraeinrichtung unter Verwendung eines Steuergeräts gemäß einem Ausführungsbeispiel;
- 3 ein Blockschaltbild eines Stereokamerasystems mit einer Stereokameraeinrichtung und einem Steuergerät gemäß einem Ausführungsbeispiel; und
- 4 ein Ablaufdiagramm eines Verfahrens zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100 mit einem Steuergerät 105 zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung 110 gemäß einem Ausführungsbeispiel. Gezeigt ist eine schematische Darstellung des Fahrzeugs 100 mit dem Steuergerät 105 von oben.
-
Lediglich beispielhaft ist das Steuergerät 105 in oder an dem Fahrzeug 100 aufgenommen und/oder in ein Fahrassistenzsystem des Fahrzeugs 100 implementiert.
-
Das Steuergerät 105 ist dazu ausgebildet, um eine abstandsmessende Bildverarbeitung für die Stereokameraeinrichtung 110 des Fahrzeugs 100 durchzuführen. Hierzu weist das Steuergerät 105 eine Schnittstelle 115, eine Auswähleinrichtung 120, eine Ermittlungseinrichtung 125 und eine Bestimmeinrichtung 130 auf. Ferner weist das Steuergerät 105 gemäß diesem Ausführungsbeispiel eine Erkenneinrichtung 135 auf.
-
Die Schnittstelle 115 ist dazu ausgebildet, um zumindest ein Stereobildsignal 140 einzulesen, das ein eine Umgebung des Fahrzeugs 100 abbildendes Stereobild aus einem ersten Kamerabild 145 und einem zweiten Kamerabild 150 repräsentiert. Die Auswähleinrichtung 120 ist dazu ausgebildet, um eine Mehrzahl von Zeilen des ersten Kamerabilds 145 für eine nachfolgende Tiefenbestimmung auszuwählen und die übrigen Zeilen des ersten Kamerabilds 145 in Bezug auf eine Tiefenbestimmung zu verwerfen. Die Ermittlungseinrichtung 125 ist dazu ausgebildet, um zumindest einen ein Objekt 155 abbildenden Bildpunkt in der Zeile zu ermitteln. Die Bestimmeinrichtung 130 ist dazu ausgebildet, um eine Tiefeninformation bezüglich des Bildpunkts unter Verwendung des Stereobildsignals 140 zu bestimmen, um den Abstand des Objekts 155 zu der Stereokameraeinrichtung 110 zu bestimmen. Gemäß diesem Ausführungsbeispiel ist die Bestimmeinrichtung 130 dazu ausgebildet, um ein „Structure-from-Motion“-Messverfahren oder ein Video-Stereo-Messverfahren durchzuführen, um den Abstand des Objekts 155 zu der Stereokameraeinrichtung 110 zu bestimmen.
-
Die Stereokameraeinrichtung 110 ist gemäß diesem Ausführungsbeispiel ausgebildet, um unter Verwendung von zwei Kameras 160, 165 der Stereokameraeinrichtung 110 gleichzeitig jeweils ein Kamerabild 145, 150 zu erfassen, wobei das Stereobildsignal 140 beide Kamerabilder 145, 150 abbildet. Gemäß einem alternativen Ausführungsbeispiel weist die Stereokameraeinrichtung 110 lediglich eine der Kameras 160, 165 auf und ist dazu ausgebildet, um zu zwei unterschiedlichen Zeitpunkten jeweils ein Kamerabild 145, 150 zu erfassen, wobei das Stereobildsignal 140 beide Kamerabilder 145, 150 abbildet. Lediglich beispielhaft sind die Kameras 160, 165 gemäß diesem Ausführungsbeispiel als Frontkameras an zwei gegenüberliegenden Seiten einer Fahrzeugfront des Fahrzeugs 100 angeordnet.
-
Die Ermittlungseinrichtung 125 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um eine Mehrzahl oder alle das Objekt 155 abbildenden Bildpunkte in der Zeile zu ermitteln, wobei die Bestimmeinrichtung 130 dazu ausgebildet ist, um eine Tiefeninformation bezüglich der Mehrzahl oder aller von der Ermittlungseinrichtung 125 ermittelten Bildpunkte unter Verwendung des Stereobildsignals 140 zu bestimmen, um den Abstand des Objekts 155 zu der Stereokameraeinrichtung 110 zu bestimmen.
-
Die Auswähleinrichtung 120 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um eine Position der Zeile unter Verwendung eines Bewegungssignals 170, das eine Fahrzeugbewegung des Fahrzeugs 100 repräsentiert, auszuwählen. Hierzu ist die Auswähleinrichtung 120 gemäß diesem Ausführungsbeispiel dazu ausgebildet, um das Bewegungssignals 170 einzulesen, das drei Rotationswinkel des Fahrzeugs 100 umfasst, die gemäß einem Ausführungsbeispiel durch ein Nicken, Federn, Wanken oder Gieren des Fahrzeugs 100 bewirkt wurden. Das Bewegungssignal 170 wird gemäß diesem Ausführungsbeispiel von einer Bewegungsmesssensorik 172 des Fahrzeugs 100 oder gemäß einem alternativen Ausführungsbeispiel videobasierend aus einem Videobildstrom von der Stereokameraeinrichtung 110 oder einer weiteren Stereokameraeinrichtung des Fahrzeugs 100 eingelesen.
-
Gemäß diesem Ausführungsbeispiel ist die Auswähleinrichtung 120 dazu ausgebildet, um für die Mehrzahl von Zeilen stets eine Position auszuwählen, die parallel und/oder mit einem vorbestimmten Abstand zu einer Bodenebene verläuft. Ferner ist die Auswähleinrichtung 120 gemäß diesem Ausführungsbeispiel dazu ausgebildet, um die Position der Mehrzahl von Zeilen unter Verwendung eines Kalibierungssignals 175 auszuwählen, das eine Kalibirierungscharakteristik der Stereokameraeinrichtung 110 anzeigt. Hierzu ist die Auswähleinrichtung 120 gemäß diesem Ausführungsbeispiel dazu ausgebildet, um das Kalibierungssignal 175 einzulesen, das eine Information bezüglich einer intrinsischen und/oder extrinsischen Kalibrierung der Stereokameraeinrichtung 110 anzeigt. Gemäß einem alternativen Ausführungsbeispiel liest das Steuergerät 105 das Bewegungssignal 170 und/oder das Kalibierungssignal 175 über die Schnittstelle 115 ein.
-
Die Auswähleinrichtung 120 ist gemäß diesem Ausführungsbeispiel dazu ausgebildet, um eine Mehrzahl von Zeilen des ersten Kamerabilds 145 für die nachfolgende Tiefenbestimmung auszuwählen und die übrigen Zeilen des ersten Kamerabilds 145 in Bezug auf die Tiefenbestimmung zu verwerfen, wobei die Ermittlungseinrichtung 125 dazu ausgebildet ist, um den zumindest das Objekt 155 abbildenden Bildpunkt in der Mehrzahl von Zeilen zu ermitteln. Gemäß diesem Ausführungsbeispiel ist die Ermittlungseinrichtung 125 außerdem dazu ausgebildet, um eine Mehrzahl oder alle das Objekt 155 abbildenden Bildpunkte in der Mehrzahl von Zeilen zu ermitteln, wobei die Bestimmeinrichtung 130 dazu ausgebildet ist, um eine Tiefeninformation bezüglich der Mehrzahl oder aller von der Ermittlungseinrichtung 125 ermittelten Bildpunkte in der Mehrzahl von Zeilen unter Verwendung des Stereobildsignals 140 zu bestimmen, um den Abstand des Objekts 155 zu der Stereokameraeinrichtung 110 zu bestimmen. Gemäß einem Ausführungsbeispiel wählt die Auswähleinrichtung 120 genau vier oder genau acht Zeilen aus und verwirft die übrigen Zeilen des ersten Kamerabilds 145 in Bezug auf die Tiefenbestimmung, wobei die Ermittlungseinrichtung 125 den zumindest einen oder die Mehrzahl oder alle das Objekt 155 abbildenden Bildpunkte in den vier oder acht Zeilen ermittelt.
-
Die Erkenneinrichtung 135 ist dazu ausgebildet, um das Objekt 155 unter Verwendung des Stereobildsignals 110 zu erkennen.
-
2 zeigt ein Anwendungsbeispiel einer Bildverarbeitung eines ersten Kamerabilds 145 einer Stereokameraeinrichtung unter Verwendung eines Steuergeräts gemäß einem Ausführungsbeispiel. Dabei kann es sich um das anhand von 1 beschriebene erste Kamerabild 145 und das Steuergerät handeln.
-
Gemäß diesem Ausführungsbeispiel zeigt das erste Kamerabild 145 eine Abbildung des Objekts 155, hier beispielhaft in Form eines Balls. Dargestellt sind außerdem eine Mehrzahl von Zeilen 205, 210, 215, 220, welche von der Auswähleinrichtung ausgewählt wurden, gemäß diesem Ausführungsbeispiel eine erste Zeile 205, eine zweite Zeile 210, eine dritte Zeile 215 und/oder eine vierte Zeile 220, wobei die übrigen Zeilen des ersten Kamerabilds 145 in Bezug auf die Tiefenbestimmung verworfen wurden. Von der Ermittlungseinrichtung wurde gemäß diesem Ausführungsbeispiel eine Mehrzahl von das Objekt 155 abbildenden Bildpunkten 225 in der zweiten Zeile 210 und eine Mehrzahl von das Objekt 155 abbildenden weiteren Bildpunkten 230 in der dritten Zeile 215 ermittelt, gemäß diesem Ausführungsbeispiel je fünf Bildpunkte 225, 230 pro Zeile 210, 215. In der ersten Zeile 205 und der vierten Zeile 220 wurde von der Ermittlungseinrichtung gemäß diesem Ausführungsbeispiel kein das Objekt 155 oder ein anderes Objekt abbildender Bildpunkt ermittelt, woraufhin die erste Zeile 205 und die vierte Zeile 220 in Bezug auf die Tiefenbestimmung verworfen werden. Die Bestimmeinrichtung führt gemäß diesem Ausführungsbeispiel die Tiefenbestimmung lediglich für die Bildpunkte 225 und die weiteren Bildpunkte 230 durch.
-
3 zeigt ein Blockschaltbild eines Stereokamerasystems 300 mit einer Stereokameraeinrichtung 110 und einem Steuergerät 105 gemäß einem Ausführungsbeispiel. Das Stereokamerasystem 300 umfasst eine der anhand der vorangegangenen Figuren beschriebenen Stereokameraeinrichtungen 110 und eines der anhand der vorangegangenen Figuren beschriebenen Steuergeräte 105.
-
Das hier vorgestellte Stereokamerasystem 300 kann auch als „VIDAR“-System („Vision Detection And Ranging“-System) bezeichnet werden und ermöglicht eine effektive 3D-vermessende Video-Sensorik mittels robuster zeilenbasierter Auswertung analog zu einem LIDAR-Sensor (Light Detecting And Ranging).
-
Das Steuergerät 105 ermöglicht eine Methode zur effektivem 3D-Vermessung unter Verwendung zumindest einer Kamera 160 in Form eines Video-Sensors, optimal für eine performante Umsetzung als ein mobiles Steuergerät 105, das beispielsweise im Automotive-Sektor einsetzbar ist. In dieser beschriebenen Methode wird der Video-Sensor, der die Umwelt 305 in einem 2D-Pixelgrid durch optische Projektion aufnimmt, robust in einzelnen Zeilen ausgewertet, und so die heutige gängige LIDAR-Charakteristik simuliert. Im Gegensatz zu einem LIDAR, der aufgrund seiner Hardware-Situation fix die Umwelt 305 mit einer bestimmten Anzahl linienhafter Auswertungen überstreicht, sind mit dem hier vorgestellten Ansatz vorteilhafterweise sowohl eine Zeilenzahl als auch ein Winkel, unter dem die Umwelt 305 beobachtet wird, flexibel, das heißt, im Rahmen eines optischen vertikalen und horizontalen Öffnungswinkels des Video-Sensors, parametrierbar.
-
Im Bereich der Assistenzfunktionen für den Kraftverkehr werden zur Erfassung des Fahrzeugumfeldes verschiedene technische Sensoren eingesetzt, die permanent die Umgebung abtasten, jeweils in einer sensorspezifischen Ausführung. Bei einem Video-Sensor wird zum Beispiel die dreidimensionale Umwelt über einen optischen Pfad in ein zweidimensionales Grau- oder Farbbild überführt. Spezielle Algorithmen analysieren diese Bilder und extrahieren Informationen über die Umwelt. Dabei wird beispielsweise jedes Pixel des gesamten Bildes untersucht und die Tiefe der von diesem Video-Sensor beobachteten Umwelt bestimmt. Es entsteht dadurch aus den Grau-/Farbbildern ein dichtes Tiefenbild. Andere Sensoren wie z. B. der LIDAR nutzen zur optischen Abstandsmessung Laserstrahlen, die meist in linienhaften Konturen die Umwelt überstreichen und für diese Konturen den Abstand zum LIDAR-Sensor messen. So entstehen nur wenige Messpunkte in zumeist wenigen Linien, sogenannten Scan-Ebenen. Einige LIDAR-Sensoren besitzen beispielsweise vier oder acht horizontale parallele Scan-Ebenen innerhalb ihres vertikalen Öffnungswinkels, in denen sie mittels Laserstrahlen die Umwelt vermessen. Dabei wird der Laserstrahl innerhalb der Ebenen jeweils von links nach recht über den horizontalen Öffnungswinkel geführt und so für jede Position der Abstand zum nächsten Objekt im Strahlenverlauf des Lasers ermittelt. Ausgehend von einem 4-Kanal-LIDAR werden jeweils dort, wo Objekte im Laserstrahl vorhanden sind, Messpunkte generiert. Es ergeben sich linienhafte Erfassungen der Umwelt.
-
In vielen heute erhältlichen Fahrzeugen werden ebenso Multikamerasysteme als 3D-vermessende Sensorik angeboten. In diesen Multikamerasystemen wird im Gegensatz zu den verwendeten LIDAR-Sensoren der komplette vertikale und horizontale Öffnungswinkel des Sensors ausgewertet. Die Umgebung wird durch ein optisches Linsensystem flächig auf dem 2D-Bildsensor abgebildet. Zu jedem erfassten Raumwinkel innerhalb eines Pixels, der sich auf dem 2D-Bildsensor abbildet, wird mittels Tiefenrekonstruktion der Abstand zwischen Sensor und beobachtetem Objektpunkt zurückgerechnet, beispielsweise durch ein Structurefrom-Motion- oder Video-Stereo-Messverfahren. Aus den aufgenommenen Videobildern wird hierbei die Tiefe jedes einzelnen Bildpixels im gesamten horizontalen und vertikalen Öffnungsbereich der Videosensorik bestimmt. Eine dichte Punktwolke der 3D-Umwelt ist das Resultat. Die Verwendung einer solchen Video-Sensorik hat jedoch stets den Nachteil, dass mit großen Input-Datenengen gerechnet wird, und ebenso durch die dichte Tiefenrekonstruktion eine große Output-Datenmenge erzielt wird. In vielen Algorithmen wird die Output-Datenmenge nachträglich auf robuste, wenige Messwerte zur weiteren Verarbeitung reduziert. Nutzt man hingehen den Lidar, erhält man aus dem Sensor bereits eine reduzierte Anzahl robuster Messwerte. Dafür erhält man die konstruktionsbedingten Nachteile der festen Scan-Ebenen, sowohl in Anzahl als auch in vorgegebener Lage der Ebenen im vertikalen Öffnungswinkel des Lidar-Sensors.
-
Mit dem hier vorgestellten Ansatz wird von dem Steuergerät 105 im Messvorgang des Video-Sensors bereits eine Auswahl an Zeilen im 2D-Bildsensor getroffen und dort robust und effizient die 3D-Umgebung 305 mittels Tiefenrekonstruktion ermittelt. Der Ansatz simuliert somit die linienhafte Charakteristik eines Lidar-Sensors mit den Mitteln aus einem Video-Sensor. Vorteilhaft dabei ist die Parametrierbarkeit der Zeilen eines solchen VIDAR-Systems (Vision Detection And Ranging). Es lässt sich gemäß einem Ausführungsbeispiel sowohl die Anzahl nach den Bedürfnissen und den Möglichkeiten der Steuergeräte parametrieren als auch die Lage der Zeilen im vertikalen Öffnungswinkel. Aufgrund von Fahrzeug-Einfederungen ist ein fixierter Messstrahlenverlauf in vielen Situationen hinderlich. Die Scan-Ebenen erreichen unter Umständen die Objekte in der Umgebung 305 nicht, weil durch Einnicken die Scan-Ebene bereits den Boden vor dem Objekt trifft, oder es erfolgt das Gegenteil und die Scan-Ebene ist durch Federbewegungen des Fahrzeugs 100 oberhalb des Objekts und verpasst es dadurch. Aus diesem Grund ist das hier vorgestellte VIDAR-System gemäß diesem Ausführungsbeispiel zur Erkennung der Fahrzeug-Nickbewegung ausgebildet, wodurch sich diese Bewegungen vorteilhafterweise gemäß einem Ausführungsbeispiel durch online-Parametrierung im Erfassungsbereich des vertikalen Öffnungswinkels des Video-Sensors ausgleichen lassen. Gemäß einem Ausführungsbeispiel wird das Bewegungssignal von der Bewegungsmesssensorik 172 in Form einer externen Sensorik eingelesen oder das Steuergerät 105 erkennt die Fahrzeugbewegung Video basierend unter Verwendung eines Videobildstroms 310 der Stereokameraeinrichtung 110 oder zweier anderer an verschiedenen Bauorten angeordneten Fahrzeugkameras des Fahrzeugs 100.
-
Das Steuergerät 105 nutzt gegenüber herkömmlicher LIDAR-Sensorik den Vorteil des Video-Sensors der kompletten Erfassung des horizontalen und vertikalen Öffnungswinkels während des Aufnahmezeitpunktes, konzentriert sich aber für die Ermittelung einer 3D-Beschreibung der Umwelt 305 zur weiteren Verarbeitung in beispielsweise Fahrerassistenzfunktionen auf einige wenige, parametrierbare Zeilen in Form von Video-Scan-Ebenen.
-
In Zusammenhang mit der externen Sensorik, oder auch durch Messungen allein in dem Video-Sensor-System, lassen sich gemäß diesem Ausführungsbeispiel die Fahrzeugbewegungen messen. Diese Daten werden gemäß diesem Ausführungsbeispiel zur online-Parametrierung der Zeilen von der Auswähleinrichtung 120 herangezogen und so genutzt, dass gemäß einem Ausführungsbeispiel die Zeilen konstante Winkel bezogen auf die Bodenebene aufweisen und nicht feste Winkel bezogen auf den Sensor selbst.
-
Ein Vorteil gegenüber einer herkömmlichen Video-Sensorik-Auswertung ist die Einschränkung und Robustifizierung bereits im Messvorgang der 3D-Umwelt 305 bei der Reduktion auf wenige Zeilen. Dadurch wird der Rechenaufwand und das Datenaufkommen gegenüber einer herkömmlichen Videoverarbeitung deutlich reduziert. Diese Art des Signalflusses erlaubt die Verwendung anderer Algorithmen zur Tiefenschätzung, als die herkömmlichen mit dem Ziel einer möglichst dichten Generierung einer Tiefenkarte auf dem gesamten Bild. Das ermöglicht im Ansatz einen redundanten Algorithmenpfad aufzubauen, der in der weiteren Signalverarbeitung von Fahrerassistenzsystemen hilfreich sein kann. Das Steuergerät 105 lässt sich vorteilhafterweise in eine bereits bestehende Stereokameraeinrichtung 110 in Form eines Multi-Sensor-Systems integrieren. Wenn bereits Kameras 160, 165 in einer System-Architektur des Fahrzeugs 100 vorhanden sind, erlaubt das Steuergerät 105 innerhalb dieser Komponente einen neuen Algorithmenpfad zu eröffnen. Bei einer Integration des Steuergeräts 105 in ein Multi-Sensor-System, in dem LIDAR-Sensoren in der Architektur vorhanden sind, lassen sich die LIDAR-Sensoren durch das Steuergerät 105 substituieren. Eine Anpassung der weiteren Algorithmen an diesen Eingriff ist wegen der unveränderten Schnittstellenbeschreibung mit großer Wahrscheinlichkeit nicht durchzuführen.
-
Es folgt die Beschreibung eines Anwendungsbeispiels des Steuergeräts 105 oder gesamten Stereokamerasystems 300:
- Mit der am Fahrzeug 100 montierten Stereokameraeinrichtung 110 wird die 3D-Umwelt 305 beobachtet. Das Steuergerät 105 ist sowohl nutzbar für eine erste Variante der Stereokameraeinrichtung 110 mit einer einzigen bewegten Kamera 160, deren Bilderstrom zu zwei aufeinanderfolgenden Zeitpunkten t0, t1 genutzt wird, als auch mit einer zweiten Variante der Stereokameraeinrichtung 110 mit mindestens zwei fest an unterschiedlichen Orten p0, p1 verbauten Kameras 160, 165, die den gleichen Ausschnitt der 3D-Umwelt 305 beobachten. Als Aufnahmeort des Videobildstroms 310 der Stereokameraeinrichtung 110 sind Kamerakoordinatensysteme 315 der Kameras 160, 165 an dem Fahrzeug 100 visualisiert. Die Stereokameraeinrichtung 110 ist gemäß diesem Ausführungsbeispiel in einem Frontbereich des Fahrzeugs 100 verbaut, hier beispielhaft dargestellt mit den für das Sensorsystem geltenden Kamerakoordinatensystemen 315 mit je drei Achsen. Das Fahrzeug 100 selbst und die 3D-Umwelt 305 haben ein von den Kameras 160, 165 getrenntes Koordinatensystem. Gemäß diesem Ausführungsbeispiel ist das Koordinatensystem des Fahrzeugs 100 in die Hinterachse des Fahrzeugs 100 gelegt, hier ebenfalls mit den drei aufspannenden Achsen x, y, z visualisiert. Eine Messeinrichtung 320 erfasst die Fahrzeugbewegung und bestimmt die drei Rotationswinkel. Hierzu bestehen zwei mögliche Alternativen, gemäß einem Ausführungsbeispiel unter Verwendung der Bewegungsmesssensorik 172 in Form der externen Sensorik oder gemäß einem alternativen Ausführungsbeispiel aus dem Videobildstrom 310. Diese drei Winkel werden gemäß diesem Ausführungsbeispiel zusammen mit den Kamerabildern von der Auswähleinrichtung 120 in einer Zeilenauswahl genutzt, um die Position der resultierenden VIDAR-Scan-Ebenen zu parametrieren. Neben diesen Informationen wird sowohl für die Zeilenauswahl als auch alle anschließenden Prozesse im Blockschaltbild die Kamerakalibrierung in Form des Kalibierungssignals 175 genutzt, das sowohl die intrinsische als auch die extrinsische Kamerakalibrierung anzeigt. In der Erkenneinrichtung 135 werden gemäß diesem Ausführungsbeispiel für die vorher ausgewählte Zeile Z oder ausgewählten Zeilen Z Features F aus dem Videostrom 310 berechnet. Diese Features F werden entweder gemäß einem Ausführungsbeispiel aus zwei Zeitpunkten [t0, t1] oder gemäß einem alternativen Ausführungsbeispiel von zwei unterschiedlichen Blickwinkeln [p0, p1], verglichen, um daraus in der Bestimmeinrichtung 130 mit einer robusten Schätzung die Tiefenrekonstruktion der 3D-Umwelt-Objekte zu vollziehen. Mit diesen ortsfesten Zeilen in Form von ortsfesten Scan-Ebenen 322 und den daraus vermessenen Bildpunkten 323, die auch als „Objektpunkte“ bezeichnet werden können, wird gemäß einem Ausführungsbeispiel eine Fahrerassistenzfunktion 325 des Fahrzeugs 100 bedient.
-
Das Blockschaltbild zeigt eine mögliche Ausprägung eines VIDAR-Systems im Automotive-Umfeld. Weitere Ausprägungen in Systemen, in denen Abstandsmaße ermittelt werden sollen sind denkbar.
-
Den Einsatz des hier vorgestellten Stereokamerasystems 300 mit zumindest einem Video-Sensor als VIDAR-System kann in Datenblättern in Zusammenhang mit den verbauten Sensoren ermittelt werden. Wenn nur bestimmte Gebiete des im Sichtbereich liegenden Umfelds im Datenblatt des Systems als Messebenen dargestellt werden, ist das ein sicheres Anzeichen für die Auswertung des Videobildes gemäß dem hier vorgestellten Ansatz. Werden Scan-Lines oder Scan-Ebenen im Datenblatt erwähnt, so ist nicht die herkömmliche Verarbeitung von Video-Bildern innerhalb des Systems implementiert, sondern die Ideen des hier vorgestellten Ansatzes. Wird durch Messungen am System die Objektsichtbarkeit nach Art eines LIDAR-Systems bestimmt, so ist der Video-Sensor mit Scan-Ebenen gemäß diesem Ansatz implementiert. Die Online-Nachjustierung der Scan-Ebenen, so dass z. B. Nickwinkel des Fahrzeugs 100 kompensiert werden, lassen sich im Datenblatt nachlesen und durch aufgesetzte Impulse am System provozieren, die mit anschließenden Messungen wie folgt nachzuweisen sind: Sollte sich die Objektsichtbarkeit, d. h. der Objektpunkt, der vom Sensor vermessen wird, selbst bei Eigenbewegung des Sensors wie Nicken, Wanken, Gieren nicht verändern, ist eine Kompensation im Sinne des hier vorgestellten Ansatzes nachweisbar.
-
Das hier vorgestellte Steuergerät 105 kann in jeder Stereokameraeinrichtung 110, die als ein Mono- oder Multikamerasystem ausgeformt ist, eingesetzt werden und bei einem Produktwechsel und/oder -update zum Einsatz kommen. Diese können in Fahrzeugen 100, beispielsweise Kraftfahrzeugen eingebaut werden. Das vorgestellte Steuergerät 105 oder ein durch das Steuergerät 105 durchgeführtes Verfahren kann aber auch in anderen Domänen zum Einsatz kommen, in denen der Abstand des Sensor-System zu anderen Objekten im Umfeld vermessen wird. Der hier vorgestellte Ansatz adressiert die Entwicklung der nächsten Generation von „CC-DA“-Fahrerassistenzsystemen, sowohl die Frontsensorik als auch das Produktportfolio der Near-Range-Kameras. Die Idee verringert den Ressourcenbedarf in Steuergeräten, wenn keine dichte Punktwolke der Umgebung benötigt wird, sondern beispielsweise nur robuste Bestätigungsmessungen zur Verifikation an wenigen Objektpunkten. Durch den hier vorgestellten Ansatz lässt sich ein weiteres Messprinzip in einem Multi-Sensor-System verwirklichen und damit die Redundanzsicherheit erhöhen. Das Steuergerät 105 lässt sich in einem bereits bestehenden Multi-Sensorsystem integrieren. Durch den von der herkömmlichen Verarbeitung getrennten Messansatz kann ein neuer Signallauf/Algorithmendurchlauf zusätzliche Messsicherheit im Gesamtsystem geben. Das Steuergerät 105 kann in einem bereits bestehenden Multi-Sensor-System derart integriert werden, dass es die LIDAR-Komponente ersetzt und so die Gesamtkosten des Systems verringert. Eine Substitution einer LIDAR-Komponente in einem Gesamtsystem durch das Steuergerät 105 oder das Stereokamerasystem 300 benötigt keine Architekturanpassung, da die Schnittstellenbeschreibung mit dem VIDAR-System konstant gehalten werden kann.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 400 handeln, das von einem der anhand der vorangegangenen Figuren beschriebenen Steuergeräte ausführbar ist.
-
Das Verfahren 400 weist einen Schritt 405 des Einlesens, einen Schritt 410 des Auswählens, einen Schritt 415 des Ermittelns und einen Schritt 420 des Bestimmens auf. Im Schritt 405 des Einlesens wird ein Stereobildsignal über eine Schnittstelle zu einer Stereokameraeinrichtung eingelesen, wobei das Stereobildsignal ein eine Umgebung des Fahrzeugs abbildendes Stereobild aus einem ersten Kamerabild und einem zweiten Kamerabild repräsentiert. Im Schritt 410 des Auswählens wird eine Mehrzahl von Zeilen des ersten Kamerabilds für eine nachfolgende Tiefenbestimmung ausgewählt, wobei die übrigen Zeilen des ersten Kamerabilds in Bezug auf eine Tiefenbestimmung verworfen werden. Im Schritt 415 des Ermittelns wird zumindest ein ein Objekt abbildender Bildpunkt in der Zeile ermittelt. Im Schritt 420 des Bestimmens wird eine Tiefeninformation bezüglich des Bildpunkts unter Verwendung des Stereobildsignals bestimmt, um einen Abstand des Objekts zu der Stereokameraeinrichtung zu bestimmen.
-
Optional umfasst das Verfahren 400 gemäß diesem Ausführungsbeispiel ferner einen Schritt 425 des Erkennens. Im Schritt 425 des Erkennens wird das Objekt unter Verwendung des Stereobildsignals erkannt.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
