-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Der Sichtbereich von bei Fahrzeugen eingesetzten Fischaugenkameras erstreckt sich über einen großen Öffnungswinkel. Daher sind im Bild einer an einem Fahrzeug montierten Fischaugenkamera auch große Teile der Karosserie des Fahrzeugs sichtbar.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erzeugen einer Maskierungsvorschrift für eine Kamera eines Fahrzeugs, ein Verfahren zum Maskieren einer Bildinformation, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Eine fest an einem Fahrzeug installierte Kamera mit einem Weitwinkelobjektiv bildet zusätzlich zu einem Ausschnitt aus einer Umgebung des Fahrzeugs zumeist einen Teil einer Karosserie des Fahrzeugs in einem Kamerabild der Kamera ab. Für bildverarbeitende Komfort- und Sicherheitsfunktionen des Fahrzeugs ist jedoch im Bereich der Karosserie keine relevante Information in dem Kamerabild vorhanden.
-
Um eine in der Bildverarbeitung zu verarbeitende Datenmenge zu reduzieren, kann die Karosserie durch eine Maske als ein nicht zu bearbeitender Bildbereich definiert werden. Solange die Kamera winkelfest mit der Karosserie verbunden ist, kann für jedes Kamerabild die gleiche Maske verwendet werden.
-
Die Maske kann aufgrund bekannter optischer Eigenschaften der Kamera und einer bekannten Platzierung und Ausrichtung der Kamera relativ zu der Karosserie bereits anhand eines Datenmodells des Fahrzeugs vordefiniert werden.
-
Es wird ein Verfahren zum Erzeugen einer Maskierungsvorschrift für eine Kamera eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Setzen von Stützpunkten einer Sichtbereichsgrenze in einem Fahrzeugkoordinatensystem unter Verwendung von dreidimensionalen Modelldaten des Fahrzeugs, wobei die Stützpunkte aus einer in den Modelldaten modellierten Perspektive der Kamera gesetzt werden;
Transformieren von Fahrzeugkoordinaten der Stützpunkte aus dem Fahrzeugkoordinatensystem in ein Kugelkoordinatensystem, um Kugelkoordinaten der Stützpunkte zu erhalten; und
Hinterlegen einer durch die Stützpunkte definierten Maskenkurve im Kugelkoordinatensystem, um die Maskierungsvorschrift zu erzeugen.
-
Unter einer Maskierungsvorschrift kann eine Verarbeitungsvorschrift verstanden werden, die eine Maske für eine Bildinformation einer Kamera definiert. Die Maskierungsvorschrift kann basierend auf Koordinaten von Stützpunkten erzeugt werden. Eine Maskenkurve kann ein durch die Koordinaten der Stützpunkte führendes Polynom sein. Ein Fahrzeugkoordinatensystem kann auf einen relativ zum Fahrzeug definierten Koordinatenursprung bezogen sein. Beispielsweise kann der Koordinatenursprung mittig zwischen den Radmittelpunkten der Vorderräder angeordnet sein. Das Fahrzeugkoordinatensystem kann ein kartesisches Koordinatensystem sein, dessen Achsen einer Fahrzeuglängsachse, einer Fahrzeugquerachse und einer Fahrzeughochachse entsprechen. Ein Kugelkoordinatensystem kann auf einen relativ zu der Kamera definierten Koordinatenursprung bezogen sein. Eine Bezugsachse des Kugelkoordinatensystems kann beispielsweise eine optische Achse der Kamera sein. Kugelkoordinaten können zumindest einen Polarwinkel und einen Azimutwinkel umfassen. Beim Transformieren können die Koordinaten der Stützpunkte unter Verwendung eines Vektors und einem Raumwinkel verschoben und verdreht werden. Weiterhin können die Koordinaten unter Verwendung von trigonometrischen Funktionen umgerechnet werden.
-
Das Kugelkoordinatensystem kann ein normiertes Kugelkoordinatensystem sein, um normierte Kugelkoordinaten zu erhalten. Dabei können sich die Kugelkoordinaten auf eine Einheitskugel mit Radius eins beziehen. Dadurch wird ein Koordinatenwert der Kugelkoordinaten eliminiert.
-
Ein Koordinatenursprung des Kugelkoordinatensystems kann Fahrzeugkoordinaten der Kamera entsprechen. Beispielsweise kann der Koordinatenursprung in einem optischen Bezugspunkt der Kamera angeordnet sein. Der Bezugspunkt kann beispielsweise ein Nodalpunkt sein.
-
Im Schritt des Setzens können die Stützpunkte entlang einer die Sichtbereichsgrenze bewirkenden Karosseriekante gesetzt werden. Auf diese Weise können Positionen der Stützpunkte einfach gefunden werden.
-
Die Stützpunkte können in einem kartesischen Koordinatensystem als das Fahrzeugkoordinatensystem gesetzt werden. Auf diese Weise können typischerweise bereits in einem kartesischen Koordinatensystem vorliegende Daten zum Durchführen des Verfahrens verwendet werden.
-
Vorteilhafterweise können die dreidimensionalen Modelldaten unter Verwendung eines CAD-Programms (CAD = computer-aided design) generierte Daten repräsentieren. Auf diese Weise kann die Maskierungsvorschrift ohne Verwendung von Bilddaten der Kamera erstellt werden.
-
Weiterhin wird ein Verfahren zum Maskieren einer Bildinformation einer Kamera eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Einlesen der Bildinformation von der Kamera; und
Anwenden einer Maskierungsvorschrift auf die Bildinformation, um einen Sichtbereich der Kamera in der Bildinformation zu maskieren, wobei die Maskierungsvorschrift unter Verwendung eines Verfahrens gemäß einem der vorangegangenen Ansprüche erzeugt wurde.
-
Die hier vorgestellten Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 ein Ablaufdiagramm eines Verfahrens zum Erzeugen einer Maskierungsvorschrift für eine Kamera eines Fahrzeugs gemäß einem Ausführungsbeispiel;
-
2 eine Darstellung von Transformationen während eines Verfahrens zum Erzeugen einer Maskierungsvorschrift gemäß einem Ausführungsbeispiel;
-
3 eine Darstellung einer Bildinformation einer Seitenkamera eines Fahrzeugs;
-
4 eine Darstellung einer Bildinformation einer Seitenkamera eines Fahrzeugs mit einer Maske gemäß einem Ausführungsbeispiel;
-
5 eine Darstellung eines Sichtbereichs einer Rückfahrkamera eines Fahrzeugs;
-
6 eine Darstellung von Modelldaten eines Fahrzeugs mit Stützpunkten gemäß einem Ausführungsbeispiel; und
-
7 eine aus einer Maskierungsinformation erzeugte Maske für eine Bildinformation gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Erzeugen einer Maskierungsvorschrift für eine Kamera eines Fahrzeugs gemäß einem Ausführungsbeispiel. Das Verfahren 100 weist einen Schritt 102 des Setzens, einen Schritt 104 des Transformierens und einen Schritt 106 des Hinterlegens auf. Im Schritt 102 des Setzens werden Stützpunkte einer Sichtbereichsgrenze der Kamera in einem Fahrzeugkoordinatensystem unter Verwendung von dreidimensionalen Modelldaten des Fahrzeugs gesetzt. Die Stützpunkte werden aus einer in den Modelldaten modellierten Perspektive der Kamera gesetzt. Im Schritt 104 des Transformierens werden Fahrzeugkoordinaten der Stützpunkte aus dem Fahrzeugkoordinatensystem in ein Kugelkoordinatensystem transformiert, um Kugelkoordinaten der Stützpunkte zu erhalten. Im Schritt 106 des Hinterlegens wird eine durch die Stützpunkte im Kugelkoordinatensystem definierte Maskenkurve hinterlegt, um die Maskierungsvorschrift zu erzeugen.
-
2 zeigt eine Darstellung von Transformationen während eines Verfahrens einer Maskenberechnung gemäß einem Ausführungsbeispiel. Dabei werden in einer Anwendungssoftware 200 Maskenpunkte 202 in einer Bildinformation ausgewählt. Unter Verwendung einer ersten Verarbeitungsvorschrift 204 werden Bildkoordinaten der Maskenpunkte 202 in CV-Koordinaten 206 (CV = Control Vertex, Steuerscheitelpunkt) umgewandelt. Insbesondere wird die erste Verarbeitungsvorschrift 204 als m_trafo_pcl->image2rayCV bezeichnet. Durch eine Berücksichtigung eines ersten extrinsischen Parameters R 208 werden die CV-Koordinaten 206 in rotierte CV-Koordinaten 210 umgewandelt. Die rotierten CV-Koordinaten 210 repräsentieren eine hier vorgestellte Schnittstelle 212. Unter Berücksichtigung eines zweiten extrinsischen Parameters t 214 werden die rotierten CV-Koordinaten 210 in DIN70k-Koordinaten 216 umgewandelt. Die DIN70k-Koordinaten 216 repräsentieren eine bisherige Schnittstelle 218. Die DIN70k-Koordinaten 216 werden unter Verwendung einer zweiten Verarbeitungsvorschrift 220 in Punkte 222 für die Maske umgewandelt. Insbesondere wird die zweite Verarbeitungsvorschrift 220 als m_trafo_pcl->world2image bezeichnet. Aus den Punkten 222 wird eine geometrische Maske 224 zum Anwenden auf Bildinformationen erstellt.
-
3 zeigt eine Darstellung einer Bildinformation 300 einer Seitenkamera eines Fahrzeugs 302. Der Sichtbereich von Fischaugenkameras erstreckt sich über einen großen Öffnungswinkel. Im Bild 300 sind sowohl der für die Signalverarbeitung relevante Bereich als auch große Teile der Karosserie 304 und anderer Fahrzeugteile sichtbar. Allerdings sind im Bereich der Karosserie 304 für die Signalverarbeitung und der weiterführenden Fahrfunktionen keine relevanten Objekte und Informationen messbar. Stattdessen kann es durch Spiegelungen von Objekten auf der Metalloberfläche zu Fehlinterpretationen von Objekten kommen. Beispielsweise erzeugt eine weiße Fahrbahnmarkierung durch die Spiegelung an der glatten Karosserie 304 ebenso eine scheinbare Fahrbahnmarkierung auf dem Fahrzeug. In nachfolgenden Signalverarbeitungsschritt ist dann ein aufwendiges Erkennen und Filtern der falschen Markierung erforderlich. Gemäß dem hier beschriebenen Ansatz ist dafür keine gezeichnete statische Maske erforderlich.
-
4 zeigt eine Darstellung einer Bildinformation 300 einer Seitenkamera eines Fahrzeugs 302 mit einer Maske 400 gemäß einem Ausführungsbeispiel. Die Bildinformation entspricht dabei der Bildinformation in 3. Zusätzlich sind hier Stützpunkte 402 für die Maske 400 entlang einer Sichtbereichsgrenze 404 zwischen der Abbildung der Karosserie 304 und einem Sichtbereich 406 dargestellt.
-
Mit anderen Worten zeigt 4 Stützstellen 402 für die Maskenerstellung. Um von vornherein nur die relevanten Objekte 408 zu betrachten und rechenintensive und fehleranfällige Filterungen von falschen Objekten zu vermeiden, kann in der Signalverarbeitung eine Maskierung 400 der relevanten Bildbereiche 406 verwendet werden. Die Kontur der Maskierung 400 verläuft im Wesentlichen entlang der Karosseriekante 404 im Bild. Für jede der im Fahrzeug 302 verwendeten Kameras wird jeweils eine eigene Maske 400 verwendet.
-
Durch die starke Verzerrung der Fischoptik ist kann in den Eckbereichen die Vignettierung der Kamera erkennbar sein, wie hier in der rechten oberen Ecke. Diese wird durch die intrinsische Kalibrierung erkannt und als Teil der Maske 400 automatisch berücksichtigt.
-
In einem Ausführungsbeispiel erfolgt die Generierung der Maskenparameter entweder über CAD-Daten des Fahrzeugs 302 in Relation der Kante 404 des Fahrzeugs 302 zur Kamera oder über die Markierung von Bildpunkten 402 im Kamerabild 300 und einer Umrechnung zu Polarkoordinaten mittels intrinsischer und extrinsischer Kalibrierung. Die Ablage der Maskenparameter im Interface erfolgt in Polarkoordinaten (phi, theta, r = 1) mit dem Bezugssystem der Kamera zum Fahrzeug 302. Die eigentliche Berechnung der Maske 400 erfolgt im Steuergerät mittels der aktuellen intrinsischen und extrinsischen Kalibrierung. Die Maskenparameter im Interface sind von den Kameraeigenschaften unabhängig, da sie nur Koordinaten beinhalten. Die Maske 400 wird erst mittels der intrinsischen und extrinsischen Kalibrierung berechnet, sodass Maske 400 von den Kameraeigenschaften abhängig ist, wie beispielsweise dem Öffnungswinkel der Kamera.
-
Bei einer Änderung der extrinsischen Kalibrierung durch eine Online-Kalibrierung wird die Maske 400 neu berechnet. Die Vignettierung wird durch die verwendete intrinsische Kalibrierung bereits berücksichtigt. Es ist nur einen Parametersatz pro Fahrzeugvariante notwendig. Das Interface kann auf kartesische Koordinaten erweitert werden ([x, y, z] bzw. [phi, theta, r] mit r ≠ 1).
-
5 zeigt eine Darstellung eines Sichtbereichs 406 einer Rückfahrkamera eines Fahrzeugs 302. Wie in den 3 und 4 ist in der Bildinformation 300 die Karosserie 304 mit abgebildet. Hier sind aufgrund einer Kameraposition 500 im Bereich der Kennzeichenbeleuchtung eine Kante einer Heckklappe des Fahrzeugs 302 sowie ein Teil eines rückwärtigen Stoßfängers des Fahrzeugs 302 abgebildet. Dabei ergibt sich eine Begrenzung des Sichtbereichs der Kamera durch Fahrzeugabmessungen.
-
6 zeigt eine Darstellung von Modelldaten 600 eines Fahrzeugs 302 mit Stützpunkten 402 gemäß einem Ausführungsbeispiel. Das Fahrzeug 302 entspricht dabei im Wesentlichen dem Fahrzeug in 5. Das Fahrzeug 302 ist in CAD Daten 600 in einer Rückansicht dargestellt. Die CAD-Daten 600 sind in einem Fahrzeugkoordinatensystem des Fahrzeugs 302 dargestellt. Neben dem Fahrzeug 302 ist die Bildinformation 300, wie sie in 5 dargestellt ist, abgebildet. In den CAD-Daten 600 sind Stützpunkte 402 entlang einer Oberkante des Stoßfängers und der Kante der Heckklappe markiert. Die Stützpunkte 402 sind auch in der Bildinformation 300 abgebildet. In der Bildinformation 300 sind die Stützpunkte 402 in einem Koordinatensystem der Kamera dargestellt.
-
Da die Rückfahrkamera ein Fischaugenobjektiv aufweist, werden gerade Linien umso stärker gekrümmt dargestellt, je weiter sie von einer optischen Achse des Fischaugenobjektivs entfernt sind. Hier ist insbesondere die Kante der Heckklappe nahezu halbkreisförmig verzerrt abgebildet. Die Oberkante des Stoßfängers ist näher an der optischen Achse angeordnet und deswegen weniger stark verzerrt.
-
Entlang der Stützpunkte 402 in der Bildinformation ist die Maske 400 eingezeichnet, die den Sichtbereich 406 von der Abbildung der Karosserie 304 trennt. In dem Sichtbereich 406 erfolgt eine FPGA gestützte Maskierung der Flussberechnung. Durch die Maske erfolgt keine Berechnung von Flussvektoren auf Karosserieanteilen im Bild 300, wie beispielsweise spiegelnde Flächen. Dadurch ergibt sich eine starke Vereinfachung der nachfolgenden Bildverarbeitung und Grafik. Ebenso kann eine Verschmutzungserkennung erfolgen, wenn ein Teil des Sichtbereichs 406 durch Schmutz vor der Kameralinse verdeckt wird.
-
Mit anderen Worten erfolgt die Maskierung aufgrund der Sichtbereichsverdeckung durch die Karosserie 304. Dazu erfolgt bei dem hier vorgestellten Ansatz eine Bestimmung des Sichtbereichs 406 aus CAD-Daten 600 und eine Speicherung als fahrzeugspezifische Codierung. In den CAD-Daten 600 werden mehrere Punkte 402 auf der Karosserie 304 bestimmt, die den Sichtbereich 406 zwischen Kamera und Umfeld begrenzen. Anschließend erfolgt die Generierung der Maske 400 mithilfe der tatsächlich ermittelten Einbauparameter (extrinsische Kalibrierung).
-
Mit anderen Worten zeigt 6 eine Maskierung 400 von Fahrzeugteilen im Kamerabild 300 beziehungsweise eine fahrzeugspezifische Codierung der Bildmaskierung 400.
-
Da die Kontur 400 der Maskierung entlang der Karosserie 304 verläuft, ist die Erstellung der Maske 400 eine geometrische Aufgabenstellung. Aus der Position der Kamera und dem CAD-Design 600 des Fahrzeugs 302 können auf dem Fahrzeug 302 Stützstellen 402 markiert werden, welche die Sichtbereichsbegrenzung 404 beschreiben. Diese Stützstellen 402 werden als geschlossene Kurve 400 mit normierten Kugelkoordinaten (ϕ, θ, r = 1, in DIN70k, der Ursprung ist die Kameraposition) im Maskeninterface abgelegt. Bei der Maskenberechnung werden die normierten Koordinaten mittels der intrinsischen und extrinsischen Kalibrierung in das Imagerbild 300 transformiert und durch Interpolation zwischen den Stützstellen 402 zu einer Maske 400 zusammengesetzt.
-
Durch die Ablage der Maske 400 in Kugelkoordinaten im Interface und der Berechnung mittels der intrinsischen und extrinsischen Kalibrierung werden Änderungen in der intrinsischen Kalibrierung und eine geänderte Rotation der Kamera (extrinsische Kalibrierung) automatisch berücksichtigt.
-
7 zeigt eine aus einer Maskierungsinformation erzeugte Maske 400 für eine Bildinformation 300 gemäß einem Ausführungsbeispiel. Zum Erstellen der Stützstellen 402 kann ein einzelnes Kamerabild 300 verwendet werden und die Begrenzungspunkte 402 ins Bild 300 eingezeichnet werden. Mittels einer validen intrinsischen und extrinsischen Kalibrierung werden diese Bildpunkte 402 ebenso in die normierten Kugelkoordinaten für das Maskeninterface transformiert. Für verschiedene Fahrzeugvarianten wird jeweils die Maskenerstellung durchgeführt und die variantenspezifischen Maskenpunkte 402 in das CAF-File 700 eingetragen.
-
Mit anderen Worten erfolgt ein Zeichnen einer geschlossenen Punktefolge 402 zur Kennzeichnung der Maske 400 und Exportierung als C++-Code 700.
-
Bei einem Vergleich Koordinatensystemen ergibt sich, dass bei einer Verschiebung der Maskenpunkte 402 keine geometrischen Daten erfasst werden. Es werden nur Maskenpunkte 402, die entsprechend Kalibrieränderung verschoben werden approximiert. Dadurch kann eine Änderung intrinsischer Parameter nicht erfasst werden. Eine Änderung des extrinsischen Parameters R kann erfasst werden. Dagegen kann eine Änderung des extrinsischen Parameters t nicht erfasst werden.
-
Bei rotierten CV-Koordinaten beziehungsweise translatierten DIN70k-Koordinaten können relative Koordinaten der Karosseriekanten zur Imagerposition gemäß x2 + y2 + z2 = 1 erfasst werden. Zusätzlich zur Verschiebung der Maskenpunkte 402 kann die Änderung intrinsischer Parameter erfasst werden.
-
Bei absoluten DIN70k-Koordinaten kann eine exakte geometrische Vermessung der Karosseriekanten des Fahrzeugs erfolgen. Zusätzlich zu den rotierten CV-Koordinaten kann auch die Änderung des extrinsischen Parameters t erfasst werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
