-
Die vorliegende Erfindung betrifft ein Kamerasystem bzw. Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein Verfahren zum Betrieb eines entsprechenden Kamerasystems, durch das eine verbesserte Darstellung erzielt wird.
-
Technologischer Hintergrund
-
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasystems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.
-
Im Bereich der Surroundview-Systeme gibt es Funktionen wie „Bowl“ und „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt (360° Sicht). Dabei entstehen in der Regel jedoch auch sogenannte kamerafreie Texturen (z. B. unter dem Fahrzeug), die nicht von den Surroundview-Kameras erfasst werden bzw. außerhalb deren Sichtfeld liegen.
-
Druckschriftlicher Stand der Technik
-
Aus der
EP 2 511 137 B1 ist ein Fahrzeug-Surroundview-System mit einer Mehrzahl von Kameras bekannt, wobei anhand der Kamerabilder eine Bowl erstellt wird. Die Form der Bowl ändert sich allmählich von einer ellipsoiden Form zu einem gekrümmten Rechteck am Boden, wobei der Boden der Bowl sozusagen die Fläche des Fahrzeuges mit dem kleinsten Umfang darstellt.
-
Aus der
DE 10 2016 223 391 A1 ist ein Verfahren und eine Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug bekannt.
-
Aufgabe der vorliegenden Erfindung
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Kamerasystem sowie ein Verfahren zum Betrieb eines Kamerasystems zur Verfügung zu stellen, durch das eine verbesserte Darstellung des aufgenommenen Bildes insbesondere unter Berücksichtigung der kamerafreien Textur erzielt werden kann.
-
Lösung der Aufgabe
-
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
-
Das erfindungsgemäße (Surroundview-) Kamerasystem zur Umfelderfassung für ein Fahrzeug, umfasst mehrere Kameras (insbesondere vier, sechs, acht zehn oder mehr), welche jeweils ein Sichtfeld aufweisen und ein Kamerabild erfassen, wobei aus den Kamerabildern eine, insbesondere gemeinsame, Kameratextur erzeugbar ist. Diese kann dann z. B. zur Erzeugung einer Bowl- oder einer Top-View-Ansicht verwendet werden. Dabei entsteht jedoch auch eine kamerafreie Textur (außerhalb der Kamerasichtfelder, z. B. unterhalb des Fahrzeuges), welche demnach nicht durch die Kamerabilder erfasst wird. Das Kamerasystem kann jedoch diese kamerafreie Textur erfassen, indem zunächst der Fahrzeugkörper des Fahrzeuges in zumindest einem der Kamerabilder erfasst wird. Voraussetzung hierbei ist, dass die Fahrzeugkarosserie bzw. der Fahrzeugkörper in zumindest einem der Kamerabilder, vorzugsweise in mehreren bzw. allen, sichtbar ist, was in der Regel durch die Ausgestaltung der Kameras als Fischaugenkameras gegeben ist. Im Anschluss daran können Grenzpunkte aus einer Fahrzeugkörpergrenze des Fahrzeugkörpers in mindestens einem der Kamerabilder festgelegt werden (d. h. die Grenzpunkte befinden sich auf der Fahrzeugkörpergrenze, welche ermittelt wird), wobei die Grenzpunkte dann zu Kamerakoordinaten projiziert werden, die dann anhand von festlegbaren Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden (d. h. zu Fahrzeugkoordinaten), um die Begrenzung der kamerafreien Textur zu ermitteln. Durch das erfindungsgemäße Kamerasystem kann der Boden bzw. die kamerafreie Textur für alle Fahrzeugvarianten automatisch konfiguriert werden. Die vorliegende Erfindung kann dabei in jeder Anwendung mit Surroundview-Kamerasystemen eingesetzt werden, bei denen „blinde“ Bereiche („Blindspots“) entstehen, z. B. auch bei Trailer-Anwendungen.
-
Vorzugsweise werden die Schnittpunkte zwischen Kamerasichtfeld und Bodenebene anhand der konvertierten Kamerakoordinaten ermittelt.
-
Gemäß einer bevorzugten Ausgestaltung der Erfindung kann die Begrenzung der kamerafreien Textur anhand der Schnittpunkte zwischen Kamerasichtfeld und Bodenebene ermittelt werden.
-
Zweckmäßigerweise können die Grenzpunkte anhand eines intrinsischen Kameramodells zu Kamerakoordinaten projiziert werden. Im Sinne der Erfindung werden unter intrinsischen Parametern Kameraparameter verstanden, die intern und fest an einer bestimmten Kamera- bzw. Digitalisierungseinrichtung gekoppelt sind. Demgegenüber sind extrinsische Parameter Kameraparameter, die kameraextern sind und sich in Bezug auf das Weltbild ändern können (Lage/Position/Ausrichtung der Kamera im Weltkoordinatensystem). In Bezug auf ein Kameramodell bedeutet das, dass extrinsische Parameter den Standort und die Ausrichtung der Kamera in Bezug auf das Weltbild definieren. Demgegenüber ermöglichen intrinsische Parameter eine Zuordnung zwischen Kamerakoordinaten und Pixelkoordinaten im Bild bzw. Sichtfeld (Zusammenhang zwischen Kamera- und Bildkoordinatensystem), z. B. die Brennweite f und das optische Zentrum in der Bildebene. Das Kameramodell ist sozusagen eine Abbildung von Weltkoordinaten auf Bildkoordinaten, wobei dies anhand einer 3D- zu 2D-Transformation erfolgt. Die intrinsischen Parameter hängen dabei nicht von der Position und Orientierung der Kamera in der Welt ab und beschreiben die Abbildung sowie die interne Geometrie der Kamera.
-
Zweckmäßigerweise können die Kamerakoordinaten anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem konvertiert werden, d. h. zu Fahrzeugkoordinaten z. B. anhand der Kameraposition transformiert werden.
-
Vorzugsweise wird der Fahrzeugkörper anhand einer Hintergrundsubtraktion und einem Gauß'schen Mischverteilungsmodells identifiziert. Bei einer Hintergrundsubtraktion bzw. „Background substraction“ wird zunächst ein Bild als Hintergrund bzw „Background“ aufgenommen, welches das später zu erkennende Objekt nicht enthält. Das spätere zu analysierende Bild kann dann von diesem Hintergrundbild subtrahiert werden, sodass als Ergebnis die Unterschiede zum Hintergrundbild vorliegen.
-
Alternativ oder zusätzlich kann der Fahrzeugkörper auch durch die Farbe des Fahrzeugkörpers identifiziert werden.
-
In vorteilhafter Weise kann die Fahrzeugkörpergrenze als Polygon festgelegt werden, wobei die Anzahl der Polygonpunkte bzw. Grenzpunkte wahlweise festlegbar ist. Dadurch kann das Detail der Bodenebene auch durch die Einstellung der Anzahl der Grenzpunkte konfiguriert werden.
Neben- oder untergeordnet beansprucht die vorliegende Erfindung auch ein Verfahren zum Betrieb eines Kamerasystems für ein Fahrzeug, welches mehrere Surroundview-Kameras umfasst, anhand deren Kamerabildern eine Kameratextur zur Rundumsicht erstellt wird. Das Verfahren ist insbesondere durch folgende Verfahrensschritte gekennzeichnet: Identifizieren des Fahrzeugkörpers und der Fahrzeugkörpergrenze des Fahrzeuges (Schritt 1), Festlegen von Grenzpunkten aus der Fahrzeugkörpergrenze in mindestens einem der Kamerabilder (Schritt 2), Projizieren der Grenzpunkte zu Kamerakoordinaten (Schritt 3), Konvertieren der Kamerakoordinaten für jede Kamera anhand von extrinsischen Kameraparametern in ein Fahrzeug-Koordinatensystem (Schritt 4) und Ermitteln der Begrenzung der kamerafreien Textur anhand der konvertierten Kamerakoordinaten (Schritt 5).
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
- 1 eine vereinfachte schematische Darstellung eines Fahrzeuges mit einem erfindungsgemäßen Surroundview-System zur Erzeugung eines Bildes der Fahrzeug umgebung;
- 2 eine vereinfachte Darstellung einer Einrichtung einer virtuellen Bowl;
- 3 eine vereinfachte schematische Darstellung der (vertikalen) Sichtfelder einer der Surroundview-Kameras und einer virtuellen Kamera;
- 4 eine vereinfachte Darstellung eines virtuellen Fahrzeuges mit einer dazugehörigen kamerasichtfreien Textur;
- 5 eine vereinfachte schematische Darstellung des Fahrzeuges mit vier Surroundview-Kameras sowie den dazugehörigen Kamerabildern;
- 6 eine vereinfachte schematische Darstellung von Kamera, Kamerastrahlung, Fahrzeug und Bodenebene sowie den dabei herrschenden geometrischen Beziehungen zueinander, sowie
- 7 eine vereinfachte schematische Darstellung der Bodengrenze anhand eines einfachen Rechteckes (a) sowie der anhand eines Polygons mit sechs (b), achtzehn (c) und zweiundzwanzig (d) Polygonpunkten.
-
Bezugsziffer 1 in 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, einen Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf. Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Automatic Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
-
Die Surroundview-Kameras 3a-3d sind dabei Teil eines Surroundview-Systems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Dementsprechend dient die Steuereinrichtung 2 auch zur Datenverarbeitung und Datenauswertung des Surroundview-Systems. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-System können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei vier Surroundview-Kameras 3a-3d verwendet (vorzugsweise Fischaugenkameras), die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkel beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
-
In 2 ist ein Beispiel für die Einrichtung einer virtuellen Bowl 6 dargestellt, die um einem zentral bzw. mittig angeordneten 3D-Automodell 1a angeordnet ist. Die Bowl 6 ist in verschiedene Bereiche (durch schwarze Trennlinien dargestellt) schematisch unterteilt, um die Projektionsbereiche bzw. Texturen der verschiedenen Kameras darzustellen. In 3 ist dabei die Einrichtung einer virtuellen Kamera 7 für das 3D-Automodell 1a gezeigt. Aufgrund der Kameraplatzierungen im realen Auto (dargestellt anhand der Kamera 3a im Frontbereich) und der virtuellen Kamera 7, kann die Textur unter den Fahrzeugbereich nicht erfasst werden. Dies wird anhand der vertikalen Sichtfelder der Kamera 3a und der virtuellen Kamera 7 deutlich, die anhand von gestrichelten Linien in 3 dargestellt sind. Am Punkt K schneidet das Sichtfeld der Kamera 3a die Bodenebene 8, welches die Kameragrenze festlegt bzw. definiert und damit eine Begrenzung der kamerasichtfreien Textur unterhalb des Fahrzeuges 1 bzw. 1a festlegt bzw. definiert. Dementsprechend gibt es für jede der Kameras eine derartige Grenze (d. h. bei vier Surroundview-Kameras 3a-3d vier Grenzen), die eine Region unterhalb des Autos ohne Kamerasicht definieren, die für die Darstellung des virtuellen Fahrzeuges 1a am Bildschirm künstlich gefüllt werden muss. In 4 ist das virtuelle Fahrzeug 1 a mit der dazugehörigen kamerasichtfreien Textur 9 bzw. Bodengrenze schematisch dargestellt, deren Grenzpunkte gemäß dem Stand der Technik automatisch im Bereich der Grundebene erstellt werden (kein Texturbereich). Problematisch ist hierbei jedoch, dass ein derartiger Bereich der Form des Fahrzeuges ähneln würde, wenn z. B. ein Schatten auftauchen würde, z. B. wenn die Sonne gerade über dem Fahrzeug stehen würde. Daher wird diese Form gemäß Stand der Technik als Rechteck definiert, wobei die Dimensionen in der Regel manuell in einer Offline-Konfigurationsphase vorgegeben werden.
-
Im Folgenden wird exemplarisch am erfindungsgemäßen Surroundview-Kamerasystem des Fahrzeuges 1 mit vier Surroundview-Kameras 3a-3d beschrieben, wie das Problem der automatischen Entnahme von Grenzpunkten in der Bodenebene gelöst werden kann. Zunächst wird der Fahrzeugkörperbereich in jedem der vier Kamerabilder 10a-10d identifiziert (Schritt 1), z. B. durch die Farbgebung. Ausdrücklich umfasst sind von der Erfindung auch Applikationen, in denen der Fahrzeugkörper nicht in jeder der Kameras sichtbar ist bzw. erfasst wird. Die Fahrzeugkörperregion lässt sich dabei mit verschiedenen Ansätzen identifizieren. Beispielsweise können Deep-Learning- bzw. Machine-Learning-Ansätze verwendet werden, die jedoch eine große Menge an Schulungsdaten erfordern, die zunächst erfasst werden müssen. Alternativ wird hier ein Ansatz bevorzugt, der eine Kombination aus Hintergrundsubtraktionen und einem Gauß'schen Mischungsverteilungsmodells (Gaussian Mixture Model - GMM) darstellt, und z. B. bei Überwachungskameras angewandt wird. Dabei werden für den Modelleingang des GMM Punkte aus dem Fahrzeugkörper ausgewählt, da die Position anhand der Abmessungen des Fahrzeuges 1 bzw. des Fahrzeugkörpers und der extrinsischen Kameraparametern in einfacher Weise bestimmbar bzw. berechenbar ist. Danach können aus dem Karosserie- bzw. Körperbereich des Fahrzeugs 1 in jedem der rohen Kamerabilder die Grenzpunkte für den jeweiligen Sichtbereich ermittelt werden (Schritt 2). Hierbei wird an das Segmentierungsergebnis des ersten Schritts angesetzt, indem ein herkömmlicher robuster Kantenerkennungsalgorithmus appliziert wird, um die Grenze des Fahrzeugkörpers zu ermitteln. 5 zeigt hierzu das Fahrzeug 1 mit den vier schematisch dargestellten Kamerabildern 10a-10d der vier Surroundview-Kameras 3a-3d. Der Fahrzeugkörper wird als gekrümmte Linie gekennzeichnet, wie exemplarisch anhand der Fahrzeugkörpergrenze 11 im Kamerabild 10d dargestellt. Die Stichprobenpunkte bzw. Grenzpunkte 12 werden durch vertikale Probenahme (gestrichelte Linien) mit gleichem Abstand wie die erkannten Kanten bzw. Grenzen ausgewählt.
-
Die Grenzpunkte der rohen Bildkoordinaten können dann zu Kamerakoordinaten unter Verwendung eines intrinsischen Kameramodells („intrinsincs camera model“) projiziert werden (Schritt 3), wie in
5 dargestellt. Anschließend können diese Kamerakoordinaten bzw. Kamerastrahlen für jede Kamera anhand der extrinsischen Kameraparameter in ein Fahrzeug-Koordinatensystem konvertiert werden (Schritt 4). Im letzten Schritt kann dann die Kreuzung bzw. der Kreuzungspunkt der Kamerastrahlen mit der Bodenebene berechnet werden (Schritt 5). In diesem Schritt können für die Kamerastrahlen bis zur Bodenebene (bzw. bis zur Kreuzung mit der Bodenebene) die grundlegenden Eigenschaften der Euklidischen Geometrie verwendet werden, wie in
6 dargestellt. Hierbei wird A als Mittelpunkt der Kamera definiert, B als Vertikalprojektion der Kameramitte auf den Boden, und C als der Punkt, an dem das Objekt den Boden berührt. Das aus den Punkten gebildete ABC-Dreieck ist eine skalierte Version des Abc-Dreiecks, wobei b die Höhe der normalisierten Kamerastrahlung und c die z-Koordinate des normalisierten Strahls ist. In
6 gilt dabei:
wobei bevorzugt
verwendet wird. Hierbei sollte ein zusätzlicher Toleranzwert übergeben werden, um die Prozesssicherheit in Fällen zu gewährleisten, in denen die ermittelten Körpergrenzen oder Kameraparameter nicht genau genug sind.
-
Alternativ kann auch der Boden bzw. Bodengrenze (oder auch die kamerafreie Textur) als Polygon definiert werden, welches der Fahrzeugform ähnelt oder dieser nachempfunden ist. Die Anzahl der Polygonpunkte ist dabei konfigurierbar bzw. wahlweise festlegbar. Je mehr Polygonpunkte ausgewählt werden, desto detaillierter ist die Grenzschätzung der Bodenebene, wie in 7 anhand der Einzeldarstellungen (a)-(d) mit zunehmender Polygonpunktanzahl gezeigt. Diese Methode kann automatisch bzw. selbsttätig (z. B. durch die Steuereinheit) erfolgen und erfordert neben den Kameraparametern und den realen Abmessungen des Fahrzeugkörpers keine zusätzlichen Informationen. Die Methode kann dabei derart konzipiert werden, dass sie offline ausgeführt wird. Ein zusätzliches technisches Merkmal können dabei die Bereiche der Räder des Fahrzeugs sein (7 (c)-(d)), die sich entsprechend dynamisch verändern können, da die Räder beim Lenken des Fahrzeugs eine Verschließung des Bereichs zwischen dem entsprechenden Kamerasichtfeld und dem Rad bewirken. Ferner kann dabei die Okklusionsfläche für jeden Lenkwinkel berechnet werden, so dass damit die Bodenmittelform dynamisch unter Verwendung des Lenkradwinkels angepasst werden kann.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 1a
- Fahrzeugmodell
- 2
- Steuereinrichtung
- 3a-3d
- (Surroundview-) Kamera
- 4
- Kamerasensor
- 5
- Lidarsensor
- 6
- Bowl
- 7
- virtuelle Kamera
- 8
- Bodenebene
- 9
- kamerafreie Textur
- 10a-10d
- Kamerabild
- 11
- Fahrzeugkörpergrenze
- 12
- Grenzpunkt
- K
- Schnittpunkt Kamerasichtfeld und Bodenebene
