-
Die Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges, insbesondere eines Nutzfahrzeuges, auf einer Anzeigeeinrichtung, eine Verarbeitungseinheit zur Durchführung des Verfahrens sowie ein Fahrzeug.
-
Aus dem Stand der Technik ist bekannt, Rundumsicht-Bilder aus Einzelbildern mehrerer Kameras zu erstellen und einem Insassen auf einer Anzeigeeinrichtung darzustellen. Dazu ist bekannt, die Einzelbilder auf eine Referenzebene, beispielsweise eine horizontale Ebene unter dem Fahrzeug, zu projizieren, entsprechend zu drehen und daraus ein kombiniertes Rundumsicht-Bild zu erstellen. Nachteilig bei dieser Methode ist, dass erhabene Objekte, die aus der Referenzebene in einer bestimmten Höhe herausragen, in dem Rundumsicht-Bild nach hinten verkippt dargestellt und dadurch in ihren Größenverhältnissen verzerrt werden. Dadurch sind diese Objekte durch den Betrachter nicht intuitiv geometrisch interpretierbar. Eine Orientierung anhand des Rundumsicht-Bildes wird dadurch erschwert.
-
Dieser Effekt kann minimiert werden, indem durch zusätzliche Sensoren eine Höhe der erfassten Objekte ermittelt wird und die Verzerrung in den Größenverhältnissen mit diesen zusätzlichen Höhen-Informationen kompensiert wird. Nachteilig dabei ist, dass derartige zusätzliche Sensoren nicht in allen Fahrzeugen vorhanden und/oder zusätzliche Sensoren teuer sind. Zudem ist der Rechenaufwand erhöht.
-
Beispielhaft ist in
DE 10 2017 108 254 B4 beschrieben, ein aus Einzelbildern zusammengesetztes Bild zu erstellen und auf einer Anzeige darzustellen. Dabei werden die Einzelbilder jeweils von mehreren Kameras aufgenommen. Durch Triangulation von zwei oder mehreren Bildern können Tiefeninformationen bezüglich des Objektes, insbesondere eine Position des Objektes, ermittelt werden. Die Objekte können zudem zeitlich verfolgt werden.
-
Gemäß
DE 10 2015 105 248 A1 ist vorgesehen, an einem zweiteiligen Fahrzeug eine erste Kamera an einem ersten Teilfahrzeug und eine zweite Kamera an einem zweiten Teilfahrzeug anzuordnen. Ein erstes Bild von der ersten Kamera und ein zweites Bild von der zweiten Kamera werden über eine Homografiematrix auf eine Bodenebene bzw. Referenzebene projiziert, bevor das erste Bild und das zweite Bild gedreht werden, um daraus ein kombiniertes Bild der Umgebung zu erzeugen.
-
In
DE 100 35 223 A1 ist beschrieben, aus mehreren Einzelbildern ein Gesamtbild bzw. Rundumsicht-Bild zu erstellen und dabei das Fahrzeug selbst als künstliches grafisches Objekt bzw. Overlay-Struktur in das Rundumsicht-Bild zu projizieren.
-
In
EP 3 293 700 B1 ist beschrieben, aus mehreren Einzelbildern einer Kamera durch ein Structure-from-Motion Verfahren Teile der Umgebung zu rekonstruieren und damit Tiefeninformationen zu einzelnen Objekten zu ermitteln. Dabei wird eine Qualitätsmetrik ermittelt, um eine optimale Rekonstruktion der Umgebung zu erhalten. Durch Kombinieren von mehreren Kameras bzw. Einzelbildern kann dies auch in einer Rundumsicht erfolgen.
-
In
DE 10 2018 100 909 A1 ist beschrieben, durch das Structure-from-Motion Verfahren eine Rekonstruktion der aktuellen Umgebung zu erhalten und Objekte in einem neuronalen Netzwerk zu klassifizieren bzw. kategorisieren.
-
Ausgehend davon ist Aufgabe der Erfindung, ein Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung anzugeben, das mit wenig Hardware- und Rechenaufwand durchgeführt werden kann und einem Betrachter eine einfache Orientierung in der Umgebung ermöglicht. Aufgabe ist weiterhin, eine Verarbeitungseinheit und ein Fahrzeug anzugeben.
-
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 sowie eine Verarbeitungseinheit und ein Fahrzeug gemäß den weiteren unabhängigen Ansprüchen gelöst. Die Unteransprüche geben bevorzugte Weiterbildungen an.
-
Erfindungsgemäß ist demnach ein Verfahren zum Anzeigen einer Umgebung eines Fahrzeuges auf einer Anzeigeeinrichtung sowie auch eine Verarbeitungseinheit zur Durchführung des Verfahrens mit mindestens den folgenden Schritten vorgesehen:
- Zunächst wird die Umgebung um das Fahrzeug insbesondere in einem Nahbereich mit mindestens zwei Kameras aufgenommen, wobei jede Kamera einen anderen Sichtbereich aufweist, wobei sich Sichtbereiche von benachbarten Kameras zumindest bereichsweise, insbesondere randseitig, überlappen. Aus den dadurch ermittelten Einzelbildern wird anschließend ein Rundumsicht-Bild erstellt, wobei jedes Einzelbild von einer anderen Kamera in etwa zum selben Zeitpunkt aufgenommen ist und die Einzelbilder zum Erstellen des Rundumsicht-Bildes in eine Referenzebene projiziert werden, beispielsweise durch eine Homografiematrix.
-
Demnach wird kein dreidimensionales Rundumsicht-Bild aus den Einzelbildern erstellt, sondern ein Rundumsicht-Bild, in dem die Umgebung durch entsprechende Kombination der Einzelbilder als zweidimensionale Projektion dargestellt wird. Dadurch wird bei entsprechender Anordnung und Ausrichtung der Kameras eine Ansicht der Umgebung aus der Vogelperspektive ermöglicht, wenn das Rundumsicht-Bild auf der Anzeigeeinrichtung angezeigt wird.
-
In einem weiteren Schritt des erfindungsgemäßen Verfahrens werden von mindestens einem Objekt in der aufgenommenen Umgebung Tiefeninformationen ermittelt, wobei die Tiefeninformationen durch Triangulation aus mindestens zwei unterschiedlichen Einzelbildern derselben Kamera, vorzugsweise durch ein sog. Structure-from-Motion Verfahren, ermittelt werden, wobei das mindestens eine Objekt in den mindestens zwei unterschiedlichen Einzelbildern abgebildet ist, vorzugsweise aus mindestens zwei unterschiedlichen Standpunkten. Demnach wird zur Ermittlung der Tiefeninformationen nicht auf ein Stereo-Kamera-System zurückgegriffen. Vielmehr wird lediglich durch eine Bildverarbeitung der einzelnen Bilder einer Kamera eine perspektive Rekonstruktion der Umgebung bzw. des Objekts erhalten, woraus sich die Tiefeninformationen ableiten lassen.
-
In Abhängigkeit der vorher durch das SfM-Verfahren ermittelten Tiefeninformationen wird mindestens eine Overlay-Struktur erzeugt, wobei jede Overlay-Struktur einem abgebildeten Objekt eindeutig zugeordnet ist. In einem weiteren Schritt erfolgt dann das Darstellen des erstellten Rundumsicht-Bildes enthaltend das mindestens ein Objekt und der mindestens einen erzeugten Overlay-Struktur auf der Anzeigeeinrichtung derartig, dass die mindestens eine Overlay-Struktur auf und/oder benachbart zu dem jeweils zugeordneten Objekt angezeigt wird.
-
Daher kann vorteilhafterweise ohne zusätzliche Sensoren, lediglich basierend auf Methoden der Bildverarbeitung, insbesondere dem Structure-from-Motion, auf der Anzeigeeinrichtung eine Overlay-Struktur dargestellt werden. Diese kann unter Rückgriff auf die vorher ermittelten Tiefeninformationen gezielt an der Position oder benachbart zu der Position auf der Anzeigeeinrichtung dargestellt werden, auf der auch das Objekt dargestellt ist. Auch wenn das jeweilige Objekt im Rundumsicht-Bild auf der Anzeigeeinrichtung nicht intuitiv geometrisch interpretierbar dargestellt wird, kann die Overlay-Struktur dazu beitragen, dass eine sichere Orientierung anhand des Rundumsicht-Bildes erfolgen kann, da die Overlay-Struktur die wesentlichen Informationen bezüglich eines Objektes auf der Anzeigeeinrichtung verstärkt bzw. hervorhebt. Eine aufgrund der Projektion in die Referenzebene entstehende Verzerrung von erhabenen Objekten im Rundumsicht-Bild kann dadurch zumindest kompensiert werden.
-
Ergänzend kann durch die Darstellung der Overlay-Struktur auch das Problem behoben werden, dass Objekte in den Überlappungsbereichen von Einzelbildern zweier benachbarter Kameras häufig „verschwinden“ oder unzureichend wahrgenommen werden können, da diese Objekte in der jeweiligen Kameraperspektive nach hinten gekippt sind und in dem Rundumsicht-Bild in der Regel gar nicht auftauchen oder zumindest unzureichend wahrgenommen werden können. In den Overlay-Strukturen ist ein solches Objekt allerdings nach dem oben beschriebenen Verfahren enthalten und wird daher im Rundumsicht-Bild auch dargestellt.
-
Vorzugsweise kann dazu vorgesehen sein, dass auf der Anzeigeeinrichtung als Overlay-Struktur ein Balken und/oder ein Polygon und/oder ein Text auf und/oder benachbart zu dem jeweils zugeordneten Objekt angezeigt wird. Demnach können einfache Strukturen als Überlagerung angezeigt werden, die für ein Hervorheben von Objekten zur Orientierung ausreichend sind. Beispielsweise kann lediglich ein Balken vorgesehen sein, der auf einer und/oder benachbart zu einer Außenkante des jeweils zugeordneten Objekts auf der Anzeigeeinrichtung angezeigt wird, wobei der Balken vorzugsweise senkrecht zu einer Objekt-Normalen des jeweils zugeordneten Objektes liegt, wobei die Objekt-Normale aus den Tiefeninformationen gewonnen werden kann. Als Außenkante wird dabei vorzugsweise eine äußere Begrenzung des jeweiligen Objektes verstanden, wobei der Balken bzw. die jeweilige Overlay-Struktur zumindest an derjenigen Außenkante bzw. Begrenzung überlagert wird, die dem eigenen Fahrzeug am nächsten ist. Dadurch kann durch einen Balken eine Begrenzung des Objektes in Richtung des eigenen Fahrzeuges auf dem Rundumsichtbild kenntlich gemacht werden. Dadurch kann der Betrachter eindeutig erkennen, bis zu welchem Punkt im Raum das eigene Fahrzeug rangiert oder positioniert werden kann, ohne das Objekt zu berühren, beispielsweise bei einem Einpark- oder Rangiervorgang.
-
Vorzugsweise ist ergänzend oder alternativ zu dem Balken vorgesehen, dass auf der Anzeigeeinrichtung als Overlay-Struktur ein Polygon derartig abgebildet wird, dass das Polygon das jeweils zugeordnete Objekt zumindest teilweise, vorzugsweise vollständig überspannt. Dadurch kann dem Betrachter der Anzeigeeinrichtung nicht nur die Begrenzung des jeweiligen Objektes in Richtung des eigenen Fahrzeuges angezeigt werden, sondern auch die Ausdehnung des Objektes kenntlich gemacht werden, so dass das Objekt noch deutlicher auf der Anzeigeeinrichtung hervorgehoben wird. Ist eine Objekt-Kontur und/oder eine Objekt-Form des jeweiligen Objektes aus der Rekonstruktion der Umgebung über das SfM-Verfahren bekannt, kann das Polygon an diese Objekt-Kontur bzw. Objekt-Form auch angepasst werden. Sind die Objekt-Kontur bzw. die Objekt-Form nicht bekannt, kann als Polygon beispielsweise ein Rechteck angenommen werden, das die im Rundumsicht-Bild abgebildeten Objektpunkte des jeweiligen Objektes überdeckt.
-
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens eine Overlay-Struktur auf der Anzeigeeinrichtung in einer vorab festgelegten Farbe angezeigt wird oder in einer Farbe, die von der ermittelten Tiefeninformation bezüglich des jeweils zugeordneten Objektes abhängig ist. Dadurch kann dem Betrachter zusätzlich durch eine Farbcodierung eine Information bezüglich der räumlichen Charakteristik des Objektes mitgegeben werden. Vorzugsweise kann dabei vorgesehen sein, dass die Farbe der mindestens einen Overlay-Struktur abhängig von einem Objekt-Abstand zwischen dem Fahrzeug und dem jeweils zugeordneten Objekt ist, wobei der Objekt-Abstand aus den ermittelten Tiefeninformationen bezüglich des jeweils zugeordneten Objektes gewonnen wird. Dadurch kann einer auf der Anzeigeeinrichtung weiter vom eigenen Fahrzeug entfernten Overlay-Struktur beispielsweise eine Farbe gegeben werden, die auf eine geringe Gefahr hinweist, beispielsweise eine grüne Farbe. Eine Overlay-Struktur, die auf der Anzeigeeinrichtung hingegen näher am eigenen Fahrzeug liegt, kann eine Farbe gegeben werden, die auf eine höhere Gefahr hinweist, beispielsweise eine rote Farbe. Dabei sind beliebige Farbabstufungen in Abhängigkeit des Objekt-Abstandes möglich.
-
Vorzugsweise kann weiterhin vorgesehen sein, dass die Farbe und/oder die Art der Overlay-Struktur des jeweiligen Objektes abhängig von einem dem Objekt zugeordneten Bewegungsindikator ist, wobei der Bewegungsindikator angibt, ob sich das jeweilige Objekt bewegen kann, z.B. eine Person oder ein Fahrzeug, oder dauerhaft stationär ist, beispielsweise ein Gebäude oder eine Laterne, wobei der Bewegungsindikator aus den ermittelten Tiefeninformationen bezüglich des jeweils zugeordneten Objektes gewonnen wird. Dadurch kann ergänzend auf der Anzeigeeinrichtung hervorgehoben werden, welche zusätzliche Gefahr aufgrund einer potentiellen Bewegung von dem angezeigten Objekt ausgehen kann, wenn dieses Objekt aufgrund der Verzerrung auf dem Rundumsicht-Bild nicht direkt eindeutig erkennbar ist.
-
Vorzugsweise kann dazu vorgesehen sein, dass aus den Tiefeninformationen eine Objekt-Kontur und/oder eine Objekt-Form des jeweils zugeordneten Objektes ermittelt wird und aus der Objekt-Kontur und/oder der Objekt-Form über einen Deep-Learning-Algorithmus durch Vergleich mit bekannten Objekt-Konturen und/oder Objekt-Formen ein Bewegungsindikator für das betreffende Objekt abgeleitet wird. Dadurch kann auf eine rechenaufwändige Objektverfolgung verzichtet werden und stattdessen auf den Vergleich von bekannten Objekten in einer Datenbank zurückgegriffen werden, die im Fahrzeug gespeichert ist oder auf die vom Fahrzeug aus über eine entsprechende Datenverbindung zugegriffen werden kann.
-
Alternativ oder ergänzend (zur Plausibilisierung) kann aber auch vorgesehen sein, dass in den Einzelbildern abgebildete Objektpunkte auf dem Objekt zeitlich verfolgt werden, um den Bewegungsindikator für das betreffende Objekt abzuleiten. Demnach kann beispielsweise durch das Bilden von Differenzbildern ermittelt werden, wie sich Einzelbild-Bildpunkte zeitlich verhalten und daraus auf eine Bewegung des Objektes geschlossen werden.
-
Vorzugsweise kann weiterhin vorgesehen sein, dass die mindestens eine Overlay-Struktur auf der Anzeigeeinrichtung undurchsichtig oder zumindest teilweise durchsichtig angezeigt wird, so dass die mindestens eine Overlay-Struktur das Rundumsicht-Bild auf und/oder benachbart zu dem jeweils zugeordneten Objekt vollständig oder zumindest teilweise bezogen auf die Transparenz abdeckt. Dadurch kann das jeweilige Objekt durch die Overlay-Struktur zwar hervorgehoben werden, dem Betrachter aber gleichzeitig die Möglichkeit gegeben werden, das dahinterliegende Objekt noch zu erkennen, um ggf. selbst zu plausibilisieren, welche Gefahr von dem Objekt ausgehen kann. Vorteilhafterweise kann die Transparenz der Overlay-Struktur auch ähnlich zu der Farbkodierung in Abhängigkeit der Tiefeninformation bezüglich des Objektes festgelegt werden. So können beispielsweise Objekte mit einem größeren Objekt-Abstand zum Fahrzeug mit einer höheren Transparenz als Objekte mit niedrigem Objekt-Abstand zum Fahrzeug angezeigt werden, wodurch relevantere Objekte stärker hervorgehoben werden.
-
Vorzugsweise ist weiterhin vorgesehen, dass die Anzeigeeinrichtung Anzeigepixel aufweist, wobei Rundumsicht-Bildpunkte des Rundumsicht-Bildes auf den Anzeigepixeln der Anzeigeeinrichtung angezeigt werden, wobei ein in dem Rundumsicht-Bild enthaltenes Objekt auf Objektpixeln dargestellt wird, wobei die Objektpixel eine Untermenge der Anzeigepixel sind,
wobei die dem jeweiligen Objekt zugeordnete Overlay-Struktur auf und/oder benachbart zu den jeweiligen Objektpixeln auf der Anzeigeeinrichtung angezeigt bzw. überlagert wird. Vorzugsweise erfolgt die Überlagerung der Overlay-Strukturen dadurch, dass dem Rundumsicht-Bild mit dem mindestens einen Objekt auf der Anzeigeeinrichtung ein Overlay-Bild mit mindestens einer Overlay-Struktur derartig überlagert wird, dass die dem jeweiligen Objekt zugeordnete Overlay-Struktur auf und/oder benachbart zu den jeweiligen Objektpixeln auf der Anzeigeeinrichtung angezeigt wird.
-
Demnach erfolgt zunächst eine Vorverarbeitung anhand der Tiefeninformationen derartig, dass ein Overlay-Bild erstellt wird, in dem vorzugsweise ausschließlich die Overlay-Strukturen an den Positionen dargestellt werden, an denen oder benachbart zu denen im Rundumsicht-Bild die Objekte abgebildet sind. Durch eine Addition oder Multiplikation oder einer beliebigen anderen Operation können diese beiden Bilder dann auf der Anzeigeeinrichtung gleichzeitig angezeigt werden, um die erfindungsgemäße Überlagerung zu erreichen.
-
Alternativ oder ergänzend kann aber auch vorgesehen sein, dass das Rundumsicht-Bild selbst die mindestens eine Overlay-Struktur beinhaltet, wobei das Rundumsicht-Bild dazu an und/oder benachbart zu den Rundumsicht-Bildpunkten, auf denen ein Objekt abgebildet ist, derartig angepasst wird, dass die dem jeweiligen Objekt zugeordnete Overlay-Struktur auf und/oder benachbart zu den jeweiligen Objektpixeln auf der Anzeigeeinrichtung angezeigt wird. Der Anzeigeeinrichtung wird in dem Fall also nur ein Bild zur Darstellung übermittelt, das vorab entsprechend mit den Overlay-Strukturen „versehen“ wird, indem die Bildpunkte entsprechend „manipuliert“ werden, um die Overlay-Strukturen in diesem Bild darzustellen.
-
Vorzugsweise ist weiterhin vorgesehen, dass die mindestens zwei Einzelbilder, aus denen durch Triangulation die Tiefeninformationen ermittelt werden, von mindestens zwei unterschiedlichen Standpunkten aus von derselben Kamera aufgenommen werden, wobei die Tiefeninformationen durch Triangulation in Abhängigkeit einer Basislänge zwischen den mindestens zwei Standpunkten ermittelt werden. Dadurch kann eine zuverlässige Ermittlung der Tiefeninformationen im Rahmen des SfM-Verfahrens sichergestellt werden. Vorzugsweise kann dabei vorgesehen sein, dass die Kamera durch eine Bewegung des Fahrzeuges selbst, d.h. eine Veränderung der Fahrdynamik des Fahrzeuges, in die unterschiedlichen Standpunkte gebracht wird oder aber durch eine aktive Verstellung der Kamera ohne eine Veränderung der Fahrdynamik des Fahrzeuges.
-
Vorzugsweise ist weiterhin vorgesehen, dass die Umgebung innerhalb eines Rundumsicht-Bereiches in dem Rundumsicht-Bild abgebildet wird, wobei der Rundumsicht-Bereich größer ist als die Sichtbereiche der einzelnen Kameras, wobei ein Sichtwinkel des Rundumsicht-Bereiches 360° beträgt, und wobei das Rundumsicht-Bild aus mindestens zwei in etwa zeitgleich aufgenommenen Einzelbildern von unterschiedlichen Kameras zusammengestellt ist. Damit wird eine vorzugsweise lückenlose Abbildung der gesamten Umgebung um das Fahrzeug zum aktuellen Zeitpunkt ermöglicht und eine Überlagerung von Overlay-Strukturen für den gesamten Rundumsicht-Sichtbereich.
-
Vorzugsweise ist weiterhin vorgesehen, dass auf der Anzeigeeinrichtung als weitere Overlay-Struktur dem Fahrzeug zugeordnete Isolinien dargestellt werden, wobei die Isolinien in festgelegten Iso-Abständen zu einer Fahrzeugaußenseite des eigenen Fahrzeuges angezeigt werden. Damit kann auch das Fahrzeug selbst als Objekt angesehen werden, dem Overlay-Strukturen zugeordnet sind, anhand derer sich der Betrachter orientieren kann. Die Position der Isolinien ist dabei abhängig von den räumlichen Informationen, die über die Einzelbilder ermittelt werden. Die Isolinien können beispielsweise in Intervallen von 1m um das eigene Fahrzeug dargestellt werden. In Abhängigkeit des Iso-Abstandes können die Overlay-Strukturen auch farblich mit Farbabstufungen kodiert werden, so dass näher am Fahrzeug liegende Iso-Linien rot und weiter weg liegende Isolinien grün dargestellt werden mit entsprechendem Farbverlauf für dazwischen liegende Isolinien. Auch die Transparenz der Isolinien kann in Abhängigkeit des Iso-Abstandes variieren, um dem Betrachter die Abstände zum Fahrzeug in einfacher Weise kenntlich zu machen.
-
Ein erfindungsgemäßes Fahrzeug, in dem das erfindungsgemäße Verfahren durchführbar ist, weist demnach mindestens zwei Kameras auf, wobei jede Kamera einen anderen Sichtbereich aufweist, wobei sich Sichtbereiche von benachbarten Kameras zumindest bereichsweise, insbesondere randseitig, überlappen. Weiterhin ist in dem Fahrzeug eine Anzeigeeinrichtung sowie eine erfindungsgemäße Verarbeitungseinheit vorgesehen, wobei die Anzeigeeinrichtung ausgebildet ist, ein erstelltes Rundumsicht-Bild, enthaltend mindestens ein Objekt, und mindestens eine erzeugte Overlay-Struktur - als Teil des Rundumsicht-Bildes oder als separates Overlay-Bild - derartig darzustellen, dass die mindestens eine Overlay-Struktur auf und/oder benachbart zu dem jeweils zugeordneten Objekt angezeigt wird.
-
Vorzugsweise ist dabei vorgesehen, dass jede einzelne Kamera einen Sichtbereich mit einem Sichtwinkel von größer gleich 120°, insbesondere größer gleich 170°, aufweist, wobei die Kamera beispielsweise als Fisheye-Kamera ausgebildet ist, die an mindestens zwei Seiten des Fahrzeuges ausgewählt aus der Gruppe bestehend aus einer Vorderseite, einer Rückseite oder mindestens einer Längsseite, angeordnet ist. Mit derartigen Anordnungen ist bei entsprechendem Sichtwinkel eine nahezu lückenlose Aufnahme der Umgebung möglich, um diese in einer Vogelperspektive darzustellen. Die einzelnen Kameras sind dazu vorzugsweise auf einen Nahbereich der Umgebung, d.h. auf den Boden ausgerichtet, um eine Darstellung in Vogelperspektive zu ermöglichen.
-
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels näher erläutert. Es zeigen:
- 1 eine schematische eines Fahrzeuges zur Durchführung des erfindungsgemäßen Verfahrens;
- 2 eine Detailansicht der aufgenommenen Einzelbilder;
- 2a eine Detailansicht eines in zwei Einzelbildern einer einzigen Kamera abgebildeten Objektes;
- 2b eine Detailansicht einer Anzeigeeinrichtung in dem Fahrzeug gemäß 1; und
- 3 eine Detailansicht der auf der Anzeigeeinrichtung angezeigten Umgebung.
-
In 1 ist schematisch ein Fahrzeug 1, insbesondere ein Nutzfahrzeug, dargestellt, das gemäß der gezeigten Ausführungsform an einer Vorderseite 2a, beispielsweise im Dachhimmel, eine Front-Kamera 3a und an einer Rückseite 2b eine Rückraum-Kamera 3b aufweist. Weiterhin sind an Längsseiten 2c des Fahrzeuges 1, beispielsweise an den Spiegeln, Seiten-Kameras 3c angeordnet. Es können auch weitere nicht dargestellte Kameras 3 im Fahrzeug 1 vorgesehen sein, um eine Umgebung U, insbesondere einen Nahbereich N (Umgebung bis zu 10m vom Fahrzeug 1 entfernt) zu erfassen.
-
Jede Kamera 3 weist einen Sichtbereich 4 auf, wobei ein Front-Sichtbereich 4a der Front-Kamera 3a nach vorn, ein Rückraum-Sichtbereich 4b der Rückraum-Kamera 3b nach hinten und ein Seiten-Sichtbereich 4c der Seiten-Kameras 3c zur jeweiligen Seite des Fahrzeuges 1 ausgerichtet sind. Um den relevanten Teil der Umgebung U, insbesondere den Nahbereich N, erfassen zu können, sind die Kameras 3 zum Boden hin ausgerichtet, auf dem sich das Fahrzeug 1 bewegt.
-
Die Anzahl und die Position der Kameras 3 ist vorzugsweise derartig gewählt, dass sich die Sichtbereiche 4 benachbarter Kameras 3 im Nahbereich N überschneiden, so dass alle Sichtbereiche 4 zusammen den Nahbereich N lückenlos und damit vollflächig abdecken können. Die Kameras 3 können dazu jeweils z.B. als Fisheye-Kameras ausgeführt sein, die jeweils einen Sichtbereich 4 mit einem Sichtwinkel W von gleich oder größer 170° abdecken können.
-
Jede Kamera 3 gibt jeweils Bildsignale SB aus, die die auf dem Sensor der jeweiligen Kamera 3 abgebildete Umgebung U im Sichtbereich 4 charakterisieren. Die Bildsignale SB werden an eine Verarbeitungseinheit 6 ausgegeben, wobei die Verarbeitungseinheit 6 ausgebildet ist, anhand der Bildsignale SB für jede Kamera 3 Einzelbilder EBk (laufender Index k) zu generieren. Das k-te Einzelbild EBk weist dabei gemäß 2 eine Anzahl Ni von Einzelbild-Bildpunkten EBkPi (laufender Index i von 0 bis Ni) auf, auf denen die Umgebung U abgebildet ist. Bestimmten Einzelbild-Bildpunkten EBkPi sind dabei gemäß 2a Objektpunkte PPn (laufender Index n) zugeordnet, die zu einem Objekt O in der Umgebung U gehören.
-
Aus den Einzelbildern EBk unterschiedlicher Kameras 3 wird in der Verarbeitungseinheit 6 durch Projizieren der Einzelbilder EBk in eine Referenzebene RE, beispielsweise eine horizontale Ebene unter dem Fahrzeug 1 (vgl. eine Ebene parallel zu der durch xO und yO in 2a aufgespannten Ebene), durch eine perspektivische Transformation, z.B. in Abhängigkeit einer Homografiematrix, mittels eines Rundumsicht-Algorithmus A1 ein Rundumsicht-Bild RB mit einer Anzahl Np an Rundumsichtbild-Bildpunkten RBPp (laufender Index p von 0 bis Np) erstellt. In dem Rundumsicht-Bild RB ist die Umgebung U um das Fahrzeug 1 zumindest im Nahbereich N zu allen Seiten hin lückenlos abgebildet (vgl. 3), was einem Sichtwinkel W von 360° entspricht. Daher ergibt sich für das Rundumsicht-Bild RB ein Rundumsicht-Sichtbereich 4R, der größer ist als die einzelnen Sichtbereiche 4 der Kameras 3. Dieses Rundumsicht-Bild RB des Nahbereiches N kann einem Insassen, beispielsweise dem Fahrer des Fahrzeuges 1, auf einer Anzeigeeinrichtung 7 ausgegeben werden, so dass sich der Fahrer beispielsweise bei einem Parkvorgang oder einem Rangiervorgang daran orientieren kann. Die Umgebung U kann dem Betrachter dadurch in einer Vogelperspektive dargestellt werden.
-
Die Anzeigeeinrichtung 7 weist dabei gemäß 2b eine Anzahl Nm an Anzeigepixeln APm (laufender Index m von 0 bis Nm) auf, wobei jeder Rundumsichtbild-Bildpunkt RBPp auf einem bestimmten Anzeigepixel APm der Anzeigeeinrichtung 7 dargestellt wird, so dass sich das für den Betrachter auf der Anzeigeeinrichtung 7 sichtbare Rundumsicht-Bild RB ergibt. Eine dynamische Untermenge der Anzeigepixel APm sind Objektpixel OAPq (laufender Index q), auf denen ein Objekt O aus der Umgebung U dargestellt wird (lediglich schematisch in 2b). Den Objektpixeln OAPq sind also Rundumsichtbild-Bildpunkte RBPp zugeordnet, auf denen ein bestimmtes Objekt O aus der Umgebung U bzw. ein bestimmter Objekt-Punkt PPn abgebildet wird.
-
Bei einer derartigen Darstellung kann es aufgrund der Anwendung des Rundumsicht-Algorithmus A1 dazu kommen, dass an den Bildrändern des Rundumsicht-Bildes RB Verzerrungen entstehen. Um dem zu begegnen, ist erfindungsgemäß vorgesehen, dass dem erstellten Rundumsicht-Bild RB weitere Informationen überlagert werden, die sich aus Tiefeninformationen TI zu den abgebildeten Objekten O ergeben.
-
Die Tiefeninformationen TI werden dabei mit dem sog. Structure-from-Motion (SfM) Verfahren aus mehreren Einzelbildern EBk einer einzelnen Kamera 3 gewonnen. Das Extrahieren von Tiefeninformationen TI erfolgt also Kameraweise für jede Kamera 3 einzeln. Bei dem SfM-Verfahren wird das betreffende dreidimensionale Objekt O in der Umgebung U mit seinen Objektpunkten PPn von der jeweiligen Kamera 3 von mindestens zwei unterschiedlichen Standpunkten SP1, SP2 aus aufgenommen, wie in 2a dargestellt. Durch Triangulation T können anschließend die Tiefeninformationen TI bezüglich des jeweiligen dreidimensionalen Objektes O erhalten werden:
- Dazu werden Bildkoordinaten xB, yB zu mindestens einem ersten Einzelbild-Bildpunkt EB1P1 in einem ersten Einzelbild EB1, z.B. der Front-Kamera 3a, und mindestens einem ersten Einzelbild-Bildpunkt EB2P1 in einem zweiten Einzelbild EB2 ebenfalls der Front-Kamera 3a bestimmt. Beide Einzelbilder EB2 werden von der Front-Kamera 3a an unterschiedlichen Standpunkten SP1, SP2 aufgenommen, d.h. zwischen den Einzelbildern EB1, EB2 bewegt sich das Fahrzeug 1 bzw. die Front-Kamera 3a um eine Basislänge L. Die beiden ersten Einzelbild-Bildpunkte EB1P1, EB2P1 werden in den jeweiligen Einzelbildern EB1, EB2 derartig gewählt, dass sie demselben Objektpunkt PPn auf dem jeweils abgebildeten dreidimensionalen Objekt O zugeordnet sind.
-
Auf diese Weise können für ein oder auch mehrere Objekte O in der Umgebung U jeweils ein oder mehrere Paare von Einzelbild-Bildpunkten EB1Pi, EB2Pi für ein oder auch mehrere Objektpunkte PPn ermittelt werden. Um den Prozess zu vereinfachen, können eine gewisse Anzahl an Einzelbild-Bildpunkten EB1Pi, EB2Pi im jeweiligen Einzelbild EB1, EB2 in einem Merkmalspunkt MP1, MP2 zusammengefasst werden (s. 2), wobei die zusammenzufassenden Einzelbild-Bildpunkte EB1Pi, EB2Pi derartig gewählt werden, dass der jeweilige Merkmalspunkt MP1, MP2 einem bestimmten eindeutig lokalisierbaren Merkmal M an dem dreidimensionalen Objekt O zugeordnet ist. Bei dem Merkmal M kann es sich beispielsweise um eine Ecke ME oder eine Außenkante MK am dreidimensionalen Objekt O handeln (vgl. 2a).
-
In einer Näherung können nachfolgend aus den für das jeweilige Objekt O ermittelten Bildkoordinaten xB, yB der Einzelbild-Bildpunkte EB1Pi, EB2Pi bzw. der Merkmalspunkte MP1, MP2 durch Triangulation T die absoluten, tatsächlichen Objektkoordinaten xO, yO, zO (Weltkoordinaten) des dreidimensionalen Objektes O bzw. des Objektpunkts PPj bzw. des Merkmals M berechnet bzw. abgeschätzt werden. Um die Triangulation T ausführen zu können, wird auf eine entsprechend ermittelte Basislänge L zwischen den Standpunkten SP1, SP2 der Front-Kamera 3a zurückgegriffen.
-
Aus den daraus ermittelten Objektkoordinaten xO, yO, zO können aus geometrischen Betrachtungen anschließend sowohl eine Position als auch eine Orientierung, d.h. eine Pose, des Fahrzeuges 1 relativ zum jeweiligen dreidimensionalen Objekt O ermittelt werden, wenn die Triangulation T für eine ausreichende Anzahl an Objektpunkten PPi bzw. Merkmalen M eines Objektes O durchgeführt wurde. Von der Verarbeitungseinheit 6 kann basierend darauf auch eine Objektform FO und/oder eine Objektkontur CO zumindest abgeschätzt werden, wenn die exakten Objektkoordinaten xO, yO, zO von mehreren Objektpunkten PPj bzw. Merkmalen M eines Objekts O bekannt sind. Die Objektform FO und/oder die Objektkontur CO kann für die spätere Verarbeitung einem Deep-Learning-Algorithmus A2 zugeführt werden.
-
In der beschriebenen Weise können auch von jeder anderen Kamera 3 im Fahrzeug 1 Objekte O und deren Objektkoordinaten xO, yO, zO erfasst und darüber deren Position und Orientierung im Raum ermittelt werden.
-
Um die Tiefeninformationen TI noch genauer zu ermitteln, kann ergänzend vorgesehen sein, dass mit der jeweiligen Kamera 3 mehr als zwei Einzelbilder EB1, EB2 aufgenommen und durch Triangulation T wie oben beschrieben ausgewertet werden und/oder ergänzend eine Bündelausgleichung durchgeführt wird.
-
Wie bereits beschrieben, ist das Objekt O für das SfM-Verfahren aus mindestens zwei unterschiedlichen Standpunkten SP1, SP2 von der jeweiligen Kamera 3 zu betrachten, wie schematisch in 2a dargestellt. Dazu ist die jeweilige Kamera 3 kontrolliert in die unterschiedlichen Standpunkte SP1, SP2 zu bewegen. Anhand von Odometrie-Daten OD kann dabei ermittelt werden, welche Basislänge L sich zwischen den Standpunkten SP1, SP2 aus dieser Bewegung ergibt. Dazu können unterschiedliche Methoden zur Anwendung kommen:
- Ist das gesamte Fahrzeug 1 in Bewegung, so ergibt sich bereits daraus eine Bewegung der jeweiligen Kamera 3. Darunter ist zu verstehen, dass das Fahrzeug 1 in seiner Gesamtheit aktiv, beispielsweise durch das Antriebssystem, oder passiv, beispielsweise durch ein Gefälle, in Bewegung versetzt wird. Werden während dieser Bewegung von der jeweiligen Kamera 3 mindestens zwei Einzelbilder EB1, EB2 innerhalb eines zeitlichen Versatzes aufgenommen, lässt sich mithilfe von Odometrie-Daten OD, aus denen sich die Fahrzeugbewegung und damit auch die Kamerabewegung ableiten lässt, die Basislänge L ermitteln. Durch Odometrie werden also die beiden den Einzelbildern EB1, EB2 zugeordneten Standpunkte SP1, SP2 ermittelt.
-
Als Odometrie-Daten OD können beispielsweise Raddrehzahl-Signale S13 von aktiven und/oder passiven Raddrehzahlsensoren 13 an den Rädern des Fahrzeuges 1 verwendet werden. Aus diesen kann in Abhängigkeit des zeitlichen Versatzes ermittelt werden, wie weit sich das Fahrzeug 1 bzw. die jeweilige Kamera 3 zwischen den Standpunkten SP1, SP2 bewegt hat, woraus die Basislänge L folgt. Um die odometrische Bestimmung der Basislänge L bei einer Bewegung des Fahrzeuges 1 genauer zu machen, kann auf weitere im Fahrzeug 1 verfügbare Odometrie-Daten OD zurückgegriffen werden. Beispielsweise kann auf einen Lenkwinkel LW und/oder eine Gierrate G, die entsprechend sensorisch oder analytisch bestimmt werden, zurückgegriffen werden, um auch die Drehbewegung des Fahrzeuges 4 zu berücksichtigen.
-
Es ist aber nicht zwangsläufig nur auf die Fahrzeug-Odometrie zurückzugreifen, d.h. die Bewertung der Fahrzeugbewegung anhand von Bewegungssensoren am Fahrzeug 1. Ergänzend oder alternativ kann auch auf eine visuelle Odometrie zurückgegriffen werden. Bei der visuellen Odometrie kann aus den Bildsignalen SB der jeweiligen Kamera 3 bzw. aus Informationen in den erfassten Einzelbildern EB1, EB2 eine Kameraposition fortlaufend ermittelt werden, insofern zumindest zu Beginn z.B. Objektkoordinaten xO, yO, zO eines bestimmten Objektpunktes PPn bekannt sind. Die Odometrie-Daten OD können also auch eine Abhängigkeit von der derartig ermittelten Kameraposition enthalten, da daraus die Fahrzeugbewegung zwischen den beiden Standpunkten SP1, SP2 bzw. unmittelbar auch die Basislänge L abgeleitet werden kann.
-
Grundsätzlich kann aber auch eine aktive Verstellung der Kamera 3 vorgesehen sein, ohne den Bewegungszustand des gesamten Fahrzeuges 1 zu verändern. Demnach sind jegliche Bewegungen der jeweiligen Kamera 3 möglich, um diese kontrolliert und messbar in unterschiedliche Standpunkte SP1, SP2 zu bringen.
-
In Abhängigkeit der Tiefeninformationen TI, die durch das SfM-Verfahren zu einem bestimmten Objekt O ermittelt werden konnten, können dem Rundumsicht-Bild RB nachfolgend wie in 3 dargestellt Overlay-Strukturen 20 überlagert werden. Die Überlagerung kann dabei derartig erfolgen, dass der Anzeigeeinrichtung 7 über ein Rundumsicht-Bild-Signal SRB das Rundumsicht-Bild RB und über ein Overlay-Signal SO ein zu überlagerndes Overlay-Bild OB mit den jeweiligen Overlay-Strukturen 20 übermittelt wird. Die Anzeigeeinrichtung 7 stellt dann an den entsprechenden Anzeigepixel APm beide Bilder RB, OB dar, beispielsweise durch Pixeladdition oder Pixelmultiplikation oder einer beliebigen anderen Pixeloperation. Alternativ kann das Rundumsicht-Bild RB in der Verarbeitungseinheit 6 an den entsprechenden Rundumsicht-Bildpunkten RBPp auch direkt verändert bzw. angepasst werden, so dass der Anzeigeeinrichtung 7 über das Rundumsicht-Bild-Signal SRB ein Rundumsicht-Bild RB, das die Overlay-Strukturen 20 beinhaltet, zur Anzeige übermittelt wird.
-
Die zusätzlichen Overlay-Strukturen 20 sind dabei einem bestimmten Objekt O in der Umgebung U eindeutig zugeordnet. Dadurch können dem Betrachter zu dem jeweiligen Objekt O zusätzliche Informationen präsentiert werden, was die Orientierung in der Umgebung U anhand der Anzeige komfortabler macht. Die Overlay-Struktur 20 kann dazu beispielsweise ein Balken 20a und/oder ein Polygon 20b und/oder ein Text 20c sein, die ergänzend in Abhängigkeit der jeweils zugeordneten Tiefeninformation TI kodiert sein können.
-
Die Überlagerung erfolgt derartig, dass die Overlay-Struktur 20 auf oder benachbart zu den Objektpixeln OAPq der Anzeigeeinrichtung 7 erscheint, die dem Objekt O zugeordnet sind. Die jeweiligen Objektpixel OAPq können über den Rundumsicht-Algorithmus A1 dynamisch von der Verarbeitungseinheit 6 identifiziert werden. Basierend darauf kann das Overlay-Bild OB erstellt werden bzw. können die Rundumsicht-Bildpunkte RBPp des Rundumsicht-Bildes RB direkt verändert bzw. angepasst werden, so dass die jeweilige Overlay-Struktur 20 auf oder benachbart zu dem jeweiligen Objekt O auf der Anzeigeeinrichtung 7 erscheint.
-
Beispielsweise kann ein Balken 20a auf den Anzeigepixeln APm der Anzeigeeinrichtung 7 dargestellt werden, die auf einer oder benachbart zu einer Außenkante MK des jeweiligen Objekts O liegt, die dem eigenen Fahrzeug 1 am nächsten gelegen ist. Die Ausrichtung des Balkens 20a kann derartig gewählt werden, dass der Balken 20a senkrecht zu einer Objekt-Normalen NO liegt, wie in 3 dargestellt, so dass der Balken 20a in jedem Fall eine äußere Begrenzung des Objektes O angibt, wenn das Objekt O beispielsweise keine geradlinige Außenkante MK aufweist. Die Objekt-Normale NO kann aus den Tiefeninformationen TI zu diesem Objekt, d.h. aus der Position und der Orientierung, abgeschätzt werden, die aus dem SfM-Verfahren folgt.
-
Um die Position eines dem Objekt O zugeordneten Balkens 20a auf der Anzeigeeinrichtung 7 hervorzuheben, können die Objektpixel OAPq des Objektes O, dem auch der Balken 20a zugeordnet ist, in einer festgelegten Farbe F eingefärbt werden. Dadurch wird das Objekt O selbst deutlicher dargestellt, so dass mögliche Verzerrungen bei der Darstellung des Objektes O weniger wahrgenommen werden. Dem Rundumsicht-Bild RB wird also im Bereich der Objektpixel OAPq als weitere Overlay-Struktur 20 ein Polygon 20b mit der Objektform OF bzw. der Objekt-Kontur OC in einer bestimmten Farbe F überlagert. Kann die Objektform OF bzw. die Objekt-Kontur OC in dem SfM-Verfahren nicht eindeutig bestimmt werden, so kann auch lediglich ein Rechteck für das Objekt O angenommen werden, das dann vom Fahrzeug 1 aus gesehen „hinter“ dem Balken 20a verläuft. Die weitere Overlay-Struktur 20 ist in dem Fall ein Polygon 20b mit vier Ecken.
-
Als Farbe F kann beispielsweise Schwarz gewählt werden. Die Farbe F kann aber auch in Abhängigkeit eines Objekt-Abstandes OA zum jeweiligen Objekt O gewählt werden. Auch der Balken 20a selbst kann farblich in Abhängigkeit des Objekt-Abstandes OA zum jeweiligen Objekt O kodiert sein. Der Objekt-Abstand OA zwischen dem Fahrzeug 1 und dem Objekt O folgt dabei ebenfalls aus den über das SfM-Verfahren gewonnenen Tiefeninformationen TI zu diesem Objekt, d.h. aus der Position und der Orientierung.
-
Wird in dem SfM-Verfahren ein Objekt-Abstand OA von unter 1m ermittelt, so kann die Farbe F der jeweiligen Overlay-Struktur 20, d.h. des Balkens 20a und/oder des Polygons 20b, beispielsweise in einer Warnfarbe, insbesondere in Rot, dargestellt werden. Liegt der Objekt-Abstand OA des Objektes O in einem Bereich zwischen 1m und 5m kann Gelb als Farbe F für die diesem Objekt O zugeordnete Overlay-Struktur 20 verwendet werden. Bei Objekt-Abständen OA von größer als 5m kann Grün als Farbe F vorgesehen sein. Auf diese Weise kann dem Betrachter in deutlicher Weise angezeigt werden, welche Gefahr von dem jeweiligen Objekt O ausgeht. Da die Tiefeninformationen TI aus den Einzelbildern EBk gewonnen werden, haben die Verzerrungen aus dem Rundumsicht-Algorithmus A1 auf die Overlay-Strukturen 20 keinen Einfluss und können daher ausgehend vom eigenen Fahrzeug 1 an der korrekten Position auf der Anzeigeeinrichtung 7 dargestellt werden.
-
Weiterhin kann die jeweilige Overlay-Struktur 20 auf der Anzeigeeinrichtung 7 undurchsichtig oder zumindest teilweise durchsichtig angezeigt werden, so dass die mindestens eine Overlay-Struktur 20 das Rundumsicht-Bild RB auf und/oder benachbart zu dem jeweils zugeordneten Objekt O vollständig oder zumindest teilweise, in Bezug auf die Transparenz, abdeckt.
-
Ergänzend kann die Farbe F der Overlay-Struktur 20 in Abhängigkeit eines Bewegungsindikators B gewählt werden. So kann anhand des SfM-Verfahrens wie beschrieben eine Objekt-Kontur OC und/oder eine Objekt-Form OF für das jeweils erkannte Objekt O ermittelt werden. Aus dem SfM-Verfahren kann jedoch kein unmittelbarer Rückschluss auf eine Dynamik des Objektes O gezogen werden. Wird die Objekt-Kontur OC und/oder die Objekt-Form OF aber einem Deep-Learning-Algorithmus A2 in der Verarbeitungseinheit 6 zugeführt, kann zumindest eine Klassifizierung des Objektes O stattfinden, aus der dann auf die mögliche Dynamik des Objektes O geschlossen werden kann.
-
Dabei kann die Objekt-Kontur OC und/oder die Objekt-Form OF des jeweiligen Objektes O mit bekannten Objekten verglichen werden. Diese können in einer Datenbank, die z.B. in einem fahrzeugfesten Speicher abgespeichert ist oder die über eine mobile Datenverbindung vom Fahrzeug 1 aus zugänglich ist, hinterlegt sein. Anhand der Einträge von bekannten Objekten in der Datenbank kann festgestellt werden, ob es sich bei dem erfassten Objekt O um eine Person oder ein Gebäude oder ein Fahrzeug o.ä. handelt. Jedem erfassten Objekt O kann darüber ein in der Datenbank abgelegter Bewegungsindikator B zugeordnet werden, der angibt, ob und wie sich das Objekt O normalerweise in der Umgebung U bewegt. Daraus kann geschlussfolgert werden, ob eine erhöhte Aufmerksamkeit gegenüber dem Objekt O, z.B. bei Personen, geboten ist. Entsprechend kann die Overlay-Struktur 20, z.B. der Balken 20a und/oder das Polygon 20b oder eine weitere Overlay-Struktur 20, entsprechend dem Bewegungsindikator B kodiert werden, beispielsweise farblich. Ergänzend kann als weitere Overlay-Struktur 20 ein Text 20c, beispielsweise in Form eines „!“ (Ausrufezeichens), etc. eingeblendet werden.
-
Der Bewegungsindikator B eines Objektes O kann allerdings auch dadurch abgeschätzt werden, dass Einzelbild-Bildpunkte EBkPi, die einem Objektpunkt PPn in der Umgebung U zugeordnet sind, zeitlich verfolgt werden. Dies kann beispielsweise durch das pixelweise Bilden einer Differenz von aufeinanderfolgenden Einzelbildern EBk erfolgen. Daraus kann ebenfalls auf eine Bewegung des jeweiligen Objektes O geschlossen werden.
-
Weiterhin können als Overlay-Strukturen 20 Isolinien 20d (s. 3) überlagert werden, welche jeweils einen festen Iso-Abstand AI zu einer Fahrzeugaußenseite 1a kennzeichnen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 1a
- Fahrzeugaußenseite
- 2a
- Vorderseite
- 2b
- Rückseite
- 2c
- Längsseite
- 3
- Kamera
- 3a
- Front-Kamera
- 3b
- Rückraum-Kamera
- 3c
- Seitenkamera
- 4
- Sichtbereich
- 4a
- Front-Sichtbereich
- 4b
- Rückraum-Sichtbereich
- 4c
- Seiten-Sichtbereich
- 4R
- Rundumsicht-Sichtbereich
- 6
- Verarbeitungseinheit
- 7
- Anzeigeeinrichtung
- 13
- Raddrehzahlsensor
- 20
- Overlay-Struktur
- 20a
- Balken
- 20b
- Polygon
- 20c
- Text
- 20d
- Isolinie
- A1
- Rundumsicht-Algorithmus
- A2
- Deep-Learning-Algorithmus
- AI
- Iso-Abstand
- APm
- m. Anzeigepixel
- B
- Bewegungsindikator
- EBk
- k. Einzelbild der Kamera 3
- EBkPi
- i. Einzelbild-Bildpunkt des k. Einzelbildes EBk
- F
- Farbe
- G
- Gierrate
- L
- Basislänge
- LW
- Lenkwinkel
- M
- Merkmal
- ME
- Ecke
- MK
- Außenkante
- MP1
- Merkmalspunkt im ersten Einzelbild E1
- MP2
- Merkmalspunkt im zweiten Einzelbild E2
- N
- Nahbereich
- Ni
- Anzahl von Einzelbild-Bildpunkten EBkPi
- Nm
- Anzahl an Anzeigepixeln APm
- Np
- Anzahl von Rundumsichtbild-Bildpunkten RBPp
- O
- Objekt
- OAPq
- q. Objektpixel
- OA
- Objekt-Abstand
- OB
- Overlay-Bild
- OC
- Objekt-Kontur
- OD
- Odometrie-Daten
- OF
- Objekt-Form
- ON
- Objekt-Normale
- PPn
- n. Objektpunkt eines Objektes O
- RB
- Rundumsicht-Bild
- RBPp
- p. Rundumsichtbild-Bildpunkt
- RE
- Referenzebene
- S13
- Raddrehzahlsignal
- SB
- Bildsignal
- SO
- Overlay-Signal
- SP1, SP2
- Standpunkt der Kamera 3
- SRB
- Rundumsicht-Bild-Signal
- TI
- Tiefeninformation
- T
- Triangulation
- U
- Umgebung
- xB, yB
- Bildkoordinaten
- xO, yO, zO
- Objektkoordinaten
- i, k, m, n, p, q
- Index
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017108254 B4 [0004]
- DE 102015105248 A1 [0005]
- DE 10035223 A1 [0006]
- EP 3293700 B1 [0007]
- DE 102018100909 A1 [0008]
