DE102014226448B4 - Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung - Google Patents
Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung Download PDFInfo
- Publication number
- DE102014226448B4 DE102014226448B4 DE102014226448.0A DE102014226448A DE102014226448B4 DE 102014226448 B4 DE102014226448 B4 DE 102014226448B4 DE 102014226448 A DE102014226448 A DE 102014226448A DE 102014226448 B4 DE102014226448 B4 DE 102014226448B4
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- designed
- computing unit
- occupancy matrix
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Fahrzeug (10), umfassend:
- mindestens zwei Bilderfassungseinrichtungen (31, 32, 33, 34) zur Erfassung einer Umgebung und zur Abgabe von Rohbilddaten (Img1, Img2);
- mindestens eine Distanzerfassungseinrichtung (24) zur Ermittlung von Distanzinformationen (DistData) mindestens eines Objekts;
- mindestens eine Recheneinheit (23);
- eine Anzeigeeinrichtung (21), dadurch gekennzeichnet, dass
- die mindestens eine Recheneinheit (23) dazu ausgebildet ist,
1) auf Basis der Distanzinformationen (DistData) eine Belegungsmatrix (40) zu generieren, welche die Position des Objekts relativ zu einem Zentrum (1) angibt;
2) auf Basis der Belegungsmatrix (40) eine das Fahrzeug (10) zumindest teilweise umgebende Projektionsfläche (43) zu errechnen;
3) Rohbilddaten (Img1, Img2) auf die Projektionsfläche (43) zu projizieren, um Projektionsbilddaten (44) zu ermitteln;
4) auf Basis der Projektionsbilddaten (44) mindestens eine Sicht (45) zu errechnen;
- die Anzeigeeinrichtung (21) dazu ausgebildet ist, zumindest einen Teilausschnitt (2) der Sicht (45) anzuzeigen.
- mindestens zwei Bilderfassungseinrichtungen (31, 32, 33, 34) zur Erfassung einer Umgebung und zur Abgabe von Rohbilddaten (Img1, Img2);
- mindestens eine Distanzerfassungseinrichtung (24) zur Ermittlung von Distanzinformationen (DistData) mindestens eines Objekts;
- mindestens eine Recheneinheit (23);
- eine Anzeigeeinrichtung (21), dadurch gekennzeichnet, dass
- die mindestens eine Recheneinheit (23) dazu ausgebildet ist,
1) auf Basis der Distanzinformationen (DistData) eine Belegungsmatrix (40) zu generieren, welche die Position des Objekts relativ zu einem Zentrum (1) angibt;
2) auf Basis der Belegungsmatrix (40) eine das Fahrzeug (10) zumindest teilweise umgebende Projektionsfläche (43) zu errechnen;
3) Rohbilddaten (Img1, Img2) auf die Projektionsfläche (43) zu projizieren, um Projektionsbilddaten (44) zu ermitteln;
4) auf Basis der Projektionsbilddaten (44) mindestens eine Sicht (45) zu errechnen;
- die Anzeigeeinrichtung (21) dazu ausgebildet ist, zumindest einen Teilausschnitt (2) der Sicht (45) anzuzeigen.
Description
- Die Erfindung betrifft ein Fahrzeug und ein Verfahren zum Errechnen einer Sicht, die einen Teilausschnitt einer Fahrzeugumgebung darstellt.
- Um einen Fahrer eines Fahrzeugs beim Rangieren des Fahrzeuges zu unterstützen, sind Systeme entwickelt worden, die den Fahrer auf in der Umgebung befindende Objekte hinweisen.
- Solche Systeme umfassen z.B. die Verwendung von Abstandssensoren, die das Fahrzeug dazu veranlassen ein akustisches Signal abzugeben, sobald sich ein Objekt zu nahe am Fahrzeug befindet.
- Andere System erlauben es dem Fahrer seine Umgebung visuell nach Hindernissen abzusuchen. Eine Möglichkeit besteht darin, dem Fahrer auf einem Display ein Umgebungsbild des Fahrzeugs zur Verfügung zu stellen.
- Die Erzeugung des Umgebungsbildes kann durch verschiedene Methoden umgesetzt sein. Zum Beispiel kann dies durch die Kombination und Umwandlung einer Vielzahl von erfassten Umgebungsbilddaten zu einem dreidimensionalen Raummodel erreicht werden. Innerhalb dieses dreidimensionalen Raummodels kann eine virtuelle Kamera bzw. das optische Zentrum beliebig platziert werden. Vorzugsweise wird die virtuelle Kamera bzw. das optische Zentrum in der Mitte des Fahrzeugs platziert. So kann der Fahrer die Umgebung des Fahrzeugs absuchen, ohne dass Komponenten des Fahrzeugs die Sicht versperren.
- Um dies zu erreichen ist es notwendig, eine Projektionsfläche zu definieren, welche das Fahrzeug umgibt und auf welche die erfassten Umgebungsbilddaten projiziert werden können.
- Aufgrund von fehlenden Tiefeninformationen wird üblicherweise eine Kugel oder Wannenform für die Projektionsfläche gewählt. Dies hat jedoch zur Folge, dass das dargestellte Bild verzerrt wird und so zu einer unnatürlichen Darstellung führt.
- In der
US 2014/01527781 A1 - Ein Nachteil dieses Systems ist, dass diese Anpassung zu einer wenig natürlichen Darstellung führt. Größenverhältnisse können aufgrund fehlender Tiefeninformation nicht berücksichtigt werden. Der Fahrer ist somit nicht in der Lage, den Abstand zu Objekten richtig einzuschätzen. Zwar werden nahe Objekte groß dargestellt. Jedoch ist es für den Benutzer nicht ersichtlich, ob sich das Objekt nah am Auto befindet oder ob es sich um ein sehr großes Objekt in weiterer Entfernung handelt.
- Das Dokument
DE 10 2012 018 326 A1 offenbart ein Verfahren für ein bildgebendes Fahrerassistenzsystem zur Abbildung von im Umgebungsbereich von Land-, Wasser oder Luftfahrzeugen angeordneten Objekten, insbesondere an einem Kraftfahrzeug, bei dem am Fahrzeug mindestens zwei Kameras zur Erzeugung einer im Innenraum oder Aussenraum des Fahrzeuges darstellbaren Umsicht angeordnet sind, und der Blickwinkel benachbart angeordneter Kameras im Umgebungsbereich des Fahrzeuges sich mindestens teilweise überschneidet und dort mindestens einen Überlappungsbereich ausbildet. Zur Erzeugung der Umsichtdarstellung werden ein oder mehrere Kamerabilder der Kameras entsprechend ihrer Aufnahmeposition am Fahrzeug auf einer virtuellen Projektionsfläche angeordnet, die Teil eines virtuellen dreidimensionalen Raumkörpers sind, der das Fahrzeug an mindestens zwei Seiten mit Abstand umgibt. Zur Erreichung einer annähernd verdeckungsfreien Umsichtfunktion von Objekten im Überlappungsbereich der Kameras erfolgt eine dynamische Anpassung der Zusammenfügung der Kamerabilder auf der Projektionsfläche durch die mathematische Verschiebung der virtuellen Projektionsfläche dergestalt, dass das Objekt annähernd in der Ebene der virtuellen Projektionsfläche abgebildet wird. - Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, ein Fahrzeug bereitzustellen, welches die Darstellung des Umgebungsbildes für den Benutzer verbessert und insbesondere Größenrelationen deutlich hervorhebt. Des Weiteren ist es Ziel der Erfindung, vorhandene Ressourcen in einem Fahrzeug effizient zu nutzen. Die Darstellungen sollen schnell berechenbar sein.
- Die Aufgabe wird durch ein Fahrzeug gemäß dem Anspruch 1 gelöst.
- Insbesondere wird die Aufgabe durch ein Fahrzeug gelöst, das umfasst
- - mindestens zwei Bilderfassungseinrichtungen zur Erfassung einer Umgebung und zur Abgabe von Rohbilddaten;
- - mindestens eine Distanzerfassungseinrichtung zur Ermittlung von Distanzinformationen mindestens eines Objekts;
- - mindestens eine Recheneinheit;
- - eine Anzeigeeinrichtung.
- Die mindestens eine Recheneinheit ist dazu ausgebildet, auf Basis der Distanzinformationen eine Belegungsmatrix zu generieren, welche die Position des Objekts relativ zu einem Zentrum angibt und auf Basis der Belegungsmatrix eine das Fahrzeug zumindest teilweise umgebende Projektionsfläche zu errechnen. Darüber hinaus ist die mindestens eine Recheneinheit dazu ausgebildet, Rohbilddaten auf die Projektionsfläche zu projizieren, um Projektionsbilddaten zu ermitteln sowie auf Basis der Projektionsbilddaten mindestens eine Sicht zu errechnen.
- Die Anzeigeeinrichtung kann dazu ausgebildet sein, zumindest einen Teilausschnitt der Sicht anzuzeigen.
- Die mindestens zwei Bilderfassungseinrichtungen können die in modernen Fahrzeugen eingebauten Kamerasysteme zur Erfassung von 2D Bilddaten umfassen. Dies können unter anderem eine Frontkamera, eine Rückkamera und/oder in Rückspiegeln angebrachte Seitenkameras sein. Solche Kameras sind bereits in vielen Fahrzeugen eingebaut. Es sind auch andere Kamerasysteme für die erfindungsgemäße Nutzung denkbar, wie z.B. omnidirektionale Kamerasysteme. Diese zeichnen sich durch ein geringeres Datenaufkommen, und weniger Platzanforderungen sowie damit einhergehende Gewichtseinsparungen aus.
- Die mindestens eine Distanzerfassungseinrichtung kann die bereits in Fahrzeugen eingebauten Ultraschallsensoren umfassen und/oder nutzen. Darüber hinaus könnte die mindestens eine Distanzerfassungseinrichtung auch Radarsysteme, Lasersysteme oder Sensoren, die auf strukturiertem Licht basieren, umfassen. Dies hat den Vorteil, dass Systeme, welche in unterschiedlichen Entfernungen eine hohe Genauigkeit aufweisen, zusammen verwendet werden können, um eine geeignete Belegungsmatrix zu erzeugen.
- Die mindestens eine Recheneinheit kann Teil eines Bordcomputers sein. Ein Vorteil der Integration in das Bordnetz besteht in der dadurch möglichen Nutzung von bereits in Fahrzeugen vorhandenen Kommunikationskanälen zu Kamerasystemen und Distanzerfassungseinrichtungen. In einer Ausführungsform kann die Recheneinheit als Teil von System-on-Chip Lösungen wie digitalen Signalprozessoren(DSP) umgesetzt sein. Diese weisen eine geringe Baugröße auf und können an beliebigen Stellen im Fahrzeug eingebaut werden. In vielen Fällen weisen DSPs einen geringen Stromverbrauch auf.
- Die Anzeigeeinrichtung kann durch ein Display umgesetzt sein. Dabei könnte es sich um das in der Mittelkonsole befindliche Display handeln. Die Verwendung dieses Displays stellt sicher, dass der Fahrer nicht abgelenkt wird. Es ist möglich, dass ein Heads-Up Display verwendet wird, um die Darstellung der Umgebung in das Sichtfeld des Fahrers auf der Frontscheibe des Fahrzeugs darzustellen. Bei der Verwendung eines Head-Up Displays liegt ein Vorteil darin, dass der Fahrer in der Lage ist, die Fahrbahn zu kontrollieren und ohne weitere Kopfbewegungen auch die Umgebung des Fahrzeugs zu überprüfen.
- In einer weiteren Ausführungsform kann die mindestens eine Recheneinheit dazu ausgebildet sein, Einträge der Belegungsmatrix zu Gruppen zusammenzufassen, mindestens einen Mantel um die Gruppen zu legen und den mindestens einen Mantel bei der Berechnung der Projektionsfläche zu berücksichtigen.
- Das Zusammenfassen zu Gruppen kann durch Verfahren der Clusteranalyse erfolgen. Verschiedene Methoden für das Clustern sind möglich, wie zum Beispiel der Einsatz der Algorithmen K-Means sowie verschiedene Varianten hiervon, oder EM Clustering.
- Ein Vorteil der Zusammenfassung von Einträgen der Belegungsmatrix zu Gruppen ist, dass die Projektionsfläche durch große Flächen umgesetzt wird. Es können hierdurch. Messungenauigkeiten herausgefiltert werden. Des Weiteren wird durch das Zusammenfassen eine, für das Bewegen des Fahrzeugs, ausreichend hohe Genauigkeit bei der Darstellung der Umgebung erreicht, wobei nur geringe Rechenressourcen erforderlich sind. So kann selbst bei großen Flächen eine deutliche Verbesserung der Darstellung für den Fahrer erreicht werden.
- In einer weiteren Ausführung kann die mindestens eine Recheneinheit dazu ausgebildet sein, Einträge der Belegungsmatrix auf Basis von Nachbarschaftsmerkmalen zu Gruppen zusammenzufassen. Ein Nachbarschaftsmerkmal kann unter anderem sein, dass zwei Einträge in der Belegungsmatrix direkt nebeneinander liegen. Vorteilhaft kann es sein, wenn die Einträge nur auf Basis der Belegung in der Belegungsmatrix zusammengefasst werden. Dies kann sehr effizient implementiert werden und spart damit Systemressourcen.
- In einer Ausführung kann die mindestens eine Recheneinheit dazu ausgebildet sein, Einträge unter Berücksichtigung einer Nähebeziehung zu Gruppen zusammenzufassen. Einträge der Belegungsmatrix, die Objekte in der Umgebung des Fahrzeugs repräsentieren, welche nah zueinander angeordnet sind, werden so in ähnlichem Größenverhältnis dargestellt. Dies ist auf der einen Seite ausreichend für das sichere Bewegen des Fahrzeugs und auf der anderen Seite führt dies zu einer Reduktion des Rechenaufwandes.
- In einer Ausführung ist die mindestens eine Recheneinheit dazu ausgebildet, Einträge zu einer Gruppe zusammenzufassen, die mindestens zwei Objekte betreffen, die einen Abstand haben, der kleiner ist als ein vorgegebener Schwellenwert, insbesondere ein Schwellenwert, der von der Breite des Fahrzeugs abhängt, vorzugsweise ein Schwellenwert, der kleiner als 2 m ist.
- Durch das Zusammenfassen von Gruppen kann eine Komplexitätsreduktion der zu errechnenden Projektionsfläche auf Basis der sich in der Umgebung befindlichen Objekte durchgeführt werden. Befinden sich zwei Objekte in der Umgebung nah beieinander, so ist es für das Rangieren des Fahrzeugs nicht von Bedeutung, dass der Abschnitt des Bildes zwischen den beiden Objekten ungenau dargestellt wird.
- In einer weiteren Ausführung ist die Recheneinheit dazu ausgebildet, die Belegungsmatrix mit einer Spaltenanzahl <100, vorzugsweise <50, und einer Reihenanzahl <100, vorzugsweise <50, zu generieren.
- Um den Aufwand zum Errechnen der Projektionsfläche kleinzuhalten, ist es von Vorteil die Belegungsmatrix kleinzuhalten. Dies führt zu einer reduzierten Anforderung an die Recheneinheit zur Berechnung der Projektionsfläche sowie hinreichend guten Ergebnissen bei Darstellung des Umgebungsbildes.
- In einer weiteren Ausführung kann die mindestens eine Distanzerfassungseinrichtung dazu ausgebildet sein, einen Höhenwert von mindestens einem Objekt zu erfassen, und die mindestens eine Recheneinheit dazu ausgebildet sein, die erfassten Höhenwerte in der Belegungsmatrix zu speichern.
- In einer Ausführung werden die erfassten Höhenwerte direkt in den Einträgen der Belegungsmatrix gespeichert. Weiterhin ist es möglich, eine Relation zwischen den Einträgen der Belegungsmatrix und einer weiteren Matrix, in der die Höhenwerte gespeichert sind, zu speichern. In einer Ausführung können die erfassten Höhenwerte genutzt werden, eine genauere Rekonstruktion der Umgebung zu errechnen und dem Fahrer des Fahrzeugs und/oder dem Benutzer anzuzeigen.
- In einer weiteren Ausführung kann die mindestens eine Recheneinheit dazu ausgebildet sein, unter Verwendung der Höhenwerte eine Mantelhöhe zu ermitteln. Darüber hinaus kann die mindestens eine Recheneinheit dazu ausgebildet sein, die Mantelhöhe bei der Berechnung der Projektionsfläche zu berücksichtigen.
- Durch das Verwenden der erfassten Höhenwerte bei der Berechnung einer Mantelhöhe und Berücksichtigung bei der Berechnung der Projektionsfläche wird es ermöglicht, mit wenig zusätzlichem Rechenaufwand die Umgebung deutlich genauer wiederzugeben. In einer Ausführung kann für ein Objekt eine maximale Höhe gespeichert sein. Der Mantel wird vom Boden bis zu der maximalen Höhe im Abstand des Objekts errechnet. Der Bereich über dem Objekt kann mit einem Abstand zum Fahrzeug dargestellt werden, der einen maximal erfassbaren Abstand vom Fahrzeug repräsentiert.
- In einer weiteren Ausführungsform kann das Fahrzeug eine Eingabeeinrichtung umfassen, insbesondere ein Rastrad, zur Eingabe eines in horizontaler Ebene zum Fahrzeug liegenden Sichtwinkels, wobei die mindestens eine Recheneinheit dazu ausgebildet ist, den Teilausschnitt der Sicht oder die Sicht unter Berücksichtigung des Sichtwinkels zu berechnen. Durch Drehen des Rastrades ist es dem Fahrer möglich, den Bildausschnitt, welcher ihm angezeigt wird, zu verändern. Der Fahrer kann damit auf intuitive Art und Weise das erfindungsgemäße System steuern.
- In einer weiteren Ausführungsform kann die mindestens eine Recheneinheit zur Errechnung von einer Vielzahl von Sichten ausgebildet sein, wobei die Sichten unterschiedliche optische Zentren aufweisen, die vorzugsweise über eine Eingabeeinrichtung eingebbar sind. Ein Vorteil liegt darin, dass der Fahrer und/oder Benutzer in die Lage versetzt wird, seine Umgebung nicht nur von einem festen Standort, z.B. der Mitte des Fahrzeugs, sondern von verschiedenen Standorten aus zu betrachten. Somit ist es für den Fahrer möglich, das Fahrzeug sicherer an Hindernissen vorbeizufahren. In einer Ausführung wird bei dem Rangieren des Fahrzeugs nah an einem Objekt vorbei der Standort des optischen Zentrums automatisch in die Nähe des Abschnittes des Fahrzeugs versetzt, in dem eine Kollision droht. Es ist auch möglich, dass in einer Ausführung der Fahrer des Fahrzeugs und/oder Benutzer über eine Eingabeeinrichtung zwischen verschiedenen voreingestellten Standorten für das optische Zentrum wählen kann. Vorteilhafte Standorte sind unter anderem in der Stoßstange vorne oder hinten, an den Ecken des Fahrzeugs oder unter dem Fahrzeug. Letztes ist bei sehr unebenem Gelände von Vorteil und die Gefahr besteht, dass der Unterboden des Fahrzeugs beschädigt wird.
- In einer weiteren Ausführungsform kann die mindestens eine Bilderfassungseinrichtung dazu ausgebildet sein, Distanzinformationen zur Verarbeitung in der mindestens einen Recheneinheit abzugeben. Die mindestens eine Bilderfassungseinrichtung könnte durch eine 3D-Stereokamera umgesetzt sein. Es sind auch Systeme denkbar, wie z.B. eine Kombination aus lasergestützten Systemen und optischen Systemen. Eine Verwendung eines solchen Systems stellt eine höhere Integrationsdichte dar und führt so zu einer kompakteren Bauweise des Systems.
- In einer weiteren Ausführungsform kann die mindestens eine Distanzerfassungseinrichtung mindestens einen Ultraschallsensor- und/oder eine Stereokamera und/oder einen LIDAR-Sensor und/oder ein Radarsystem und/oder ein Lasermesssystem und/oder einen auf strukturiertem Licht basierenden Sensor umfassen. Es könnten also eine Vielzahl von unterschiedlichen Distanzerfassungseinrichtungen kombiniert werden. Da unterschiedliche Distanzerfassungseinrichtungen jeweils unterschiedliche Arbeitspunkte haben, also Entfernungen, in denen sie besonders genau sind, ist es möglich, eine sehr hohe Auflösung nah am Fahrzeug und in der Ferne zu ermöglichen.
- In einer Ausführungsform kann die Projektionsfläche so errechnet werden, dass sie, zumindest abschnittsweise, parallel zu Linien liegt, die im Wesentlichen jeweils mit einer Seite des Fahrzeugs in Deckung liegen. Dies sorgt für eine vereinfachte Ausrichtung der Projektionsfläche und spart so Rechenzeit.
- In einer Ausführungsform kann die Projektionsfläche, zumindest abschnittsweise, um einen Kippwinkel gekippt sein. Es ist möglich, dass der Kippwinkel von der Position des optischen Zentrums der Sicht abhängt. Dies führt zu einer verbesserten Übersicht über die Umgebung des Fahrzeugs für den Fahrer und/oder Benutzer, insbesondere bei einer Anordnung des optischen Zentrums oberhalb des Fahrzeugs.
- Des Weiteren wird die Aufgabe durch ein Verfahren zur Ermittlung von Projektionsbilddaten gelöst, wobei das Verfahren die Schritte umfasst:
- - Erfassen einer Umgebung und Abgabe von Rohbilddaten mittels mindestens einer Bilderfassungseinrichtung;
- - Erfassen von Distanzinformationen mindestens eines Objekts;
- - Generierung einer Belegungsmatrix auf Basis der Distanzinformationen;
- - Errechnen einer zumindest abschnittsweise konkaven Projektionsfläche auf Basis der Belegungsmatrix;
- - Projizieren der Rohbilddaten auf die Projektionsfläche zur Ermittlung von Projektionsbilddaten.
- Es ergeben sich ähnlich oder identische Vorteile, wie dies bereits in Verbindung mit dem Fahrzeug beschrieben wurde.
- Die Aufgabe wird des Weiteren gelöst durch ein Verfahren zur Generierung einer Sicht zur Anzeige auf einer Anzeigeeinrichtung, umfassend die Schritte - Ermittlung von Projektionsbilddaten mit Hilfe des vorher beschriebenen Verfahrens;
- - Errechnen mindestens einer Sicht auf Basis der Projektionsbilddaten;
- - Anzeige der mindestens einen Sicht auf der Anzeigeeinrichtung.
- Die Aufgabe wird weiterhin gelöst durch ein computerlesbares Speichermedium, das Instruktionen aufweist, welche einen Computer dazu veranlassen, die beschriebenen Verfahren zu implementieren, wenn die Instruktionen ausgeführt werden.
- Nachfolgend wird die Erfindung mittels mehrerer Ausführungsbeispiele beschrieben, die anhand von Abbildungen näher erläutert werden. Hierbei zeigen:
-
1 : eine schematische Draufsicht auf ein erstes Fahrzeug mit Bilderfassungseinrichtung; -
2 : eine schematische Darstellung eines ersten Bordnetzes; -
3 : eine Darstellung einer ersten Belegungsmatrix mit erstem Fahrzeug; -
4 : die erste Belegungsmatrix mit Einträgen der ersten Belegungsmatrix und Mantelfläche; -
5 : die erste Belegungsmatrix mit erster Projektionsfläche; -
6 : ein Ablaufdiagramm zur Erzeugung einer Sicht und Darstellung auf einer Anzeigeeinrichtung; -
7 : eine Darstellung einer Sichterzeugung; -
8 : eine Darstellung eines zweiten Bordnetzes; -
9 : eine Darstellung einer zweiten Belegungsmatrix mit Höheninformationen und zweitem Fahrzeug; und -
10 eine Darstellung einer zweiten Projektionsfläche und zweiter Sicht; - In der nachfolgenden Beschreibung werden für gleiche und gleichwirkende Teile, dieselben Bezugsziffern verwendet.
- In einer ersten Ausführungsform wird eine Sicht
45 , die einen Teilausschnitt einer Fahrzeugumgebung und eines ersten Fahrzeugs10 darstellt, errechnet. -
1 zeigt eine schematische Draufsicht auf das erste Fahrzeug10 , wobei das erste Fahrzeug10 mit einer Vielzahl von Bilderfassungseinrichtungen ausgerüstet ist. Die Vielzahl von Bilderfassungseinrichtungen umfasst eine vordere Kamera31 , eine hintere Kamera32 , eine rechte Seitenkamera33 sowie eine linke Seitenkamera34 . Jede der Bilderfassungsrichtungen31 ,32 ,33 ,34 ist als eine Kamera mit CCD Sensor ausgeführt. Die Kameras31 ,32 ,33 ,34 werden benutzt, um eine Vielzahl von Aufnahmen/Bildern der Umgebung des ersten Fahrzeugs10 zu erfassen. - In der ersten Ausführung sind die vordere Kamera
31 , die hintere Kamera32 , die rechte Kamera33 und die linke Kamera34 Bestandteil eines ersten Bordnetzes20 , welches in2 schematisch dargestellt ist. Das erste Bordnetz20 umfasst weiterhin ein Display21 , einen ersten Bordcomputer23 , sowie eine erste Distanzerfassungseinrichtung24 . - Die erste Distanzerfassungseinrichtung
24 wird in der ersten Ausführung durch eine Vielzahl von an der Karosserie des ersten Fahrzeugs10 angebrachten Ultraschallsensoren umgesetzt. Die Daten der Ultraschallsensoren werden als Distanzinformationen DistData (vgl.6 ) abgegeben. - Der erste Bordcomputer
23 ist dazu ausgelegt, Rohbilddaten Img1, Img2 (vgl.6 ) der Kameras31 ,32 ,33 ,34 zu empfangen. Darüber hinaus ist der erste Bordcomputer23 dazu ausgelegt die Distanzinformationen DistData der ersten Distanzerfassungseinrichtung24 zu empfangen. - Der erste Bordcomputer
23 ist weiterhin dazu ausgelegt, eine in3 dargestellte erste Belegungsmatrix40 zu erzeugen. Die erste Belegungsmatrix40 gibt ein um das erste Fahrzeug10 herumgelegtes Raster wieder. Der erste Bordcomputer23 kann mithilfe der Distanzinformationen DistData die erste Belegungsmatrix40 füllen, wobei Einträge der ersten Belegungsmatrix40 durch Detektionen3 ,3' belegt sind, wenn in einer Entfernung zum ersten Fahrzeug10 , die durch den entsprechenden Eintrag repräsentiert ist, ein Teil eines Objekts4 detektiert wird. - Der erste Bordcomputer
23 fasst Detektionen3 ,3' , welche in der ersten Belegungsmatrix40 gespeichert sind, zu Gruppen zusammen, wobei das Zusammenfassen der Detektionen3 ,3' auf Basis von Nachbarschaftsmerkmalen in der ersten Belegungsmatrix40 erfolgt. In der ersten Ausführungsform werden solche Detektionen3 ,3' zu Gruppen zusammengefasst, welche durch keinen Leer-Eintrag der ersten Belegungsmatrix40 getrennt sind.
Der erste Bordcomputer23 legt um jede Gruppe einen ersten Mantel50 . In4 ist die erste Belegungsmatrix40 mit zwei Detektionen3 ,3' schematisch dargestellt. Aufgrund ihrer Nachbarschaft sind die beiden Detektionen3 ,3' zu einer Gruppen zusammengefasst. Um die Gruppe wird ein erster Mantel50 gelegt. Die Grundlinie des ersten Mantels50 ist in der ersten Ausführungsform durch ein Dreieck umgesetzt, wobei eine Spitze des Dreiecks von dem optischen Zentrum weg zeigt. - In weiteren Ausführungen kann die Grundlinie des Mantels als ein Polygonzug mit mehreren Stützpunkten umgesetzt sein, sodass der Polygonzug die konvexe Hülle der einschließenden Detektionen
3 ,3' bildet. - In der ersten Ausführungsform wird ferner, wie in
5 dargestellt, eine erste Projektionsfläche43 um das erste Fahrzeug10 gelegt. Dabei wird die erste Projektionsfläche43 so gewählt, dass Teilausschnitte2 des ersten Mantels50 , welche einem optischen Zentrum5 zugewandt sind, Teile der ersten Projektionsfläche43 bilden. Die Grundlinie des übrigen Teils der ersten Projektionsfläche43 hat in der ersten Ausführungsform die Form einer Ellipse, die sich um das optische Zentrum5 erstreckt. Die erste Projektionsfläche43 wird extrusionsartig aus der Grundlinie der ersten Projektionsfläche43 berechnet, sodass eine das Fahrzeug umschließende Leinwand gewonnen wird. - In der ersten Ausführungsform wird dem Fahrer des ersten Fahrzeugs
10 eine Sicht45 auf die Umgebung im Display21 angezeigt.6 zeigt, dass durch die Verwendung von Rohbilddaten Img1, Img2 und Distanzinformationen DistData durch den ersten Bordcomputer23 , die Projektionsbilddaten44 errechnet werden. -
7 zeigt im Detail, wie die Sicht45 ermittelt wird. Die Sicht45 wird durch das Projizieren der Projektionsbilddaten44 , von einem optischen Zentrum5 ausgehend, auf die erste Projektionsfläche43 errechnet. Die auf dem Display21 dargestellte Sicht45 ist ein Teilausschnitt der ersten Projektionsfläche43 , der sich aus dem Standort des optischen Zentrums5 , einem Sichtwinkelφ und einer Sichtbreiteα ergibt. Der Sichtwinkelφ ist in der ersten Ausführungsform als in einer horizontalen Ebene X, Y zum Fahrzeug10 liegender Winkel und als ein Winkel zwischen einer durch das optische Zentrum5 laufenden Längsachse und einer durch die Mitte der Sicht45 laufenden Achse definiert. Die Sichtbreiteα gibt an, wie große der dargestellte Bildausschnitt ist. Das optische Zentrum5 ist in der ersten Ausführungsform auf den Standort des Zentrums1 des ersten Fahrzeugs eingestellt. - In einer zweiten Ausführungsform ist ein zweites Fahrzeug
10' gemäß der ersten Ausführungsform und der1 ausgebildet. -
8 zeigt ein zweites Bordnetz20' des zweiten Fahrzeugs10' , dass in der zweiten Ausführungsform das Display21 , ein Rastrad22 , die Bilderfassungseinrichtungen31 ,32 ,33 ,34 , einen zweiten Bordcomputer23' und eine zweite Distanzerfassungseinrichtung24' umfasst. - In der zweiten Ausführungsform umfasst die zweite Distanzerfassungseinrichtung
24' zusätzliche zu Ultraschallsensoren, die einen Abstand in einer zum Boden parallelen Ebene X, Y messen, weitere Ultraschallsensoren. Diese weiteren Ultraschallsensoren erfassen Höheninformationen. Hierzu sind in der zweiten Ausführungsform mehrere Ultraschallsensoren an einem Standort am zweiten Fahrzeug10' in unterschiedlichen Winkeln zu einer der Bodenebene parallelen Ebene X, Y angeordnet. Dies ermöglicht das Erfassen von Distanzen in verschiedenen Höhen. Alle Ultraschallsensoren zusammen werden verwendet, um rund um das zweite Fahrzeug10' Objekte4 und deren Höhen zu erfassen. Die unterschiedlichen Messungen werden über Distanzinformationen DistData und Höhenmessungen abgegeben. - In der zweiten Ausführungsform ist die mindestens eine Recheneinheit als Teil des zweiten Bordcomputers
23' ausgebildet. Der zweite Bordcomputer23' ist weiter dazu ausgebildet, zusätzlich zu Distanzinformation DistData auch die Höheninformationen der zweiten Distanzerfassungseinrichtung24' zu empfangen. - Der zweite Bordcomputer
23' ist in der zweiten Ausführungsform weiter dazu ausgebildet, eine zweite Belegungsmatrix40' gemäß der Belegungsmatrix40 der ersten Ausführungsform zu bilden, wie in9 dargestellt. Zusätzlich zu Detektionen3 ,3' wird des Weiteren die höchste, an der Stelle der Detektion3 ,3' erfasste Höhe in den entsprechenden Einträgen in der zweiten Belegungsmatrix40' abgespeichert.
10 zeigt die zweite Belegungsmatrix40' . Der zweite Bordcomputer23' fasst gemäß der ersten Ausführungsform die Einträge der zweiten Belegungsmatrix40' zu Gruppen zusammen. Der zweite Bordcomputer23' ist weiter dazu ausgebildet, für jede Gruppe die Höhe der Detektion3 ,3' zu speichern, die den größten Wert innerhalb der Gruppe hat. - In der zweiten Ausführungsform errechnet der zweite Bordcomputer
23' gemäß der ersten Ausführungsform einen geschlossenen Polygonzug als Grundlinie eines zweiten Mantels50' . Der zweite Mantel50' weist eine Höhe entsprechend der zu der Gruppe gespeicherten maximalen Höhe auf. Der zweite Mantel50' ist also in der zweiten Ausführungsform ein die Gruppe umschließender geometrischer Körper. -
10 zeigt darüber hinaus eine zweite Projektionsfläche43' , die die Höhe des zweiten Mantels50' berücksichtigt. - In der zweiten Ausführungsform ist der Fahrer des zweiten Fahrzeugs
10' zusätzliche in der Lage, eine Sicht45 gemäß7 , welche dem Fahrer des zweiten Fahrzeugs10' auf dem Display21 angezeigt wird, zu verändern. Dies kann über eine Eingabeeinrichtung erreicht werden, die in der zweiten Ausführung als ein Rastrad22 ausgebildet ist. Durch Drehen des Rastrades22 , wird der Sichtwinkelφ verändert. So kann der Fahrer durch Drehen des Rastrades22 jeden Teil der Umgebung des zweiten Fahrzeugs10' auf Hindernisse prüfen. - In der zweiten Ausführungsform, ist die Eingabeeinrichtung weiter dazu ausgebildet, die Position des optischen Zentrums
5 zu verändern. So ist es möglich, den Standpunkt des Betrachters zu verändern, um dem Fahrer zu ermöglichen, die Umgebung von einem anderen Standpunkt aus zu betrachten. Dies ist in10 dargestellt.10 zeigt, dass das optische Zentrum5 in den vorderen Teil des zweiten Fahrzeugs10' , verschoben wurde. Dadurch ist der Fahrer in der Lage, den die Umgebungen des vorderen, rechten Teils des Fahrzeugs auf Hindernisse zu überprüfen. - Bezugszeichenliste
-
- 1
- Zentrum
- 2
- Teilausschnitt
- 3
- Detektion
- 3'
- Detektion
- 4
- Objekt
- 5
- optisches Zentrum
- 10
- erstes Fahrzeug
- 10'
- zweites Fahrzeug
- 20
- erstes Bordnetz
- 20'
- zweites Bordnetz
- 21
- Display
- 22
- Rastrad
- 23
- erster Bordcomputer
- 23'
- zweiter Bordcomputer
- 24
- erste Distanzerfassungseinrichtung
- 24'
- zweite Distanzerfassungseinrichtung
- 31
- vordere Kamera
- 32
- hintere Kamera
- 33
- rechte Seitenkamera
- 34
- linke Seitenkamera
- 43
- Projektionsfläche
- 43'
- zweite Projektionsfläche
- 44
- Projektionsbilddaten
- 45
- Sicht
- 40
- erste Belegungsmatrix
- 40'
- zweite Belegungsmatrix
- 50
- erster Mantel
- 50'
- zweiter Mantel
- φ
- Sichtwinkel
- α
- Sichtbreite
Claims (12)
- Fahrzeug (10), umfassend: - mindestens zwei Bilderfassungseinrichtungen (31, 32, 33, 34) zur Erfassung einer Umgebung und zur Abgabe von Rohbilddaten (Img1, Img2); - mindestens eine Distanzerfassungseinrichtung (24) zur Ermittlung von Distanzinformationen (DistData) mindestens eines Objekts; - mindestens eine Recheneinheit (23); - eine Anzeigeeinrichtung (21), dadurch gekennzeichnet, dass - die mindestens eine Recheneinheit (23) dazu ausgebildet ist, 1) auf Basis der Distanzinformationen (DistData) eine Belegungsmatrix (40) zu generieren, welche die Position des Objekts relativ zu einem Zentrum (1) angibt; 2) auf Basis der Belegungsmatrix (40) eine das Fahrzeug (10) zumindest teilweise umgebende Projektionsfläche (43) zu errechnen; 3) Rohbilddaten (Img1, Img2) auf die Projektionsfläche (43) zu projizieren, um Projektionsbilddaten (44) zu ermitteln; 4) auf Basis der Projektionsbilddaten (44) mindestens eine Sicht (45) zu errechnen; - die Anzeigeeinrichtung (21) dazu ausgebildet ist, zumindest einen Teilausschnitt (2) der Sicht (45) anzuzeigen.
- Fahrzeug (10) nach
Anspruch 1 , dadurch gekennzeichnet, dass die mindestens eine Recheneinheit (23) dazu ausgebildet ist: - Einträge (3,3') der Belegungsmatrix (40) zu Gruppen zusammenzufassen und mindestens einen Mantel (50) um die Gruppen zu legen; - den mindestens einen Mantel (50) bei der Berechnung der Projektionsfläche (43) zu berücksichtigen. - Fahrzeug (10) nach einem der vorgehenden Ansprüche, insbesondere nach
Anspruch 2 , dadurch gekennzeichnet, dass die mindestens eine Recheneinheit (23) dazu ausgebildet ist, Einträge (3, 3') der Belegungsmatrix (40) auf Basis von Nachbarschaftsmerkmalen zu Gruppen zusammenzufassen. - Fahrzeug (10) nach einem der vorhergehenden Ansprüche, insbesondere nach
Anspruch 2 oder3 , dadurch gekennzeichnet, dass die mindestens eine Recheneinheit (23) dazu ausgebildet ist, Einträge der Belegungsmatrix unter Berücksichtigung einer Nähebeziehung zu Gruppen zusammenzufassen. - Fahrzeug (10) nach einem der vorhergehenden Ansprüche, insbesondere nach
Anspruch 4 , dadurch gekennzeichnet, dass die mindestens eine Recheneinheit (23) dazu ausgebildet ist, Einträge (3, 3') der Belegungsmatrix zu einer Gruppe zusammenzufassen, die mindestens zwei Objekte betreffen, die einen Abstand haben, der kleiner ist als ein vorgegebener Schwellenwert, insbesondere ein Schwellenwert, der von der Breite des Fahrzeugs (10) abhängt, vorzugsweise ein Schwellenwert, der kleiner als 2 Meter ist. - Fahrzeug (10) nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (23) dazu ausgebildet ist, die Belegungsmatrix (40) mit einer Spaltenanzahl kleiner 100, vorzugsweise kleiner 50, und einer Reihenanzahl kleiner 100, vorzugsweise kleiner 50, zu generieren.
- Fahrzeug (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die mindestens eine Distanzerfassungseinrichtung (24) dazu ausgebildet ist, einen Höhenwert von mindestens einem Objekt zu erfassen; - die mindestens eine Recheneinheit (23) dazu ausgebildet ist, die erfassten Höhenwerte in der Belegungsmatrix (40) zu speichern.
- Fahrzeug (10) nach
Anspruch 7 , dadurch gekennzeichnet, dass - die mindestens eine Recheneinheit (23) dazu ausgebildet ist, unter Verwendung der Höhenwerte eine Mantelhöhe zu ermitteln; - die mindestens eine Recheneinheit (23) dazu ausgebildet ist, die Mantelhöhe bei der Berechnung der Projektionsfläche (43) zu berücksichtigen. - Fahrzeug (10) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch: eine Eingabeeinrichtung (22), insbesondere ein Rastrad, zur Eingabe eines in horizontaler Ebene (X, Y) zum Fahrzeug (10) liegenden Sichtwinkels (φ), wobei die mindestens eine Recheneinrichtung (23) dazu ausgebildet ist, den Teilausschnitt (2) der Sicht (45) oder die Sicht (45) unter Berücksichtigung des Sichtwinkels (φ) zu berechnen.
- Fahrzeug (10) nach einem der vorhegenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Recheneinheit (23) zur Errechnung von einer Vielzahl von Sichten (45) ausgebildet ist, wobei die Sichten (45) unterschiedliche optische Zentren (5) aufweisen, die vorzugsweise über eine Eingabeeinrichtung (22) eingebbar sind.
- Fahrzeug (10) nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass mindestens eine Bilderfassungseinrichtung (31, 32, 33, 34) dazu ausgebildet ist, Distanzinformationen (DistData) zur Verarbeitung in der mindestens einen Recheneinheit (23) abzugeben.
- Fahrzeug (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Distanzerfassungseinrichtung (24) mindestens einen Ultraschallsensor und/oder eine Stereokamera und/oder einen LIDAR-Sensor und/oder ein Radarsystem und/oder ein Lasermesssystem und/oder ein auf strukturiertem Licht basierenden Sensor umfasst.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014226448.0A DE102014226448B4 (de) | 2014-12-18 | 2014-12-18 | Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014226448.0A DE102014226448B4 (de) | 2014-12-18 | 2014-12-18 | Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102014226448A1 DE102014226448A1 (de) | 2016-06-23 |
DE102014226448B4 true DE102014226448B4 (de) | 2021-11-04 |
Family
ID=56099635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102014226448.0A Active DE102014226448B4 (de) | 2014-12-18 | 2014-12-18 | Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102014226448B4 (de) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016215704A1 (de) * | 2016-08-22 | 2018-02-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille |
DE102022124085A1 (de) | 2022-09-20 | 2024-03-21 | Connaught Electronics Ltd. | Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012018326A1 (de) | 2012-09-15 | 2014-03-20 | DSP-Weuffen GmbH | Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion |
US20140152781A1 (en) | 2010-11-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Display apparatus and method |
-
2014
- 2014-12-18 DE DE102014226448.0A patent/DE102014226448B4/de active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140152781A1 (en) | 2010-11-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Display apparatus and method |
DE102012018326A1 (de) | 2012-09-15 | 2014-03-20 | DSP-Weuffen GmbH | Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion |
Also Published As
Publication number | Publication date |
---|---|
DE102014226448A1 (de) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2805183B1 (de) | Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs | |
DE102013223039B4 (de) | Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes | |
EP3053133B1 (de) | Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem | |
DE102009005505B4 (de) | Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs | |
DE102010035772B4 (de) | System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs | |
DE102016220075A1 (de) | Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung | |
DE102015105248A1 (de) | Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs | |
DE102011075703A1 (de) | Verfahren und Vorrichtung zur Kalibrierung einer Projektionseinrichtung eines Fahrzeugs | |
DE102015205507B3 (de) | Rundsichtsystem für ein Fahrzeug | |
DE112017002189T5 (de) | Anzeigesteuerungsgerät | |
DE112014003459T5 (de) | Fahrzeugumgebungsüberwachungsvorrichtung und Programm | |
EP3167427A1 (de) | Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels | |
DE112018007485T5 (de) | Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens | |
EP3488607A1 (de) | Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion | |
DE102021110477A1 (de) | Dynamische anpassung eines bildes mit erweiterter realität | |
DE102020127000A1 (de) | Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen | |
EP2996327B1 (de) | Surround-view-system für fahrzeuge mit anbaugeräten | |
WO2023284920A1 (de) | Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem | |
DE102014226448B4 (de) | Fahrzeug zum Errechnen einer Sicht einer Fahrzeugumgebung | |
WO2020043475A1 (de) | Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung | |
EP3073446B1 (de) | Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges | |
DE102019200099A1 (de) | Sensorvorrichtung für ein Ego-Fahrzeug, Fahrerassistenzvorrichtung und Fahrzeug mit einer solchen Sensorvorrichtung | |
DE102020107949A1 (de) | Sichtfeldunterstützungsbild-Erzeugungsvorrichtung und Bildumwandlungsverfahren | |
DE102020117271A1 (de) | Verfahren und Vorrichtung zur Ermittlung von Objektdaten in Bezug auf ein Objekt | |
DE102021206608A1 (de) | Kamerasystem sowie Verfahren für ein Kamerasystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |