DE102015209284A1

DE102015209284A1 - A method for generating a view of a vehicle environment

Info

Publication number: DE102015209284A1
Application number: DE102015209284.4A
Authority: DE
Inventors: Raphael Cano; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-05-21
Filing date: 2015-05-21
Publication date: 2016-11-24

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung eines Fahrzeuges (2). Dieses umfasst ein Bereitstellen (S1) einer Projektionsfläche in einem virtuellen geometrischen Raum, ein Erfassen (S2) von Bildern einer Fahrzeugumgebung mittels mindestens einer Kamera, ein Erzeugen (S3) von Texturelementen aus den Bildern der Fahrzeugumgebung, ein Zuordnen (S4) einer Strukturinformation zu jedem der Texturelemente, ein Texturieren (S5) der Projektionsfläche mittels der Texturelemente, um eine texturierte Projektionsfläche zu erzeugen, und ein Berechnen (S6) einer Abbildung der texturierten Projektionsfläche gemäß einer Position einer virtuellen Kamera in dem virtuellen geometrischen Raum, wobei die Texturelemente abhängig von deren zugehöriger Strukturinformation dargestellt werden.The present invention relates to a method for generating a view of a vehicle environment of a vehicle (2). This includes providing (S1) a projection surface in a virtual geometric space, acquiring (S2) images of a vehicle environment using at least one camera, generating (S3) texture elements from the images of the vehicle environment, assigning (S4) structural information to each of the texture elements, texturing (S5) the projection surface by means of the texture elements to produce a textured projection surface, and calculating (S6) an image of the textured projection surface according to a position of a virtual camera in the virtual geometric space, the texture elements depending on their associated structure information is displayed.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung.The present invention relates to a method for generating a view of a vehicle environment.

Fahrassistenzsystem zielen darauf ab einen Fahrer beim Führen eines Fahrzeuges zu unterstützen. Ein solches Unterstützen des Fahrers kann beispielsweise die folgenden Funktionen umfassen:

– Darstellen einer Umgebung im Nahbereich des Fahrzeuges, um Zusammenstöße mit Hindernissen zu vermeiden, die nicht im unmittelbaren Blickfeld des Fahrers liegen,
– Übernehmen einiger Aufgaben des Fahrers, um den Fahrkomfort für den Fahrer zu erhöhen,
– Überwachen von Aktivitäten des Fahrers und Eingreifen bei Gefahrensituationen und/oder
– automatisiertes Fahren ohne eine notwendige Anwesenheit des Fahrers.

Driver assistance system aims to assist a driver in driving a vehicle. Such driver support may include, for example, the following functions:

Representing an environment in the vicinity of the vehicle to avoid collisions with obstacles that are not in the immediate field of vision of the driver,
- taking on some of the driver's tasks to increase ride comfort for the driver,
- Monitoring activities of the driver and intervention in dangerous situations and / or
- automated driving without a necessary presence of the driver.

Insbesondere betrifft die Erfindung ein Darstellen einer zusammengesetzten Ansicht der Fahrzeugumgebung in einem System zum Darstellen der Fahrzeugumgebung, insbesondere einem sogenannten Surround-View-System. In solchen Systemen wurden bereits Fortschritte bezüglich einer verbesserten Darstellung für den Fahrer erreicht, indem Abstandsinformationen berücksichtigt werden. Solche Abstandsinformationen werden dabei typischerweise für graphische Überlagerungen oder eine geometrische Anpassung einer Projektionsfläche genutzt.In particular, the invention relates to representing a composite view of the vehicle environment in a system for representing the vehicle environment, in particular a so-called surround-view system. Advances have already been made in such systems to improve driver performance by taking distance information into account. Such distance information is typically used for graphical overlays or a geometrical adaptation of a projection surface.

Es sind unterschiedliche Ansätze bekannt, um die Abstandsinformationen zu erfassen. Beispielsweise werden die Abstandsinformationen mittels einer computergestützten Bilderfassung, beispielsweise durch Stereokameras oder Structure-from-motion Systeme, oder mittels anderer Sensoren, beispielsweise Ultraschallsensoren oder Lidar-Sensoren, erfasst, wobei jedoch eine weiter verbesserte Nutzung der Abstandsinformationen bei einem Darstellen der Fahrzeugumgebung möglich ist. Insbesondere eine Nutzung von Bildüberlagerungen führt oft nicht zu einer realistischen Tiefendarstellung. Demgegenüber kann eine Anpassung der Projektionsfläche eine gute Tiefendarstellung verursachen, wobei dabei jedoch oftmals Bildartefakte entstehen, welche schwer zu handhaben sind.Different approaches are known to capture the distance information. For example, the distance information is detected by means of computer-aided image acquisition, for example by stereo cameras or structure-from-motion systems, or by means of other sensors, for example ultrasound sensors or lidar sensors, but a further improved utilization of the distance information is possible when the vehicle environment is displayed. In particular, a use of image overlays often does not lead to a realistic depth representation. In contrast, an adaptation of the projection surface can cause a good depth representation, but often image artifacts arise, which are difficult to handle.

Bildverarbeitungsverfahren, beispielsweise Bump-Mapping und Paralaxen-Mapping, sind aus dem Bereich der computergestützten 3D-Simulation bekannt.Image processing techniques, such as bump mapping and parallax mapping, are known in the field of computer-aided 3D simulation.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung eines Fahrzeuges umfasst ein Bereitstellen einer Projektionsfläche in einen virtuellen geometrischen Raum, ein Erfassen von Bildern einer Fahrzeugumgebung mittels mindestens einer Kamera, ein Erzeugen von Texturelementen aus den Bildern der Fahrzeugumgebung, ein Zuordnen einer Strukturinformation zu jedem der Texturelemente, ein Texturieren der Projektionsfläche mittels der Texturelemente, um eine texturierte Projektionsfläche zu erzeugen, und ein Berechnen einer Abbildung der texturierten Projektionsfläche gemäß einer Position einer virtuellen Kamera in dem virtuellen geometrischen Raum, wobei die Texturelemente abhängig von deren zugehöriger Strukturinformation dargestellt werden. Auf diese Weise wird eine verbesserte Darstellung der Fahrzeugumgebung erzeugt, welche besonders plastisch für einen Anwender wirkt und somit dessen Tiefenwahrnehmung verbessert. Dabei ist keine detaillierte Anpassung der Projektionsfläche selbst notwendig. Eine Bildberechnung, das sogenannte Rendern, erfolgt basierend auf einer statischen Projektionsfläche. Es wird eine zur Ausführung des Verfahrens benötigte Rechenleistung minimiert, wobei es insbesondere ermöglicht wird, einen Großteil der notwendigen Berechnungsschritte an einen Grafikprozessor auszulagern.The inventive method for generating a view of a vehicle environment of a vehicle comprises providing a projection surface in a virtual geometric space, capturing images of a vehicle environment using at least one camera, generating texture elements from the images of the vehicle environment, assigning structure information to each of the Texture elements, texturing the projection surface by means of the texture elements to create a textured projection surface, and calculating an image of the textured projection surface according to a position of a virtual camera in the virtual geometric space, the texture elements being presented depending on their associated texture information. In this way, an improved representation of the vehicle environment is generated, which acts particularly plastically for a user and thus improves its perception of depth. No detailed adaptation of the projection surface itself is necessary. An image calculation, called rendering, is based on a static projection surface. It minimizes a computational power required to perform the method, in particular allowing a large part of the necessary computation steps to be outsourced to a graphics processor.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Es ist vorteilhaft, wenn die Strukturinformation eine Vielzahl von Normalen umfasst, wobei jede der Normalen jeweils einem Teilbereich eines zugehörigen Texturelementes zugeordnet ist, und die Ausrichtung der Normalen entsprechend einer Struktur gewählt wird, welche durch das jeweilige Texturelement abgebildet wird. Auf diese Weise kann die Struktur auf besonders einfache Weise, beispielsweise in einem Bild, gespeichert werden. Zudem können in der berechneten Abbildung realistische Schattierungseffekte auf einfache Weise erzeugt werden.It is advantageous if the structure information comprises a multiplicity of normals, each of the normals being respectively assigned to a subarea of an associated texture element, and the orientation of the normals being selected according to a structure which is imaged by the respective texture element. In this way, the structure can be stored in a particularly simple manner, for example in an image. In addition, realistic shading effects can be easily generated in the calculated image.

Ebenso vorteilhaft ist es, wenn die Strukturinformation eine Information umfasst, welche eine räumliche Lage einzelner Teilbereiche eines Texturelementes zueinander beschreibt. Insbesondere wird die räumliche Lage der einzelnen Teilbereiche dabei durch Offsets oder den Betrag eines Vektors definiert. Auf diese Weise wird erwirkt jedes Texturelementes einen besonders plastischen Eindruck, wobei es insbesondere auch zu einer gegenseitigen Überdeckung einzelner Teilbereiche in der berechneten Abbildung kommen kann.It is equally advantageous if the structure information comprises information which describes a spatial position of individual subareas of a texture element to one another. In particular, the spatial position of the individual subregions is defined by offsets or the amount of a vector. In this way, each texture element obtains a particularly plastic impression, whereby in particular also mutual overlapping of individual partial regions in the calculated image can occur.

Auch ist es vorteilhaft, wenn das Berechnen der Abbildung ein Berechnen von Schattierungen aufweist, die sich entsprechend der Strukturinformation der Texturelemente und einer virtuellen Lichtquelle ergeben. Auf diese Weise können schwache Strukturen der Texturelemente besonders deutlich hervorgehoben werden.Also, it is advantageous when calculating the map to calculate shading which results according to the texture information of the texture elements and a virtual light source. In this way, weak structures of the texture elements can be highlighted particularly clearly.

Es ist vorteilhaft, wenn das Berechnen der Abbildung ein Berechnen von Lichtreflexionen aufweist, die sich entsprechend der Strukturinformation der Texturelemente und einer virtuellen Lichtquelle ergeben. Auf diese Weise wird eine besonders realistische Darstellung der Fahrzeugumgebung ermöglicht.It is advantageous if the calculation of the image has a calculation of light reflections which result according to the structure information of the texture elements and of a virtual light source. In this way, a particularly realistic representation of the vehicle environment is made possible.

Auch ist es vorteilhaft, wenn die Strukturinformationen, welche den Texturelementen zugeordnet werden, mittels eines Erfassens einer dem jeweiligen Texturelement zugehörigen tatsächlichen Struktur in der Fahrzeugumgebung ermittelt werden. Auf diese Weise entspricht die Strukturinformation eines Texturelementes einer tatsächlichen Struktur der in dem jeweiligen Texturelement abgebildeten Fahrzeugumgebung. Es wird somit eine besonders realistische Abbildung der Fahrzeugumgebung erzeugt.It is also advantageous if the structural information associated with the texture elements is determined by detecting an actual structure in the vehicle environment associated with the respective texture element. In this way, the texture information of a texture element corresponds to an actual structure of the vehicle environment imaged in the respective texture element. Thus, a particularly realistic illustration of the vehicle environment is generated.

Auch ist es vorteilhaft, wenn das Bereitstellen der Projektionsfläche ein Anpassen der Projektionsfläche basierend auf Tiefeninformationen umfasst, welche durch eine Fahrzeugsensorik erfasst wurden. Auf diese Weise werden Verzerrungen in der berechneten Ansicht der Fahrzeugumgebung minimiert.It is also advantageous if the provision of the projection surface comprises an adaptation of the projection surface based on depth information which has been detected by a vehicle sensor system. In this way, distortions in the calculated view of the vehicle environment are minimized.

Eine Vorrichtung zum Erzeugen einer Ansicht einer Fahrzeugumgebung, welche dazu eingerichtet ist, dass erfindungsgemäße Verfahren auszuführen, weist alle entsprechenden Vorteile des erfindungsgemäßen Verfahrens auf.A device for generating a view of a vehicle environment which is set up to carry out the method according to the invention has all the corresponding advantages of the method according to the invention.

Insbesondere ist es vorteilhaft, wenn eine solche Vorrichtung einen Grafikprozessor umfasst. Auf diese Weise wird ein besonders schnelles Abarbeiten des erfindungsgemäßen Verfahrens ermöglicht.In particular, it is advantageous if such a device comprises a graphics processor. In this way, a particularly fast execution of the method according to the invention is made possible.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawing is:

1 Ein Ablaufdiagramm des erfindungsgemäßen Verfahrens in einer ersten Ausführungsform und 1 A flowchart of the method according to the invention in a first embodiment and

2 eine schematische Abbildung eines Fahrzeuges mit einer erfindungsgemäßen Vorrichtung zum Erzeugen einer Ansicht einer Fahrzeugumgebung. 2 a schematic illustration of a vehicle with an inventive device for generating a view of a vehicle environment.

Ausführungsformen der ErfindungEmbodiments of the invention

Allgemein ist es die der Erfindung zugrundeliegende Idee, fortgeschrittene Techniken zur Bildbearbeitung, wie zum Beispiel Bumb-Mapping und Parallaxen-Mapping bei einem Erzeugen einer Ansicht einer Fahrzeugumgebung des Fahrzeuges 2 anzuwenden. Dabei sind insbesondere solche Verfahren gemeint, welche einen Tiefeneindruck der dargestellten Fahrzeugumgebung für einen Anwender erwirken. Dabei bleibt eine Projektionsfläche, auf welche die Fahrzeugumgebung projiziert wird unverändert. Insbesondere bei einer Anwendung unterschiedlicher Bildverarbeitungsverfahren, wie zum Beispiel dem Parallaxen-Mapping und dem Bump-Mapping, wird ein besonders starker Tiefeneindruck erzeugt, wobei jedoch keine dynamischen und somit auch aufwendigen geometrischen Strukturen zum Bereitstellen einer Projektionsfläche für die Bildbearbeitung erzeugt werden müssen.In general, the idea underlying the invention is advanced image-processing techniques such as Bumb-Mapping and Parallax Mapping in generating a view of a vehicle environment of the vehicle 2 apply. In particular, those methods are meant which obtain a depth impression of the illustrated vehicle environment for a user. In this case, a projection surface on which the vehicle environment is projected remains unchanged. In particular, in an application of different image processing methods, such as parallax mapping and bump mapping, a particularly strong depth impression is generated, but no dynamic and therefore complex geometric structures for providing a projection surface for image processing must be generated.

1 zeigt ein Ablaufdiagramm eines Verfahrens zum Erzeugen einer Ansicht einer Fahrzeugumgebung gemäß einer ersten Ausführungsform der Erfindung. Das Verfahren wird von einer Vorrichtung 1 zum Erzeugen einer Ansicht einer Fahrzeugumgebung eines Fahrzeuges 2 ausgeführt. 2 zeigt dazu eine schematische Abbildung des Fahrzeuges 2 mit der Vorrichtung 1 zum Erzeugen einer Ansicht einer Fahrzeugumgebung. 1 FIG. 12 is a flowchart of a method for generating a view of a vehicle environment according to a first embodiment of the invention. FIG. The method is by a device 1 for generating a view of a vehicle environment of a vehicle 2 executed. 2 shows a schematic illustration of the vehicle 2 with the device 1 for generating a view of a vehicle environment.

Das Verfahren wird gestartet, sobald die Vorrichtung 1 in Betrieb genommen wird. Nach einem Starten des Verfahrens wird zunächst ein erster Schritt S1 ausgeführt.The procedure is started as soon as the device 1 is put into operation. After starting the method, first a first step S1 is executed.

In dem ersten Schritt S1 erfolgt ein Bereitstellen einer Projektionsfläche 10 in einem virtuellen geometrischen Raum. Der virtuelle geometrische Raum wird beispielsweise durch ein dreidimensionales Koordinatensystem gebildet, dessen Ursprung eine Position des Fahrzeuges 2 repräsentiert. Objekte in der Fahrzeugumgebung können beispielsweise durch Vektoren in dem dreidimensionalen Koordinatensystem dargestellt werden. Ein im Bereich des Ursprungs des dreidimensionalen Koordinatensystems angeordnetes virtuelles Abbild des Fahrzeuges 2 wird in dem virtuellen geometrischen Raum von der Projektionsfläche 10 umhüllt.In the first step S1, a projection surface is provided 10 in a virtual geometric space. The virtual geometric space is formed for example by a three-dimensional coordinate system whose origin is a position of the vehicle 2 represents. Objects in the vehicle environment can be represented, for example, by vectors in the three-dimensional coordinate system. An arranged in the region of the origin of the three-dimensional coordinate system virtual image of the vehicle 2 is in the virtual geometric space of the projection screen 10 envelops.

Die Projektionsfläche 10 ist ebenfalls in 2 dargestellt, um das Verständnis der Erfindung zu erleichtern. Es wird nochmals darauf verwiesen, dass sich die Projektionsfläche 10 nicht in der tatsächlichen, real existenten Umgebung des Fahrzeuges befindet, sondern lediglich in dem virtuellen geometrischen Raum, welcher die tatsächliche Fahrzeugumgebung repräsentiert.The projection screen 10 is also in 2 to facilitate the understanding of the invention. It is again referred to that the projection screen 10 not in the actual real environment of the vehicle, but only in the virtual geometric space representing the actual vehicle environment.

Nach dem ersten Schritt S1 wird ein zweiter Schritt S2 ausgeführt. After the first step S1, a second step S2 is executed.

In dem zweiten Schritt S2 erfolgt ein Erfassen von Bildern der Fahrzeugumgebung mittels mindestens einer Kamera. Dazu sind in dieser ersten Ausführungsform vier Kameras 3, 4, 5, 6 an dem Fahrzeug 2 angeordnet. Eine erste Kamera 3 ist an einem rechten Außenspiegel des Fahrzeuges 2 angeordnet und erfasst einen Bereich rechts neben dem Fahrzeug 2. Eine zweite Kamera 4 ist an der Front des Fahrzeuges 2 angeordnet und erfasst einen Bereich vor dem Fahrzeug 2. Eine dritte Kamera 5 ist an einem linken Außenspiegel des Fahrzeuges 2 angeordnet und erfasst einen Bereich links neben dem Fahrzeug 2. Eine vierte Kamera 6 ist an einem Fahrzeugheck des Fahrzeuges 2 angeordnet und erfasst einen Bereich hinter dem Fahrzeug 2. Jede der vier Kameras 3, 4, 5, 6 ist mit der Vorrichtung 1 über jeweils eine Datenleitung gekoppelt. Die von den vier Kameras 3, 4, 5, 6 erfassten Bilder werden an die Vorrichtung 1 übertragen. Nach dem zweiten Schritt S2 wird ein dritter Schritt S3 ausgeführt.In the second step S2, capturing images of the vehicle surroundings by means of at least one camera takes place. For this purpose, in this first embodiment, four cameras 3 . 4 . 5 . 6 on the vehicle 2 arranged. A first camera 3 is on a right side mirror of the vehicle 2 arranged and detects an area to the right of the vehicle 2 , A second camera 4 is at the front of the vehicle 2 arranged and detects an area in front of the vehicle 2 , A third camera 5 is on a left side mirror of the vehicle 2 arranged and detects an area to the left of the vehicle 2 , A fourth camera 6 is at a vehicle rear of the vehicle 2 arranged and detects an area behind the vehicle 2 , Each of the four cameras 3 . 4 . 5 . 6 is with the device 1 coupled via a respective data line. The one from the four cameras 3 . 4 . 5 . 6 Captured images are sent to the device 1 transfer. After the second step S2, a third step S3 is executed.

In dem dritten Schritt S3 erfolgt ein Erzeugen von Texturelementen aus den Bildern der Fahrzeugumgebung. Dazu wird aus den Bildern, die mittels der vier Kameras 3, 4, 5, 6 erfasst wurden, eine Vielzahl von Texturelementen erzeugt. Jedes der Texturelemente bildet dabei einen Ausschnitt der Fahrzeugumgebung ab, wobei ein Texturelement auch aus Bildanteilen mehrerer der Kameras 3, 4, 5, 6 erzeugt werden kann. Eine Größe und Form der Texturelemente kann dabei fest vorgegeben oder variabel sein. In dieser ersten Ausführungsform sei die Größe und Form der Texturelemente fest vorgegeben. In the third step S3, texture elements are generated from the images of the vehicle surroundings. This is done from the pictures taken by the four cameras 3 . 4 . 5 . 6 were detected, a variety of texture elements generated. In this case, each of the texture elements forms a section of the vehicle environment, whereby a texture element also comprises image parts of several of the cameras 3 . 4 . 5 . 6 can be generated. A size and shape of the texture elements can be fixed or variable. In this first embodiment, the size and shape of the texture elements is fixed.

2 zeigt dazu beispielhaft ein erstes Texturelement 11, welches im späteren Verlauf des Verfahrens auf der Projektionsfläche 10 angeordnet wird. Das erste Texturelement 11 wurde dabei aus dem Bild der zweiten Kamera 4 erzeugt, da diese den dem Texturelement 11 zugehörigen Bereich der Fahrzeugumgebung erfasst. 2 shows by way of example a first texture element 11 , which later in the process on the projection screen 10 is arranged. The first texture element 11 it was from the picture of the second camera 4 generated, since this the texture element 11 associated area of the vehicle environment.

Nach dem dritten Schritt S3 wird ein vierter Schritt S4 ausgeführt.After the third step S3, a fourth step S4 is executed.

In dem vierten Schritt S4 erfolgt ein Zuordnen einer Strukturinformation zu jedem der Texturelemente. Dazu wird zunächst die Strukturinformation ermittelt. Die Strukturinformation ist eine Information, welche eine räumliche Beschaffenheit der Fahrzeugumgebung beschreibt. Um eine Strukturinformation für ein Texturelement zu erzeugen ist es somit zunächst notwendig, die räumliche Beschaffenheit der Fahrzeugumgebung zu erfassen. Die räumliche Beschaffenheit der Fahrzeugumgebung wird in dieser ersten Ausführungsform durch eine Fahrzeugsensorik des Fahrzeuges 2 erfasst. Die Fahrzeugsensorik ist dabei eine Sensorik, die dazu geeignet ist, einen Abstand von Objekten in der Fahrzeugumgebung bezüglich des Fahrzeuges 2 zu messen. Beispiele für eine solche Fahrzeugsensorik sind Kamerasysteme, insbesondere Stereokamerasysteme, Ultraschallsysteme, Lidar-Systeme oder auch eine Kombination dieser Systeme. In dieser ersten Ausführungsform der Erfindung umfasst die Fahrzeugsensorik einen ersten Ultraschallsensor 8a, einen zweiten Ultraschallsensor 8b, einen dritten Ultraschallsensor 8c und einen vierten Ultraschallsensor 8d, welche jeweils an an einer Front des Fahrzeuges 2 angeordnet sind. An dem Fahrzeug 2 sind weitere Ultraschallsensoren angeordnet, welche von der Fahrzeugsensorik umfasst werden und die Fahrzeugumgebung in den Bereichen erfassen, die nicht von dem ersten bis vierten Ultraschallsensor 8a, 8b, 8c, 8d erfasst werden.In the fourth step S4, a structure information is assigned to each of the texture elements. For this purpose, the structure information is first determined. The structure information is information describing a spatial condition of the vehicle environment. In order to generate structure information for a texture element, it is therefore necessary first to detect the spatial nature of the vehicle environment. The spatial nature of the vehicle environment is in this first embodiment by a vehicle sensor system of the vehicle 2 detected. The vehicle sensor system is a sensor that is suitable for a distance of objects in the vehicle environment with respect to the vehicle 2 to eat. Examples of such a vehicle sensor system are camera systems, in particular stereo camera systems, ultrasound systems, lidar systems or even a combination of these systems. In this first embodiment of the invention, the vehicle sensor system comprises a first ultrasonic sensor 8a , a second ultrasonic sensor 8b , a third ultrasonic sensor 8c and a fourth ultrasonic sensor 8d , which are each on at a front of the vehicle 2 are arranged. On the vehicle 2 further ultrasonic sensors are arranged, which are covered by the vehicle sensor system and detect the vehicle environment in the areas that are not from the first to fourth ultrasonic sensor 8a . 8b . 8c . 8d be recorded.

Durch den ersten bis vierten Ultraschallsensor 8a, 8b, 8c, 8d wird eine Form von Objekten, die sich vor dem Fahrzeug 2 befinden, und ein Abstand dieser Objekte zu dem Fahrzeug 2 und somit die räumliche Beschaffenheit der Fahrzeugumgebung ermittelt. Dies ist beispielhaft in 2 gezeigt. Dort befindet sich ein erstes Objekt 9 vor der Front des Fahrzeuges 2. Die Form eines ersten Objekts 9 und dessen Abstand zu dem Fahrzeug 2 wird durch den ersten bis vierten Ultraschallsensor 8a, 8b, 8c, 8d erfasst. Das erste Objekt 9 befindet sich dabei in einem Bereich der Fahrzeugumgebung, welcher durch das erste Texturelement 11 abgebildet wird. Die Strukturinformation, welche dem ersten Texturelement 11 zugeordnet wird ergibt sich somit aus der Form des ersten Objektes sowie dessen Anordnung gegenüber dem Fahrzeug 2. Für die Bereiche des Texturelementes 11, in denen nicht das erste Objekt 9 dargestellt wird, ergibt sich die Stukturinformation aus anderen, in diesen Bereichen dargestellten Objekten oder aus vorgegebenen Werten, falls von der Fahrzeugsensorik kein Objekt in diesem Bereich erfasst werden kann.Through the first to fourth ultrasonic sensor 8a . 8b . 8c . 8d becomes a form of objects that are in front of the vehicle 2 and a distance of these objects to the vehicle 2 and thus determines the spatial condition of the vehicle environment. This is exemplary in 2 shown. There is a first object 9 in front of the front of the vehicle 2 , The shape of a first object 9 and its distance to the vehicle 2 is through the first to fourth ultrasonic sensor 8a . 8b . 8c . 8d detected. The first object 9 is located in an area of the vehicle environment, which through the first texture element 11 is shown. The structure information corresponding to the first texture element 11 is assigned thus results from the shape of the first object and its arrangement relative to the vehicle 2 , For the areas of the texture element 11 in which not the first object 9 is displayed, the structure information results from other objects shown in these areas or from predetermined values, if no object can be detected in this area by the vehicle sensor system.

In dieser ersten Ausführungsform umfasst die Strukturinformation eine Vielzahl von Normalen, wobei jede der Normalen jeweils einem Teilbereich eines zugehörigen Texturelementes zugeordnet ist. Eine Ausrichtung der Normalen wird entsprechend der zuvor erfassten tatsächlichen Struktur der Fahrzeugumgebung gewählt, welche durch das jeweilige Texturelement abgebildet wird. In dieser ersten Ausführungsform wird die Ausrichtung jeder Normalen dabei derart gewählt, dass diese, wenn sie aus dem geometrischen Raum in die tatsächliche Fahrzeugumgebung übertragen wird, senkrecht auf dem zugehörigen Bereich der tatsächlichen Struktur der Fahrzeugumgebung steht, der durch den entsprechenden Teilbereich des jeweiligen Texturelementes dargestellt wird. Die Strukturinformation wird hier so gewählt, dass auf deren Basis ein Bump-Mapping-Verfahren ausgeführt werden kann.In this first embodiment, the structure information comprises a plurality of normals, each of the normals being respectively associated with a subregion of an associated texture element. An alignment of the normals is selected according to the previously detected actual structure of the vehicle environment, which is mapped by the respective texture element. In this first embodiment, the orientation of each normal is chosen such that, when transferred from the geometric space into the actual vehicle environment, it is perpendicular to the associated area of the actual structure of the vehicle environment represented by the corresponding subarea of the respective texture element becomes. The structure information is chosen here, on the basis of which a bump-mapping method can be carried out.

Alternativ oder zusätzlich umfasst die Strukturinformation eine Information, welche eine räumliche Lage einzelner Teilbereiche eines Texturelementes zueinander beschreibt. Dies erfolgt beispielsweise, indem jedem der einzelnen Teilbereiche und somit jeder Normalen ein Offsetwert zugeordnet wird. Der Offsetwert ergibt sich dabei aus dem durch die Fahrzeugsensorik erfassten Abstand zwischen der tatsächlichen Struktur der Fahrzeugumgebung und dem Fahrzeug, also aus einem Abstand zwischen den in der Fahrzeugumgebung befindlichen Objekten und dem Fahrzeug 2. Die Strukturinformation wird damit so gewählt, dass auf deren Basis ein Paralaxen-Mapping ausgeführt werden kann.Alternatively or additionally, the structure information comprises information which describes a spatial position of individual subareas of a texture element to one another. This is done, for example, by assigning an offset value to each of the individual subareas and thus to each normal. The offset value results from the distance between the actual structure of the vehicle environment and the vehicle detected by the vehicle sensor system, that is, from a distance between the objects in the vehicle environment and the vehicle 2 , The structure information is thus chosen so that based on a paralax mapping can be performed.

Nach dem vierten Schritt S4 wird ein fünfter Schritt S5 ausgeführt. After the fourth step S4, a fifth step S5 is executed.

In dem fünften Schritt S5 erfolgt ein Texturieren der Projektionsfläche mittels der Texturelemente, um eine texturierte Projektionsfläche zu erzeugen. Dazu werden die einzelnen Texturelemente auf die Projektionsfläche gelegt. Dabei werden die Texturelemente so auf die Projektionsfläche gelegt, dass aus Sicht des Fahrzeugmodells die Fahrzeugumgebung in dem virtuellen geometrischen Raum korrekt abgebildet wird. Nach dem fünften Schritt S5 wird ein sechster Schritt S6 ausgeführt.In the fifth step S5, a texturing of the projection surface by means of the texture elements takes place in order to produce a textured projection surface. For this, the individual texture elements are placed on the projection surface. The texture elements are placed on the projection surface in such a way that, from the perspective of the vehicle model, the vehicle surroundings are correctly imaged in the virtual geometric space. After the fifth step S5, a sixth step S6 is executed.

In dem sechsten Schritt S6 erfolgt ein Berechnen einer Abbildung der texturierten Projektionsfläche gemäß einer Position einer virtuellen Kamera in dem virtuellen geometrischen Raum, wobei die Texturelemente abhängig von deren zugehöriger Strukturinformation dargestellt werden. Dabei wird zunächst eine virtuelle Lichtquelle in dem virtuellen geometrischen Raum angeordnet. Ferner wird eine Position der virtuellen Kamera in dem virtuellen geometrischen Raum gewählt.In the sixth step S6, an image of the textured projection surface is calculated according to a position of a virtual camera in the virtual geometric space, wherein the texture elements are displayed as a function of their associated structure information. In this case, first of all a virtual light source is arranged in the virtual geometric space. Further, a position of the virtual camera in the virtual geometric space is selected.

Nun wird ein Bild aus der Sicht der virtuellen Kamera errechnet. Dabei wird jedes der Texturelemente, welches in dem Blickfeld der virtuellen Kamera liegt entsprechend seiner Position in dem virtuellen geometrischen Raum und entsprechend seiner Verformung gemäß der Projektionsfläche abgebildet.Now a picture is calculated from the perspective of the virtual camera. In this case, each of the texture elements which lies in the field of view of the virtual camera is imaged according to its position in the virtual geometric space and according to its deformation according to the projection surface.

Dabei wird auf jedes der Texturelemente eine Schattierung gelegt, welche mittels der Strukturinformation des jeweiligen Texturelementes und entsprechend der Position der virtuellen Lichtquelle gegenüber dem jeweiligen Texturelement ermittelt wird. So wird in dieser Ausführungsform ein Schattierungsgrad entsprechend einer Ausrichtung der in den Strukturinformationen gespeicherten Normalen gewählt. Je mehr eine Normale auf die virtuelle Lichtquelle gerichtet ist, desto geringer wird der Schattierungsgrad gewählt. Der Schattierungsgrad ist ein Helligkeitswert, um den der zugehörige Teil des Texturelementes aufgehellt oder abgedunkelt wird, wenn dieser bei dem Abbilden der texturierten Projektionsfläche dargestellt wird. Dies erfolgt entsprechend eines Bump-Mappings.In this case, a shading is applied to each of the texture elements, which is determined by means of the structure information of the respective texture element and corresponding to the position of the virtual light source relative to the respective texture element. Thus, in this embodiment, a shading degree corresponding to an orientation of the normals stored in the texture information is selected. The more a normal is directed to the virtual light source, the lower the level of shading is chosen. The degree of shading is a brightness value by which the associated part of the texture element is lightened or darkened when it is displayed in the mapping of the textured screen. This is done according to a bump mapping.

Umfasst die Strukturinformation zudem eine Information, welche eine räumliche Lage einzelner Teilbereiche eines Texturelementes zueinander beschreibt, wie zum Beispiel die zuvor beschriebenen Offsetwerte, so kann basierend auf dem Offsetwert und der Lage des jeweiligen Texturelementes gegenüber der virtuellen Kamera eine Verzerrung der Texturelemente ermittelt werden. Dies erfolgt entsprechend eines Parallaxen-Mappings.If the structural information also includes information describing a spatial position of individual subregions of a texture element to one another, such as the previously described offset values, a distortion of the texture elements can be determined based on the offset value and the position of the respective texture element in relation to the virtual camera. This is done according to a parallax mapping.

Alternativ oder zusätzlich erfolgt ein Berechnen von Lichtreflexionen, die sich entsprechend der Strukturinformationen der Texturelemente und der virtuellen Lichtquelle ergeben. Eine Lichtreflexion wird beispielsweise dann dargestellt, wenn die Normale eines Teilbereiches eines Texturelementes derart ausgerichtet ist, dass ein Strahlengang zwischen der virtuellen Lichtquelle und der virtuellen Kamera entsteht. Die berechnete Abbildung der Fahrzeugumgebung wird auf einem Bildschirm 7 im Innenraum des Fahrzeuges 2 dargestellt.Alternatively or additionally, there is a calculation of light reflections, which result according to the structural information of the texture elements and the virtual light source. A light reflection is displayed, for example, when the normal of a subarea of a texture element is aligned in such a way that a beam path arises between the virtual light source and the virtual camera. The calculated image of the vehicle environment is displayed on a screen 7 in the interior of the vehicle 2 shown.

Nach dem Ausführen des sechsten Schrittes S6 verzweigt das Verfahren zurück auf den ersten Schritt S1 und wird somit in einer Schleife ausgeführt.After performing the sixth step S6, the process branches back to the first step S1 and is thus executed in a loop.

In weiteren Ausführungsformen wird die Strukturinformation nicht mittels einer Fahrzeugsensorik erfasst, sondern wird durch vorgegebene Informationen bereitgestellt und dem jeweiligen Texturelement zugeteilt. So könnte beispielsweise für eine Fahrbahnoberflache eine typische Strukturinformation bereitgestellt werden, die nicht durch die Fahrzeugsensorik erfasst wird. Eine Kombination mit der ersten Ausführungsform ist ebenfalls möglich, was zu einer Kombination von vorgegebenen Strukturinformationen und Strukturinformationen, die auf den Messwerten einer Fahrzeugsensorik basieren, führt.In further embodiments, the structure information is not detected by means of a vehicle sensor system, but is provided by predetermined information and allocated to the respective texture element. For example, for a road surface, typical structural information that is not detected by the vehicle sensor system could be provided. A combination with the first embodiment is also possible, which leads to a combination of predetermined structural information and structural information based on the measured values of a vehicle sensor system.

Es wird explizit darauf hingewiesen, dass eine örtliche Auflösung der Strukturinformationen sowie eine Größe der Texturelemente nicht eingeschränkt ist. Sowohl eine sehr hohe als auch eine sehr niedrige Auflösung der Strukturinformationen ist vorteilhaft. Selbiges gilt für die Größe der Texturelemente.It is explicitly pointed out that a local resolution of the structure information as well as a size of the texture elements is not restricted. Both a very high and a very low resolution of the structural information is advantageous. The same applies to the size of the texture elements.

Die Erfindung somit basiert darauf, zunächst eine statische Geometrie und zugehörige Ausgangstexturen für eine Bildbearbeitung bereit zu stellen, wie dies in dem ersten Schritt S1 und dem fünften Schritt S5 erfolgt. Dabei werden Bilddaten von an dem Fahrzeug 2 angeordneten Kameras 3, 4, 5, 6, welche insbesondere Surround-View-Kameras sind, in den Speicher einer Bildbearbeitungseinheit geladen. Ferner wird dann, wie in dem vierten Schritt S4 beschrieben, eine Strukturinformation, die zu den Bildern der Kameras korrespondiert, erfasst und ebenfalls in dem Speicher der Bildbearbeitungseinheit geladen. Insbesondere sei vermerkt, dass es vorteilhaft ist, die Strukturinformation in Form einer Tiefenkarte zu speichern. Dabei werden die Normalen der Texturelemente basierend auf der Tiefenkarte ausgerichtet. Diese werden dann für eine Helligkeitsberechnung genutzt. Bei einem Schattieren werden die Offsetwerte der zweidimensionalen Texturelemente herangezogen, die einen Wechsel der Betrachtungsrichtung aus Sicht der virtuellen Kamera annähern. Dies erfolgt ebenfalls basierend auf den Strukturinformationen.The invention is therefore based on first providing a static geometry and associated output textures for image processing, as is done in the first step S1 and the fifth step S5. This image data from on the vehicle 2 arranged cameras 3 . 4 . 5 . 6 , which are in particular surround-view cameras, loaded into the memory of an image processing unit. Further, as described in the fourth step S4, structure information corresponding to the images of the cameras is detected and also loaded in the memory of the image processing unit. In particular, it should be noted that it is advantageous to store the structure information in the form of a depth map. In doing so, the normals of the texture elements are aligned based on the depth map. These are then used for a brightness calculation. In the case of shading, the offset values of the two-dimensional texture elements are used which approximate a change of the viewing direction from the perspective of the virtual camera. This is also done based on the structure information.

Claims

Method for generating a view of a vehicle environment of a vehicle ( 2 ), comprising: - providing (S1) a projection surface in a virtual geometric space, - acquiring (S2) images of a vehicle environment using at least one camera, - generating (S3) texture elements from the images of the vehicle environment, - associating (S4) one Structure information on each of the texture elements, - texturing (S5) the projection surface by means of the texture elements to produce a textured projection surface, and - calculating (S6) an image of the textured projection surface according to a position of a virtual camera in the virtual geometric space, wherein the texture elements depending on their associated structure information.

A method according to claim 1, characterized in that the structure information comprises a plurality of normals, each of the normals being respectively associated with a portion of an associated texture element, and the orientation of the normals being selected according to a structure which is imaged by the respective texture element.

Process according to one of the preceding claims, characterized in that the structure information comprises information describing a spatial position of individual portions of a texture element to each other.

Method according to one of the preceding claims, characterized in that the calculating (S6) of the mapping comprises calculating shading which results according to the texture information of the texture elements and a virtual light source.

A method according to any one of the preceding claims, characterized in that the calculating (S6) of the mapping comprises calculating light reflections resulting according to the texture information of the texture elements and a virtual light source.

Method according to one of the preceding claims, characterized in that the structural information associated with the texture elements is determined by detecting an actual structure in the vehicle environment associated with the respective texture element.

Method according to one of the preceding claims, characterized in that the providing (S1) of the projection surface comprises an adaptation of the projection surface based on depth information which has been detected by a vehicle sensor system.

Contraption ( 1 ) for generating a view of a vehicle environment of a vehicle ( 2 ), the apparatus being adapted to carry out the method according to one of the preceding claims.

Apparatus according to claim 8, wherein the device ( 1 ) comprises a graphics processor.