DE102013010233B4

DE102013010233B4 - A method of displaying environmental information in a vehicle and a display system for a vehicle

Info

Publication number: DE102013010233B4
Application number: DE102013010233.2A
Authority: DE
Inventors: Alexander Urban; Claudia Prauße; Stephan Max
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2013-06-18
Filing date: 2013-06-18
Publication date: 2018-08-30
Anticipated expiration: 2033-06-19
Also published as: DE102013010233A1; WO2014202496A1

Abstract

Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug, wobei das Verfahren umfasst:
- Erfassen einer ersten Bildinformation einer Umgebung (30) des Fahrzeugs (10) mit mindestens einer Bilderfassungsvorrichtung (12, 13) des Fahrzeugs (10) an einer ersten Position des Fahrzeugs (10),
- Bewegen des Fahrzeugs (10) von der ersten Position zu einer zweiten Position, welche unterschiedlich zu der ersten Position ist,
- Erfassen einer zweiten Bildinformation der Umgebung (30) mit der mindestens einen Bilderfassungsvorrichtung (12, 13) an der zweiten Position des Fahrzeugs (10),
- Erstellen eines Abbilds eines Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) in Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation, wobei das Abbild zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation umfasst, und
- Darstellen des Abbilds des Umgebungsbereichs auf einer Anzeigevorrichtung (14) des Fahrzeugs (10), gekennzeichnet durch:
- Bestimmen von bewegten und statischen Objekten (31-35) in der ersten Bildinformation und der zweiten Bildinformation, und
- Erstellen des Abbilds des Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) in Abhängigkeit von den bewegten und statischen Objekten (31-35), wobei die bewegten Objekte in dem Abbild des Umgebungsbereichs nur anhand der zuletzt erfassten Bildinformation dargestellt werden.

A method of displaying environmental information in a vehicle, the method comprising:
Acquiring first image information of an environment (30) of the vehicle (10) with at least one image capture device (12, 13) of the vehicle (10) at a first position of the vehicle (10),
Moving the vehicle (10) from the first position to a second position which is different from the first position,
Detecting second image information of the environment (30) with the at least one image capture device (12, 13) at the second position of the vehicle (10),
- generating an image of a surrounding area of the environment (30) of the vehicle (10) in dependence on the first image information and the second image information, wherein the image comprises at least a portion of the first image information and a portion of the second image information, and
Displaying the image of the surrounding area on a display device (14) of the vehicle (10), characterized by:
Determining moving and static objects (31-35) in the first image information and the second image information, and
- Creating the image of the surrounding area of the environment (30) of the vehicle (10) in response to the moving and static objects (31-35), wherein the moving objects are represented in the image of the surrounding area only on the basis of the last acquired image information.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs auf einer Anzeigevorrichtung des Fahrzeugs, insbesondere in einer Draufsicht von oben, welche das Fahrzeug in der Umgebung darstellt. Die vorliegende Erfindung betrifft weiterhin ein entsprechendes Anzeigesystem für ein Fahrzeug.The present invention relates to a method for displaying environmental information of a vehicle on a display device of the vehicle, in particular in a plan view from above, which represents the vehicle in the environment. The present invention further relates to a corresponding display system for a vehicle.

Um einen Fahrer eines Fahrzeugs, wie zum Beispiel eines Personenkraftwagens oder eines Lastkraftwagens, beim Einparken des Fahrzeugs zu unterstützen, werden Anzeigesysteme in den Fahrzeugen verbaut, welche eine Abbildung einer Umgebung des Fahrzeugs auf einer Anzeigevorrichtung in dem Fahrzeug darstellen. Besonders vorteilhaft sind dabei sogenannte Area-View-Systeme, welche mit Hilfe mehrerer Kameras und einer Bildverarbeitungseinheit eine Draufsicht oder Vogelperspektivansicht des Fahrzeugs von oben mit der umliegenden Umgebung darstellen. Derartige Systeme sind sehr hilfreich für den Fahrer, sind jedoch bedingt durch das verteilte Kamerasystem verhältnismäßig aufwendig und kostenintensiv. Ein derartiges System mit beispielsweise vier Kameras, welche an einer Vorderseite des Fahrzeugs, an einer Rückseite des Fahrzeugs sowie an den Seitenspiegeln des Fahrzeugs angebracht sind, ist aus der EP 1 701 306 B1 bekannt. Das System umfasst eine Anzeigevorrichtung, die in einem Fahrzeug vorgesehen ist, und eine Mehrzahl von Bilderfassungsvorrichtungen, die im Hinblick auf die horizontale Ebene auf den vorderen, hinteren, rechten und linken Bereichen des Fahrzeugs in jeweiligen Neigungswinkeln angebracht sind. Die Bilderfassungsvorrichtungen nehmen Bilder um das Fahrzeug herum auf. Eine Rundumvogelperspektivbild-Erzeugungseinrichtung erzeugt ein erstes Rundumvogelperspektivbild, wenn das Fahrzeug vorwärts gefahren wird, und ein zweites Rundumvogelperspektivbild, wenn das Fahrzeug rückwärts gefahren wird.In order to assist a driver of a vehicle, such as a passenger car or a truck, when parking the vehicle, display systems are installed in the vehicles that depict an environment of the vehicle on a display device in the vehicle. Particularly advantageous are so-called area-view systems, which represent with the aid of several cameras and an image processing unit, a plan view or bird's eye view of the vehicle from above with the surrounding environment. Such systems are very helpful to the driver, but are relatively expensive and expensive due to the distributed camera system. Such a system with, for example, four cameras, which are mounted on a front side of the vehicle, on a rear side of the vehicle and on the side mirrors of the vehicle, is known from US Pat EP 1 701 306 B1 known. The system includes a display device provided in a vehicle and a plurality of image sensing devices mounted at respective inclination angles with respect to the horizontal plane on the front, rear, right and left regions of the vehicle. The image capture devices capture images around the vehicle. A bird's eye view image generator generates a first bird's eye view image when the vehicle is driven forward, and a second bird's eye view image when the vehicle is reversed.

Weiterhin ist aus der DE 10 2010 013 093 A1 ein Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs bekannt. Dabei wird mit Hilfe einer Kamera das Umfeld in Fahrtrichtung des Fahrzeugs erfasst und mehrere Bilder des Umfelds werden erzeugt. Mittels dieser Bilder werden dreidimensionale Strukturen und deren Position in dem Umfeld erfasst, indem eine Bewegung dieser Strukturen innerhalb einer aus den mehreren Bilder bestehenden Bildsequenz verfolgt wird. Informationen über Strukturen werden in eine zweidimensionale zellenbasierte Karte des Umfelds übertragen. Jeder Zelle der Karte wird eine Information zugewiesen, ob diese Zelle mit einem durch die Strukturen repräsentierten Objekt belegt ist. Furthermore, from the DE 10 2010 013 093 A1 a method for creating a model of an environment of a vehicle is known. With the help of a camera, the environment in the direction of travel of the vehicle is detected and several images of the environment are generated. By means of these images, three-dimensional structures and their position in the environment are detected by tracking a movement of these structures within an image sequence consisting of the several images. Information about structures is transferred to a two-dimensional cell-based map of the environment. Each cell of the map is assigned an information as to whether this cell is occupied by an object represented by the structures.

Die DE 101 149 32 B4 betrifft eine dreidimensionale Umfelderfassung, insbesondere zur Detektion von Parklücken. Ein Entfernungssensor erzeugt eine Abfolge von zweidimensionalen Entfernungsprofilen. Aus einer Aneinanderreihung einer aufeinander folgenden Menge von Entfernungsprofilen wird ein dreidimensionales Abbild der Umgebung erzeugt und ein zurückgelegter Weg des Straßenfahrzeugs zwischen den einzelnen erzeugten Entfernungsprofilen bestimmt.The DE 101 149 32 B4 relates to a three-dimensional environment detection, in particular for the detection of parking spaces. A distance sensor generates a sequence of two-dimensional distance profiles. From a juxtaposition of a successive set of distance profiles, a three-dimensional image of the environment is generated and a distance traveled by the road vehicle between the individual generated distance profiles is determined.

Die DE 10 2009 019 024 A1 betrifft ein Verfahren zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren eines Fahrzeugs. Dabei werden Objekte in einem Umfeld des Fahrzeugs erfasst und ein Kollisionsgefahr anzeigendes Reaktionssignal erzeugt, wenn beim Öffnen zumindest einer Fahrzeugtür eine Kollisionsgefahr mit zumindest einem der erfassten Objekte besteht. Eine Umfeldsensorik erfasst die Objekte während einer Vorbeifahrt des Fahrzeugs und bestimmt deren Positionen und Abmessungen.The DE 10 2009 019 024 A1 relates to a method for avoiding collisions when opening vehicle doors of a vehicle. In this case, objects in an environment of the vehicle are detected and a collision risk indicating reaction signal is generated when there is a risk of collision with at least one of the detected objects when opening at least one vehicle door. An environment sensor detects the objects as the vehicle passes by and determines their positions and dimensions.

Die DE 69 515 087 T2 betrifft ein visuelles Abbildungssystem zur elektronischen Abbildung und Bearbeitung eines halbkugelförmigen Sichtfeldes. Eine Kamera empfängt optische Bilder eines halbkugelförmigen Sichtfeldes und erzeugt Ausgangssignale, die den optischen Bildern entsprechen. Ein Bild von Randbereichen des halbkugelförmigen Sichtfeldes wird erfasst und verbessert und ein Teil des Sichtfeldes in einem Bereich von ungefähr 1 bis 45° oberhalb des Horizonts des erfassten Bildes eines halbkugelförmigen Sichtfeldes wird vergrößert.The DE 69 515 087 T2 relates to a visual imaging system for electronically imaging and processing a hemispherical field of view. A camera receives optical images of a hemispherical field of view and produces output signals corresponding to the optical images. An image of peripheral areas of the hemispherical field of view is captured and enhanced, and a portion of the field of view in a range of approximately 1 to 45 degrees above the horizon of the captured image of a hemispherical field of view is magnified.

Die EP 1 403 137 B1 betrifft eine Zustandsüberwachungsvorrichtung eines beweglichen Körpers. Eine Umgebungsinformationserfassungseinrichtung erfasst und speichert Informationen über eine Umgebung, die einen beweglichen Körper umgibt. Eine Wegabschätzeinrichtung schätzt einen Bewegungsweg des beweglichen Körpers ab. Eine Distanzbestimmungseinrichtung identifiziert einen Gegenstand, welcher entlang des abgeschätzten Bewegungsweges des beweglichen Körpers auftritt, und bestimmt die kürzeste Distanz entlang des abgeschätzten Bewegungsweges des beweglichen Körpers zwischen einem Abschnitt des beweglichen Körpers und einem Abschnitt des Gegenstands, die einander berühren, wenn sich der bewegliche Körper entlang des abgeschätzten Bewegungswegs des beweglichen Körpers bewegt. Eine Hinweiseinrichtung weist auf eine Positionsbeziehung zwischen dem beweglichen Körper und dem Gegenstand basierend auf dem durch die Distanzbestimmungseinrichtung erfassten Ergebnis hin.The EP 1 403 137 B1 relates to a condition monitoring device of a movable body. An environment information acquirer acquires and stores information about an environment surrounding a movable body. A Wegabschätzeinrichtung estimates a path of movement of the movable body. A distance determiner identifies an object that appears along the estimated path of movement of the moveable body and determines the shortest distance along the estimated path of movement of the moveable body between a portion of the moveable body and a portion of the object that contact each other as the moveable body moves along the estimated movement path of the movable body moves. A pointing device indicates a positional relationship between the movable body and the object based on the result detected by the distance determining means.

Die EP 1 403 138 A1 betrifft eine Umgebungsüberwachungsvorrichtung für einen beweglichen Körper. Ein Bilderfassungsmittel, welches an dem beweglichen Körper angebracht ist, erfasst ein Bild einer Umgebung des beweglichen Körpers. Ein Umgebungskonstruktionsmittel konstruiert eine dreidimensionale Umgebung der Umgebung des beweglichen Körpers auf der Grundlage des erfassten Bildes und ein Bewertungsmittel bewertet, ob die Umgebung des beweglichen Körpers einen vorgegebenen Zustand erfüllt auf der Grundlage der konstruierten dreidimensionalen Umgebung.The EP 1 403 138 A1 relates to an environmental monitoring device for a movable body. An image capturing means, which is attached to the movable body, captures an image of an environment of the movable body. An environment constructing means constructs a A three-dimensional environment of the environment of the movable body based on the detected image, and a judging means judges whether the environment of the movable body satisfies a predetermined condition based on the constructed three-dimensional environment.

Die DE 10 2011 109 712 A1 betrifft ein Verfahren zum assistierten Einparken eines Kraftfahrzeugs in eine Parklücke. Eine Vermessung der potentiellen Parklücke erfolgt während einer Vorbeifahrt des Fahrzeugs. Ausgehend von einer zum Einparken zulässigen Ausgangsposition wird eine erste Einparktrajektorie für einen Zielpunkt in der Parklücke ermittelt und während sich das Fahrzeug entlang der ersten Einparktrajektorie bewegt, wird mit dem Erfassen eines im Fahrschlauch der ersten Einparktrajektorie angeordneten Hindernisses während des Einparkvorgangs eine zweite Einparktrajektorie unter Berücksichtigung des Hindernisses für die Parklücke bestimmt und der Einparkvorgang entlang der zweiten Einparktrajektorie fortgesetzt.The DE 10 2011 109 712 A1 relates to a method for assisted parking of a motor vehicle in a parking space. A measurement of the potential parking space is made while driving past the vehicle. Starting from a starting position permissible for parking, a first parking trajectory for a destination point in the parking space is determined, and while the vehicle is moving along the first parking trajectory, a second parking trajectory, taking into account the obstacle located in the driving path of the first parking trajectory, is recorded during the parking process Obstacle determined for the parking space and the parking process continued along the second parking trajectory.

Die DE 10 2007 017 038 A1 betrifft ein System zur Überwachung der Umgebung eines Fahrzeugs. Das System weist eine Bildaufnahmeeinrichtung, eine Speichereinrichtung, eine Einrichtung zur Erzeugung eines Anzeigebilds und eine Anzeigeeinrichtung auf. Die Bildaufnahmeeinrichtung nimmt zumindest das Bild eines Teils eines Bereichs um ein Fahrzeug auf. Die Speichereinrichtung speichert das von der Bildaufnahmeeinrichtung aufgenommene Bild. Die Einrichtung zur Erzeugung eines Anzeigebilds erzeugt ein synthetisiertes Bild für die Anzeige unter Verwendung eines letzten Bilds, das von der Bildaufnahmeeinrichtung aufgenommen wurde, und eines früheren Bilds, das aufgenommen wurde, bevor das letzte Bild aufgenommen wurde. Das synthetisierte Bild wird auf der Anzeigeeinrichtung angezeigt.The DE 10 2007 017 038 A1 relates to a system for monitoring the environment of a vehicle. The system comprises an image pickup device, a memory device, a device for generating a display image and a display device. The image capture device captures at least the image of part of an area around a vehicle. The storage device stores the image taken by the image pickup device. The display image generating means generates a synthesized image for display using a last image taken by the image pickup device and an earlier image taken before the last image was taken. The synthesized image is displayed on the display device.

Die DE 699 32 021 T2 betrifft ein dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge. Das dreidimensionale Darstellungssystem ist in der Lage, basierend auf Daten von zwei Videoeinzelbildern eines Ziels, die unter Verwendung der einzelnen Kamera an verschiedenen Fahrpositionen des Fahrzeugs beschafft wurden, einen Abstand zwischen dem Ziel und einer Fahrzeugkarosserie zu beschaffen.The DE 699 32 021 T2 relates to a three-dimensional display system with a single camera for vehicles. The three-dimensional display system is capable of obtaining a distance between the target and a vehicle body based on data of two video frames of a target obtained by using the single camera at different driving positions of the vehicle.

Wie aus der oben genannten EP 1 701 306 B1 bekannt ist, ist eine Verwendung von vier oder mehr Kamerasystemen rund um das Fahrzeug geeignet, um die Vogelperspektivansicht bereitstellen zu können. Dies ist jedoch mit erheblichen Kosten verbunden, sodass derartige Systeme bei kostengünstigen Fahrzeugen, wie zum Beispiel Kleinwagen, nur eine geringe Akzeptanz beim Kunden finden.As from the above EP 1 701 306 B1 is known, a use of four or more camera systems around the vehicle is suitable to provide the bird's eye view can. However, this is associated with considerable costs, so that such systems for low-cost vehicles, such as small cars, find little acceptance by the customer.

Aufgabe der vorliegenden Erfindung ist es daher, eine optische Wiedergabe des Umfelds für beispielsweise einen Einparkvorgang kostengünstig zu realisieren.Object of the present invention is therefore to realize a visual reproduction of the environment for example, a parking cost.

Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren zum Anzeigen von Umgebungsinformationen nach Anspruch 1 und ein Anzeigesystem für ein Fahrzeug nach Anspruch 8 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der Erfindung.This object is achieved according to the present invention by a method for displaying environmental information according to claim 1 and a display system for a vehicle according to claim 8. The dependent claims define preferred and advantageous embodiments of the invention.

Gemäß der vorliegenden Erfindung wird ein Verfahren zum Anzeigen von Umgebungsinformationen bereitgestellt. Bei dem Verfahren wird eine erste Bildinformation einer Umgebung des Fahrzeugs mit mindestens einer Bilderfassungsvorrichtung des Fahrzeugs erfasst, während sich das Fahrzeug an einer ersten Position befindet. Dann wird das Fahrzeug von der ersten Position zu einer zweiten Position bewegt, wobei die zweite Position unterschiedlich zu der ersten Position ist. An der zweiten Position wird eine zweite Bildinformation der Umgebung mit der mindestens einen Bilderfassungsvorrichtung erfasst. In Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation wird ein Abbild eines Umgebungsbereichs der Umgebung des Fahrzeugs erstellt. Das Abbild umfasst zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation. Das Abbild des Umgebungsbereichs wird schließlich auf einer Anzeigevorrichtung des Fahrzeugs für einen Benutzer dargestellt. Durch das Bewegen des Fahrzeugs von der ersten Position zu der zweiten Position kann die Umgebung des Fahrzeugs mit der mindestens einen Bilderfassungsvorrichtung von verschiedenen Standpunkten aus erfasst werden. Durch Kombinieren der ersten Bildinformation und der zweiten Bildinformation kann ein Abbild eines Umgebungsbereichs der Umgebung erstellt werden, welches einen größeren Abbildungsbereich umfasst, als die mindestens eine Bilderfassungsvorrichtung zu einem Zeitpunkt bzw. an einer Position liefern kann. Dadurch kann mit einer geringen Anzahl von Bilderfassungsvorrichtungen bei geeigneter Bewegung des Fahrzeugs ein großer Umgebungsbereich der Umgebung des Fahrzeugs abgebildet werden, bis hin zu einer kompletten Rundumsicht. Somit können Bilderfassungsvorrichtungen, beispielsweise Kameras, eingespart werden und trotzdem eine Umgebungsinformation bereitgestellt werden, welche über den eigentlichen Erfassungsbereich der Bilderfassungsvorrichtungen an einer Position deutlich hinaus geht.In accordance with the present invention, a method for displaying environmental information is provided. In the method, first image information of an environment of the vehicle is detected with at least one image capture device of the vehicle while the vehicle is at a first position. Then, the vehicle is moved from the first position to a second position, the second position being different from the first position. At the second position, a second image information of the environment with the at least one image capture device is detected. Depending on the first image information and the second image information, an image of a surrounding area of the surroundings of the vehicle is created. The image comprises at least a portion of the first image information and a portion of the second image information. The image of the surrounding area is finally displayed on a display device of the vehicle for a user. By moving the vehicle from the first position to the second position, the surroundings of the vehicle with the at least one image capture device can be detected from different viewpoints. By combining the first image information and the second image information, an image of an environmental region of the environment may be created that includes a larger imaging region than the at least one image capture device can provide at one time or at one position. As a result, with a small number of image capture devices with suitable movement of the vehicle, a large surrounding area of the surroundings of the vehicle can be imaged, up to a complete all-round view. Thus, image capture devices, such as cameras, can be saved and still provide environmental information that goes beyond the actual capture range of the image capture devices at one location.

Gemäß einer Ausführungsform wird das Abbild des Umgebungsbereichs der Umgebung des Fahrzeugs zusätzlich in Abhängigkeit von einer Positionsinformation der ersten Position und einer Positionsinformation der zweiten Position erstellt. Die Positionsinformationen können beispielsweise aus Odometriedaten des Fahrzeugs ermittelt werden. Dadurch können die Bildinformationen zu den unterschiedlichen Positionen des Fahrzeugs auf einfache Art und Weise miteinander kombiniert werden.According to an embodiment, the image of the surrounding area of the surroundings of the vehicle is additionally created in response to position information of the first position and position information of the second position. The position information may be for example Odometer data of the vehicle can be determined. Thereby, the image information about the different positions of the vehicle can be easily combined with each other.

Beim Erstellen des Abbilds des Umgebungsbereichs werden ferner bewegte und statische Objekte in der ersten Bildinformation und der zweiten Bildinformation als Positionsmarken bestimmt. Das Abbild des Umgebungsbereichs der Umgebung des Fahrzeugs wird in Abhängigkeit von den bewegten und statischen Objekten erstellt. Statische Objekte können beispielsweise dazu verwendet werden, die erste Bildinformation und die zweiten Bildinformation genau zu kombinieren, wodurch beispielsweise auf Odometriedaten verzichtet werden kann. Die bewegten Objekte werden in dem Abbild des Umgebungsbereichs nur anhand der Bildinformation des zuletzt erfassten Bildes dargestellt, sodass bewegte Objekte in dem Abbild an einer möglichst aktuellen Position dargestellt werden. Darüber hinaus kann optional eine Warnung an den Fahrer ausgegeben werden, dass bewegte Objekte vorhanden sind und er daher den Fahrweg unabhängig von der Abbildung des Umgebungsbereichs kontrollieren sollte.When creating the image of the surrounding area, further, moving and static objects in the first image information and the second image information are determined as position marks. The image of the surrounding area of the environment of the vehicle is created depending on the moving and static objects. Static objects can be used for example to combine the first image information and the second image information exactly, which, for example, can be dispensed with odometry data. The moving objects are displayed in the image of the surrounding area only on the basis of the image information of the last acquired image, so that moving objects in the image are displayed at the most current possible position. In addition, an optional warning can be issued to the driver that moving objects are present and he should therefore control the route regardless of the mapping of the surrounding area.

Die mindestens eine Bilderfassungsvorrichtung kann beispielsweise eine erste Bilderfassungsvorrichtung an einer Vorderseite des Fahrzeugs und eine zweite Bilderfassungsvorrichtung an einer Rückseite des Fahrzeugs umfassen. Die erste Bilderfassungsvorrichtung ist ausgestaltet, eine Bildinformation einer Umgebung vor dem Fahrzeug und seitlich vor dem Fahrzeug zu erfassen, d.h., seitlich rechts vor dem Fahrzeug und seitlich links vor dem Fahrzeug. Die erste Bilderfassungsvorrichtung kann beispielsweise eine Kamera mit einem Weitwinkelobjektiv umfassen, welche im Bereich einer Stoßstange oder eines Kühlergrills des Fahrzeugs an der Vorderseite des Fahrzeugs mittig angebracht ist, um einen entsprechenden Bereich vor und seitlich vor dem Fahrzeug zu erfassen. Die zweite Bilderfassungsvorrichtung ist ausgestaltet, eine Bildinformation einer Umgebung hinter dem Fahrzeug und seitlich hinter dem Fahrzeug, d.h., seitlich rechts und seitlich links hinter dem Fahrzeug, zu erfassen. Eine entsprechende Bilderfassungsvorrichtung kann beispielsweise eine Kamera sein, welche an einer hinteren Stoßstange des Fahrzeugs oder einer Heckklappe oder einem Kofferraumdeckel des Fahrzeugs angebracht ist. Wie zuvor beschrieben werden die Bildinformationen der beiden Bilderfassungsvorrichtungen während einer Bewegung des Fahrzeugs verwendet, um ein Abbild des Umgebungsbereichs des Fahrzeugs zu erstellen. Dabei können Bildinformationen seitlich vor und hinter dem Fahrzeug während einer Bewegung des Fahrzeugs dazu verwendet werden, eine Umgebung seitlich von dem Fahrzeug zu rekonstruieren. Diese rekonstruierte Bildinformation ist zwar nicht zeitlich aktuell, kann dem Fahrer jedoch beim Einparken eine bedeutende Orientierungshilfe bieten. Die Bildinformationen vor und hinter dem Fahrzeug können stets aktuell in das Abbild der Umgebung, welche dem Fahrer angezeigt wird, eingearbeitet werden, sodass die Umgebung in Bewegungsrichtung des Fahrzeugs beim Ein- oder Ausparken stets aktuell ist und der Fahrer somit auch aktuelle Änderungen aufgrund einer Positionsänderung des Fahrzeugs oder bewegliche Objekte in der Umgebung unmittelbar in dem Abbild erkennen kann. Da die seitlichen Bereiche der Umgebung des Fahrzeugs aus den Bildinformationen seitlich vor und hinter dem Fahrzeug rekonstruiert werden, können entsprechende Bilderfassungsvorrichtungen an der Seite des Fahrzeugs entfallen, wodurch Kosten erheblich eingespart werden können.The at least one image capture device may include, for example, a first image capture device at a front of the vehicle and a second image capture device at a rear of the vehicle. The first image capture device is configured to capture image information of an environment in front of the vehicle and laterally in front of the vehicle, that is, laterally right in front of the vehicle and laterally in front of the vehicle. The first image capture device may, for example, comprise a camera with a wide-angle lens centered in the area of a bumper or grille of the vehicle at the front of the vehicle to detect a corresponding area in front of and laterally in front of the vehicle. The second image capturing apparatus is configured to capture image information of an environment behind the vehicle and laterally behind the vehicle, that is, laterally right and laterally left behind the vehicle. A corresponding image capture device may be, for example, a camera which is attached to a rear bumper of the vehicle or a tailgate or a trunk lid of the vehicle. As described above, the image information of the two image capture devices is used during movement of the vehicle to create an image of the surrounding area of the vehicle. In this case, image information can be used laterally in front of and behind the vehicle during a movement of the vehicle to reconstruct an environment laterally from the vehicle. Although this reconstructed image information is not up-to-date in time, it can provide the driver with significant orientation when parking. The image information in front of and behind the vehicle can always be incorporated into the image of the environment that is displayed to the driver, so that the environment in the direction of movement of the vehicle when parking or parking is always up to date and the driver thus also current changes due to a change in position of the vehicle or moving objects in the environment can recognize directly in the image. Since the lateral areas of the surroundings of the vehicle are reconstructed from the image information laterally in front of and behind the vehicle, corresponding image capture devices on the side of the vehicle can be omitted, whereby costs can be considerably reduced.

Gemäß einer weiteren Ausführungsform wird das Abbild des Umgebungsbereichs auf der Anzeigevorrichtung dargestellt, indem ein Abbild des Umgebungsbereichs in einer Draufsicht von oben, einer sogenannten Vogelperspektive, bestimmt wird. Dies kann beispielsweise durch geeignete Transformationen der Bildinformationen von den Bilderfassungsvorrichtungen erfolgen. Ferner können, wie zuvor beschrieben, beim Bestimmen des Bilds des Umgebungsbereichs Bildinformationen, welche bei vorhergehenden Fahrzeugpositionen erfasst wurden, eingebracht werden. Ein derartiges Kombinieren von Bildinformationen aus verschiedenen Betrachtungswinkeln wird auch als „Stitching“ bezeichnet. Die so bestimmte Draufsicht des Umgebungsbereichs wird mit einem vorgegebenen Abbild des Fahrzeugs, welche das Fahrzeug ebenfalls in einer Draufsicht von oben zeigt, kombiniert. Somit wird eine Draufsicht oder Vogelperspektivansicht erzeugt, welche das Fahrzeug in seiner Umgebung von oben zeigt. Diese kombinierte Draufsicht des Umgebungsbereichs und des Fahrzeugs wird schließlich auf der Anzeigevorrichtung dargestellt. Aus dieser Draufsicht des Fahrzeugs einschließlich Umgebungsbereich kann ein Fahrer Hindernisse in der Umgebung des Fahrzeugs leicht erkennen und das Fahrzeug beispielsweise in eine Parklücke auf einfacher Art und Weise einparken, da sowohl umgebende Hindernisse, wie zum Beispiel Fahrzeuge, Poller oder Personen, als auch Fahrbahnbegrenzungen oder Randsteine in Bezug auf das Fahrzeug aus der Darstellung ersichtlich sind.According to a further embodiment, the image of the surrounding area is displayed on the display device by determining an image of the surrounding area in a plan view from above, a so-called bird's-eye view. This can be done for example by suitable transformations of the image information from the image capture devices. Further, as described above, in determining the image of the surrounding area, image information acquired at previous vehicle positions may be introduced. Such combining of image information from different viewing angles is also referred to as "stitching". The thus-determined plan view of the surrounding area is combined with a predetermined image of the vehicle, which also shows the vehicle in a plan view from above. Thus, a plan view or bird's-eye view is created, showing the vehicle in its environment from above. This combined top view of the surrounding area and the vehicle is finally displayed on the display device. From this top view of the vehicle, including the surrounding area, a driver can easily detect obstacles in the surroundings of the vehicle and park the vehicle in a parking space, for example, because surrounding obstacles, such as vehicles, bollards or people, as well as road boundaries or Curbs with respect to the vehicle can be seen from the illustration.

Bei einer weiteren Ausführungsform wird ein Umgebungsbereich, für welchen bislang keine Bildinformation erfasst wurde, bestimmt und dieser Umgebungsbereich mit einer vorgegebenen Markierung auf der Anzeigevorrichtung dargestellt. Beispielsweise kann der Umgebungsbereich, für welchen noch keine Bildinformation erfasst wurde, in einer vorgegebenen Farbe, beispielsweise grau, dargestellt werden, sodass ein Fahrer, welcher die Abbildung betrachtet, intuitiv erkennt, dass für diesen Bereich derzeit keine Bildinformation vorliegt und er gegebenenfalls diesen Bereich anderweitig kontrollieren muss, um sicher zu sein, ob sich dort ein Hindernis befindet oder nicht.In a further embodiment, a surrounding area, for which hitherto no image information has been detected, is determined, and this surrounding area is displayed on the display device with a predetermined marking. For example, the surrounding area for which no image information has yet been acquired can be displayed in a predetermined color, for example gray, so that a driver who views the image intuitively recognizes that for this area At present, there is no image information available and, if necessary, he must otherwise control this area in order to be sure whether there is an obstacle there or not.

Das zuvor beschriebene Verfahren, bei dem die erste Bildinformation und die zweite Bildinformation zu dem gemeinsamen Abbild der Umgebung des Fahrzeugs zusammengesetzt werden, kann iterativ bei einer Bewegung des Fahrzeugs wiederholt werden. Anders ausgedrückt kann beispielsweise eine weitere Bildinformation der Umgebung an einer weiteren Position des Fahrzeugs mit der mindestens einen Bilderfassungsvorrichtung erfasst werden und ein weiteres Abbild des Umgebungsbereichs in Abhängigkeit von dem bereits erstellten Abbild und der weiteren Bildinformation erstellt werden. Das weitere Abbild umfasst zumindest einen Teil des bereits erstellten Abbilds und einen Anteil der weiteren Bildinformation. Somit kann beispielsweise während einer Bewegung des Fahrzeugs kontinuierlich das Abbild des Umgebungsbereichs mit kontinuierlich erfassten weiteren Bildinformationen erweitert werden.The method described above, in which the first image information and the second image information are combined to form the common image of the surroundings of the vehicle, can be repeated iteratively during a movement of the vehicle. In other words, for example, further image information of the surroundings at a further position of the vehicle with the at least one image capture device can be detected and a further image of the surrounding area can be created as a function of the already created image and the further image information. The further image comprises at least part of the already created image and a portion of the further image information. Thus, for example, during a movement of the vehicle continuously the image of the surrounding area can be extended with continuously acquired further image information.

Für eine aktuelle Position des Fahrzeugs kann in dem Abbild die aktuell erfasste und eingearbeitete Bildinformation markiert werden, beispielsweise kann diese aktuelle Bildinformation mit einem entsprechenden Rahmen markiert werden oder heller dargestellt werden als Teile des Abbilds, welche auf Bildinformationen vergangener Fahrzeugpositionen basieren. Dadurch kann einem Fahrer des Fahrzeugs eine Rundumsicht, beispielsweise in Form einer Draufsicht, dargestellt werden, in welcher der Fahrer intuitiv erkennt, welche Anteile tatsächlich aktuell sind, also Live-Bilder darstellen, und welche Anteile rekonstruiert sind und somit bezüglich dynamischer Objekte nicht unbedingt aktuell sind.For a current position of the vehicle, the currently captured and incorporated image information can be marked in the image, for example, this current image information can be marked with a corresponding frame or displayed brighter than parts of the image based on image information of past vehicle positions. This allows a driver of the vehicle to have an all-round view, for example in the form of a plan view, in which the driver intuitively recognizes which portions are actually up-to-date, ie represent live images, and which portions are reconstructed and thus not necessarily current with respect to dynamic objects are.

Gemäß der vorliegenden Erfindung wird weiterhin ein Anzeigesystem für ein Fahrzeug bereitgestellt, welches mindestens eine an dem Fahrzeug angebrachte Bilderfassungsvorrichtung, eine in dem Fahrzeug angebrachte Anzeigevorrichtung und eine Verarbeitungsvorrichtung umfasst. Die Bilderfassungsvorrichtung ist in der Lage, eine Bildinformation einer Umgebung des Fahrzeugs zu erfassen. Die Verarbeitungsvorrichtung ist mit der mindestens einen Bilderfassungsvorrichtung und der Anzeigevorrichtung gekoppelt und ausgestaltet, eine erste Bildinformation der Umgebung mit der mindestens einen Bilderfassungsvorrichtung an einer ersten Position des Fahrzeugs zu erfassen und nach einer Bewegung des Fahrzeugs von der ersten Position zu einer zweiten Position eine zweite Bildinformation der Umgebung mit der mindestens einen Bilderfassungsvorrichtung an der zweiten Position des Fahrzeugs zu erfassen. In Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation erstellt die Verarbeitungsvorrichtung ein Abbild eines Umgebungsbereichs der Umgebung des Fahrzeugs. Das Abbild umfasst zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation. Das Erstellen des Abbilds, d.h., das Kombinieren der ersten Bildinformation und der zweiten Bildinformation wird auch als „Stitching“ bezeichnet. Die Verarbeitungsvorrichtung kann weitere Bildinformationen, welche mit der mindestens einen Bilderfassungsvorrichtung an weiteren Positionen erfasst werden, mit dem Abbild kombinieren und somit das Abbild des Umgebungsbereichs während einer Bewegung des Fahrzeugs kontinuierlich erweitern. Das Abbild des Umgebungsbereichs wird schließlich von der Verarbeitungsvorrichtung auf der Anzeigevorrichtung dargestellt. Das Anzeigesystem ist somit zur Durchführung des zuvor beschriebenen Verfahrens geeignet und umfasst daher auch die Vorteile des zuvor beschriebenen Verfahrens und seiner Ausführungsformen.According to the present invention, there is further provided a display system for a vehicle including at least one of an image sensing device mounted on the vehicle, a display device mounted in the vehicle and a processing device. The image capture device is capable of capturing image information of an environment of the vehicle. The processing device is coupled to the at least one image capture device and the display device and configured to capture a first image information of the environment with the at least one image capture device at a first position of the vehicle and after a movement of the vehicle from the first position to a second position second image information the environment with the at least one image capture device to detect at the second position of the vehicle. Depending on the first image information and the second image information, the processing device creates an image of a surrounding area of the surroundings of the vehicle. The image comprises at least a portion of the first image information and a portion of the second image information. The creation of the image, that is, the combining of the first image information and the second image information is also referred to as "stitching". The processing device can combine further image information, which is acquired with the at least one image capture device at further positions, with the image and thus continuously expand the image of the surrounding region during movement of the vehicle. The image of the surrounding area is finally displayed by the processing device on the display device. The display system is therefore suitable for carrying out the method described above and therefore also includes the advantages of the method described above and its embodiments.

Schließlich wird ein Fahrzeug bereitgestellt, welches das zuvor beschriebene Anzeigesystem umfasst. Die Anzeigevorrichtung kann beispielsweise an einem Armaturenbrett des Fahrzeugs in einem Sichtbereich des Fahrers angeordnet sein. Die Bilderfassungsvorrichtungen können insbesondere eine erste Bilderfassungsvorrichtung an einer Vorderseite des Fahrzeugs und eine zweite Bilderfassungsvorrichtung an einer Rückseite des Fahrzeugs umfassen, sodass die erste Bilderfassungsvorrichtung einen Bereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug erfassen kann und die zweite Bilderfassungsvorrichtung einen Umgebungsbereich hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erfassen kann.Finally, a vehicle is provided which comprises the above-described display system. The display device may be arranged, for example, on a dashboard of the vehicle in a field of vision of the driver. In particular, the image capture devices may include a first image capture device at a front of the vehicle and a second image capture device at a rear of the vehicle, such that the first image capture device may detect an area in front of the vehicle and laterally right and left in front of the vehicle and the second image capture device may occupy an area behind the vehicle Vehicle and can detect laterally right and left behind the vehicle.

Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung im Detail beschrieben werden.

1 zeigt ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
2 zeigt Verfahrensschritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
3-5 zeigen schematisch ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches sich rückwärts bewegt.
6-8 zeigen Ausgaben einer Anzeigevorrichtung eines Anzeigesystems gemäß einer Ausführungsform der vorliegenden Erfindung.

The present invention will be described below in detail with reference to the accompanying drawings.

1 shows a vehicle according to an embodiment of the present invention.
2 shows method steps of a method according to an embodiment of the present invention.
3-5 schematically show a vehicle according to an embodiment of the present invention, which moves backwards.
6-8 show outputs of a display device of a display system according to an embodiment of the present invention.

1 zeigt schematisch ein Fahrzeug 10 mit einem Anzeigesystem 11. Das Anzeigesystem 11 umfasst eine erste Bilderfassungsvorrichtung 13, welche in einem vorderen Bereich des Fahrzeugs 10 angeordnet ist, und eine zweite Bilderfassungsvorrichtung 12, welche in einem hinteren Bereich des Fahrzeugs 10 angeordnet ist. Das Anzeigesystem 11 umfasst ferner eine Anzeigevorrichtung 14, welche beispielsweise in einem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs 10 in einem Sichtbereich des Fahrers angeordnet ist. Ferner umfasst das Anzeigesystem 11 eine Verarbeitungsvorrichtung 15, welche mit den Bilderfassungsvorrichtungen 12, 13 und der Anzeigevorrichtung 14 gekoppelt ist. Die Bilderfassungsvorrichtungen 12, 13 können beispielsweise Digitalkameras umfassen, welche mit Hilfe eines geeigneten optischen Systems Bilder von der Umgebung des Fahrzeugs erfassen können und zu der Verarbeitungsvorrichtung 15 übertragen können. Die erste Bilderfassungsvorrichtung 13 kann dabei einen Erfassungsbereich 17 aufweisen, welcher einen Umgebungsbereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug umfasst, wie es in 1 dargestellt ist. Die zweite Bilderfassungsvorrichtung 12 kann einen Erfassungsbereich 16 aufweisen, welcher sich, wie in 1 gezeigt, hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erstreckt. Die Bilderfassungsbereiche 16, 17 können sich beispielsweise seitlich und nach vorne und hinten 1 bis 5 m über das Fahrzeug 10 hinaus erstrecken. Die Anzeigevorrichtung 14 kann beispielsweise einen Bildschirm, insbesondere einen LCD-Bildschirm oder einen Plasmabildschirm umfassen, welcher zur Darstellung farbiger Bilder geeignet ist. Die Verarbeitungsvorrichtung 15 kann beispielsweise eine Mikroprozessorvorrichtung oder einen digitalen Signalprozessor umfassen. 1 schematically shows a vehicle 10 with a display system 11 , The display system 11 includes a first image capture device 13 which is in a front area of the vehicle 10 is arranged, and a second image capture device 12 which is in a rear area of the vehicle 10 is arranged. The display system 11 further comprises a display device 14 which, for example, in a dashboard or a center console of the vehicle 10 is arranged in a field of view of the driver. Furthermore, the display system includes 11 a processing device 15 used with the image capture devices 12 . 13 and the display device 14 is coupled. The image capture devices 12 . 13 For example, they may include digital cameras that can capture images of the surroundings of the vehicle with the aid of a suitable optical system and to the processing device 15 can transfer. The first image capture device 13 can be a detection area 17 comprising an environment area in front of the vehicle and laterally right and left in front of the vehicle, as shown in FIG 1 is shown. The second image capture device 12 can have a detection area 16 which, as in 1 shown behind the vehicle and laterally to the right and left behind the vehicle. The image capture areas 16 . 17 can, for example, laterally and forwards and backwards 1 to 5 m above the vehicle 10 extend beyond. The display device 14 For example, it can comprise a screen, in particular an LCD screen or a plasma screen, which is suitable for displaying colored images. The processing device 15 For example, it may include a microprocessor device or a digital signal processor.

Die Arbeitsweise des Anzeigesystems 11 wird nachfolgend unter Bezugnahme auf die 3-8 im Detail beschrieben werden.The operation of the display system 11 is described below with reference to the 3-8 will be described in detail.

2 zeigt ein Verfahren 20 mit Verfahrensschritten 21-25, welche von der Verarbeitungsvorrichtung 15 ausgeführt werden. 3-5 zeigen das Fahrzeug 10, welches sich entlang einer Bewegungsbahn oder-trajektorie 36 bewegt, wobei es sich in 3 in einer ersten Position befindet, in 4 in einer nachfolgenden zweiten Position und in 5 in einer nachfolgenden dritten Position. Die 6-8 zeigen Ausgaben auf der Anzeigevorrichtung 14 des Anzeigesystems 11 zu den verschiedenen Positionen des Fahrzeugs 10, d.h., 6 zeigt die Ausgabe auf der Anzeigevorrichtung 14, wenn sich das Fahrzeug 10 in der in 3 gezeigten Position befindet, 7 zeigt die Ausgabe auf der Anzeigevorrichtung 14 des Fahrzeugs 10 in der Position der 4 und 8 zeigt die Ausgabe auf der Anzeigevorrichtung 14 zu der Position des Fahrzeugs 10 der 5. 2 shows a method 20 with process steps 21-25 that of the processing device 15 be executed. 3-5 show the vehicle 10 which moves along a trajectory or trajectory 36, being in 3 is in a first position, in 4 in a subsequent second position and in 5 in a subsequent third position. The 6-8 show outputs on the display device 14 of the display system 11 to the different positions of the vehicle 10 , ie, 6 shows the output on the display device 14 when the vehicle is 10 in the in 3 position shown, 7 shows the output on the display device 14 of the vehicle 10 in the position of 4 and 8th shows the output on the display device 14 to the position of the vehicle 10 of the 5 ,

3 zeigt das Fahrzeug 10 in einer Umgebung 30, welche eine Fahrbahnmarkierung 31 und verschiedene Gegenstände 32-35 umfasst. Das Fahrzeug 10 hat die in 3 gezeigte Position erreicht, indem es zuvor aus einer (nicht gezeigten) Position rückwärts entlang dem gestrichelten Anteil der Bewegungsbahn 36 gefahren ist. Dabei hat der hintere Erfassungsbereich 16, welcher der zweiten Bilderfassungsvorrichtung 12 zugeordnet ist, den Gegenstand 32 im Vorbeifahren erfasst. 3 shows the vehicle 10 in an environment 30 which a road marking 31 and different items 32-35 includes. The vehicle 10 has the in 3 achieved position by moving it from a position (not shown) backwards along the dashed portion of the trajectory 36 drove. It has the rear detection area 16 , which is the second image capture device 12 is assigned, the object 32 detected in passing.

Gemäß dem in 2 gezeigten Verfahren 20 werden Bildinformationen im Schritt 21 erfasst, im Schritt 22 das Fahrzeug bewegt und im Schritt 23 wird eine weitere Bildinformation erfasst. Ein Abbild einer Umgebung wird durch Kombinieren der Bildinformationen im Schritt 24 erstellt und im Schritt 25 auf der Anzeigevorrichtung 14 des Fahrzeugs 10 dargestellt. Dann wird das Verfahren im Schritt 22 fortgesetzt und das Fahrzeug bewegt sich weiter während im Schritt 23 weitere Bildinformationen erfasst werden, welche im Schritt 24 zum Erstellen bzw. Erweitern des Abbilds der Umgebung durch Kombinieren der Bildinformationen erweitert wird. Während das Fahrzeug 10 entlang der gestrichelten Bewegungsbahn 36 an dem Gegenstand 32 vorgefahren ist, wurden somit Bildinformationen erfasst, welche den Gegenstand 32 umfassen. Diese Bildinformationen werden kombiniert und ein entsprechendes Abbild der Umgebung erzeugt. 6 zeigt eine entsprechende Darstellung auf der Anzeigevorrichtung 14. In 6 wird die Umgebung einschließlich des Fahrzeugs in einer Draufsicht dargestellt. Dazu wird die erzeugte Abbildung der Umgebung mit einer vorgegebenen Abbildung des Fahrzeugs 10 kombiniert. Ferner werden in der Darstellung auf der Anzeigevorrichtung 14 die Erfassungsbereiche 16 und 17 der Bilderfassungsvorrichtungen 12 und 13 dargestellt, sodass ein Benutzer unmittelbar erkennen kann, welche Abbildungsbereiche ein Live-Bild darstellen und welche Abbildungsbereiche aus rekonstruierten Bildinformationen bestehen. Der in 6 gezeigte Gegenstand 32 befindet sich außerhalb der Erfassungsbereiche 16 und 17 und stellt daher eine rekonstruierte Bildinformation dar. Der Abschnitt der Fahrbahnmarkierung 31, welcher sich in dem Erfassungsbereich 16 befindet, ist hingegen Teil der Live-Information von der zweiten Bilderfassungsvorrichtung 12.According to the in 2 shown method 20 For example, image information is acquired in step 21, the vehicle is moved in step 22, and further image information is acquired in step 23. An image of an environment is created by combining the image information in step 24 and in step 25 on the display device 14 of the vehicle 10 shown. Then, the process proceeds to step 22 and the vehicle continues to move while in step 23 further image information is acquired, which is expanded in step 24 to create or enhance the image of the environment by combining the image information. While the vehicle 10 along the dashed trajectory 36 on the object 32 has traveled, thus image information has been detected, which include the object 32. This image information is combined and creates a corresponding image of the environment. 6 shows a corresponding representation on the display device 14 , In 6 the environment including the vehicle is shown in a plan view. For this purpose, the generated image of the environment with a given image of the vehicle 10 combined. Further, in the illustration on the display device 14 the coverage areas 16 and 17 the image capture devices 12 and 13 so that a user can immediately see which image areas represent a live image and which image areas consist of reconstructed image information. The in 6 shown item 32 is located outside the detection areas 16 and 17 and thus represents a reconstructed image information. The section of the lane marking 31 which is in the detection area 16 on the other hand, is part of the live information from the second image capture device 12 ,

Das Fahrzeug 10 bewegt sich weiter entlang der Bewegungsbahn 36 bis es die in 4 gezeigte Position erreicht. 7 zeigt die Ausgabe auf der Anzeigevorrichtung 14 zu diesem Zeitpunkt. Die Fahrbahnmarkierung 31 wird wiederum im Erfassungsbereich 16 als Live-Information dargestellt. Der Gegenstand 32 befindet sich nun nicht mehr wie in 6 im Bereich der hinteren linken Tür des Fahrzeugs 10 sondern im Bereich des linken Rückspiegels. Die Verschiebung des Gegenstands 32 in der in 7 gezeigten Darstellung auf der Anzeigevorrichtung 14 kann die Verarbeitungsvorrichtung 15 beispielsweise anhand von Odometriedaten des Fahrzeugs durchführen. Die Odometriedaten können beispielsweise auf einem Tachosignal des Fahrzeugs und einem Lenkwinkelsignal des Fahrzeugs oder auf Signalen eines globalen Satellitennavigationssystems, wie zum Beispiel GPS oder Galileo, beruhen. 5 zeigt das Fahrzeug 10, nachdem es sich noch weiter entlang der Bewegungsbahn 36 bewegt hat. 8 zeigt eine entsprechende Ausgabe auf der Ausgabevorrichtung 14. Der Gegenstand 32 wird nun teilweise von dem Erfassungsbereich 17 der ersten Bilderfassungsvorrichtung 13 erfasst und dementsprechend teilweise innerhalb und teilweise außerhalb des Erfassungsbereichs 17 auf der Anzeigevorrichtung 14 dargestellt. Die Gegenstände 33 und 34 sind ebenso wie die Fahrbahnmarkierung 31 teilweise in dem Erfassungsbereich 16 der zweiten Bilderfassungsvorrichtung 12 dargestellt. Der aktuell nicht erfasste Teil des Gegenstands 34, welcher sich außerhalb des Erfassungsbereichs 16 befindet, wurde während der Bewegung des Fahrzeugs 10 zuvor erfasst und kann daher in der Umgebungsdarstellung, welche kontinuierlich von der Verarbeitungsvorrichtung 15 aufgebaut wurde, rekonstruiert dargestellt werden. Auch die Fahrbahnmarkierung 31 kann teilweise aus Live-Informationen der Bilderfassungsvorrichtungen 12, 13 sowie aus zuvor erfassten Bildinformationen rekonstruiert als Umgebungsinformation auf der Anzeigevorrichtung 14 dargestellt werden.The vehicle 10 continues to move along the trajectory 36 until it's in 4 reached shown position. 7 shows the output on the display device 14 at this time. The road marking 31 will again be in the coverage area 16 shown as live information. The object 32 is now no longer as in 6 in the area of the rear left door of the vehicle 10 but in the area of the left rearview mirror. The displacement of the article 32 in the in 7 shown representation on the display device 14 can the processing device 15 For example, perform using odometry data of the vehicle. The odometry data may be, for example, on a speedometer signal of the vehicle and a steering angle signal of the vehicle or on signals of a global navigation satellite system, such as GPS or Galileo, based. 5 shows the vehicle 10 after moving even further along the trajectory 36 has moved. 8th shows a corresponding output on the output device 14 , The article 32 will now be partially off the detection area 17 the first image capture device 13 and therefore partially within and partially outside the scope 17 on the display device 14 shown. The articles 33 and 34 are the same as the lane marking 31 partly in the detection area 16 the second image capture device 12 shown. The currently unrecognized part of the object 34, which is outside the scope 16 was located during the movement of the vehicle 10 previously detected and can therefore be in the environmental representation, which is continuously from the processing device 15 was reconstructed. Also the road marking 31 may be partly from live information of the image capture devices 12 . 13 and reconstructed from previously acquired image information as environmental information on the display device 14 being represented.

Obwohl es in den 6-8 nicht dargestellt ist, können diejenigen Bereiche in der Umgebung des Fahrzeugs 10, für welche noch keine Bildinformation vorliegt, mit einer speziellen Markierung, beispielsweise einer grauen oder schwarzen Einfärbung, gesondert dargestellt werden, um einem Fahrer des Fahrzeugs intuitiv zu vermitteln, dass für diesen Bereich noch keine Informationen vorliegen und der Fahrer daher den Fahrweg in diesen Bereichen ggf. anderweitig zu kontrollieren hat.Although it is in the 6-8 not shown, those areas in the environment of the vehicle 10 for which no image information is present, with a special marking, such as a gray or black coloring, are shown separately to intuitively convey to a driver of the vehicle that there is no information for this area and the driver therefore the track in these areas if necessary has to control otherwise.

Mit dem zuvor beschriebenen Anzeigesystem und dem zuvor beschriebenen Verfahren sind daher keine Kameras an der Seite des Fahrzeugs 10, beispielsweise an den Seitenspiegeln des Fahrzeugs 10, erforderlich, da Bilder, welche für die seitlichen Bereiches des Fahrzeugs benötigt werden, aus den vorderen und hinteren Bilderfassungsvorrichtungen in Kombination mit der Odometrie berechnet werden. Zusammenfassend nehmen die vorderen und hinteren Bilderfassungsvorrichtungen die Umgebung auf und berechnen aus dieser beispielsweise eine Draufsichtdarstellung. Da jedoch keine Bilderfassungsvorrichtungen zu Beobachtung der seitlichen Bereiche zur Verfügung stehen, können diese Bereiche in der Darstellung zunächst ausgegraut werden. Sobald sich das Fahrzeug bewegt, werden die bereits erfassten Bildanteile mittels einer optischen Umfeldkarte derart verschoben, dass die noch nicht erfassten (z.B. grauen) Bereiche gefüllt werden. Bei einer Vorwärtsfahrt werden diese Informationen für die seitlichen Bereiche von der vorderen Bilderfassungsvorrichtung 13 bereitgestellt und bei einer Rückwärtsfahrt von der hinteren Bilderfassungsvorrichtung 12. Wenn sich das Fahrzeug 10 um eine komplette Fahrzeuglänge bewegt hat, sind auch die seitlichen Bereiche vollständig erfasst und können auf der Anzeigevorrichtung 14 vollständig dargestellt werden. Indem nur beispielsweise zwei Bilderfassungsvorrichtungen (vorne und hinten) benötigt werden, kann eine deutliche Kostenreduktion gegenüber vier Bilderfassungsvorrichtungen (vorne, hinten, rechts und links) erzielt werden. Die Verarbeitungsvorrichtung 15 kann ferner statische und bewegliche Objekte detektieren, um einerseits Warnungen an den Fahrer auszugeben und darüber hinaus Artefakte beim Kombinieren der Bildinformationen zu vermeiden. Statt der Verwendung von Odometriedaten des Fahrzeugs, können auch die Bildinformationen selbst zur Bestimmung der Bewegung des Fahrzeugs herangezogen werden. Somit kann beispielsweise auf der Grundlage der Bilder der Bilderfassungsvorrichtungen 12, 13 einerseits eine hochgenaue Bewegungskompensation erfolgen und andererseits können bewegte und statische Objekte detektiert werden. Aus der Bewegungskompensation können die Kamerabewegungen bestimmt werden und somit aufeinander folgende Bilder miteinander kombiniert werden. Ein derartiges Kombinieren wird auch als „Stitching“ bezeichnet. Beim Kombinieren der aufeinander folgenden Bilder kann die Detektion der bewegten und statischen Objekte zu einer entsprechenden Maskierung oder Eintragung dieser Objekte verwendet werden. Aus den kombinierten aufeinander folgenden Bilder kann eine Ansicht von oben, eine sogenannte Vogelperspektivansicht oder Top View, berechnet werden und diese in Kombination mit einer Abbildung des Fahrzeugs von oben auf der Anzeigevorrichtung 14 ausgegeben werden. Ferner können auf der Grundlage der Detektion bewegter Objekte Warnungen an den Fahrer ausgegeben werden.Therefore, with the above-described display system and method described above, there are no cameras on the side of the vehicle 10 For example, on the side mirrors of the vehicle 10 , because images needed for the lateral area of the vehicle are calculated from the front and rear image capture devices in combination with the odometry. In summary, the front and rear image capture devices capture the environment and calculate, for example, a top view therefrom. However, since no image capture devices are available for observation of the lateral areas, these areas may be initially grayed out in the display. As soon as the vehicle moves, the already captured image components are shifted by means of an optical environment map in such a way that the areas that have not yet been detected (eg gray) are filled. When driving forwards, this information for the lateral areas of the front image acquisition device 13 provided and on a reverse drive from the rear image capture device 12 , When the vehicle 10 has moved to a complete vehicle length, the side areas are completely captured and can on the display device 14 be fully presented. By requiring only two image capture devices (front and back), for example, a significant cost reduction over four image capture devices (front, back, right and left) can be achieved. The processing device 15 It can also detect static and moving objects, on the one hand to give warnings to the driver and also to avoid artifacts when combining the image information. Instead of using odometry data of the vehicle, the image information itself can also be used to determine the movement of the vehicle. Thus, for example, based on the images of the image capture devices 12 . 13 On the one hand, a highly accurate motion compensation done and on the other hand, moving and static objects can be detected. From the motion compensation, the camera movements can be determined and thus successive images can be combined. Such combining is also referred to as "stitching". In combining the successive images, the detection of the moving and static objects can be used to appropriately mask or record these objects. From the combined successive images, a view from above, a so-called bird's-eye view or top view, can be calculated and this in combination with an image of the vehicle from above on the display device 14 be issued. Further, warnings may be issued to the driver based on the detection of moving objects.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Fahrzeugvehicle
1111: Anzeigesystemdisplay system
1212: zweite Bilderfassungsvorrichtungsecond image capture device
1313: erste Bilderfassungsvorrichtungfirst image capture device
1414: Anzeigevorrichtungdisplay device
1515: Verarbeitungsvorrichtungprocessing device
16,1716.17: Erfassungsbereichdetection range
2020: Verfahrenmethod
21-2521-25: Schrittstep
3030: UmgebungSurroundings
3131: Fahrbahnmarkierungroad marking
32-3532-35: Gegenstandobject
3636: Bewegungsbahntrajectory

Claims

A method of displaying environmental information in a vehicle, the method comprising: acquiring first image information of an environment (30) of the vehicle (10) with at least one image capture device (12, 13) of the vehicle (10) at a first position of the vehicle ( 10), - moving the vehicle (10) from the first position to a second position which is different from the first position, - acquiring second image information of the environment (30) with the at least one image capture device (12, 13) at the second Position of the vehicle (10), - generating an image of a surrounding area of the environment (30) of the vehicle (10) in dependence on the first image information and the second image information, wherein the image comprises at least a portion of the first image information and a portion of the second image information and - displaying the image of the surrounding area on a display device (14) of the vehicle (10), characterized by : determining moving and static objects (31-35) in the first image information and the second image information, and - generating the image of the surrounding area of the environment (30) of the vehicle (10) in dependence on the moving and static objects (31 -35), wherein the moving objects in the image of the surrounding area are displayed only on the basis of the last acquired image information.

Method according to Claim 1 characterized in that forming the image comprises creating the image of the surrounding area of the environment (30) of the vehicle (10) in response to position information of the first position and position information of the second position.

Method according to one of the preceding claims, characterized in that the at least one image capture device comprises a first image capture device (13) on a front side of the vehicle (10) and a second image capture device (12) on a rear side of the vehicle (10), wherein the first image capture device (13) is configured to detect image information of an environment (17) in front of the vehicle (10) and laterally in front of the vehicle (10), and wherein the second image capture device (12) is configured to display image information of an environment (16) behind the vehicle Vehicle (10) and laterally behind the vehicle (10) to detect.

Method according to one of the preceding claims, characterized in that the representation of the image of the surrounding area on the display device (14) comprises: - determining an image of the surrounding area in a top view, - combining the top view of the surrounding area with a predetermined image of the vehicle ( 10) in a plan view from above, and - showing the combined plan view of the surrounding area and the vehicle on the display device (14).

Method according to one of the preceding claims, characterized in that the representation of the image of the surrounding area on the display device (14) comprises: - determining a surrounding area for which no image information was detected, and - representing a predetermined mark in the surrounding area for which no Image information was captured.

Method according to one of the preceding claims, characterized in that the method further comprises: - detecting a further image information of the environment at a further position of the vehicle (10) with the at least one image capture device (12, 13), and - creating another image of the Surrounding area depending on the image and the further image information, wherein the further image comprises at least a portion of the image and the further image information.

Method according to Claim 6 , characterized in that the method further comprises: marking the further image information in the further image as long as the vehicle (10) is located at the further position.

A vehicle display system, comprising: - at least one image capture device (12, 13) attached to the vehicle (10) configured to capture image information of an environment (30) of the vehicle (10), - an in-vehicle (10 ) display device (14), and - a processing device (15), which is coupled to the at least one image capture device (12, 13) and the display device (14) and is configured, - a first image information of the environment (30) with the at least detecting an image capture device (12, 13) at a first position of the vehicle (10), after a movement of the vehicle (10) from the first position to a second position, which is different from the first position, a second image information of the environment (30) with the to capture at least one image capture device (12, 13) at the second position of the vehicle (10), - to create an image of a surrounding region of the environment (30) of the vehicle (10) in dependence on the first image information and the second image information, wherein the Image comprises at least a portion of the first image information and a portion of the second image information, and - represent the image of the surrounding area on a display device (14), characterized in that the processing device (15) is further configured, - moving and static objects (31- 35) in the first image information and the second image information, and - to create the image of the surrounding area of the environment (30) of the vehicle (10) in dependence on the moving and static objects (31-35), wherein the moving objects in the image of the surrounding area are displayed only on the basis of the last acquired image information.

Display system according to Claim 8 , characterized in that the display system (11) for carrying out the method according to one of Claims 2 - 7 is designed.