DE102023202306B3 - Method for generating an environmental view of a vehicle, image recording device and vehicle - Google Patents
Method for generating an environmental view of a vehicle, image recording device and vehicle Download PDFInfo
- Publication number
- DE102023202306B3 DE102023202306B3 DE102023202306.7A DE102023202306A DE102023202306B3 DE 102023202306 B3 DE102023202306 B3 DE 102023202306B3 DE 102023202306 A DE102023202306 A DE 102023202306A DE 102023202306 B3 DE102023202306 B3 DE 102023202306B3
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- image data
- destination
- top view
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000007613 environmental effect Effects 0.000 title claims abstract description 23
- 238000013459 approach Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
- B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
- B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs (1), wobei das Fahrzeug (1) mehrere jeweils einen Teilbereich einer Fahrzeugumgebung erfassende Kameras (3) aufweist, wobei kontinuierlich von den Kameras (3) Bilddaten erzeugt und zumindest teilweise gespeichert werden, wobei nach Festlegung eines Zielorts (15) für das Fahrzeug (1) aus aktuell erzeugten und gespeicherten Bilddaten durch eine Projektion der Bilddaten auf eine Projektionsgrundfläche (16) eine Aufsicht (11) auf das Fahrzeug (1) und den Zielort (15) erzeugt wird, wobei die Aufsicht (11) ausgehend von einer virtuellen Kamera (17) erzeugt wird, welche virtuell in einer Anordnungshöhe (hv) senkrecht oberhalb einer auf der Projektionsgrundfläche (16) liegenden Anordnungsposition (P) angeordnet ist, wobei die Anordnungsposition (P) der virtuellen Kamera (17) bei einer Bewegung des Fahrzeugs (1) in Bezug zu der dargestellten Fahrzeugumgebung ortsfest ist und/oder wobei die Anordnungsposition (P) der virtuellen Kamera (17) zumindest vor einem Anfahren des Zielorts (15) durch das Fahrzeug (1) neben einer Fahrzeugposition des Fahrzeugs (1) liegt.Method for generating an environmental view of a vehicle (1), wherein the vehicle (1) has a plurality of cameras (3) each capturing a partial area of a vehicle environment, wherein image data is continuously generated and at least partially stored by the cameras (3), wherein after a destination (15) for the vehicle (1) has been determined from currently generated and stored image data, a top view (11) of the vehicle (1) and the destination (15) is generated by projecting the image data onto a projection base (16), wherein the top view (11) is generated from a virtual camera (17) which is virtually arranged at an arrangement height (hv) vertically above an arrangement position (P) lying on the projection base (16), wherein the arrangement position (P) of the virtual camera (17) is stationary when the vehicle (1) is moving in relation to the vehicle environment shown and/or wherein the arrangement position (P) of the virtual camera (17) is stationary at least before the vehicle approaches the destination (15). (1) is located next to a vehicle position of the vehicle (1).
Description
Die Erfindung betrifft ein Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, wobei das Fahrzeug mehrere jeweils einen Teilbereich einer Fahrzeugumgebung erfassende Kameras aufweist, wobei kontinuierlich von den Kameras Bilddaten erzeugt und zumindest teilweise gespeichert werden, wobei nach Festlegung eines Zielorts für das Fahrzeug aus aktuell erzeugten und gespeicherten Bilddaten durch eine Projektion der Bilddaten auf eine Projektionsgrundfläche eine Aufsicht auf das Fahrzeug und den Zielort erzeugt wird. Weiterhin betrifft die Erfindung eine Bildaufnahmeeinrichtung und ein Fahrzeug.The invention relates to a method for generating a view of the surroundings of a vehicle, wherein the vehicle has a plurality of cameras each capturing a partial area of a vehicle's surroundings, wherein image data is continuously generated by the cameras and at least partially stored, wherein after a destination for the vehicle has been determined, a top view of the vehicle and the destination is generated from currently generated and stored image data by projecting the image data onto a projection surface. The invention further relates to an image recording device and a vehicle.
Um das Manövrieren mit einem Fahrzeug zu erleichtern, können mithilfe von Fahrzeugkameras aufgenommene Umgebungsansichten zu einer Aufsicht auf das Fahrzeug und das unmittelbare Fahrzeugumfeld gewandelt werden. Dazu können insbesondere Fahrzeugkameras verwendet werden, welche an verschiedenen Seiten des Fahrzeugs angeordnet sind bzw. welche die Umgebung zu verschiedenen Seiten des Fahrzeugs erfassen. Aus diesen Bilder kann durch Projektion der Bilddaten auf eine Projektionsgrundfläche eine künstliche Aufsicht auf das Fahrzeug erzeugt werden.To make maneuvering a vehicle easier, views of the environment recorded using vehicle cameras can be converted into a top view of the vehicle and the immediate surroundings. In particular, vehicle cameras that are arranged on different sides of the vehicle or that capture the environment on different sides of the vehicle can be used for this purpose. An artificial top view of the vehicle can be created from these images by projecting the image data onto a projection surface.
So wird beispielsweise in
In einer derartigen Aufsicht wird in der Regel mittig das Fahrzeug bzw. eine Fahrzeuggrafik, welche das Fahrzeug von oben zeigt, dargestellt, wobei die von den Fahrzeugkameras erfasste Fahrzeugumgebung entsprechend um das Fahrzeug herum durch Projektion der Kamerabilder auf die Projektionsgrundfläche dargestellt wird. Bei einer Bewegung des Fahrzeugs kann die Aufsicht, insbesondere näherungsweise in Echtzeit, aktualisiert dargestellt werden. Dabei ist das Fahrzeug bzw. die Fahrzeuggrafik in der Regel ortsfest in Bezug zu der Aufsicht, wobei sich die Umgebung um das Fahrzeug abhängig von der tatsächlichen Fahrzeugbewegung ändert.In such a top view, the vehicle or a vehicle graphic showing the vehicle from above is usually shown in the middle, with the vehicle surroundings captured by the vehicle cameras being shown around the vehicle by projecting the camera images onto the projection surface. When the vehicle moves, the top view can be shown updated, in particular approximately in real time. The vehicle or the vehicle graphic is usually stationary in relation to the top view, with the surroundings around the vehicle changing depending on the actual vehicle movement.
In
Durch die Aufsicht können das Fahrzeugumfeld sowie die Orientierung des Fahrzeugs in dem Fahrzeugumfeld übersichtlich dargestellt werden. Von einem Fahrer des Fahrzeugs können dabei Umgebungsobjekte und die Orientierung des Fahrzeugs relativ zu den Umgebungsobjekten schnell und intuitiv wahrgenommen werden. Das Manövrieren des Fahrzeugs, insbesondere beim Rangieren des Fahrzeugs in einem beengten Fahrzeugumfeld, kann dadurch erheblich erleichtert werden. Durch die Zentrierung der Aufsicht auf das Fahrzeug kann das gezielte Anfahren eines Zielorts bzw. einer Zielposition jedoch als unvorteilhaft empfunden werden, insbesondere wenn viele Richtungswechsel beim Manövrieren durchgeführt werden, da sich der Zielort in der Darstellung dabei um das Fahrzeug bzw. die Fahrzeuggrafik bewegt.The top view allows the vehicle's surroundings and the orientation of the vehicle in the vehicle's surroundings to be clearly displayed. A driver of the vehicle can quickly and intuitively perceive surrounding objects and the orientation of the vehicle relative to the surrounding objects. This can make maneuvering the vehicle much easier, especially when maneuvering the vehicle in a confined vehicle environment. However, by centering the top view on the vehicle, targeted driving to a destination or target position can be perceived as disadvantageous, especially if many changes of direction are made during maneuvering, since the destination in the display moves around the vehicle or the vehicle graphic.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs anzugeben, welches insbesondere das Anfahren eines Zielorts erleichtert.The invention is based on the object of specifying an improved method for generating an environmental view of a vehicle, which in particular facilitates the approach to a destination.
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass die Aufsicht ausgehend von einer virtuellen Kamera erzeugt wird, welche virtuell in einer Anordnungshöhe senkrecht oberhalb einer auf der Projektionsgrundfläche liegenden Anordnungsposition angeordnet ist, wobei die Anordnungsposition der virtuellen Kamera bei einer Bewegung des Fahrzeugs in Bezug zu der dargestellten Fahrzeugumgebung ortsfest ist und/oder wobei die Anordnungsposition der virtuellen Kamera zumindest vor einem Anfahren des Zielorts durch das Fahrzeug neben einer Fahrzeugposition des Fahrzeugs liegt.To achieve this object, in a method of the type mentioned at the outset, the invention provides that the top view is generated from a virtual camera which is virtually arranged at an arrangement height vertically above an arrangement position lying on the projection base surface, wherein the arrangement position of the virtual camera is stationary when the vehicle moves in relation to the vehicle environment shown and/or wherein the arrangement position of the virtual camera is adjacent to a vehicle position of the vehicle at least before the vehicle approaches the destination.
Bei dem Fahrzeug kann es sich beispielsweise um einen Personenkraftwagen, einen Lastkraftwagen, ein Motorrad, eine Baumaschine oder ein schienengebundenes Fahrzeug handeln. Auch weitere Ausführungsformen des Fahrzeugs sind denkbar. Das Fahrzeug umfasst mehrere Kameras, welche jeweils einen Teilbereich der Fahrzeugumgebung erfassen. Insbesondere kann über die Kameras des Fahrzeugs die komplette Fahrzeugumgebung um das Fahrzeug herum erfasst werden (sogenannter 360°-Surround View). Die Kameras können beispielsweise als eine Frontkamera, als eine Heckkamera oder als Seitenkameras, welche zum Beispiel an den Seitenspiegeln eines Fahrzeugs angeordnet sein können, ausgebildet sein. Es ist möglich, dass die Kameras, oder zumindest ein Teil der Kameras, als Fischaugenkameras ausgebildet sind, welche jeweils einen großen Erfassungswinkel, beispielsweise von 180° oder mehr, aufweisen und somit jeweils einen großen Teilbereich der Fahrzeugumgebung erfassen können.The vehicle can be, for example, a passenger car, a truck, a motorcycle, a construction machine or a rail-bound vehicle. Other embodiments of the vehicle are also conceivable. The vehicle comprises several cameras, each of which captures a partial area of the vehicle's surroundings. In particular, the vehicle's cameras can capture the entire vehicle environment around the vehicle (so-called 360° surround view). The cameras can be designed, for example, as a front camera, as a rear camera or as side cameras, which can be arranged, for example, on the side mirrors of a vehicle. It is possible that the cameras, or at least some of the cameras, are designed as fisheye cameras, each of which has a large detection angle, for example of 180° or more, and can therefore each capture a large partial area of the vehicle's surroundings.
Von den Kameras werden kontinuierlich Bilddaten erzeugt, wobei in den Bilddaten entsprechend jeweils ein Teilbereich der Fahrzeugumgebung abgebildet ist. Die Bilddaten können insbesondere als ein Bilddatenstrom, beispielsweise als ein Video, bzw. als eine Serie von Einzelbildern mit einer vorgegebenen oder variablen Bildrate, erfasst werden. Zumindest ein Teil der Bilddaten wird in einer Speichereinrichtung des Fahrzeugs gespeichert. In den gespeicherten Bilddaten wird somit ein zeitlich zurückliegendes Fahrzeugumfeld dargestellt, welches sich auch örtlich von der aktuellen Position des Fahrzeugs unterscheiden kann, wenn sich das Fahrzeug während der Bilderfassung bewegt. In den gespeicherten Bilddaten ist somit das Fahrzeugumfeld ausgehend von einer vorangehenden Fahrzeugposition bzw. zu einem früheren Zeitpunkt abgebildet.The cameras continuously generate image data, with a sub-area of the vehicle's surroundings being depicted in each image data. The image data can be captured in particular as an image data stream, for example as a video, or as a series of individual images with a predetermined or variable frame rate. At least part of the image data is stored in a storage device in the vehicle. The stored image data thus shows the vehicle's surroundings from a previous time, which may also differ geographically from the current position of the vehicle if the vehicle is moving while the image is being captured. The stored image data thus depicts the vehicle's surroundings starting from a previous vehicle position or at an earlier point in time.
Wenn ein Zielort für das Fahrzeug festgelegt wurde, wird aus den aktuellen Bilddaten, welche in der aktuellen Position des Fahrzeugs von den Kameras erzeugt werden, sowie aus den gespeicherten Bilddaten eine Aufsicht auf das Fahrzeug und den Zielort erzeugt. Es ist möglich, dass der Zielort beispielsweise in einer vorangehend, nur auf Grundlage der aktuellen Bilddaten erzeugten Aufsicht auf das Fahrzeug von einem Benutzer des Fahrzeugs ausgewählt wird. Auch weitere Möglichkeiten zur Auswahl des Zielorts, beispielsweise eine Auswahl über ein Navigationsgerät des Kraftfahrzeugs, eine Umgebungskarte und/oder über eine von einer Aufsicht verschiedene, aus den Bilddaten der Kameras erzeugte Darstellung ist möglich. Die Aufsicht wird insbesondere über eine Anzeigeeinrichtung des Fahrzeugs einem Fahrer bzw. einem Benutzer des Fahrzeugs dargestellt. Die Aufsicht kann insbesondere kontinuierlich in Abhängigkeit von aktuell erzeugten Bilddaten und/oder weiteren, im Zeitverlauf zusätzlich hinzugefügten, gespeicherten Bilddaten erzeugt werden.If a destination has been set for the vehicle, a top view of the vehicle and the destination is generated from the current image data generated by the cameras in the vehicle's current position and from the stored image data. It is possible for the destination to be selected by a user of the vehicle, for example in a previous top view of the vehicle generated only on the basis of the current image data. Other options for selecting the destination are also possible, for example a selection via a navigation device in the vehicle, a map of the surroundings and/or a display generated from the image data from the cameras that is different from a top view. The top view is shown to a driver or user of the vehicle, in particular via a display device in the vehicle. The top view can in particular be generated continuously as a function of currently generated image data and/or further stored image data added over time.
Die Aufsicht auf das Fahrzeug und den Zielort aus den gespeicherten Bilddaten und den aktuellen Bilddaten wird durch eine Projektion der Bilddaten auf eine Projektionsgrundfläche erzeugt. Die Aufsicht zeigt dabei einen Blick auf das Fahrzeug sowie die Fahrzeugumgebung ausgehend von einer virtuellen Kamera. Die virtuelle Kamera ist in einer virtuellen Anordnungshöhe senkrecht oberhalb einer auf der Projektionsgrundfläche liegenden Anordnungsposition angeordnet. Die virtuelle Kamera befindet sich also ohne lateralen Versatz zu der Anordnungsposition oberhalb der Anordnungsposition, wobei die Anordnungshöhe den Abstand der virtuellen Kamera von der Anordnungsposition beschreibt.The top view of the vehicle and the destination from the stored image data and the current image data is generated by projecting the image data onto a projection surface. The top view shows a view of the vehicle and the vehicle surroundings from a virtual camera. The virtual camera is arranged at a virtual arrangement height vertically above an arrangement position on the projection surface. The virtual camera is therefore located above the arrangement position without any lateral offset from the arrangement position, with the arrangement height describing the distance of the virtual camera from the arrangement position.
Die Anordnungsposition kann insbesondere bei einer Bewegung des Fahrzeugs ortsfest in Bezug zu der dargestellten Fahrzeugumgebung bleiben. Dies bewirkt, dass die erzeugte Aufsicht in Bezug zu unbeweglichen bzw. unbewegten Objekten in der Fahrzeugbewegung statisch ist und sich daher auch bei einer Bewegung des Fahrzeugs nicht ändern. Dies hat den Vorteil, dass die Relativposition zwischen dem Fahrzeug und dem anzufahrenden Zielort leicht in der Aufsicht erkannt werden kann. Insbesondere, wenn das Fahrzeug im Zuge seiner Bewegung seine Orientierung ändert, beispielsweise durch einen Lenkeinschlag bei einem Rangiermanöver, ändert sich die Orientierung der Aufsicht nicht.The arrangement position can remain stationary in relation to the vehicle surroundings shown, particularly when the vehicle is moving. This means that the view generated is static in relation to immobile or unmoving objects in the vehicle's movement and therefore does not change even when the vehicle is moving. This has the advantage that the relative position between the vehicle and the destination to be reached can be easily recognized in the view. In particular, if the vehicle changes its orientation during its movement, for example by turning the steering wheel during a maneuvering maneuver, the orientation of the view does not change.
Zusätzlich oder alternativ dazu kann die Anordnungsposition insbesondere derart gewählt werden, dass sie zumindest vor einem Anfahren des Zielorts durch das Fahrzeug neben einer Fahrzeugposition des Fahrzeugs liegt. Die Anordnungsposition der virtuellen Kamera kann somit nicht senkrecht oberhalb des Fahrzeugs, sondern entweder senkrecht oberhalb einer von der Fahrzeugposition verschiedenen Position, d.h. an einer in der Aufsicht nicht innerhalb des Fahrzeugumrisses liegenden Position, vorgesehen sein.Additionally or alternatively, the arrangement position can be selected in particular such that it is located next to a vehicle position of the vehicle at least before the vehicle approaches the destination. The arrangement position of the virtual camera can therefore not be provided vertically above the vehicle, but either vertically above a position different from the vehicle position, i.e. at a position that is not within the vehicle outline when viewed from above.
Durch das Verwenden der gespeicherten Bilddaten stehen historische Bilddaten zur Verfügung, welche auch bei einer Fahrzeugbewegung weiter vom Zielort weg, beispielsweise bei einer Vorbeifahrt an dem Zielort, eine Darstellung des Zielorts in der Aufsicht ermöglichen, auch wenn der Zielort nicht mehr unmittelbar aus der aktuellen Fahrzeugposition von den Kameras erfasst werden kann. Auf diese Weise kann die Aufsicht ausgehend von einer ortsfesten und/oder einer nicht senkrecht über dem Fahrzeug zentrierten virtuellen Kamera erzeugt werden.By using the stored image data, historical image data is available, which enables a top-down view of the destination even when the vehicle moves further away from the destination, for example when driving past the destination, even if the destination can no longer be directly captured by the cameras from the current vehicle position. In this way, the top-down view can be generated from a stationary and/or a virtual camera that is not centered vertically above the vehicle.
Beispielsweise kann es sich bei dem Zielort um eine Parklücke handeln, an der das Fahrzeug vorbeifährt und welche anschließend als ein Zielort ausgewählt wird, um das Fahrzeug in der Parklücke zu parken. Vorteilhaft kann in diesem Fall die Aufsicht ausgehend von den aktuellen Bilddaten und den gespeicherten Bilddaten erzeugt werden, sodass die Parklücke und das Fahrzeug in einer Aufsicht ausgehend von einer virtuellen Kamera, welche beispielsweise senkrecht oberhalb einer in der Parklücke liegenden Anordnungsposition oder an einer anderen Anordnungsposition neben dem Fahrzeug bzw. neben der von dem Fahrzeug in der Aufsicht bedeckten Fläche angeordnet ist, dargestellt werden können.For example, the destination may be a parking space that the vehicle passes and which is then selected as a destination to park the vehicle in the parking space to park. In this case, the top view can advantageously be generated based on the current image data and the stored image data, so that the parking space and the vehicle can be displayed in a top view from a virtual camera which is arranged, for example, vertically above an arrangement position in the parking space or at another arrangement position next to the vehicle or next to the area covered by the vehicle in the top view.
Zusätzlich oder alternativ dazu ist es möglich, dass die virtuelle Kamera während der Bewegung des Fahrzeugs zu dem Zielort ortsfest verbleibt. Die ortsfeste virtuelle Kamera kann senkrecht oberhalb einer in der Parklücke liegenden Anordnungsposition oder an einer Anordnungsposition zwischen der aktuellen Fahrzeugposition und der Parklücke angeordnet sein. Es ist jedoch auch möglich, dass die ortsfeste virtuelle Kamera zunächst senkrecht oberhalb des Fahrzeugs angeordnet ist, sich bei der Fahrzeugbewegung jedoch nicht bewegt und an der ursprünglichen Position verbleibt.In addition or alternatively, it is possible for the virtual camera to remain stationary while the vehicle is moving to the destination. The stationary virtual camera can be arranged vertically above an arrangement position in the parking space or at an arrangement position between the current vehicle position and the parking space. However, it is also possible for the stationary virtual camera to initially be arranged vertically above the vehicle, but not to move when the vehicle moves and to remain in the original position.
Durch die beiden erfindungsgemäßen Alternativen für die Anordnung der virtuellen Kamera wird dem Fahrer eine Aufsicht auf die aktuelle Szene präsentiert, welche der Sicht einer oberhalb der Anordnungsposition schwebenden Drohne entspricht. Durch den Verzicht auf eine Zentralisierung des Fahrzeugs in der Aufsicht wird ein Anfahren des Zielorts, beispielsweise im Rahmen eines Einparkvorgangs, erheblich erleichtert, da in der Aufsicht sowohl die Fahrzeugposition als auch der Zielort sowie deren relative Anordnung zueinander einfach und intuitiv erkannt werden können.The two alternatives for the arrangement of the virtual camera according to the invention present the driver with a view of the current scene that corresponds to the view of a drone hovering above the arrangement position. By dispensing with centralizing the vehicle in the view, driving to the destination, for example during a parking maneuver, is made considerably easier, since both the vehicle position and the destination as well as their relative arrangement to one another can be recognized easily and intuitively in the view.
Durch das Verwenden der gespeicherten Bilddaten wird es ermöglicht, die Darstellung der Fahrzeugumgebung in der Aufsicht auf Bereiche zu erweitern, welche vorangehend von dem Fahrzeug durchfahren bzw. in den vorangehend aufgenommenen und zumindest teilweise gespeicherten Bilddaten abgebildet wurden. Vorteilhaft können von einem Benutzer des Fahrzeugs somit ein größerer Teil der Fahrzeugumgebung und insbesondere auch ein größerer Teil der Umgebung um einen gewünschten Zielort in der Aufsicht betrachtet werden. Dadurch wird das Anfahren des Zielorts durch das Fahrzeug vorteilhaft erheblich erleichtert.By using the stored image data, it is possible to expand the representation of the vehicle's surroundings in the top view to include areas that the vehicle previously drove through or that were depicted in the previously recorded and at least partially stored image data. A user of the vehicle can therefore advantageously view a larger part of the vehicle's surroundings and in particular a larger part of the area around a desired destination in the top view. This advantageously makes it much easier for the vehicle to approach the destination.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Anordnungsposition der virtuellen Kamera an dem Zielort oder zwischen dem Zielort und einer aktuellen Fahrzeugposition des Fahrzeugs liegt. Wenn der Zielort ein Zielpunkt innerhalb der Fahrzeugumgebung ist, kann die Anordnungsposition identisch mit dem Zielort sein, d.h. dass die Anordnungsposition direkt an dem Zielpunkt liegt. Es ist auch möglich, dass der Zielort ein Zielbereich ist, beispielsweise eine Parklücke, wobei in diesem Fall die Anordnungsposition an dem Zielort liegt, wenn sie innerhalb der Parklücke bzw. innerhalb des Zielbereichs liegt. Dabei kann die Anordnungsposition beispielsweise mittig über dem Zielbereich angeordnet sein.In a preferred embodiment of the invention, it can be provided that the arrangement position of the virtual camera is at the target location or between the target location and a current vehicle position of the vehicle. If the target location is a target point within the vehicle environment, the arrangement position can be identical to the target location, i.e. that the arrangement position is directly at the target point. It is also possible for the target location to be a target area, for example a parking space, in which case the arrangement position is at the target location if it is within the parking space or within the target area. The arrangement position can, for example, be arranged centrally above the target area.
Eine Position, welche zwischen dem Zielort und der aktuellen Fahrzeugposition liegt, kann insbesondere auf einer Geraden liegen, welche von einem Punkt auf dem Umfang des Fahrzeugs in der Aufsicht zu dem Zielpunkt oder einem Punkt auf einem Umfang des Zielbereichs verläuft. Der Punkt auf dem Umfang des Fahrzeugs bzw. der Punkt auf dem Umfang eines Zielbereich kann dabei beliebig gewählt werden, wodurch sich unterschiedliche Anordnungsmöglichkeiten für die virtuelle Kamera in dem Bereich, welcher in der Aufsicht zwischen dem Fahrzeug und dem Zielort liegt, ergeben.A position that lies between the target location and the current vehicle position can in particular lie on a straight line that runs from a point on the circumference of the vehicle in the top view to the target point or a point on a circumference of the target area. The point on the circumference of the vehicle or the point on the circumference of a target area can be chosen arbitrarily, which results in different arrangement options for the virtual camera in the area that lies between the vehicle and the target location in the top view.
Durch das Positionieren der Anordnungsposition der virtuellen Kamera an dem Zielort oder zwischen dem Zielort und der aktuellen Fahrzeugposition wird nicht mehr das Fahrzeug in das Zentrum der Aufsicht gerückt, sondern entweder der Zielort oder eine Position zwischen dem Fahrzeug und dem Zielort. Dies hat den Vorteil, dass der Zielort besser erkannt werden kann und insbesondere die relative Anordnung zwischen der aktuellen Fahrzeugposition und dem Zielort besser von einem Benutzer erfasst werden kann.By positioning the arrangement position of the virtual camera at the target location or between the target location and the current vehicle position, the vehicle is no longer placed in the center of the view, but rather either the target location or a position between the vehicle and the target location. This has the advantage that the target location can be better recognized and, in particular, the relative arrangement between the current vehicle position and the target location can be better understood by a user.
Erfindungsgemäß kann vorgesehen sein, dass eine zumindest vor einem Anfahren des Zielorts durch das Fahrzeug an einer Position neben einer Fahrzeugposition des Fahrzeugs liegende Anordnungsposition auf der Projektionsgrundfläche in Abhängigkeit einer Fahrzeugbewegung bewegt wird. Dabei kann beispielsweise bei einer Bewegung des Fahrzeugs, welche dieses weiter von dem Zielort entfernt, die Anordnungsposition zu einer näher am Fahrzeug liegenden Position verschoben werden. Beispielsweise kann die Anordnungsposition bei einer Fahrzeugbewegung stets mittig zwischen der Fahrzeugposition und dem Zielort angeordnet bleiben. Dazu kann sich die Anordnungsposition zum Beispiel in Abhängigkeit der Fahrzeugbewegung hinter dem Fahrzeug her bewegen bzw. bei einer Bewegung des Fahrzeugs zu dem Zielort hin sich auch wieder auf den Zielort zu bewegen.According to the invention, it can be provided that an arrangement position on the projection surface, which is located at a position next to a vehicle position of the vehicle at least before the vehicle approaches the destination, is moved depending on a vehicle movement. In this case, for example, if the vehicle moves further away from the destination, the arrangement position can be moved to a position closer to the vehicle. For example, the arrangement position can always remain centered between the vehicle position and the destination when the vehicle is moving. For this purpose, the arrangement position can, for example, move behind the vehicle depending on the vehicle movement or, if the vehicle moves towards the destination, move back towards the destination.
Es ist möglich, dass zusätzlich oder alternativ dazu auch die Anordnungshöhe der Kamera in Abhängigkeit einer Bewegung des Fahrzeugs geändert wird, sodass sich weiterhin die komplette Aufsicht auf die Szene umfassend das Fahrzeug und den Zielort auf einer Anzeigeeinrichtung des Fahrzeugs darstellen lassen. Dazu kann die Anordnungshöhe bei einem sich von dem Zielort wegbewegenden Fahrzeug vergrößert und sich bei einem näher an dem Ziel bewegenden Fahrzeug verkleinert werden.It is possible that, in addition or as an alternative, the camera's arrangement height is changed depending on the movement of the vehicle, so that the complete view of the scene, including the vehicle and the destination, can continue to be shown on a display device of the vehicle. For this purpose, the arrangement height can be changed when the vehicle moves away from the destination. the vehicle and decrease as the vehicle moves closer to the target.
Erfindungsgemäß ist vorgesehen, dass zunächst eine Anordnungsposition, welche an der aktuellen Fahrzeugposition liegt, verwendet wird, bis ein Auslösekriterium erfüllt ist, wobei nach Erfüllung des Auslösekriteriums die Anordnungsposition ortsfest bleibt und/oder neben die Fahrzeugposition des Fahrzeugs versetzt wird. Es kann also zunächst das Fahrzeug, auch während einer Fahrzeugbewegung, stets zentral in der Aufsicht dargestellt werden, bis ein Auslösekriterium erfüllt ist bzw. eine Auslösebedingung eintritt. Nach Erfüllen des Auslösekriteriums wird die Anordnungsposition der Kamera, wie vorangehend beschrieben wurde, ortsfest und/oder an eine Position neben dem Fahrzeug versetzt. Dies ermöglicht es, dass bis zum Eintreten einer durch das Auslösekriterium beschriebenen Auslösebedingung eine klassische Aufsicht auf das Fahrzeug, bei der sich das Fahrzeug in der Mitte der Aufsicht befindet, angezeigt wird. Anschließend kann nach dem Erfüllen des Auslösekriteriums die Anordnungsposition der Kamera versetzt werden, sodass das Anfahren des Zielorts erleichtert werden kann.According to the invention, an arrangement position which is at the current vehicle position is initially used until a trigger criterion is met, whereby after the trigger criterion is met, the arrangement position remains stationary and/or is moved next to the vehicle position of the vehicle. The vehicle can therefore initially always be shown centrally in the top view, even during vehicle movement, until a trigger criterion is met or a trigger condition occurs. After the trigger criterion is met, the arrangement position of the camera, as described above, is fixed and/or moved to a position next to the vehicle. This makes it possible for a classic top view of the vehicle, in which the vehicle is in the middle of the view, to be displayed until a trigger condition described by the trigger criterion occurs. Then, after the trigger criterion is met, the arrangement position of the camera can be moved so that driving to the destination can be made easier.
Erfindungsgemäß kann vorgesehen sein, dass als Auslösekriteriums eine Auswahl eines Zielorts durch einen Benutzer des Fahrzeugs oder eine automatische Auswahl eines Zielorts sich eine zumindest teilweise automatisierte Fahrfunktion des Fahrzeugs verwendet wird. Es ist insbesondere möglich, dass der Benutzer den Zielort in der dargestellten Aufsicht, in der die Anordnungsposition an der aktuellen Fahrzeugposition liegt, auswählt, wobei nach der Auswahl entsprechend die Anordnungsposition versetzt wird. Alternativ dazu kann das Auslösekriteriums auch durch eine automatische Auswahl des Zielorts durch eine zumindest teilweise automatisierte Fahrfunktion, beispielsweise durch einen Einparkassistenten, einen Assistenten zum vollautomatisierten Fahren o. ä., erfüllt werden.According to the invention, it can be provided that a selection of a destination by a user of the vehicle or an automatic selection of a destination using an at least partially automated driving function of the vehicle is used as the triggering criterion. It is particularly possible for the user to select the destination in the top view shown, in which the arrangement position is at the current vehicle position, with the arrangement position being moved accordingly after the selection. Alternatively, the triggering criterion can also be met by an automatic selection of the destination by an at least partially automated driving function, for example by a parking assistant, an assistant for fully automated driving or similar.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Aufsicht zumindest während einer Bewegung des Fahrzeugs fortlaufend durch aktuell erzeugte Bilddaten der Kameras aktualisiert und/oder ergänzt wird, insbesondere, indem Projektionen der aktuell erzeugten Bilddaten auf die Projektionsgrundfläche in Abhängigkeit der aktuellen Fahrzeugposition zu der bereits bestehenden Aufsicht ergänzt werden. Dadurch kann vorteilhaft die dargestellte Aufsicht in Abhängigkeit weiterer, aktuell erzeugter Bilddaten bei einer Fahrzeugbewegung erweitert werden und/oder es können Veränderungen in der Umgebung des Fahrzeugs durch eine Aktualisierung der projizierten Bilddaten in der Aufsicht abgebildet werden. Es kann insbesondere bei einer Bewegung des Fahrzeugs somit auch der aus der aktuellen Fahrzeugposition jeweils von den Kameras einsehbare Teil des Fahrzeugumfelds der Aufsicht hinzugefügt werden, sodass sich der in der Aufsicht dargestellte Teil der Fahrzeugumgebung in Abhängigkeit der aktuellen Fahrzeugbewegung erweitert. Analog dazu können auch ältere Bilddaten durch neue, aktuell aufgenommene Bilddaten ersetzt werden, um die Umgebungsdarstellung an den aktuellen Zustand der Fahrzeugumgebung anzupassen.In a preferred embodiment of the invention, it can be provided that the top view is continuously updated and/or supplemented at least during a movement of the vehicle using currently generated image data from the cameras, in particular by adding projections of the currently generated image data onto the projection surface to the existing top view depending on the current vehicle position. This can advantageously expand the top view shown depending on additional, currently generated image data when the vehicle is moving and/or changes in the surroundings of the vehicle can be shown in the top view by updating the projected image data. In particular when the vehicle is moving, the part of the vehicle surroundings that can be seen by the cameras from the current vehicle position can also be added to the top view, so that the part of the vehicle surroundings shown in the top view expands depending on the current vehicle movement. Analogously, older image data can also be replaced by new, currently recorded image data in order to adapt the representation of the surroundings to the current state of the vehicle surroundings.
Das Anfügen der aktuellen Bilddaten kann dadurch erfolgen, dass die aktuellen Bilddaten auf die Projektionsgrundfläche projiziert werden und anschließend, beispielsweise mittels Image Stitching, an die vorangehend aufgenommenen und auf die Projektionsgrundfläche projizierten Bilddaten angefügt werden. Das Anfügen der aktuell erzeugten Bilddaten kann dabei vereinfacht werden, in dem eine optimierte affine Transformation der projizierten Bilddaten verwendet wird. The current image data can be added by projecting the current image data onto the projection surface and then, for example using image stitching, adding it to the image data previously recorded and projected onto the projection surface. Adding the currently generated image data can be simplified by using an optimized affine transformation of the projected image data.
Das Anfügen von aktuell erzeugten Bilddaten an gespeicherte Bilddaten kann unter Verwendung von wenigstens einem Verfahren zum Angleichen der Bilddaten erfolgen. Beispielsweise können Übergänge zwischen den einzelnen, von den Bilddaten beschriebenen Bildern mittels gewichtetem oder ungewichtetem Alpha-Blending erzeugt werden, was zu einer verbesserten Darstellungsqualität führt.The appending of currently generated image data to stored image data can be carried out using at least one method for adjusting the image data. For example, transitions between the individual images described by the image data can be generated by means of weighted or unweighted alpha blending, which leads to improved display quality.
Erfindungsgemäß kann vorgesehen sein, dass die gespeicherten Bilddaten jeweils mit einer zugehörigen Ortsinformation gespeichert werden, wobei die Ortsinformation mittels einer Ortsermittlungseinrichtung, insbesondere mittels einer Navigationseinrichtung oder mittels einer Odometrieeinrichtung, und/oder mittels einer Auswertung der Bilddaten der Kameras ermittelt wird. Auf diese Weise wird das räumliche Zusammenfügen der gespeicherten Bilddaten mit den aktuell erzeugten Bilddaten vereinfacht, da den jeweiligen gespeicherten Bilddaten eine Ortsinformation, beispielsweise die Position des Fahrzeugs bei der Aufnahme der jeweiligen Bilddaten oder eine zu einem beliebigen Bezugspunkt angegebene, zum Aufnahmezeitpunkt der Bilddaten bereits durchgeführte Relativbewegung des Fahrzeugs, bekannt ist.According to the invention, it can be provided that the stored image data are each stored with associated location information, wherein the location information is determined by means of a location determination device, in particular by means of a navigation device or by means of an odometry device, and/or by means of an evaluation of the image data from the cameras. In this way, the spatial combination of the stored image data with the currently generated image data is simplified, since the respective stored image data contains location information, for example the position of the vehicle when the respective image data was recorded or a relative movement of the vehicle specified at an arbitrary reference point that had already taken place at the time the image data was recorded.
Die Ortsinformation kann zum Beispiel mittels einer Ortsermittlungseinrichtung wie einer Navigationseinrichtung des Fahrzeugs, zum Beispiel einer GPS-Einrichtung, erzeugt werden. Zusätzlich oder alternativ dazu kann die Ermittlung der absoluten oder relativen Fahrzeugposition auch über Odometrie und/oder über eine Auswertung des Inhalts der Bilddaten, beispielsweise durch semantische Segmentierung, eine Auswertung des optischen Flusses o. ä., erfolgen, wobei die jeweilige Fahrzeugposition dann als Ortsinformation zugeordneter Bilddaten gespeichert werden kann.The location information can be generated, for example, by means of a location determination device such as a navigation device of the vehicle, for example a GPS device. In addition or alternatively, the determination of the absolute or relative vehicle position can also be carried out via odometry and/or via an evaluation of the content of the image data, for example through semantic segmentation, an evaluation of the optical flow or similar, whereby the respective vehicle position can then be saved as location information of associated image data.
Um die Menge der gespeicherten Bilddaten zu begrenzen, kann erfindungsgemäß vorgesehen sein, dass Bilddaten gespeichert werden, welche innerhalb eines vorgegebenen Abstands zu dem Fahrzeug und/oder innerhalb eines vorgegebenen Abstands zu dem Zielort erzeugt wurden, und/oder dass Bilddaten gespeichert werden, welche innerhalb eines zurückliegenden Zeitintervalls erzeugt wurden. In order to limit the amount of stored image data, it can be provided according to the invention that image data are stored which were generated within a predetermined distance from the vehicle and/or within a predetermined distance from the destination, and/or that image data are stored which were generated within a previous time interval.
Insbesondere kann vorgesehen sein, dass nur Bilddaten innerhalb eines vorgegebenen Abstands zu der aktuellen Fahrzeugposition und/oder nur Bilddaten innerhalb eines vorgegebenen Abstands zu dem Zielort gespeichert werden. Dies kann zum Beispiel dadurch erreicht werden, dass Bilddaten, deren Ortsinformation einen Abstand, welcher größer als der vorgegebene Abstand zu dem Fahrzeug bzw. der vorgegebene Abstand zu dem Zielort beschreibt, aus einer Speichereinrichtung gelöscht werden.In particular, it can be provided that only image data within a predetermined distance from the current vehicle position and/or only image data within a predetermined distance from the destination are stored. This can be achieved, for example, by deleting image data whose location information describes a distance that is greater than the predetermined distance from the vehicle or the predetermined distance from the destination from a storage device.
Zusätzlich oder alternativ zu einem räumlichen Bezug kann auch ein zeitlicher Bezug der Bilddaten betrachtet werden, sodass nur Bilddaten gespeichert werden, welche innerhalb einer zurückliegenden Zeitspanne, beispielsweise innerhalb der letzten dreißig Sekunden, aufgenommen wurden. Dies ermöglicht es, dass beim Erfüllen eines Auslösekriteriums wie der Anwahl eines gewünschten Zielortes genug vorangehend aufgenommenen Bilddaten gespeichert sind, um das Verschieben der Aufnahmeposition der virtuellen Kamera, so wie es vorangehend beschrieben wurde, umzusetzen.In addition or as an alternative to a spatial reference, a temporal reference of the image data can also be considered, so that only image data that was recorded within a previous period of time, for example within the last thirty seconds, is saved. This makes it possible that when a trigger criterion is met, such as selecting a desired destination, enough previously recorded image data is saved to implement the shifting of the recording position of the virtual camera, as described above.
Erfindungsgemäß kann vorgesehen sein, dass die Bilddaten in einem Ringpuffer gespeichert werden. Der Ringpuffer bzw. Ringspeicher kann dabei in einer Speichereinrichtung des Fahrzeugs realisiert sein. Die Speichereinrichtung kann dabei zum Beispiel ein Teil einer zur Durchführung des Verfahrens eingerichteten Steuereinrichtung sein.According to the invention, it can be provided that the image data are stored in a ring buffer. The ring buffer or ring memory can be implemented in a storage device of the vehicle. The storage device can, for example, be part of a control device set up to carry out the method.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Projektion der Bilddaten auf eine ebene Projektionsgrundfläche erfolgt und/oder dass die Projektion der Bilddaten auf die dreidimensionale Projektionsgrundfläche, insbesondere in Abhängigkeit von aus den Bilddaten und/oder von Umfeldsensoren des Fahrzeugs erzeugten Umfelddaten, erfolgt. Die Projektionsgrundfläche kann eine ebene Fläche sein, auf die die aktuell aufgenommenen sowie die gespeicherten Bilddaten projiziert werden.In a preferred embodiment of the invention, it can be provided that the image data is projected onto a flat projection surface and/or that the image data is projected onto the three-dimensional projection surface, in particular depending on environmental data generated from the image data and/or from environmental sensors of the vehicle. The projection surface can be a flat surface onto which the currently recorded and stored image data are projected.
Es ist auch möglich, dass es sich bei der Projektionsgrundfläche um eine aus einer gekrümmten bzw. gebogenen Ebene abgeleitete Projektionsgrundfläche handelt. It is also possible that the projection surface is a projection surface derived from a curved or bent plane.
Die Projektionsgrundfläche kann auch eine Ebene sein, welche als eine Aufsicht auf einen sogenannten Bowl-View erzeugt wird. Eine dreidimensionale Projektionsgrundfläche kann an das tatsächliche Fahrzeugumfeld angepasst werden, wobei die Projektionsgrundfläche zur Erzeugung der Aufsicht beispielsweise an die Höhe von im Umfeld des Fahrzeugs erkannten Umgebungsobjekten angepasst wird, um eine möglichst realistische Erscheinung der Aufsicht nach der Projektion der Bilddaten auf die Projektionsgrundfläche zu erreichen. Dazu können zum Beispiel die Umfelddaten von Umfeldsensoren des Fahrzeugs verwendet werden.The projection surface can also be a plane that is generated as a top view of a so-called bowl view. A three-dimensional projection surface can be adapted to the actual vehicle environment, whereby the projection surface for generating the top view is adapted, for example, to the height of environmental objects detected in the vehicle's surroundings in order to achieve the most realistic appearance of the top view after the image data has been projected onto the projection surface. For example, the environmental data from the vehicle's environmental sensors can be used for this purpose.
Bei den Umfeldsensoren kann es sich zum Beispiel um Radarsensoren, Lidarsensoren und/oder Ultraschallsensoren handeln. Zusätzlich oder alternativ dazu kann auch eine Anpassung einer dreidimensionalen Projektionsgrundfläche in Abhängigkeit einer Auswertung des Inhalts der Bilddaten der Kameras erfolgen, wobei die Auswertung zum Beispiel mittels Verfahren wie semantischer Segmentierung oder ähnlichem erfolgen kann.The environmental sensors can be, for example, radar sensors, lidar sensors and/or ultrasonic sensors. In addition or as an alternative to this, a three-dimensional projection surface can also be adapted depending on an evaluation of the content of the image data from the cameras, whereby the evaluation can be carried out using methods such as semantic segmentation or similar.
Erfindungsgemäß kann vorgesehen sein, dass der Aufsicht zusätzlich wenigstens eine Markierung überlagert wird, wobei eine Markierungsposition der Markierung in der Aufsicht in Abhängigkeit der Fahrzeugposition und/oder des Zielorts ermittelt wird und die Markierung insbesondere ortsfest zu dem Zielort angezeigt wird. Die Markierung kann dabei insbesondere Hinweise geben, welche ein Erreichen des Zielorts weiter vereinfachen. Dabei kann es sich beispielsweise um Markierungen handeln, welche eine Positionierung des Fahrzeugs bei einem Anfahren des Zielorts kenntlich machen und/oder welche einzuhaltende Abstände zu Umgebungsobjekten im Umfeld des Fahrzeugs und/oder des Zielorts kenntlich machen.According to the invention, at least one marking can be superimposed on the top view, with a marking position of the marking in the top view being determined depending on the vehicle position and/or the destination and the marking being displayed in particular as being stationary relative to the destination. The marking can in particular provide information that further simplifies reaching the destination. These can, for example, be markings that indicate the positioning of the vehicle when approaching the destination and/or that indicate distances to be maintained from surrounding objects in the vicinity of the vehicle and/or the destination.
Für eine erfindungsgemäße Bildaufnahmeeinrichtung für ein Fahrzeug ist vorgesehen, dass sie mehrere Kameras und eine Steuereinrichtung umfasst, wobei die Steuereinrichtung zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtet ist.For an image recording device according to the invention for a vehicle, it is provided that it comprises several cameras and a control device, wherein the control device is set up to carry out a method according to the invention.
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es eine erfindungsgemäße Bildaufnahmeeinrichtung aufweist.It is provided for a vehicle according to the invention to have an image recording device according to the invention.
Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für die erfindungsgemäße Bildaufnahmeeinrichtung und für das erfindungsgemäße Fahrzeug sowie jeweils umgekehrt.All advantages and embodiments described above in relation to the method according to the invention apply accordingly to the image recording device according to the invention and to the vehicle according to the invention and vice versa.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
-
1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs umfassend ein Ausführungsbeispiel einer erfindungsgemäßen Bildaufnahmeeinrichtung, -
2 eine Darstellung einer mit dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erzeugten Aufsicht, -
3 eine Aufsicht auf ein Fahrzeug und einen Zielort und -
4 ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
-
1 an embodiment of a vehicle according to the invention comprising an embodiment of an image recording device according to the invention, -
2 a representation of a plan view produced with the embodiment of the method according to the invention, -
3 supervision of a vehicle and a destination and -
4 a flow chart of an embodiment of a method according to the invention.
In
Das Fahrzeug 1 umfasst weiterhin eine Anzeigeeinrichtung 24, über die grafische Informationen für einen Fahrer bzw. einen Benutzer des Fahrzeugs 1 dargestellt werden können. Bei der Anzeigeeinrichtung 24 kann es sich zum Beispiel über ein in einem Innenraum des Fahrzeugs 1 angeordnetes Display o. ä. handeln.The
Ein Teil der von den Kameras 3 erfassten und an die Steuereinrichtung 4 übermittelten Bilddaten wird gespeichert. Dies kann beispielsweise in einer Speichereinrichtung 9 der Steuereinrichtung 4 erfolgen. Es ist möglich, dass die Bilddaten zusätzlich mit einer Ortsinformation gespeichert werden, wobei die Ortsinformation mithilfe einer Ortsermittlungseinrichtung 10 des Fahrzeugs 1 bestimmt wird.A portion of the image data captured by the cameras 3 and transmitted to the
Die Ortsermittlungseinrichtung 10 des Fahrzeugs 1 kann zum Beispiel eine Navigationseinrichtung oder eine Odometrieeinrichtung sein. Zusätzlich oder alternativ dazu kann die Ortsermittlung auch durch eine Auswertung der von den Kameras 3 erzeugten Bilddaten erfolgen. Dazu kann die Steuereinrichtung 4 beispielsweise die Bilddaten mittels semantischer Segmentierung und/oder hinsichtlich eines optischen Flusses auswerten. Die Ortsermittlungseinrichtung 10 kann zusätzlich oder alternativ zu wenigstens einem Bewegungssensor (nicht dargestellt) des Fahrzeugs 1 auch zur Ermittlung einer Fahrzeugbewegung des Fahrzeugs 1 verwendet werden.The
Die von den Kameras 3 an die Steuereinrichtung 4 übermittelten Bilddaten können vollständig oder zumindest teilweise gespeichert werden. Insbesondere können diejenigen Bilddaten gespeichert werden, welche innerhalb eines vorgegebenen Abstands zu dem Fahrzeug 1 und/oder innerhalb eines vorgegebenen Abstands zu einem anzufahrenden Zielort erzeugt werden. Zusätzlich oder alternativ dazu können auch nur Bilddaten gespeichert werden, welche innerhalb eines zurückliegenden Zeitintervalls, beispielsweise innerhalb der letzten 10, 20 oder 30 Sekunden, erzeugt wurden. Dazu kann die Speichereinrichtung 9 beispielsweise als ein Ringpuffer bzw. ein Ringspeicher ausgebildet sein oder einen solchen umfassen.The image data transmitted from the cameras 3 to the
Die Steuereinrichtung 4 ist dazu eingerichtet, ein Verfahren zum Erzeugen einer Umgebungsansicht des Fahrzeugs 1 durchzuführen. Dazu erzeugt die Steuereinrichtung 4 basierend auf aktuell von den Kameras 3 erzeugten Bilddaten sowie basierend auf zumindest einem Teil der in der Speichereinrichtung 9 gespeicherten Bilddaten eine Aufsicht auf das Fahrzeug 1 sowie einen von dem Fahrzeug 1 anzufahrenden Zielort. Eine derartige Aufsicht 11 ist schematisch in
Die Aufsicht 11 zeigt dabei beispielhaft neben dem Fahrzeug 1 bzw. einer dem Fahrzeug 1 zugeordneten Fahrzeuggrafik zwei weitere Fahrzeuge 12, 13 sowie einen Bordstein 14 in der Fahrzeugumgebung des Fahrzeugs 1. Zwischen den weiteren Fahrzeugen 12, 13 befindet sich der Zielort 15, welcher vorliegend eine Längsparklücke zwischen den weiteren Fahrzeugen 12, 13 ist. Die Steuereinrichtung 4 erzeugt die Aufsicht 11 durch eine Projektion der von den Kameras 3 erzeugten Bilddaten sowie der gespeicherten Bilddaten auf eine Projektionsgrundfläche 16, welche vorliegend schematisch als ebene, der Zeichenebene entsprechende Fläche dargestellt ist.The
Die Aufsicht 11 wird, wie schematisch in
In
Weiterhin dargestellt sind vier weitere Anordnungspositionen P2, P3, P4, P5, welche alternativ verwendet werden können. Die Anordnungspositionen P2 und P3 liegen dabei zwischen dem Zielort 15 und der aktuellen Fahrzeugposition 18. Zwischen der aktuellen Fahrzeugposition 18 und dem Zielort 15 liegende Anordnungspositionen P können dabei insbesondere auf Geraden 19, 20 liegen, welche zwischen einem Punkt auf einem Umfang 21 des Fahrzeugumrisses in der Aufsicht 11 sowie einem Punkt auf einem Umfang 22 des als Zielbereich ausgebildeten Zielorts 15 liegen.Also shown are four further arrangement positions P 2 , P 3 , P 4 , P 5 , which can be used alternatively. The arrangement positions P 2 and P 3 lie between the
Bei einem als Zielpunkt ausgebildeten Zielort 15 erstrecken sich die Geraden 19, 20 entsprechend zwischen einem Punkt auf dem Umfang des Fahrzeugumrisses 21 und dem als Zielpunkt ausgebildeten Zielort 15. Die in
Zusätzlich oder alternativ zu einer neben der Fahrzeugposition 18 liegenden Anordnungsposition P kann vorgesehen sein, dass die Anordnungsposition P bei einer Bewegung des Fahrzeugs 1 ortsfest ist. Eine ortsfeste Anordnungsposition kann dabei zum Beispiel auch an der Fahrzeugposition 18 liegen, so wie es in
Das Verwenden der gespeicherten Bilddaten ermöglicht es, die Aufsicht auch auf Bilddaten zu erzeugen, welche vorangehend bei einer Fahrzeugbewegung des Fahrzeugs 1 aufgenommen wurden. Die vorangegangene Fahrzeugbewegung des Fahrzeugs 1 ist beispielhaft durch eine Bewegungstrajektorie 23 gekennzeichnet. Das Fahrzeug 1 ist somit bei seiner vorangegangenen Bewegung an dem als Parklücke ausgebildeten Zielort 15 vorbeigefahren, wobei durch die Kameras 3 des Fahrzeugs 1 Bilder von dem Zielort 15 sowie von weiteren Objekten in dem Fahrzeugumfeld, beispielsweise den weiteren Fahrzeugen 12, 13 und dem Bordstein 14, aufgenommen wurden.Using the stored image data makes it possible to generate the overview of image data that were previously recorded during a vehicle movement of the
Die Verwendung der gespeicherten Bilddaten ermöglicht es, auch die Historie der Fahrzeugumgebung, also die zurückliegenden Bilddaten der Fahrzeugumgebung, zu verwenden, sodass vorteilhaft eine Aufsichtsdarstellung, welche von einer ortsfesten und/oder an einer entfernt vom Fahrzeug 1 liegenden Aufnahmeposition P angeordneten virtuellen Kamera 17 ausgeht, erzeugt werden kann. Vorteilhaft kann ein Fahrer des Fahrzeugs 1 somit einen größeren Teil der Fahrzeugumgebung 1 in der Aufsicht 11 erkennen.The use of the stored image data also makes it possible to use the history of the vehicle environment, i.e. the previous image data of the vehicle environment, so that a top view can advantageously be generated, which originates from a
Die Anordnungsposition P auf der Projektionsfläche 16 kann bei einer weiteren Bewegung des Fahrzeugs 1 insbesondere ortsfest bleiben, sodass die Aufsicht 1 nach Festlegung der Anordnungsposition P der virtuellen Kamera 17 in Bezug zur Fahrzeugumgebung statisch bleibt. Dadurch kann der Fahrer des Fahrzeugs 1 die Bewegung des Fahrzeugs 1 zu statischen Umgebungsobjekten, beispielsweise den weiteren Fahrzeugen 11, 12 bzw. des Zielorts 15, besser erkennen. Alternativ dazu ist es möglich, dass sich die Anordnungsposition P auf der Projektionsgrundfläche 16 in Abhängigkeit einer Fahrzeugbewegung 1 und/oder in Abhängigkeit einer Bewegung des Zielorts 15 bewegt. Beispielsweise kann dabei die Anordnungsposition P derart bewegt werden, dass sie sich bei einer Bewegung des Fahrzeugs 1 stets mittig zwischen dem Fahrzeug 1 und dem Zielort 15 befindet.The arrangement position P on the
Es ist möglich, dass zunächst für die Erzeugung einer Aufsicht eine Anordnungsposition verwendet wird, welche an der aktuellen Fahrzeugposition 18 liegt und welche sich bei einer Bewegung des Fahrzeug mit diesem bewegt, also ortsfest in Bezug zu dem Fahrzeug 1 ist, bis ein Auslösekriteriums erfüllt wird. Nach Erfüllung des Auslösekriteriums kann die Anordnungsposition P der für die Erzeugung der Aufsicht 11 verwendeten virtuellen Kamera 17 neben das Fahrzeug 1, insbesondere an den Zielort 15 oder an eine Position zwischen dem Zielort 15 und der aktuellen Fahrzeugposition 18, versetzt werden.It is possible that an arrangement position is initially used to generate a top view, which is located at the
Zusätzlich oder alternativ dazu kann die Anordnungsposition P der virtuellen Kamera 17 bei Erfüllung des Auslösekriteriums ortsfest zu der Fahrzeugumgebung bleiben. Dies ermöglicht ein Umschalten zwischen einer herkömmlichen Aufsicht bzw. Top-View-Darstellung des Fahrzeugumfelds, bei der das Fahrzeug 1 auch bei einer Bewegung des Fahrzeugs 1 stets zentriert dargestellt wird, zu der Aufsicht 11, bei der die Anordnungsposition P in Abhängigkeit des Zielorts 15 verschobenen und/oder ortsfest in Bezug zu der dargestellten, unbewegten Fahrzeugumgebung ist.Additionally or alternatively, the arrangement position P of the
Das Auslösekriterium kann dabei eine Auswahl des Zielortes 15 durch einen Benutzer des Fahrzeugs 1 sein. Der Benutzer kann den Zielort 15 beispielsweise mithilfe einer Darstellung des Fahrzeugumfelds auf der Anzeigeeinrichtung 24 auswählen, wodurch das Auslösekriterium erfüllt wird. Es ist auch möglich, dass das Auslösekriterium durch eine Anwahl eines speziellen Darstellungsmodus o. ä. für die Aufsicht 11 erfüllt wird. Alternativ ist es möglich, dass eine automatische Auswahl des Zielorts 15 durch eine zumindest teilweise automatisierte Fahrfunktion des Fahrzeugs 1 das Auslösekriterium erfüllt.The trigger criterion can be a selection of the
Bei der zumindest teilweise automatisierten Fahrfunktion kann es sich zum Beispiel um eine Fahrerassistenzfunktion zum Durchführen einer autonomen Bewegung des Fahrzeugs 1 und/oder um eine Fahrerassistenzfunktionen zum Durchführen eines Einparkvorgangs des Fahrzeugs 1 handeln. Die zumindest teilweise automatisierte Fahrfunktion kann zum Beispiel durch die Steuereinrichtung 4 oder durch eine weitere Steuereinrichtung des Fahrzeugs 1 umgesetzt werden.The at least partially automated driving function can be, for example, a driver assistance function for carrying out an autonomous movement of the
Die Aufsicht 11 kann bevorzugt zumindest während einer Bewegung des Fahrzeugs 1 fortlaufend durch aktuell erzeugte Bilddaten der Kameras 3 aktualisiert und/oder erweitert werden. Dabei können insbesondere Projektionen der aktuell erzeugten Bilddaten auf die Projektionsgrundfläche 16 in Abhängigkeit der aktuellen Fahrzeugposition 18 an die bereits bestehende Aufsicht 11 angefügt werden und/oder bereits bestehende Bereiche der Aufsicht 11 durch aktuell aufgenommene Bilddaten ersetzt werden. Auf diese Weise kann sich bei einer Fahrzeugbewegung insbesondere der in der Aufsicht 11 dargestellte Bereich der Fahrzeugumgebung vergrößern. Es ist möglich, dass bei dem Hinzufügen weiterer Bilddaten die virtuelle Aufnahmehöhe hv der virtuellen Kamera 17 vergrößert wird, damit auch eine vergrößerte Aufsicht 11 vollständig auf der Anzeigeeinrichtung 24 des Fahrzeugs 1 darstellbar ist.The
Das Hinzufügen der weiteren Bilddaten kann dabei insbesondere durch das Berücksichtigung der Ortsinformation, welche mit den Bilddaten in der Speichereinrichtung 9 der Steuereinrichtung 4 gespeichert wird, erfolgen. Auf diese Weise wird ein Zusammenfügen der Bilddaten bzw. ihrer Projektionen auf der Projektionsgrundfläche 16, beispielsweise mittels Image Stitching, ermöglicht.The addition of the additional image data can be carried out in particular by taking into account the location information which is stored with the image data in the
Es ist denkbar, dass der Aufsicht 11 zumindest wenigstens eine Markierung 25 überlagert wird, wobei eine Markierungsposition der Markierung 25 in der Aufsicht 11 in Abhängigkeit der Fahrzeugposition 18 und/oder des Zielorts 15 ermittelt wird. Die Markierung 25 kann dabei insbesondere ortsfest zu dem Zielort 15 angezeigt werden. Bei der Markierung 25 kann es sich zum Beispiel um eine Markierung handeln, welche einem Fahrer des Fahrzeugs 1 Hinweise zum Erreichen des Zielorts 15, beispielsweise eine zu befahrende Trajektorie, eine anzufahrende Zwischenpositionen o. ä., darstellt. Zusätzlich oder alternativ dazu können auch Markierungen 25 dargestellt werden, welche einen einzuhalten Sicherheitsabstand zu Umgebungsobjekten, beispielsweise zu einem der weiteren Fahrzeuge 11, 12 oder ähnlichem, darstellen.It is conceivable that at least one marking 25 is superimposed on the
Bei der Projektionsgrundfläche 16 kann es sich um eine ebene Projektionsgrundfläche handeln, auf der die aktuellen Bilddaten und die gespeicherten Bilddaten mittels einer Projektion abgebildet werden. Um die Positionierung der Bilder zu verbessern, kann eine optimierte affine Transformation der projizierten Bilddaten verwendet werden. Es ist auch möglich, dass die Projektionsgrundfläche 16 eine dreidimensionale Form hat. Beispielsweise kann die Projektionsgrundfläche die Innenfläche eines hohlen, rotationssymmetrischen Körpers sein, wodurch beispielsweise eine Abbildung auf eine gemäß der Innenfläche einer Schüssel geformte Projektionsgrundfläche 16 möglich ist. Dadurch kann ein sogenannter „bowl view“ erzeugt werden, welcher seinerseits bei einer entsprechenden Positionierung der virtuellen Kamera 17 zur Erzeugung der Aufsicht 11 auf das Fahrzeug 1 sowie den Zielort 15 verwendet werden kann.The
Es ist weiterhin möglich, dass die Projektionsgrundfläche 16 in Abhängigkeit von aus den Bilddaten und/oder von Umfeldsensoren des Fahrzeugs 1 erzeugten Umfelddaten dreidimensional verformt wird. Auf diese Weise ergibt sich eine dreidimensionale Projektionsgrundfläche 16, auf der die Höhe von Umgebungsobjekten, beispielsweise den weiteren Fahrzeugen 11, 12 oder des Bordsteins 14, berücksichtigt werden kann. Dazu kann die Projektionsfläche 16 bei dem in
Die Umfelddaten, welche zur Verformung der Projektionsgrundfläche 16 herangezogen werden, stammen zum Beispiel von Umfeldsensoren (nicht gezeigt) des Fahrzeugs 1. Bei diesen Umfeldsensoren kann es sich beispielsweise um Ultraschallsensoren, Radarsensoren und/oder Lidarsensoren handeln. Zusätzlich oder alternativ dazu können die Umfeldinformationen auch aus den Bilddaten der Kameras 3, insbesondere aus einer Auswertung des Bildinhalts, beispielsweise mittels semantischer Segmentierung oder ähnlichem, gewonnen werden.The environmental data used to deform the
In
Anschließend wird in einem Schritt S2 eine Aufsicht 11 auf Grundlage aktuell erzeugter Bilddaten der Kameras 3 sowie in der Speichereinrichtung 9 gespeicherter Bilddaten erzeugt. Falls das Verschieben der Anordnungsposition P zu einer Position neben dem Fahrzeug 1, also zum Beispiel zum Zielort 15 oder zwischen die Fahrzeugposition 18 und den Zielort 15, erfolgt, wenn vorangehend bereits eine andere Aufsicht auf das Fahrzeug 1, bei der die Anordnungsposition P senkrecht oberhalb der Fahrzeugposition 18 liegt, dargestellt wurde, kann auch eine solche, andere Aufsicht ergänzt werden, um die Aufsicht 11 zu erhalten. Die der beispielsweise als Ringspeicher ausgebildeten Speichereinrichtung 9 entnommenen Bilddaten können dazu, wie vorangehend beschrieben wurde, der Aufsicht ergänzt werden bzw. mit aktuellen Bilddaten zusammengeführt und zu einer neuen Aufsicht zusammengefügt werden. Das Zusammenfügen der gespeicherten Bilddaten mit den aktuell erzeugten Bilddaten kann insbesondere in Abhängigkeit der den Bilddaten zugeordneten und ebenfalls gespeicherten Ortsinformationen erfolgen.Subsequently, in a step S 2 , a
Es ist in diesem Zusammenhang möglich, dass das Zusammenfügen der gespeicherten Bilddaten mit den aktuellen Bilddaten weiterhin durch das Anwenden einer optimierten affinen Transformation auf bereits auf die Projektionsfläche 16 projizierten Bilddaten verbessert wird. Weiterhin können, wie vorangehend beschrieben wurde, zum Erstellen der Projektionsfläche 16 die vom Fahrzeug 1 erzeugten Umfelddaten berücksichtigt werden.In this context, it is possible that the merging of the stored image data with the current image data is further improved by applying an optimized affine transformation to image data already projected onto the
Anschließend können in einem Schritt S3 die Übergänge zwischen den Bilddaten verbessert werden, insbesondere durch das Einfügen von Übergängen zwischen den einzelnen auf die Projektionsfläche 16 projizierten Bildern. Dazu können Verfahren wie ein gewichtetes Alpha-Blending oder ein ungewichtetes Alpha-Blending eingesetzt werden. Bei dem gewichteten Alpha Branding können insbesondere Bereiche der Projektionsfläche 16, welche auf einem Bodenniveau liegen, höher gewichtet werden als Bereiche, denen eine Höhe oberhalb des Bodenniveaus zugeordnet wird. Die auf diese Weise erstellte Aufsicht 11 kann einem Fahrer des Fahrzeugs 1 dann auf der Anzeigeeinrichtung 24 präsentiert werden.Subsequently, in a step S 3 , the transitions between the image data can be improved, in particular by inserting transitions between the individual images projected onto the
Anschließend kann in einem Schritt S4, welcher wiederholt während einer Bewegung des Fahrzeugs 1 ausgeführt werden kann, ein Aktualisieren der zur Bildung der Aufsicht 11 verwendeten Bilddaten erfolgen, insbesondere, indem neue, aktuell von den Kameras 3 erzeugte Bilddaten entsprechend der aktuellen Fahrzeugposition 18 der Aufsicht 11 hinzugefügt werden. Damit kann der dargestellte Bereich der Aufsicht 11 vergrößert werden und/oder es können Bilddaten, welche von zeitlich zurück liegenden Aufnahmezeitpunkten stammen, durch aktualisierte Bilddaten ersetzt werden, sodass auch Veränderungen in dem Fahrzeugumfeld in der Aufsicht 11 abgebildet werden können. Während einer Fahrzeugbewegung ist es möglich, dass die Anordnungsposition P, wie vorangehend beschrieben wurde, mit bewegt wird oder dass sie ortsfest verbleibt.Subsequently, in a step S 4 , which can be carried out repeatedly during a movement of the
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023202306.7A DE102023202306B3 (en) | 2023-03-14 | 2023-03-14 | Method for generating an environmental view of a vehicle, image recording device and vehicle |
PCT/DE2024/200007 WO2024188404A1 (en) | 2023-03-14 | 2024-02-26 | Method for generating a surrounding view of a vehicle , image capture device and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023202306.7A DE102023202306B3 (en) | 2023-03-14 | 2023-03-14 | Method for generating an environmental view of a vehicle, image recording device and vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023202306B3 true DE102023202306B3 (en) | 2024-06-06 |
Family
ID=90246057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023202306.7A Active DE102023202306B3 (en) | 2023-03-14 | 2023-03-14 | Method for generating an environmental view of a vehicle, image recording device and vehicle |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102023202306B3 (en) |
WO (1) | WO2024188404A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016226299A1 (en) | 2016-12-29 | 2018-07-05 | Robert Bosch Gmbh | Method and device for representing an environment of a vehicle |
DE102021205154A1 (en) | 2020-06-17 | 2021-12-23 | Vadas Co., Ltd. | DEVICE AND METHOD FOR GENERATING A BIRD'S PERSPECTIVE IMAGE |
DE102021207558A1 (en) | 2021-07-15 | 2023-01-19 | Continental Autonomous Mobility Germany GmbH | Camera system and method for generating a view with a camera system |
-
2023
- 2023-03-14 DE DE102023202306.7A patent/DE102023202306B3/en active Active
-
2024
- 2024-02-26 WO PCT/DE2024/200007 patent/WO2024188404A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016226299A1 (en) | 2016-12-29 | 2018-07-05 | Robert Bosch Gmbh | Method and device for representing an environment of a vehicle |
DE102021205154A1 (en) | 2020-06-17 | 2021-12-23 | Vadas Co., Ltd. | DEVICE AND METHOD FOR GENERATING A BIRD'S PERSPECTIVE IMAGE |
DE102021207558A1 (en) | 2021-07-15 | 2023-01-19 | Continental Autonomous Mobility Germany GmbH | Camera system and method for generating a view with a camera system |
Also Published As
Publication number | Publication date |
---|---|
WO2024188404A1 (en) | 2024-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016211182A1 (en) | A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map | |
EP3071460B1 (en) | Method for operating a vehicle system and a vehicle able to full automated guidance | |
DE102017123848A1 (en) | Automatic parking of a vehicle in a parking lot | |
EP3428032A1 (en) | Autonomous parking of a vehicle based on a useable area | |
DE102017115988A1 (en) | Modify a trajectory depending on an object classification | |
EP2623398B1 (en) | Automatic selection of the target position in a parking space by means of combined evaluation of video/USS objects | |
EP3401190A1 (en) | Method for operating a driver assistance system of a motor vehicle in order to manoeuvre the motor vehicle in a drivable area, driver assistance system and motor vehicle | |
DE102016212688A1 (en) | Method and device for determining the environment of a vehicle | |
DE102018214874B3 (en) | Method and arrangement for generating an environment map of a vehicle textured with image information and vehicle comprising such an arrangement | |
DE102016121465A1 (en) | Method for maneuvering a motor vehicle taking into account position values determined in a recording phase, driver assistance system and motor vehicle | |
DE102020117767A1 (en) | Trajectory planning for an autonomous driving maneuver of an ego vehicle | |
DE102017123226A1 (en) | A method of determining a critical altitude of a forward link for a vehicle comprising a towing vehicle and a trailer | |
DE102015205377A1 (en) | View of an environment of a vehicle | |
DE102006037600A1 (en) | Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor | |
DE102023202306B3 (en) | Method for generating an environmental view of a vehicle, image recording device and vehicle | |
EP2603403B1 (en) | Method of displaying pictures on a display in a motor vehicle, corresponding driver assistance system and vehicle | |
EP3165420A1 (en) | Method for determining an area taken up by a trailer connected to a motor vehicle, driver assistance system and motor vehicle | |
DE102016212786A1 (en) | Driver assistance system for an ego vehicle on a path of a road network and method for operating the driver assistance system | |
WO2014202496A1 (en) | Method for displaying environment information in a vehicle | |
DE112022000986T5 (en) | DISPLAY CONTROL DEVICE AND DISPLAY CONTROL PROGRAM | |
DE102020214514A1 (en) | Method for controlling a motor vehicle and control device | |
DE102014225673B4 (en) | Method and system for displaying a positioning aid for a vehicle | |
DE102022130172B4 (en) | Method and driver assistance system for supporting a driver when driving in a proximity area of a trajectory | |
WO2024188403A1 (en) | Method for generating a surrounding view of a vehicle, image capture device and vehicle | |
DE102021110221A1 (en) | Device and method for assisting in parking a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |