DE102023203322B3 - Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program - Google Patents
Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program Download PDFInfo
- Publication number
- DE102023203322B3 DE102023203322B3 DE102023203322.4A DE102023203322A DE102023203322B3 DE 102023203322 B3 DE102023203322 B3 DE 102023203322B3 DE 102023203322 A DE102023203322 A DE 102023203322A DE 102023203322 B3 DE102023203322 B3 DE 102023203322B3
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- projection surface
- graphic element
- arrangement position
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004590 computer program Methods 0.000 title claims description 6
- 238000005259 measurement Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs (1), wobei das Fahrzeug (1) eine oder mehrere Kameras (3) aufweist, welche jeweils zumindest einen Teilbereich einer Fahrzeugumgebung abbildende Bilddaten erzeugen, wobei die Bilddaten zur Erzeugung der Umgebungsansicht auf eine schüsselförmige, einen Bereich um eine virtuelle Darstellung (13) des Fahrzeugs (1) umgebende Projektionsfläche (11) projiziert werden, wobei bei der zusätzlichen Darstellung wenigstens eines Grafikelements (16, 19) in der Umgebungsansicht bei einer zumindest teilweise außerhalb des von der Projektionsfläche (11) umgebenen Bereichs (12) liegenden Anordnungsposition (17) des Grafikelements (16, 19) die Form der Projektionsfläche (11) derart angepasst wird, dass die Projektionsfläche (11) auch das in der Anordnungsposition (17) angeordnete Grafikelement (16, 19) umgibt. Method for generating an environmental view of a vehicle (1), wherein the vehicle (1) has one or more cameras (3), each of which generates image data depicting at least a partial area of a vehicle's surroundings, wherein the image data for generating the environmental view are projected onto a bowl-shaped projection surface (11) surrounding an area around a virtual representation (13) of the vehicle (1), wherein in the additional representation of at least one graphic element (16, 19) in the environmental view, when the arrangement position (17) of the graphic element (16, 19) lies at least partially outside the area (12) surrounded by the projection surface (11), the shape of the projection surface (11) is adapted such that the projection surface (11) also surrounds the graphic element (16, 19) arranged in the arrangement position (17).
Description
Die Erfindung betrifft ein Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, wobei das Fahrzeug eine oder mehrere Kameras aufweist, welche jeweils zumindest einen Teilbereich einer Fahrzeugumgebung abbildende Bilddaten erzeugen, wobei die Bilddaten zur Erzeugung der Umgebungsansicht auf eine schüsselförmige, einen Bereich um eine virtuelle Darstellung des Fahrzeugs umgebende Projektionsfläche projiziert werden. Weiterhin betrifft die Erfindung eine Fahrerassistenzeinrichtung, ein Fahrzeug und ein Computerprogramm.The invention relates to a method for generating a view of the surroundings of a vehicle, wherein the vehicle has one or more cameras, each of which generates image data depicting at least a partial area of a vehicle's surroundings, wherein the image data for generating the view of the surroundings are projected onto a bowl-shaped projection surface surrounding an area around a virtual representation of the vehicle. The invention further relates to a driver assistance device, a vehicle and a computer program.
Um das Manövrieren mit einem Fahrzeug, insbesondere bei geringen Geschwindigkeiten, zu erleichtern, können mithilfe von Fahrzeugkameras aufgenommene Umgebungsansichten zu einer Aufsicht oder einer perspektivischen Ansicht auf das Fahrzeug und das unmittelbare Fahrzeugumfeld gewandelt werden. Dazu können insbesondere Fahrzeugkameras verwendet werden, welche an verschiedenen Seiten des Fahrzeugs angeordnet sind bzw. welche jeweils einen Teil der Umgebung des Fahrzeugs von verschiedenen Seiten des Fahrzeugs aus erfassen. Die Bilddaten dieser Kameras können durch eine Projektion der Bilddaten auf eine schüsselförmige Projektionsgrundfläche abgebildet werden, um daraus eine Ansicht des Fahrzeugs und der zumindest unmittelbaren Fahrzeugumgebung abzuleiten.In order to make maneuvering a vehicle easier, especially at low speeds, views of the surroundings recorded using vehicle cameras can be converted into a top view or a perspective view of the vehicle and the immediate surroundings of the vehicle. In particular, vehicle cameras can be used for this purpose, which are arranged on different sides of the vehicle or which each capture a part of the surroundings of the vehicle from different sides of the vehicle. The image data from these cameras can be projected onto a bowl-shaped projection surface in order to derive a view of the vehicle and at least the immediate surroundings of the vehicle.
In Druckschrift
Druckschrift
Um einem Benutzer des Fahrzeugs weitere Unterstützung bei der Durchführung eines Fahrmanövers zu bieten, kann es wünschenswert sein, zusätzliche grafische Informationen in einer Umgebungsansicht des Fahrzeugs darzustellen. In solchen Fällen stellt jedoch eine für die Projektion der Bilddaten verwendete Bowl eine Limitierung des virtuellen Raums um das Fahrzeug dar, welche eine Projektion der darzustellenden grafischen Informationen auf die Bowl erforderlich machen kann. Dabei kann es jedoch insbesondere bei grafischen Informationen, welche in Relation zu der in den Bilddaten der Kameras abgebildeten Fahrzeugumgebung dargestellt werden sollen, zu unerwünschten Artefakten kommen. Diese Artefakte können bei Ableitung einer einem Fahrer anzuzeigenden Umgebungsansicht aus den auf die Bowl projizierten Bildinformationen eine unnatürliche Anordnung der grafischen Information bewirken.In order to provide a vehicle user with further support when performing a driving maneuver, it may be desirable to display additional graphic information in a view of the vehicle's surroundings. In such cases, however, a bowl used to project the image data represents a limitation of the virtual space around the vehicle, which may require the graphic information to be displayed to be projected onto the bowl. However, this may result in undesirable artifacts, particularly with graphic information that is to be displayed in relation to the vehicle's surroundings depicted in the image data from the cameras. These artifacts can cause an unnatural arrangement of the graphic information when a view of the surroundings to be displayed to a driver is derived from the image information projected onto the bowl.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erzeugen einer verbesserten Umgebungsansicht eines Fahrzeugs anzugeben, welches insbesondere eine verbesserte Darstellung von in der Umgebungsansicht eingefügten grafischen Informationen ermöglicht.The invention is based on the object of specifying a method for generating an improved view of the surroundings of a vehicle, which in particular enables an improved representation of graphic information inserted in the view of the surroundings.
Zur Lösung dieser Aufgabe ist es bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass bei der zusätzlichen Darstellung wenigstens eines Grafikelements in der Umgebungsansicht bei einer zumindest teilweise außerhalb des von der Projektionsfläche umgebenen Bereichs liegenden Anordnungsposition des Grafikelements die Form der Projektionsfläche derart angepasst wird, dass die Projektionsfläche auch das in der Anordnungsposition angeordnete Grafikelement umgibt.To achieve this object, it is provided according to the invention in a method of the type mentioned at the outset that in the additional representation of at least one graphic element in the surrounding view, when the arrangement position of the graphic element is at least partially outside the area surrounded by the projection surface, the shape of the projection surface is adapted such that the projection surface also surrounds the graphic element arranged in the arrangement position.
Das Fahrzeug umfasst eine oder mehrere Kameras, welche jeweils einen Teilbereich der Fahrzeugumgebung umfassen. Die Kameras können dabei insbesondere das gesamte Fahrzeugumfeld erfassen, sodass eine 360°-Umsicht um das Fahrzeug herum ermöglicht wird. Die Kameras können zum Beispiel an einer Vorderseite, einer Rückseite und an den Seiten des Fahrzeugs angeordnet sein und jeweils zum Beispiel einen Sichtbereich von 180° oder mehr aufweisen.The vehicle includes one or more cameras, each of which covers a part of the vehicle's surroundings. The cameras can in particular capture the entire vehicle's surroundings, enabling a 360° view around the vehicle. The cameras can be arranged, for example, on the front, rear and sides of the vehicle and each have a field of view of 180° or more.
Zur Erzeugung einer Umgebungsansicht werden die von den Kameras bereitgestellten Bilddaten auf eine schüsselförmige Projektionsfläche projiziert. Dieser Schritt des Projizierens der Bilddaten erfolgt dabei insbesondere rein virtuell und kann zum Beispiel von einer zur Durchführung des erfindungsgemäßen Verfahrens ausgebildeten Recheneinrichtung durchgeführt bzw. berechnet werden. Durch diese Recheneinrichtung kann mithilfe der auf die Projektionsfläche projizierten Bilddaten auch die Umgebungsansicht erzeugt und an eine Anzeigeeinrichtung übermittelt werden.To generate a view of the surroundings, the image data provided by the cameras are projected onto a bowl-shaped projection surface. This step of projecting the image data is carried out in a purely virtual manner and can be carried out or calculated, for example, by a computing device designed to carry out the method according to the invention. This computing device can also generate the view of the surroundings using the image data projected onto the projection surface and transmit it to a display device.
Die schüsselförmige Projektionsfläche ist dabei insbesondere die konkave Innenfläche eines schüsselförmigen Körpers. Die schüsselförmige Projektionsfläche, welche auch als Bowl bezeichnet werden kann, kann insbesondere einen flachen Boden sowie einen diesen Boden insbesondere vollständig umschließenden Rand aufweisen. Der Rand erstreckt sich dabei insbesondere zumindest teilweise in einer Raumrichtung, welche orthogonal zu dem Boden ist. Die Projektionsfläche umschließt eine virtuelle Darstellung des Fahrzeugs, welches beispielsweise auf dem Boden der Projektionsfläche angeordnet sein kann. Bei der virtuellen Darstellung des Fahrzeugs kann es sich beispielsweise um eine zweidimensionale oder dreidimensionale Fahrzeuggrafik handeln.The bowl-shaped projection surface is in particular the concave inner surface of a bowl-shaped body. The bowl-shaped projection surface, which can also be referred to as a bowl, can in particular have a flat base and an edge that completely encloses this base. The edge extends in particular at least partially in a spatial direction that is orthogonal to the base. The projection surface encloses a virtual representation of the vehicle, which can be arranged on the base of the projection surface, for example. The virtual representation of the vehicle can be, for example, a two-dimensional or three-dimensional vehicle graphic.
Auf der Projektionsfläche werden die von den Kameras erzeugte Bilddaten projiziert, sodass beispielsweise auf dem Boden und dem Rand der Projektionsfläche die in den Bilddaten abgebildete Fahrzeugumgebung abgebildet wird. Durch die Projektion der Bilddaten auf die Projektionsfläche wird eine auch als Bowl-View bezeichnete Pseudo-3D-Ansicht der Fahrzeugumgebung geschaffen. Mithilfe der auf die Projektionsfläche projizierten Bilddaten kann eine Ansicht des Fahrzeugs und der Fahrzeugumgebung erzeugt werden. Die Ansicht kann dabei beispielsweise ausgehend von einer virtuellen Kamera erzeugt werden, welche in einer virtuellen Kameraposition in oder neben der Projektionsfläche angeordnet sein kann. Die sich bei einem Blick von der virtuellen Kamera auf die Projektionsfläche mit den darauf abgebildeten Bilddaten ergebende Ansicht kann anschließend als Umgebungsansicht verwendet werden.The image data generated by the cameras is projected onto the projection surface so that, for example, the vehicle surroundings depicted in the image data are shown on the floor and the edge of the projection surface. By projecting the image data onto the projection surface, a pseudo-3D view of the vehicle surroundings is created, also known as a bowl view. Using the image data projected onto the projection surface, a view of the vehicle and the vehicle surroundings can be created. The view can, for example, be generated from a virtual camera, which can be arranged in a virtual camera position in or next to the projection surface. The view resulting from a look from the virtual camera onto the projection surface with the image data shown on it can then be used as an environmental view.
Die Umgebungsansicht des im Folgenden auch als Ego-Fahrzeug bezeichneten Fahrzeugs kann einem Benutzer des Fahrzeugs dargestellt werden. Die Darstellung der Umgebungsansicht kann beispielsweise auf einer in einem Inneren des Fahrzeugs angeordneten Anzeigeeinrichtung des Fahrzeugs, wie einem Display oder ähnlichem, erfolgen. Dies ermöglicht es, dass der Fahrer des Fahrzeugs bei bestimmten Fahrmanövern, beispielsweise bei Park- oder Rangiervorgängen, das Fahrzeug und die Fahrzeugumgebung aus einem passenden Blickwinkel von der Seite und/oder insbesondere auch von oben betrachten kann, wodurch die Durchführung des entsprechenden Parkmanövers signifikant vereinfacht werden kann.The view of the surroundings of the vehicle, also referred to below as the ego vehicle, can be shown to a user of the vehicle. The view of the surroundings can be shown, for example, on a display device arranged inside the vehicle, such as a screen or similar. This allows the driver of the vehicle to view the vehicle and the vehicle surroundings from a suitable angle from the side and/or in particular from above during certain driving maneuvers, for example when parking or maneuvering, which can significantly simplify the execution of the corresponding parking maneuver.
Wenn in der Umgebungsansicht zusätzlich wenigstens ein Grafikelement an einer Anordnungsposition, die außerhalb des von der Projektionsfläche umgebenen Bereichs liegt, dargestellt werden soll, wird erfindungsgemäß die Form der Projektionsfläche angepasst, um auch das in der Anordnungsposition angeordnete Grafikelement mit der Projektionsfläche zu umgeben. Mit anderen Worten erfolgt eine Anpassung, insbesondere eine Vergrößerung, der schüsselförmigen Projektionsfläche derart, dass diese neben der virtuellen Darstellung des Fahrzeugs auch das in der gewünschten Anordnungsposition dargestellte Grafikelement umgibt. Die Vergrößerung der Projektionsfläche erfolgt dabei insbesondere virtuell im Rahmen der von einer Recheneinrichtung ausgeführten Rechenoperationen.If in the surrounding view at least one graphic element is to be displayed at an arrangement position that lies outside the area surrounded by the projection surface, the shape of the projection surface is adapted according to the invention in order to also surround the graphic element arranged in the arrangement position with the projection surface. In other words, the bowl-shaped projection surface is adapted, in particular enlarged, in such a way that it surrounds not only the virtual representation of the vehicle but also the graphic element displayed in the desired arrangement position. The enlargement of the projection surface takes place in particular virtually as part of the computing operations carried out by a computing device.
Durch die Anpassung der Projektionsfläche kann vorteilhaft vermieden werden, dass eine Projektion des darzustellenden Grafikelements, welches an sich außerhalb des von der Projektionsfläche umschlossenen Raumbereichs liegt, auf die Projektionsfläche erfolgen muss, was unerwünschte Artefakte, wie beispielsweise ein scheinbares Schweben des Grafikelements oberhalb der gewünschten, in den Bilddaten dargestellten Anordnungsposition, zur Folge haben könnte.By adapting the projection surface, it can be advantageously avoided that a projection of the graphic element to be displayed, which is actually located outside the spatial area enclosed by the projection surface, has to be carried out onto the projection surface, which could result in undesirable artifacts, such as an apparent floating of the graphic element above the desired arrangement position shown in the image data.
Weiterhin ermöglicht es das Verändern der Form der Projektionsfläche derart, dass auch das darzustellende Grafikelement innerhalb des von der schüsselförmigen Projektionsfläche zumindest teilweise umschlossenen virtuellen Raums liegt, dass keine speziellen Verfahren zum Erzeugen einer Ansicht aus der unverformten Projektionsfläche und einem außerhalb des zumindest teilweise umschlossenen virtuellen Raums liegenden Grafikelement eingesetzt werden müssen. Derartige spezielle Verfahren, wie beispielsweise Ray-Tracing o. ä., benötigen eine vergleichsweise hohe Rechenleistung, sodass sie nicht auf jeder Art von Hardware angewendet werden können.Furthermore, changing the shape of the projection surface in such a way that the graphic element to be displayed is also located within the virtual space at least partially enclosed by the bowl-shaped projection surface means that no special methods have to be used to generate a view from the undeformed projection surface and a graphic element located outside the at least partially enclosed virtual space. Such special methods, such as ray tracing or similar, require a relatively high level of computing power, so that they cannot be used on every type of hardware.
Mittels der erfindungsgemäßen Lösung wird es demgegenüber ermöglicht, eine verbesserte und insbesondere fehlerfreie Darstellung des wenigstens einen Grafikelements auch mit weniger leistungsstarker Hardware, wie sie oftmals in Fahrzeugen verwendet wird, zu ermöglichen. Auf diese Weise kann mithilfe des erfindungsgemäßen Verfahrens aufwandsarm eine Umgebungsdarstellung erfolgen, in der ein oder mehrere Grafikelemente in Bezug zu den von den Kameras bereitgestellten Bilddaten korrekt positioniert dargestellt werden. Die Grafikelemente können dabei insbesondere korrekt in Bezug zu in den Bilddaten abgebildeten Umgebungsbereichen abgebildet werden, sodass beispielsweise bestimmte Umgebungsbereiche wie Parkplätze, anzufahrende Zielpositionen oder Ähnliches korrekt markiert werden können.By means of the solution according to the invention, it is possible to enable an improved and in particular error-free representation of the at least one graphic element even with less powerful hardware, as is often used in vehicles. In this way, with the help of the method according to the invention, an environment representation can be carried out with little effort, in which one or more graphic elements are shown correctly positioned in relation to the image data provided by the cameras. The graphic elements can in particular be correctly represented in relation to the surrounding areas shown in the image data, so that, for example, certain surrounding areas such as parking spaces, target positions to be approached or the like can be correctly marked.
Die Anpassung der Form der Projektionsfläche erfolgt insbesondere derart, dass das in der Anordnungsposition dargestellte Grafikelement vollständig innerhalb des von der Projektionsfläche umschlossenen, virtuellen Raumbereichs liegt. Dies kann beispielsweise dadurch erreicht werden, dass die Anordnungsposition als ein den Abmessungen des einzuführenden Grafikelements entsprechender Bereich beschrieben wird. Alternativ kann die Anordnungsposition auch ein Punkt sein, wobei in diesem Fall die Anpassung der Form der Projektionsfläche insbesondere auch in Abhängigkeit einer räumlichen Ausdehnung des darzustellenden und an der Anordnungsposition angeordneten Grafikelements im virtuellen Raum vorgenommen wird.The shape of the projection surface is adapted in particular in such a way that the graphic element displayed in the arrangement position lies completely within the virtual space area enclosed by the projection surface. This can be achieved, for example, by describing the arrangement position as an area corresponding to the dimensions of the graphic element to be introduced. Alternatively, the arrangement position can also be a point, in which case the shape of the projection surface is adapted in particular depending on the spatial extent of the graphic element to be displayed and arranged at the arrangement position in the virtual space.
Erfindungsgemäß kann vorgesehen sein, dass die virtuelle Darstellung des Fahrzeugs und die Anordnungsposition auf einer Ebene liegen, wobei die Form der Projektionsfläche durch eine Vergrößerung eines Durchmessers der Projektionsfläche in wenigstens einer in der Ebene liegenden Raumrichtung angepasst wird. Bei der Ebene kann es sich insbesondere um den Boden der schüsselförmigen Projektionsfläche handeln. Die Ebene kann dabei zum Beispiel einer Grundfläche, beispielsweise einer Fahrbahnoberfläche, entsprechen, auf der das Fahrzeug angeordnet ist. Dies ermöglicht es, dass das Grafikelement auf derselben Ebene wie das Fahrzeug dargestellt werden kann. Dies eignet sich insbesondere für Grafikelemente, welche unmittelbar auf einer Ebene wie einer Fahrbahnoberfläche dargestellt werden sollen.According to the invention, it can be provided that the virtual representation of the vehicle and the arrangement position lie on a plane, wherein the shape of the projection surface is adapted by enlarging a diameter of the projection surface in at least one spatial direction lying in the plane. The plane can in particular be the bottom of the bowl-shaped projection surface. The plane can, for example, correspond to a base area, for example a road surface, on which the vehicle is arranged. This enables the graphic element to be displayed on the same plane as the vehicle. This is particularly suitable for graphic elements that are to be displayed directly on a plane such as a road surface.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Projektionsfläche in Bezug zu der Ebene eine zweidimensionale Kontur, insbesondere eine als eine Ellipse oder als ein geschlossener Spline beschriebene Kontur, aufweist, wobei die Kontur in der Ebene derart vergrößert wird, dass sie das in der Anordnungsposition angeordnete Grafikelement in der Ebene vollständig umschließt. Die Kontur begrenzt dabei die Bodenfläche der Projektionsfläche in der Ebene, wobei der Rand der schüsselförmigen Projektionsfläche entsprechend an dieser Kontur anschließt und sich beispielsweise nach oben hin erstreckt und somit einen oberhalb des Bodens liegenden Raumbereich seitlich begrenzt bzw. seitlich umschließt.In a preferred embodiment of the invention, it can be provided that the projection surface has a two-dimensional contour in relation to the plane, in particular a contour described as an ellipse or as a closed spline, wherein the contour in the plane is enlarged in such a way that it completely encloses the graphic element arranged in the arrangement position in the plane. The contour delimits the floor area of the projection surface in the plane, wherein the edge of the bowl-shaped projection surface accordingly adjoins this contour and extends upwards, for example, and thus laterally delimits or laterally encloses a spatial area located above the floor.
Die Kontur der Projektionsfläche in Bezug zu der Ebene kann dabei zum Beispiel die Form einer Ellipse aufweisen, wobei entsprechend eine Anpassung bzw. Vergrößerung dieser Kontur durch eine Vergrößerung wenigstens eines Radius bzw. wenigstens einer Halbachse der Ellipse erfolgt. Eine zum Beispiel als geschlossener Spline beschriebene Kontur kann ebenfalls zumindest bereichsweise verändert werden, sodass sich der von der Kontur umschlossene Anteil der Ebene vergrößert und auch die Anordnungsposition bzw. das in der Anordnungsposition angeordnete Grafikelement in der Ebene vollständig umschließt.The contour of the projection surface in relation to the plane can, for example, have the shape of an ellipse, whereby an adjustment or enlargement of this contour takes place by enlarging at least one radius or at least one semi-axis of the ellipse. A contour described, for example, as a closed spline can also be changed at least in some areas, so that the portion of the plane enclosed by the contour is enlarged and also completely encloses the arrangement position or the graphic element arranged in the arrangement position in the plane.
Erfindungsgemäß kann das wenigstens eine Grafikelement ein zweidimensionales Grafikelement, insbesondere eine Parkplatzmarkierung, und/oder ein dreidimensionales Grafikelement, insbesondere eine Fahrzeugdarstellung, sein oder umfassen. Ein zweidimensionales Grafikelement kann dabei beispielsweise einen freien Parkplatz in der Umgebung des Kraftfahrzeugs als eine zur Verfügung stehende Parkmöglichkeit kennzeichnen. Dies kann beispielsweise durch ein zweidimensionales Grafikelement, welches die Umrisse des Parkplatzes bzw. die zur Verfügung stehende Parkfläche o. ä. in der Umgebungsansicht kennzeichnet, bewirkt werden. Zusätzlich oder alternativ dazu können auch besondere Parkplatzmarkierungen, beispielsweise ein „P“ und/oder weitere Textelemente, dargestellt werden. Auch weitere Arten von zweidimensionalen Grafikelementen können verwendet werden.According to the invention, the at least one graphic element can be or include a two-dimensional graphic element, in particular a parking space marking, and/or a three-dimensional graphic element, in particular a vehicle representation. A two-dimensional graphic element can, for example, identify a free parking space in the vicinity of the motor vehicle as an available parking option. This can be achieved, for example, by a two-dimensional graphic element that identifies the outline of the parking space or the available parking area or similar in the surrounding view. In addition or as an alternative, special parking space markings, for example a "P" and/or other text elements, can also be displayed. Other types of two-dimensional graphic elements can also be used.
Ein dreidimensionales Grafikelement kann beispielsweise ein Fahrzeug oder ein anderes Umgebungsobjekt dreidimensional darstellen, sodass bei der Ableitung der Umgebungsansicht aus der Projektionsfläche und dem Grafikelement dieses Umgebungsobjekt in der korrekten Perspektive dargestellt wird. Bei einer Darstellung eines Fahrzeugs kann es sich auch um weitere virtuelle Darstellung des Ego-Fahrzeugs handeln, sodass zusätzlich zu der virtuellen Darstellung des Ego-Fahrzeugs auch die Positionierung und/oder Orientierung des Ego-Fahrzeugs in einer weiteren Position, welche beispielsweise eine anzufahrende Zielposition wie ein freier Parkplatz o. ä. ist, dargestellt werden kann. Auf diese Weise kann ein Benutzer anhand des dreidimensionalen Grafikelements erkennen, wie das Fahrzeug in einer zur Verfügung stehenden Zielposition nach anfahren derselben angeordnet bzw. eingeparkt wäre. Zusätzlich oder alternativ dazu können auch weitere Arten von dreidimensionalen Grafikelementen eingesetzt werden.A three-dimensional graphic element can, for example, represent a vehicle or another environmental object in three dimensions, so that when the environmental view is derived from the projection surface and the graphic element, this environmental object is shown in the correct perspective. A representation of a vehicle can also be a further virtual representation of the ego vehicle, so that in addition to the virtual representation of the ego vehicle, the positioning and/or orientation of the ego vehicle in another position, which is, for example, a target position to be approached, such as a free parking space or similar, can also be shown. In this way, a user can use the three-dimensional graphic element to see how the vehicle would be arranged or parked in an available target position after approaching it. In addition or alternatively, other types of three-dimensional graphic elements can also be used.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Darstellung des wenigstens einen Grafikelements bereits bei einem Beginn einer Wiedergabe der Umgebungsansicht auf einer Anzeigeeinrichtung erfolgt und/oder dass die Darstellung des wenigstens einen Grafikelements oder wenigstens eines weiteren Grafikelements während einer laufenden Wiedergabe der Umgebungsansicht durch eine Benutzerauswahl und/oder durch eine von einem Fahrerassistenzsystem des Fahrzeugs erzeugte Ausgabe ausgelöst wird.In a preferred embodiment of the invention, it can be provided that the display of the at least one graphic element already takes place at the beginning of a reproduction of the surrounding view on a display device and/or that the display of the at least one graphic element or at least one further graphic element is triggered during an ongoing reproduction of the surrounding view by a user selection and/or by an output generated by a driver assistance system of the vehicle.
Es ist möglich, dass das Grafikelement sowie seine Anordnungsposition bereits bekannt sind, bevor eine Umgebungsansicht dem Fahrer dargestellt wird, wobei die Anpassung der Form der Projektionsfläche somit ausgehend von einer initialen Form der Projektionsfläche vor der Wiedergabe der Umgebungsansicht auf einer Anzeigeeinrichtung des Kraftfahrzeugs angepasst wird. Zusätzlich oder alternativ dazu ist es möglich, dass die Darstellung des Grafikelements während einer bereits erfolgenden Wiedergabe einer Umgebungsansicht ausgelöst wird. In diesem Fall kann als Folge der die Darstellung des Grafikelements auslösenden Bedienhandlung bzw. des die Darstellung des Grafikelements auslösenden Steuerbefehls die Anpassung der Projektionsfläche vorgenommen werden.It is possible that the graphic element and its arrangement position are already known before a view of the environment is shown to the driver, whereby the adaptation of the shape of the projection surface is thus based on an initial shape of the projection surface before the display of the The surrounding view is adjusted on a display device of the motor vehicle. In addition or as an alternative to this, it is possible that the display of the graphic element is triggered while a surrounding view is already being reproduced. In this case, the projection surface can be adjusted as a result of the operating action or the control command that triggers the display of the graphic element.
Die Darstellung des Grafikelements kann dabei beispielsweise infolge einer Bedienhandlung wie des Aktivierens eines Parkassistenten und/oder eines weiteren Fahrerassistenzsystems erfolgen. Zusätzlich oder alternativ dazu kann auch die Darstellung des Grafikelements durch einen Steuerbefehl eines Parkassistenten und/oder eines weiteren Fahrerassistenzsystems ausgelöst werden, beispielsweise wenn dieses einen oder mehrere freie Parkplätze im Umfeld des Fahrzeugs erkannt hat und diese mit einem entsprechenden Grafikelement kenntlich gemacht werden sollen.The graphic element can be displayed, for example, as a result of an operating action such as activating a parking assistant and/or another driver assistance system. Additionally or alternatively, the graphic element can also be displayed by a control command from a parking assistant and/or another driver assistance system, for example if it has detected one or more free parking spaces in the vicinity of the vehicle and these are to be identified with a corresponding graphic element.
Erfindungsgemäß kann die Anordnungsposition in Abhängigkeit einer Benutzerauswahl eines Benutzers des Fahrzeugs und/oder in Abhängigkeit einer Ausgabe eines Fahrerassistenzsystems des Fahrzeugs bestimmt werden. Je nachdem welche Art von Grafikelement angezeigt werden soll, kann sich die Anordnungsposition des Grafikelements in Abhängigkeit einer Benutzerauswahl des Benutzers ergeben. Zusätzlich oder alternativ dazu kann die Anordnungsposition auch automatisch in Abhängigkeit einer Ausgabe eines Fahrerassistenzsystems, beispielsweise eines Parkassistenzsystems oder dergleichen, bestimmt werden. Auf diese Weise können vorteilhaft Grafikelemente in der virtuellen Umgebung des Fahrzeugs platziert werden, welche auf eine von dem Benutzer ausgewählte und/oder eine von einem Fahrerassistenzsystem bestimmte Position zurückgehen.According to the invention, the arrangement position can be determined depending on a user selection of a user of the vehicle and/or depending on an output of a driver assistance system of the vehicle. Depending on which type of graphic element is to be displayed, the arrangement position of the graphic element can result from a user selection of the user. Additionally or alternatively, the arrangement position can also be determined automatically depending on an output of a driver assistance system, for example a parking assistance system or the like. In this way, graphic elements can advantageously be placed in the virtual environment of the vehicle which are based on a position selected by the user and/or determined by a driver assistance system.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Form der Projektionsfläche zusätzlich in Abhängigkeit wenigstens eines Sensormesswerts eines Umgebungssensors des Fahrzeugs angepasst wird. Es ist möglich, dass eine Anpassung der Projektionsfläche zusätzlich auch in Abhängigkeit eines Sensormesswerts eines Umgebungssensors, welcher beispielsweise den Abstand zu einem Umgebungsobjekt des Fahrzeugs ermittelt, angepasst wird. Auf diese Weise kann eine adaptive Projektionsfläche geschaffen werden, welche zusätzlich in Abhängigkeit der Umgebungsbedingungen des Fahrzeugs verformt wird. Bei der Darstellung eines Grafikelements an einer Anordnungsposition außerhalb des von der Projektionsfläche umgebenen Raumbereichs kann entsprechend eine kombinierte Anpassung erfolgen, sodass zusätzlich zu der Anpassung in Abhängigkeit des Sensormesswerts auch, wie vorangehend beschrieben wurde, das in der Anordnungsposition angeordnete Grafikelement vollständig von der Projektionsfläche umgeben wird.In a preferred embodiment of the invention, it can be provided that the shape of the projection surface is additionally adapted depending on at least one sensor measurement value of an environmental sensor of the vehicle. It is possible for an adaptation of the projection surface to also be adapted depending on a sensor measurement value of an environmental sensor, which determines, for example, the distance to an object in the vehicle's surroundings. In this way, an adaptive projection surface can be created which is additionally deformed depending on the environmental conditions of the vehicle. When displaying a graphic element at an arrangement position outside the spatial area surrounded by the projection surface, a combined adaptation can take place accordingly, so that in addition to the adaptation depending on the sensor measurement value, the graphic element arranged in the arrangement position is also completely surrounded by the projection surface, as described above.
Für eine erfindungsgemäße Fahrerassistenzeinrichtung für ein Fahrzeug ist vorgesehen, dass sie eine oder mehrere Kameras sowie ein Steuergerät umfasst, wobei das Steuergerät zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtet ist.For a driver assistance device according to the invention for a vehicle, it is provided that it comprises one or more cameras and a control unit, wherein the control unit is set up to carry out a method according to the invention.
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es eine erfindungsgemäße Fahrerassistenzeinrichtung umfasst.It is intended for a vehicle according to the invention to comprise a driver assistance device according to the invention.
Für ein erfindungsgemäßes Computerprogramm ist vorgesehen, dass es Befehle umfasst, die bei einer Ausführung des Programms durch eine Recheneinrichtung diese dazu veranlassen, nach Bereitstellung von jeweils zumindest einen Teilbereich einer Fahrzeugumgebung abbildenden Bilddaten einer oder mehrerer Kameras eines Fahrzeugs ein erfindungsgemäßes Verfahren durchzuführen.For a computer program according to the invention, it is provided that it comprises instructions which, when the program is executed by a computing device, cause the latter to carry out a method according to the invention after providing image data from one or more cameras of a vehicle, each of which depicts at least a partial area of a vehicle's surroundings.
Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend für die erfindungsgemäße Fahrerassistenzeinrichtung, für das erfindungsgemäße Fahrzeug und für das erfindungsgemäße Computerprogramm sowie jeweils umgekehrt.All advantages and embodiments described above in relation to the method according to the invention apply accordingly to the driver assistance device according to the invention, to the vehicle according to the invention and to the computer program according to the invention and vice versa.
Auch die in Bezug zu der erfindungsgemäßen Fahrerassistenzeinrichtung, dem erfindungsgemäßen Fahrzeug und dem erfindungsgemäßen Computerprogramm beschriebenen Vorteile und Ausgestaltungen sind auf die jeweils anderen Erfindungsgegenstände übertragbar.The advantages and embodiments described in relation to the driver assistance device according to the invention, the vehicle according to the invention and the computer program according to the invention can also be transferred to the other subject matters of the invention.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
-
1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs, umfassend ein Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems, -
2 eine schematische Darstellung einer schüsselförmigen Projektionsfläche, -
3 eine Aufsicht auf die schüsselförmige Projektionsfläche, -
4 eine Aufsicht auf eine verformte schüsselförmige Projektionsfläche, und -
5 ein Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
-
1 an embodiment of a vehicle according to the invention, comprising an embodiment of a driver assistance system according to the invention, -
2 a schematic representation of a bowl-shaped projection surface, -
3 a top view of the bowl-shaped projection surface, -
4 a top view of a deformed bowl-shaped projection surface, and -
5 a block diagram of an embodiment of a method according to the invention.
In
Das Fahrzeug 1 umfasst ein Ausführungsbeispiel einer Fahrerassistenzeinrichtung 2, welche mehrere Kameras 3 sowie ein Steuergerät 4 umfasst. Im vorliegenden Ausführungsbeispiel umfasst die Fahrerassistenzeinrichtung 2 vier Kameras 3, wobei eine erste Kamera 5 als eine Frontkamera des Fahrzeugs 1, eine zweite Kamera 6 als Rückfahrkamera des Fahrzeugs 1 sowie eine dritte Kamera 7 und eine vierte Kamera 8 jeweils als eine Seitenkamera des Fahrzeugs 1 ausgebildet bzw. angeordnet sind. Mittels der Kameras 3 kann jeweils ein Teilbereich einer Fahrzeugumgebung des Fahrzeugs 1 erfasst werden. Dazu können die Kameras 3 jeweils ein Sichtfeld mit einem Öffnungswinkel von 180° in Fahrzeuglängs- bzw. Fahrzeugquerrichtung aufweisen.The
Von den Kameras 3 werden insbesondere kontinuierlich Bilddaten erzeugt und an das Steuergerät 4 übertragen. Dazu sind die Kameras 3 mit dem Steuergerät 4 über eine Kommunikationsverbindung, beispielsweise ein Bus-System des Fahrzeugs 1 o. ä., verbunden. Das Steuergerät 4 ist zur Durchführung eines Verfahrens zur Erzeugung einer Umgebungsansicht des Fahrzeugs 1 auf Grundalge der von den Kameras 3 erzeugten Bilddaten eingerichtet.In particular, image data is continuously generated by the cameras 3 and transmitted to the
Das Fahrzeug 1 umfasst weiterhin eine Anzeigeeinrichtung 9, über die eine erzeugte Umgebungsansicht für einen Fahrer bzw. einen Benutzer des Fahrzeugs 1 wiedergegeben werden kann. Bei der Anzeigeeinrichtung 9 kann es sich zum Beispiel um ein in einem Innenraum des Fahrzeugs 1 angeordnetes Display o. ä. handeln, welches von einem Fahrer bzw. einem Benutzer des Fahrzeugs 1 betrachtet werden kann.The
Weiterhin kann das Fahrzeug 1 wenigstens einen Umgebungssensor 10 umfassen. Mit dem Umgebungssensor 10 kann zum Beispiel der Abstand zu Umgebungsobjekten in der Umgebung des Fahrzeugs 1 bestimmt werden. Bei dem Umgebungssensor 10 kann es sich zum Beispiel um einen Radarsensor, einen Lidarsensor und/oder um einen Ultraschallsensor handeln.Furthermore, the
In
Zur Erzeugung der Umgebungsansicht projiziert das Steuergerät 4 die von den Kameras 3 übermittelten Bilddaten auf die schüsselförmige Projektionsfläche 11. auf diese Weise wird eine Pseudo-3D-Ansicht der Fahrzeugumgebung erzeugt. Diese kann verwendet werden, um eine Umgebungsabsicht abzuleiten, beispielsweise ausgehend von einer virtuellen Kameraposition, welche an einem beliebigen Punkt in dem dargestellten x,y,z-Koordinatensystem liegen kann. Ausgehend von der virtuellen Kameraposition kann dann eine Ansicht bzw. eine Aufsicht auf das Fahrzeug 1 bzw. auf die virtuelle Darstellung 13 des Fahrzeugs 1 sowie die mit den Kameras 3 erfasste Fahrzeugumgebung erzeugt werden.To generate the view of the surroundings, the
Für spezielle Anwendungen, beispielsweise für Fahrerassistenzsysteme wie Parkassistenten kann es gewünscht sein, dass eine Umgebungsansicht mit einem oder mehreren virtuelle Grafikelementen 16 ergänzt wird, so wie es beispielsweise in
Das Steuergerät 4 ist dazu eingerichtet, bei der zusätzlichen Darstellung wenigstens eines solchen Grafikelements 16 in der Umgebungsansicht bei einer vollständig oder teilweise außerhalb des von der Projektionsfläche 11 umgebenen Bereichs 12 liegenden Anordnungsposition 17 des Grafikelements 16 die Form der Projektionsfläche 11 derart anzupassen, dass die Projektionsfläche 11 auch das in der Anordnungsposition 17 angeordnete Grafikelement 16 umgibt. Der Bereich 12 beschreibt dabei insbesondere den durch die Projektionsfläche 11 zumindest teilweise begrenzten, virtuellen Raumbereich, also den oberhalb des Bodens 14 liegenden Raumbereich, welcher seitlich durch den Rand 15 eingefasst wird.The
Wie in
Wie in
Es ist möglich, dass mehrere Grafikelemente 16 angezeigt werden, wobei insbesondere die Anpassung der Projektionsfläche 11 derart erfolgt wird, dass sich alle Grafikelemente 16, deren Anordnungsposition 17 initial zumindest teilweise außerhalb des von der der Projektionsfläche 11 umgebenen Bereichs 12 liegen, von der verformten Projektionsfläche 11 umgeben werden. Ein weiteres Grafikelement 19 ist in
Bei den Grafikelementen 16, 19 kann es sich jeweils um ein zweidimensionales Grafikelement, beispielsweise um eine Parkplatzmarkierungen oder dergleichen, handeln. Vorliegend ist das weitere Grafikelement 19 eine zweidimensionale Parkplatzmarkierung.The
Es ist auch möglich, dass es sich bei den Grafikelementen 16, 19 jeweils um ein dreidimensionales Grafikelement, beispielsweise eine dreidimensionale Darstellung eines Umgebungsobjekts und/oder um eine weitere virtuelle Darstellung des Fahrzeugs 1, handelt. Vorliegend ist das Grafikelement 16 als eine dreidimensionales Fahrzeugdarstellung ausgebildet.It is also possible that the
Mithilfe der Grafikelemente 16, 19 können beispielsweise zur Verfügung stehende Parkplätze im Umfeld des Fahrzeugs 1 gekennzeichnet werden. Zusätzlich oder alternativ dazu können beispielsweise durch ein dreidimensionales Grafikelement 16, welches eine weitere virtuelle Darstellung des Fahrzeugs 1 ist, eine anzufahrende Zielposition sowie eine Orientierung des Fahrzeugs 1 nach einem Anfahren der Zielposition dargestellt werden. Die Verwendung eines dreidimensionalen Grafikelements 16 ermöglich es dabei, das Grafikelement 16 in Bezug zu der Position der virtuellen Kamera und somit auch in der Umgebungsansicht in der korrekten Perspektive darzustellen, sodass zum Beispiel auch Seitenflächen einer Fahrzeugdarstellung erkennbar sind.Using the
Durch die Anpassung der virtuellen Projektionsfläche 11 wird erreicht, dass die Grafikelemente 16, 19 in einer mithilfe der Projektionsfläche erzeugten Umgebungsansicht korrekt in Bezug zu der in den Bilddaten dargestellten Fahrzeugumgebung angezeigt werden. Beispielsweise werden dadurch die Grafikelemente 16, 19 unmittelbar auf den zur Verfügung stehenden Parkplätzen, also unmittelbar auf der der Fahrbahnoberfläche entsprechenden xy-Ebene, dargestellt. Ungewünschte Artefakte wie ein scheinbares Schweben der Grafikelemente 16, 19 oberhalb der zugeordneten Parkflächen, welches zum Beispiel bei einer Projektion der Grafikelemente 16, 19 auf den Rand 15 der Projektionsfläche 11 auftreten könnte, werden dadurch vorteilhaft vermieden.By adapting the
Die Darstellung des einen Grafikelements 16 bzw. der mehreren Grafikelemente 16, 19 kann bereits bei einem Beginn einer Wiedergabe der Umgebungsansicht auf der Anzeigeeinrichtung 9 des Kraftfahrzeugs 1 erfolgen. Dabei wird beispielsweise eine initial in dem Steuergerät 4 hinterlegte Form der Projektionsfläche 11 vor der Wiedergabe der Umgebungsansicht auf der Anzeigeeinrichtung 9 angepasst.The representation of the one
Zusätzlich oder alternativ dazu ist es möglich, dass die Darstellung des wenigstens einen Grafikelements 16 während einer laufenden Wiedergabe der Umgebungsansicht auf der Anzeigeeinrichtung 9 durch eine Benutzerauswahl und/oder durch eine von dem oder einem weiteren Fahrerassistenzsystem des Fahrzeugs 1 erzeugte Ausgabe ausgelöst wird.Additionally or alternatively, it is possible for the display of the at least one
Es ist möglich, dass beispielsweise durch ein als Parkassistenzsystem ausgebildetes Fahrerassistenzsystem im Umfeld des Fahrzeugs 1 ein oder mehrere zur Verfügung stehende Parkplätze ermittelt werden, wobei anschließend die Darstellung von einem oder mehreren, die zur Verfügung stehenden Parkplätze kennzeichnenden Grafikelementen 16 ausgelöst wird. In diesem Fall kann die Anordnungsposition der Grafikelemente 16 jeweils der Position des zugehörigen, zur Verfügung stehenden Parkplatz in der virtuellen Umgebung des Fahrzeugs 1 entsprechen. Falls die Anordnungsposition zumindest teilweise außerhalb der Projektionsfläche 11 liegt, kann, wie vorangehend beschrieben wurde, eine Anpassung der Form der Projektionsfläche 11 vorgenommen werden.It is possible, for example, for a driver assistance system designed as a parking assistance system to determine one or more available parking spaces in the vicinity of the
Ebenso ist es möglich, dass das Auslösen der Darstellung des wenigstens einen Grafikelements 16, 19 durch einen Benutzer ausgelöst wird, beispielsweise durch Aktivieren einer speziellen Funktion des Fahrzeugs 1 und/oder durch Anwahl eines bestimmten Umgebungsbereichs auf einer beispielsweise als Touchscreen ausgebildeten Anzeigeeinrichtung 9 oder dergleichen.It is also possible for the display of the at least one
Um eine möglichst realistische Darstellung der Fahrzeugumgebung in der mithilfe der Projektionsfläche 11 erzeugten Umgebungsansicht zu erreichen, kann die Form der Projektionsfläche 11 weiterhin in Abhängigkeit wenigstens eines Sensormesswerts des wenigstens einen Umgebungssensors 10 des Fahrzeugs 1 angepasst werden. Bei dem Sensormesswert kann es sich zum Beispiel um einen Abstandsmesswert zu einem Umgebungsobjekt und/oder um eine aus einer oder mehreren Sensormessungen abgeleitete Umgebungsobjektinformation, welche zum Beispiel den Typ und/oder die Abmessungen eines Umgebungsobjekts beschreibt, handeln. Dies ermöglicht es, zumindest bereichsweise die Form der Projektionsfläche 11, insbesondere die Form des Randes 15 der Projektionsfläche 11, an im unmittelbaren Umfeld des Fahrzeugs 1 erkannte Umgebungsobjekte anzupassen. Dadurch wird eine realistischere Wiedergabe der auf die Projektionsfläche 11 projizierten Bilddaten erreicht.In order to achieve the most realistic representation of the vehicle surroundings in the environmental view generated using the
In
Dabei beschreibt Schritt S1 das Bereitstellen von mittels einer oder mehrerer der Kameras 3 des Fahrzeugs 1 erzeugten Bilddaten, welche jeweils zumindest einen Teilbereich einer Fahrzeugumgebung abbilden. Die Bilddaten können dabei an das Steuergerät 4, welches zur Durchführung der weiteren Verfahrensschritte eingerichtet ist, übermittelt werden.Step S1 describes the provision of image data generated by one or more of the cameras 3 of the
Schritt S2 beschreibt das Projizieren der Bilddaten auf die schüsselförmige, den Bereich 12 um die virtuelle Darstellung 13 des Fahrzeugs 1 umgebende Projektionsfläche 11. Anschließend kann aus den auf die Projektionsfläche 11 projizierten Bilddaten bereits eine Umgebungsansicht abgeleitet und auf der Anzeigeeinrichtung 9 des Fahrzeugs 1 wiedergegeben werden. Alternativ ist es möglich, dass die Erzeugung der Umgebungsansicht sowie deren Wiedergabe auf der Anzeigeeinrichtung 9 im Rahmen eines späteren Verfahrensschritt erfolgt.Step S2 describes the projecting of the image data onto the bowl-shaped
In Schritt S3 wird bei der zusätzlichen Darstellung wenigstens eines Grafikelements 16 in der Umgebungsansicht überprüft, ob eine dem Grafikelemente 16 zugeordnete Anordnungsposition 17 zumindest teilweise außerhalb des von der Projektionsfläche 11 umgebenen Bereichs 12 liegt. Wenn die Anordnungsposition 17 zumindest teilweise außerhalb des Bereichs 12 liegt, erfolgt eine Anpassung der Projektionsfläche derart, dass die Projektionsfläche 11 auch das in der Anordnungsposition 17 angeordnete Grafikelemente 16 umgibt. Die Anpassung der Projektionsfläche 11 kann dabei beispielsweise wie vorangehend beschrieben wurde erfolgen. Anschließend kann mithilfe der angepassten Projektionsfläche 11 eine Umgebungsansicht abgeleitet und an die Anzeigeeinrichtung 9 übermittelt werden. Die Umgebungsansicht kann dann auf der Anzeigeeinrichtung 9 dargestellt werden.In step S3, during the additional display of at least one
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023203322.4A DE102023203322B3 (en) | 2023-04-12 | 2023-04-12 | Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023203322.4A DE102023203322B3 (en) | 2023-04-12 | 2023-04-12 | Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023203322B3 true DE102023203322B3 (en) | 2024-06-13 |
Family
ID=90720491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023203322.4A Active DE102023203322B3 (en) | 2023-04-12 | 2023-04-12 | Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102023203322B3 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220105869A1 (en) | 2019-02-08 | 2022-04-07 | Jaguar Land Rover Limited | Image system for a vehicle |
DE102021207558A1 (en) | 2021-07-15 | 2023-01-19 | Continental Autonomous Mobility Germany GmbH | Camera system and method for generating a view with a camera system |
-
2023
- 2023-04-12 DE DE102023203322.4A patent/DE102023203322B3/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220105869A1 (en) | 2019-02-08 | 2022-04-07 | Jaguar Land Rover Limited | Image system for a vehicle |
DE102021207558A1 (en) | 2021-07-15 | 2023-01-19 | Continental Autonomous Mobility Germany GmbH | Camera system and method for generating a view with a camera system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3140813B1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
DE112018000862T5 (en) | Apparatus and method for displaying information | |
EP3308361B1 (en) | Method for generating a virtual image of vehicle surroundings | |
DE102010015079A1 (en) | A method of displaying an image on a display device in a vehicle. Driver assistance system and vehicle | |
EP2198390A2 (en) | Method for calibrating an assembly using at least one omnidirectional camera and an optical display unit | |
DE112015000763T5 (en) | Vehicle environment image display device and vehicle environment image display method | |
DE102015202863A1 (en) | Method and device for the distortion-free display of a vehicle environment of a vehicle | |
DE102017106152A1 (en) | Determine an angle of a trailer with optimized template | |
DE102019132996A1 (en) | Estimating a three-dimensional position of an object | |
DE102023203322B3 (en) | Method for generating an environmental view of a vehicle, driver assistance device, vehicle and computer program | |
DE102020127001A1 (en) | IMAGE-BASED THREE-DIMENSIONAL ROAD DETECTION | |
DE112020006935T5 (en) | METHOD AND DEVICE FOR PARKING DETECTION, AND DEVICE AND STORAGE MEDIUM | |
DE102017000307A1 (en) | Method for calibrating a camera for a motor vehicle taking into account a calibration error, camera and motor vehicle | |
DE102019132019A1 (en) | VEHICLE AND CONTROL PROCEDURES FOR IT | |
DE102020003465A1 (en) | Method for the detection of objects in monocular RGB images | |
DE102014219418B4 (en) | Process for the stereo rectification of stereo camera images and driver assistance system | |
DE102020107949A1 (en) | Field of view assist image generation apparatus and image conversion method | |
DE102018100211A1 (en) | A method for generating a representation of an environment by moving a virtual camera towards an interior mirror of a vehicle; as well as camera setup | |
DE102018120966A1 (en) | Method for recognizing a part of a trailer and trailer detection system for a towing vehicle | |
DE102017123582A1 (en) | Method for determining a region of interest in an image taken by a camera of a motor vehicle, control device, camera system and motor vehicle | |
WO2018108215A1 (en) | Device for providing improved obstacle detection | |
DE102010036140A1 (en) | A method of presenting guidelines in a camera-based driver assistance system | |
DE102022124085A1 (en) | Display of image data in a vehicle depending on sensor data | |
DE102022127574A1 (en) | DIGITAL SIDE MIRROR SYSTEM | |
DE102022206127A1 (en) | Method for displaying an environment of a vehicle with a coupled trailer, computer program, computing device and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |