EP3948784A1 - Parkassistenzsystem - Google Patents

Parkassistenzsystem

Info

Publication number
EP3948784A1
EP3948784A1 EP20718552.1A EP20718552A EP3948784A1 EP 3948784 A1 EP3948784 A1 EP 3948784A1 EP 20718552 A EP20718552 A EP 20718552A EP 3948784 A1 EP3948784 A1 EP 3948784A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
assistance system
image
orientation
parking assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20718552.1A
Other languages
English (en)
French (fr)
Inventor
Markus EICH
Charlotte GLOGER
Frank KITTMANN
Markus Friebe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP3948784A1 publication Critical patent/EP3948784A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the invention relates to a parking assistance system for a vehicle which is set up to represent the surroundings of the vehicle.
  • the invention also relates to a method for displaying the surroundings of a vehicle and to a
  • Program element as well as a computer-readable medium.
  • an improved parking assistance system can be provided in an advantageous manner.
  • the parking assistance system can have at least one camera that is set up to record at least one image. It can
  • the parking assistance system can comprise an image evaluation unit which is set up to determine an orientation of a further vehicle which is depicted in the image.
  • the image evaluation unit can be configured to adapt a grid structure as a function of the specific orientation of the further vehicle, the image being projected onto the adapted grid structure.
  • the advantage of this embodiment can be that by adapting the grid structure to another vehicle, maneuvering a car during a parking or unparking process or the like is simplified for the user.
  • it can be an advantage that further expensive sensor devices can be saved and at the same time the maneuverability of the
  • the perception for a user of the parking assistance system can be improved since no more optical artifacts occur in the displayed image.
  • the parking assistance system uses a camera to capture an image that is processed by the image evaluation unit so that an orientation of a further vehicle can be determined in order to adapt or optimize a grid structure for displaying the surroundings of the vehicle, so that the recorded image is based on the adapted grid structure can be projected.
  • the camera can be a digital camera, which is in signal connection with the logic of the vehicle and / or the image evaluation unit.
  • the parking assistance system may be able to using a monitor, for example an ECU - electronic control unit and / or a head-up display, to show the surroundings of the vehicle on the display and / or on the head-up display.
  • the lattice structure can be a virtual model that can be represented with the help of nodes and their connections.
  • the orientation of the further vehicle can in particular be established on the basis of a coordinate system, the origin of the coordinate system representing the center of the vehicle, for example.
  • a coordinate system the origin of the coordinate system representing the center of the vehicle
  • the position of the further vehicle relative to the vehicle can be determined as a function of the center point of the vehicle.
  • the grid structure can be adapted on the basis of the position or the orientation of the further vehicle so that it can correspond to the reality of the vehicle environment.
  • the adapted grid structure which has been adapted to the surroundings of the vehicle, is used to transfer the image recorded by the camera to the adapted
  • Representation of the environment can be shown on the monitor or the head-up display of the vehicle.
  • FIG. 3 An adapted lattice structure is shown in FIG. 3 and explained in detail using the description of the figures in FIG. 3.
  • the lattice structure can have a geometric shape, in particular a hemisphere.
  • the lattice structure forms a virtual model of a hemisphere or the like.
  • Lattice structure also have a different geometric shape than a hemisphere, such as a cone, for example
  • the image evaluation unit can be set up to adapt the geometric shape to the orientation of the further vehicle by means of bending or the like.
  • the geometric shape is adapted in such a way that it corresponds to the surroundings of the vehicle. This can in particular by means of a bending process of the geometric shape or another
  • Forming process such as cutting, enlarging, reducing, rotating and / or distorting take place.
  • the advantage of this embodiment can be that the geometric shape can be adapted by means of simple computational operators, such as bending, and thus the representation of the surroundings of the vehicle can be simplified without tying up further resources of the parking assistance system.
  • the lattice structure can additionally have a generic vehicle model.
  • a generic vehicle model is positioned in the lattice structure, which has a geometric shape, in order to be able to represent the surroundings of the vehicle in an improved manner.
  • the generic vehicle model can be a
  • a type of the further vehicle can be determined, wherein the generic vehicle model can be adapted to the type of the further vehicle on the basis of information from a database.
  • the image recorded by the camera can be projected onto the generic vehicle model, so that an improved representation of the surroundings of the vehicle can take place, since no optical artifacts due to a missing
  • Figure 3 is a Possible implementation of the generic vehicle model, which is arranged in the geometric shape, shown.
  • Image evaluation unit can be set up to adapt the generic vehicle model to the orientation of the further vehicle by means of scaling, movement and / or rotation.
  • the generic vehicle model is used within the
  • Lattice structure manipulated in such a way that it corresponds to an orientation of the further vehicle.
  • This manipulation can take place in particular by scaling, moving and / or rotating.
  • these operators such as rotating the generic vehicle model, the surroundings of the vehicle can be adapted very precisely to the grid structure, in particular to the generic vehicle model, so that the display is significantly improved and thus the ergonomics of the
  • Parking assistance system can be increased.
  • the image evaluation unit can be set up to adapt the generic vehicle model in the geometric form to the orientation of the further vehicle by means of scaling, movement and / or rotation.
  • the generic vehicle model can be scaled, moved and / or rotated within the geometric shape, which is for example a hemisphere, in order to achieve an optimized representation of the surroundings of the vehicle. In other words, it is a positioning of the generic vehicle model in the geometric form to the orientation of the further vehicle by means of scaling, movement and / or rotation.
  • the generic vehicle model can be scaled, moved and / or rotated within the geometric shape, which is for example a hemisphere, in order to achieve an optimized representation of the surroundings of the vehicle. In other words, it is a positioning of the generic
  • Vehicle model within the geometric shape possible so that both the geometric shape and the generic vehicle model can be adapted to the surroundings of the vehicle, in particular as a function of one another, in order to significantly increase the representability of the surroundings of the vehicle.
  • the image evaluation unit can be set up so that areas of the further vehicle which are not captured by the camera are determined by means of an estimation function and are projected onto the generic vehicle model.
  • includes Image evaluation unit has the function that the areas that cannot be captured by the camera, such as a roof of the other vehicle, are determined using the estimation function.
  • the estimation function can for example consist of the fact that the camera determines the color of the further vehicle or the paintwork of the further vehicle and also projects the determined color or paintwork onto the roof of the generic vehicle model of the further vehicle. This can make the user's perception more pleasant and thus increase the ergonomics of the parking assistance system.
  • the image evaluation unit can be set up to predict areas that are not captured by the camera in order to completely cover the grid structure with a texture.
  • a grid structure which is a sphere, for example, can be completely covered with texture using the image evaluation unit, since the image evaluation unit uses exemplary weather information to cover the upper part of the sphere with a texture using the weather information.
  • the weather function describes a clear sky, so that the image evaluation unit predicts a clear sky in the grid structure.
  • Image evaluation unit for determining the orientation of the further vehicle can be set up to recognize a base area in the image. Furthermore, the image evaluation unit can be set up to identify two wheels of the further vehicle in the image and to determine a circumferential contour of each of the wheels. In addition, the image evaluation unit can be set up to form an intersection between the base area and the circumferential contour by determining the point on the circumferential contour of the wheel that is closest to the camera.
  • the orientation of the further vehicle can be used of an image evaluation method, as just described, the base area, in particular a street or the like, being determined in the image first. Then two wheels of the further vehicle can be identified in the image and a circumferential contour of the wheels can then be determined or
  • the image evaluation unit can also be set up to carry out a plausibility check of the base area, the wheels, the circumferential contour, the intersection points and / or the orientation of the further vehicle.
  • the parking assistance system is able to check the information recorded by it on the basis of predetermined parameters and / or empirical values.
  • the image evaluation unit can check the determination of the wheels of the further vehicle, so that
  • the image evaluation unit can be set up to determine a front and / or rear area of the further vehicle and to orient the grid structure as a function of the front and / or rear area.
  • the image evaluation unit is able to determine the front and rear of the further vehicle in order to adapt the generic vehicle model of the further vehicle according to the contour of the front and rear of the further vehicle, so that a more realistic representation of the further Vehicle can be reached in the vicinity of the vehicle.
  • Another aspect relates to a method for displaying the surroundings of a vehicle, which can include the following steps:
  • an image of the surroundings of the vehicle can be recorded.
  • a grid structure can be used or presented to a user, in particular by means of a display or a
  • the orientation of the further vehicle can be determined by determining information in which the further vehicle is mapped and thus an orientation of the further vehicle can be evaluated.
  • the grid structure can be adapted to represent the surroundings, so that the grid structure corresponds to the actual surroundings of the vehicle.
  • the image that was recorded can be projected onto the adapted grid structure on the adapted grid structure. This can have the advantage that sensors that have the Determine the distance between the vehicle and the other vehicle can be dispensed with.
  • the experience of the user who is presented with the surroundings of the vehicle can be improved.
  • the method can further comprise the steps:
  • the further vehicle can be oriented with the aid of recognizing the base area in the image. Furthermore, two wheels of the further vehicle can be identified in the image and a circumferential contour of the wheels can be determined. An intersection can then be formed or
  • the method can further comprise the steps:
  • the geometric shape can for example be a hemisphere, adapted by means of bending or the like in such a way that the geometric shape corresponds to the surroundings of the vehicle.
  • the geometric shape is modified as a function of the orientation of the further vehicle, so that artifacts that result from the lack of distance information between the vehicle and the further vehicle can be reduced and the representation of the surroundings of the vehicle for the user is improved.
  • the method can further comprise the steps:
  • a generic vehicle model which is a two-dimensional or three-dimensional model, is positioned in the geometric form in such a way that it corresponds to the orientation of the further vehicle in the virtual image of the surroundings.
  • the generic vehicle model can be adapted or adapted by means of scaling, movement and / or rotation so that it corresponds to both the contour and the orientation of the further vehicle and thus an adapted one Lattice structure is formed. This can have the advantage that a parking or exiting process of the vehicle is simplified by the improved representation of the surroundings.
  • a further aspect of the invention relates to a program element which, when executed in a parking assistance system, instructs the parking assistance system to carry out the steps of the method as described above and below.
  • Another aspect of the invention relates to a computer-readable medium on which a program element, as described above and below, is stored.
  • Fig. 1 shows a parking assistance system according to a
  • Fig. 2 shows a schematic representation of the
  • Fig. 3 shows a schematic representation of the
  • Fig. 4 shows a schematic embodiment of the
  • FIG. 5 shows a flowchart to illustrate steps of a method for representing the surroundings of a vehicle according to an exemplary embodiment.
  • the parking assistance system 100 for a vehicle 200, which is set up to display the surroundings of the vehicle, the parking assistance system 100 comprising at least one camera 102 which is set up to record an image, in particular of the further vehicle 300.
  • the camera 102 has a detection area 103.
  • Image evaluation unit 106 can be set up to predict, for example, the color of further vehicle 300 on components of further vehicle 300 which are located outside of detection area 103.
  • Parking assistance system 100 for displaying the surroundings of vehicle 200 for a user, a grid structure. Furthermore can the parking assistance system 100 comprise an image evaluation unit 106 which is set up to determine an orientation 302 of a further vehicle 300 which is depicted in the image. Furthermore, the image evaluation unit 106 can be set up to adapt the lattice structure 104 as a function of the specific orientation 302 of the further vehicle 300. The image evaluation unit 106 can also be set up to project the image onto the adapted grid structure 108. Furthermore, FIG. 1 shows the parking assistance system 100, which is arranged in the vehicle 200. Another vehicle 300 is located next to the vehicle 200. The vehicle 200 has a camera 102 which records an image that can be used to represent the surroundings 400 of the vehicle 200. In addition, the vehicle 200 has a
  • Image evaluation unit 106 and a computer-readable medium 500 The further vehicle 300 has an orientation 302 which can be determined in particular as a function of the position of the vehicle 200.
  • FIG. 2 shows a schematic illustration of the lattice structure 104, which represents the surroundings 400 of the vehicle 200.
  • the image recorded by the camera 102 can be applied to the
  • Lattice structure 104 and / or the adapted lattice structure 108 are projected and the model resulting therefrom is shown on a display to a user.
  • FIG. 3 a schematic representation of an adapted lattice structure 108 is shown, wherein the adapted lattice structure can both be changed in its shape and a generic vehicle model 304 can be provided in the adapted lattice structure 108.
  • the orientation of the generic vehicle model 304 corresponds to the orientation 302 of the further vehicle 300.
  • the parking assistance system 100 which can be provided in the vehicle 200, comprises a camera 102.
  • There is another vehicle 300 next to the vehicle 200 Vehicle 300 is standing on a base 306.
  • the further vehicle 300 is in particular standing on its wheels 308. It can be assumed here that the wheels 308 are orthogonal to the base 306.
  • the image evaluation unit 106 may be able to determine a circumferential contour 310 of the wheels 308.
  • the image evaluation unit 106 can likewise be able to determine the orientation 302 of the further vehicle 300 by determining the intersection points 312.
  • the intersection points 312 can be determined by determining the closest point to the camera 102 on the circumferential contour 310 of the wheels 308.
  • the camera 102 can determine a front area 316 and a rear area 314 of the further vehicle 300.
  • the generic vehicle model 304 can be adapted in its contour or appearance to the front area 316 and / or the rear area 314.
  • FIG. 5 shows a flowchart to illustrate steps of a method for representing an environment 400 of a vehicle 200 according to an exemplary embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Parkassistenzsystem für ein Fahrzeug, welches dazu eingerichtet ist, eine Umgebung des Fahrzeugs darzustellen. Dabei kann das Parkassistenzsystem zumindest eine Kamera aufweisen, welche dazu eingerichtet ist, zumindest ein Bild aufzunehmen. Dabei kann das Parkassistenzsystem zur Darstellung der Umgebung des Fahrzeugs für einen Benutzer eine Gitterstruktur verwenden. Zusätzlich kann das Parkassistenzsystem eine Bildauswerteeinheit umfassen, welche dazu eingerichtet ist, die relative Position und die Orientierung eines weiteren Fahrzeugs, welches in dem Bild abgebildet ist, zu bestimmen. Zusätzlich kann die Bildauswerteeinheit dazu eingerichtet sein, eine Gitterstruktur in Abhängigkeit der bestimmten Orientierung des weiteren Fahrzeugs anzupassen, wobei das Bild auf die angepasste Gitterstruktur projiziert wird.

Description

Parkassistenzsystem
Die Erfindung betrifft ein Parkassistenzsystem für ein Fahrzeug, welches dazu eingerichtet ist, eine Umgebung des Fahrzeugs darzustellen. Zudem betrifft die Erfindung ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs sowie ein
Programmelement als auch ein computerlesbares Medium.
Hintergrund der Erfindung
Bei der Darstellung von einer dreidimensionalen Umgebung eines Fahrzeugs in einem Surround-View-System ist die Entfernung zu anderen Autos und Objekten unbekannt, sofern keine zusätzlichen Sensoren eingesetzt werden. Typischerweise wird die
dreidimensionale Umgebung mithilfe einer Halbkugel generiert, wobei auf die Halbkugel die durch die Kameras erfassten Bilder projiziert werden. Dies führt typischerweise zu optischen Artefakten, wenn das projizierte Objekt dem Fahrzeug näher ist als die dazugehörige Projektionsfläche der Halbkugel. Dies kann insbesondere das Manövrieren eines Autos während des
Einparkvorgangs oder des Ausparkvorgangs erschweren. Durch das Verwenden von verschiedenen Sensoren, wie beispielsweise Sonar oder Lidar, kann der Abstand zwischen den Objekten, welche die optischen Artefakte auslösen, und dem Auto, welches manövriert werden soll, ermittelt werden, jedoch sind diese Sensoren teuer und aufwendig in dem betreffenden Auto zu positionieren.
Zusammenfassung der Erfindung
Mit Ausführungsformen der Erfindung kann in vorteilhafter Weise ein verbessertes Parkassistenzsystem bereitgestellt werden.
Die Erfindung ist in den unabhängigen Ansprüchen definiert. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen und in der nachfolgenden Beschreibung.
Technische Fachbegriffe werden in ihrer allgemein bekannten Form verwendet. Wenn eine bestimmte Bedeutung auf bestimmte Begriffe übertragen wird, werden im Folgenden Begriffsdefinitionen bereitgestellt, in deren Rahmen die Begriffe verwendet werden.
Ein Aspekt der Erfindung betrifft ein Parkassistenzsystem für ein Fahrzeug, welches dazu eingerichtet ist, eine Umgebung des Fahrzeugs darzustellen. Dabei kann das Parkassistenzsystem zumindest eine Kamera aufweisen, welche dazu eingerichtet ist, zumindest ein Bild aufzunehmen. Dabei kann das
Parkassistenzsystem zur Darstellung der Umgebung des Fahrzeugs für einen Benutzer eine Gitterstruktur verwenden. Zusätzlich kann das Parkassistenzsystem eine Bildauswerteeinheit umfassen, welche dazu eingerichtet ist, eine Orientierung eines weiteren Fahrzeugs, welches in dem Bild abgebildet ist, zu bestimmen. Zusätzlich kann die Bildauswerteeinheit dazu eingerichtet sein, eine Gitterstruktur in Abhängigkeit der bestimmten Orientierung des weiteren Fahrzeugs anzupassen, wobei das Bild auf die angepasste Gitterstruktur projiziert wird.
Der Vorteil dieser Ausführungsform kann sein, dass durch die Anpassung der Gitterstruktur an ein weiteres Fahrzeug das Manövrieren eines Autos bei einem Einpark- oder Ausparkvorgang oder Ähnlichem für den Benutzer vereinfacht wird. Zudem kann ein Vorteil sein, dass weitere teure Sensoreinrichtungen eingespart werden können und gleichzeitig die Manövrierbarkeit des
Fahrzeugs zu verbessern. Zusätzlich kann die Wahrnehmung für einen Benutzer des Parkassistenzsystems verbessert werden, da keine optischen Artefakte im angezeigten Bild mehr auftreten.
In anderen Worten erfasst das Parkassistenzsystem mithilfe einer Kamera ein Bild, welches durch die Bildauswerteeinheit verarbeitet wird, so dass eine Orientierung eines weiteren Fahrzeugs ermittelt werden kann, um eine Gitterstruktur zur Darstellung der Umgebung des Fahrzeugs anzupassen oder zu optimieren, so dass das aufgenommene Bild auf die angepasste Gitterstruktur projiziert werden kann. Dabei kann es sich bei der Kamera um eine Digitalkamera handeln, welche in Signalverbindung mit der Logik des Fahrzeugs und/oder der Bildauswerteeinheit steht. Das Parkassistenzsystem kann dazu in der Lage sein, mithilfe eines Monitors, bspw. eine ECU - electronic control unit und/oder eines Head-up-Displays die Umgebung des Fahrzeugs auf dem Display und/oder auf dem Head-up-Display darzustellen. Bei der Gitterstruktur kann es sich um ein virtuelles Modell handeln, welches sich mithilfe von Knotenpunkten und deren Verbindungen darstellen lässt. Die Orientierung des weiteren Fahrzeugs kann insbesondere anhand eines Koordinatensystems festgelegt werden, wobei der Ursprung des Koordinatensystems beispielsweise den Mittelpunkt des Fahrzeugs darstellt. Ein möglicher Aufbau des Parkassistenzsystems sowie Orientierung des weiteren Fahrzeuges wird unter anderem in Figur 1 dargestellt und in der dazugehörigen Figurenbeschreibung weiter erläutert. In Abhängigkeit des Mittelpunkts vom Fahrzeug kann die Position des weiteren Fahrzeugs zum Fahrzeug bestimmt werden. Anhand der Position bzw. der Orientierung des weiteren Fahrzeugs kann die Gitterstruktur angepasst werden, so dass sie der Realität der Fahrzeugumgebung entsprechen kann. Die angepasste Gitterstruktur, welche an die Umgebung des Fahrzeugs angepasst wurde, wird dazu verwendet, das von der Kamera aufgenommene Bild auf die angepasste
Gitterstruktur zu projizieren, so dass eine angepasste
Darstellung der Umgebung auf dem Monitor oder dem Head-up-Display des Fahrzeugs dargestellt werden kann.
Eine angepasste Gitterstruktur wird in der Fig. 3 dargestellt sowie anhand der Figurenbeschreibung der Fig. 3 detailliert erläutert .
Gemäß einem Ausführungsbeispiel kann die Gitterstruktur eine geometrische Form, insbesondere eine Halbkugel, aufweisen. In anderen Worten bildet die Gitterstruktur ein virtuelles Modell einer Halbkugel oder Ähnlichem. Alternativ kann die
Gitterstruktur auch eine andere geometrische Form als eine Halbkugel aufweisen, wie beispielsweise ein Kegel, ein
Kegelstumpf, ein Würfel, ein Quader, ein Würfel mit stark verrundeten Kanten, ein Quader mit stark verrundeten Kanten, eine Pyramide, ein Zylinder und/oder eine Kugel. Ein Vorteil dieser Ausführungsform kann sein, dass mithilfe einer einfachen geometrischen Form Rechenkapazität innerhalb des Parkassistenzsystems eingespart werden kann und somit die Herstellungskosten des Parkassistenzsystems reduziert werden.
In einem Ausführungsbeispiel der Erfindung kann die
Bildauswerteeinheit dazu eingerichtet sein, die geometrische Form, mittels Biegen oder Ähnlichem, an die Orientierung des weiteren Fahrzeugs anzupassen. In anderen Worten wird die geometrische Form derart angepasst, dass sie einer Umgebung des Fahrzeugs entspricht. Dies kann insbesondere mittels eines Biegevorgangs der geometrischen Form oder eines anderen
Umformvorgangs, wie beispielsweise Ausschneiden, Vergrößern, Verkleinern, Rotieren und/oder Verzerren, erfolgen. Der Vorteil dieser Ausführungsform kann sein, dass mittels einfacher rechnerischer Operatoren, wie beispielsweise Biegen, die geometrische Form angepasst werden kann und somit die Darstellung der Umgebung des Fahrzeugs vereinfacht werden kann, ohne weitere Ressourcen des Parkassistenzsystems zu binden. Eine
Ausführungsmöglichkeit der Darstellung einschließlich der geometrischen Form wird in Figur 2 dargestellt sowie in der dazugehörigen Figurenbeschreibung detailliert erläutert.
Gemäß einem Ausführungsbeispiel kann die Gitterstruktur zusätzlich ein generisches Fahrzeugmodell aufweisen. In anderen Worten wird in der Gitterstruktur, welche eine geometrische Form aufweist, ein generisches Fahrzeugmodell positioniert, um somit die Umgebung des Fahrzeugs verbessert darstellen zu können. Bei dem generischen Fahrzeugmodell kann es sich um ein
zweidimensionales und/oder dreidimensionales Modell handeln, welches in seiner Außenkontur ein idealisiertes Modell des weiteren Fahrzeugs darstellt. Alternativ kann ein Typ des weiteren Fahrzeugs ermittelt werden, wobei das generische Fahrzeugmodell, anhand von Informationen aus einer Datenbank, an den Typ des weiteren Fahrzeugs angepasst werden kann. Dabei kann das durch die Kamera aufgenommene Bild auf das generische Fahrzeugmodell projiziert werden, so dass eine verbesserte Darstellung der Umgebung des Fahrzeugs erfolgen kann, da keine optischen Artefakte aufgrund einer fehlenden
Abstandsinformation mehr auftreten können. In Figur 3 wird eine Ausführungsmöglichkeit des generischen Fahrzeugmodells, welches in der geometrischen Form angeordnet ist, gezeigt.
Gemäß einem Ausführungsbeispiel der Erfindung kann die
Bildauswerteeinheit dazu eingerichtet sein, das generische Fahrzeugmodell mittels Skalierung, Bewegung und/oder Rotation an die Orientierung des weiteren Fahrzeugs anzupassen. In anderen Worten wird das generische Fahrzeugmodell innerhalb der
Gitterstruktur derart manipuliert, dass es einer Orientierung des weiteren Fahrzeugs entspricht. Diese Manipulierung kann insbesondere durch ein Skalieren, Bewegen und/oder Rotieren erfolgen. Mittels dieser Operatoren, wie beispielsweise Rotieren des generischen Fahrzeugmodells, kann die Umgebung des Fahrzeugs sehr genau an die Gitterstruktur angepasst werden, insbesondere an das generische Fahrzeugmodell, so dass die Darstellung deutlich verbessert wird und somit die Ergonomie des
Parkassistenzsystems gesteigert werden kann.
Gemäß einer Ausführungsform kann die Bildauswerteeinheit dazu eingerichtet sein, das generische Fahrzeugmodell in der geometrischen Form mittels Skalierung, Bewegung und/oder Rotation an die Orientierung des weiteren Fahrzeugs anzupassen. In anderen Worten kann das generische Fahrzeugmodell innerhalb der geometrischen Form, welche beispielsweise eine Halbkugel ist, skaliert, bewegt und/oder rotiert werden, um eine optimierte Darstellung der Umgebung des Fahrzeugs zu erreichen. In anderen Worten ist somit eine Positionierung des generischen
Fahrzeugmodells innerhalb der geometrischen Form möglich, so dass sowohl die geometrische Form als auch das generische Fahrzeugmodell an die Umgebung des Fahrzeugs angepasst werden können, insbesondere in Abhängigkeit voneinander, um die Darstellbarkeit der Umgebung des Fahrzeugs deutlich zu erhöhen.
Gemäß einem Ausführungsbeispiel kann die Bildauswerteeinheit dazu eingerichtet sein, dass Bereiche des weiteren Fahrzeugs, welche nicht durch die Kamera erfasst werden, mittels einer Schätzungsfunktion ermittelt werden und auf das generische Fahrzeugmodell projiziert werden. In anderen Worten umfasst die Bildauswerteeinheit die Funktion, dass die Bereiche, welche durch die Kamera nicht erfasst werden können, wie beispielsweise ein Dach des weiteren Fahrzeugs, mithilfe der Schätzfunktion ermittelt werden. Die Schätzfunktion kann beispielsweise daraus bestehen, dass die Kamera die Farbe des weiteren Fahrzeugs bzw. die Lackierung des weiteren Fahrzeugs ermittelt und die ermittelte Farbe bzw. Lackierung ebenfalls auf das Dach des generischen Fahrzeugmodells des weiteren Fahrzeugs projiziert. Dies kann die Wahrnehmung des Benutzers angenehmer gestalten und somit die Ergonomie des Parkassistenzsystems erhöhen.
Gemäß einem Ausführungsbeispiel kann die Bildauswerteeinheit dazu eingerichtet sein, Bereiche, welche nicht durch die Kamera erfasst werden, zu prognostizieren, um die Gitterstruktur vollständig mit einer Textur zu belegen. In anderen Worten kann eine Gitterstruktur, welche beispielsweise eine Kugel ist, mithilfe der Bildauswerteeinheit vollständig mit Textur belegt werden, da die Bildauswerteeinheit anhand von beispielhaften Wetterinformationen den oberen Teil der Kugel anhand der Wetterinformation mit einer Textur belegt. Beispielhafterweise beschreibt die Wetterfunktion einen klaren Himmel, so dass die Bildauswerteeinheit einen klaren Himmel in die Gitterstruktur prognostiziert. Dies kann den Vorteil mit sich bringen, dass der Benutzer die Darstellung der Umgebung des Fahrzeugs als angenehmer empfindet und somit die Ergonomie des
Parkassistenzsystems verbessert wird.
Gemäß einem Ausführungsbeispiel der Erfindung kann die
Bildauswerteeinheit zur Bestimmung der Orientierung des weiteren Fahrzeugs dazu eingerichtet sein, eine Grundfläche in dem Bild zu erkennen. Des Weiteren kann die Bildauswerteeinheit dazu eingerichtet sein, zwei Räder des weiteren Fahrzeugs in dem Bild zu identifizieren und jeweils eine Umfangskontur der Räder zu ermitteln. Zudem kann die Bildauswerteeinheit dazu eingerichtet sein, einen Schnittpunkt zwischen der Grundfläche und der Umfangskontur zu bilden, indem der zur Kamera nächstliegende Punkt auf der Umfangskontur des Rades ermittelt wird. In anderen Worten kann die Orientierung des weiteren Fahrzeugs mithilfe eines Bildauswerteverfahrens , wie eben beschrieben, erfolgen, wobei zuerst die Grundfläche, insbesondere eine Straße oder Ähnliches, in dem Bild ermittelt wird. Anschließend können in dem Bild zwei Räder des weiteren Fahrzeugs identifiziert werden und anschließend eine Umfangskontur der Räder ermittelt bzw.
abgeleitet werden. Dabei wird die Annahme hinzugezogen, dass die Räder des weiteren Fahrzeugs sich grundsätzlich orthogonal zur Grundfläche, welche in dem Bild erkannt wurde, aufstellen. In Abhängigkeit der Umfangskontur wird ein Schnittpunkt zwischen der Grundfläche und der Umfangskontur ermittelt, indem der Punkt in der Umfangskontur ausgewählt wird, welcher sich am nächsten zur Kamera befindet. Dies kann den Vorteil mit sich bringen, dass anhand charakteristischer Merkmale, wie beispielsweise der Räder, die Orientierung des weiteren Fahrzeugs schnell und zuverlässig ermittelt werden kann, so dass eine verbesserte Darstellung der Fahrzeugumgebung gewährleistet werden kann. Eine Ausführungsmöglichkeit der Ermittlung der Schnittpunkte und somit der Orientierung des weiteren Fahrzeuges wird in Figur 4 gezeigt und in der dazugehörigen Figurenbeschreibung
beschrieben. In einer alternative Ausführungsform können auch andere Charakteristika des weiteren Fahrzeuges verwendet werden, anhand welcher die Orientierung des weiteren Fahrzeuges bestimmt werden kann.
Gemäß einem Ausführungsbeispiel kann die Bildauswerteeinheit ferner dazu eingerichtet sein, eine Plausibilitätsprüfung der Grundfläche, der Räder, der Umfangskontur, der Schnittpunkte und/oder der Orientierung des weiteren Fahrzeugs durchzuführen. In anderen Worten ist das Parkassistenzsystem dazu in der Lage, die von ihm erfassten Informationen anhand von vorgegebenen Parametern und/oder Erfahrungswerten zu überprüfen.
Beispielhafterweise kann die Bildauswerteeinheit die Ermittlung der Räder des weiteren Fahrzeugs überprüfen, so dass
gewährleistet wird, dass das erste und das zweite Rad zum gleichen Fahrzeug gehören. Dies kann den Vorteil mit sich bringen, dass die Zuverlässigkeit der Darstellung der Umgebung des Fahrzeugs erhöht wird. Gemäß einem Ausführungsbeispiel kann die Bildauswerteeinheit dazu eingerichtet sein, einen Front- und/oder Heckbereich des weiteren Fahrzeugs zu ermitteln und die Gitterstruktur in Abhängigkeit des Front- und/oder Heckbereichs zu orientieren. In anderen Worten ist die Bildauswerteeinheit dazu in der Lage, die Front und das Heck des weiteren Fahrzeugs zu ermitteln, um das generische Fahrzeugmodell des weiteren Fahrzeugs entsprechend der Kontur der Front- und der Heckpartie des weiteren Fahrzeugs anzupassen, so dass eine realistischere Darstellung des weiteren Fahrzeugs in der Umgebung des Fahrzeugs erreicht werden kann.
Ein weiterer Aspekt betrifft ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, welches die folgenden Schritte umfassen kann:
Aufnehmen eines Bildes der Umgebung des Fahrzeugs,
Darstellen der Umgebung des Fahrzeugs mittels einer GitterStruktur,
Bestimmen einer Orientierung eines weiteren Fahrzeugs, welches in dem Bild abgebildet ist,
Anpassen der Gitterstruktur in Abhängigkeit der
Orientierung des weiteren Fahrzeugs,
Projizieren des Bildes auf die angepasste Gitterstruktur.
In anderen Worten kann ein Bild der Umgebung des Fahrzeugs aufgenommen werden. Zur Darstellung der Umgebung des Fahrzeugs kann eine Gitterstruktur verwendet bzw. einem Nutzer dargestellt werden, insbesondere mittels eines Displays oder eines
Head-up-Displays . Des Weiteren kann die Orientierung des weiteren Fahrzeugs bestimmt werden, indem Informationen, in welchen das weitere Fahrzeug abgebildet ist, ermittelt werden und somit eine Orientierung des weiteren Fahrzeugs ausgewertet werden kann. In Abhängigkeit der Orientierung des weiteren Fahrzeugs kann die Gitterstruktur zur Darstellung der Umgebung angepasst werden, so dass die Gitterstruktur der tatsächlichen Umgebung des Fahrzeugs entspricht. Zusätzlich kann auf die angepasste Gitterstruktur das Bild, welches aufgenommen wurde, auf die angepasste Gitterstruktur projiziert werden. Dies kann den Vorteil mit sich bringen, dass auf Sensoren, welche den Abstand zwischen dem Fahrzeug und dem weiteren Fahrzeug ermitteln, verzichtet werden kann. Zudem kann das Erlebnis des Benutzers, welcher die Umgebung des Fahrzeugs dargestellt bekommt, verbessert werden.
Gemäß einem Ausführungsbeispiel kann das Verfahren ferner die Schritte umfassen:
Erkennen einer Grundfläche in dem Bild,
Identifizieren von zwei Rädern des weiteren Fahrzeugs in dem
Bild,
Ermitteln einer Umfangskontur der Räder,
Bilden eines Schnittpunktes zwischen der Grundfläche und der Umfangskontur, indem der zur Kamera nächstliegende Punkt auf der Umfangskontur des Rades ermittelt wird,
Bestimmen der Orientierung des weiteren Fahrzeugs in Abhängigkeit des Schnittpunkts.
Mit anderen Worten kann die Orientierung des weiteren Fahrzeugs mithilfe eines Erkennens der Grundfläche in dem Bild erfolgen. Des Weiteren können zwei Räder des weiteren Fahrzeugs in dem Bild identifiziert werden und eine Umfangskontur der Räder ermittelt werden. Anschließend kann ein Schnittpunkt gebildet bzw.
ermittelt werden, wobei der Schnittpunkt der Schnittpunkt zwischen der Grundfläche und der Umfangskontur ist, der der Kamera am nächsten liegt. Mithilfe der zwei Schnittpunkte, welche für je ein Rad des weiteren Fahrzeugs stehen können, kann die Orientierung des weiteren Fahrzeugs bestimmt werden. Dabei wird angenommen, dass die Räder sich orthogonal zur Grundfläche orientieren. Dies kann den Vorteil mit sich bringen, dass anhand von Bildinformationen die Orientierung des weiteren Fahrzeugs ermittelt werden kann und somit teure Sonar- oder Lidarsensoren eingespart werden können. Eine Ausführungsmöglichkeit wie ein Schnittpunkt gebildet werden kann ist in Figur 4 gezeigt und in der dazugehörigen Figurenbeschreibung weiter erläutert. Gemäß einem Ausführungsbeispiel kann das Verfahren ferner die Schritte umfassen:
Ausbilden einer geometrischen Form, insbesondere eine Halbkugel ,
Modifizieren der geometrischen Form, insbesondere mittels Biegen oder Ähnlichem, in Abhängigkeit der Orientierung des weiteren Fahrzeugs zur Ausbildung der angepassten
GitterStruktur .
In anderen Worten wird eine geometrische Form, welche
beispielsweise eine Halbkugel sein kann, mittels Biegen oder Ähnlichem derart angepasst, dass die geometrische Form einer Umgebung des Fahrzeugs entspricht. Das Modifizieren der geometrischen Form erfolgt in Abhängigkeit der Orientierung des weiteren Fahrzeugs, sodass Artefakte, welche aufgrund des Fehlens einer Abstandsinformation zwischen dem Fahrzeug und dem weiteren Fahrzeug resultieren, reduziert werden können und somit die Darstellung der Umgebung des Fahrzeugs für den Benutzer verbessert wird.
Gemäß einem Ausführungsbeispiel der Erfindung kann das Verfahren ferner die Schritte umfassen:
Bilden eines generischen Fahrzeugmodells,
Positionieren des generischen Fahrzeugmodells in der geometrischen Form,
Adaptieren des generischen Fahrzeugmodells mittels
Skalierung, Bewegung und/oder Rotation in Abhängigkeit der Orientierung des weiteren Fahrzeugs zur Ausbildung der angepassten Gitterstruktur.
In anderen Worten wird ein generisches Fahrzeugmodell, welches ein zweidimensionales oder dreidimensionales Modell ist, derart in der geometrischen Form positioniert, dass es der Orientierung des weiteren Fahrzeugs in dem virtuellen Abbild der Umgebung entspricht. Das generische Fahrzeugmodell kann dabei mittels Skalierung, Bewegung und/oder Rotation angepasst bzw. adaptiert werden, so dass es sowohl der Kontur als auch der Orientierung des weiteren Fahrzeugs entspricht und somit eine angepasste Gitterstruktur ausgebildet wird. Dies kann den Vorteil mit sich bringen, dass ein Einpark- bzw. Ausparkvorgang des Fahrzeugs durch die verbesserte Darstellung der Umgebung vereinfacht wird. Eine Ausführungsmöglichkeit der Positionierung eines
generischen Fahrzeugmodells in einer geometrischen Form ist in Figur 3 gezeigt und in der dazugehörigen Figurenbeschreibung weiter erläutert.
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es in einem Parkassistenzsystem ausgeführt wird, das Parkassistenzsystem anleitet, die Schritte des Verfahrens, wie voranstehend und nachfolgend beschrieben, durchzuführen.
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf welchem ein Programmelement, wie es voranstehend und nachfolgend beschrieben ist, hinterlegt ist.
Diese und andere Merkmale der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen erläutert.
Kurze Beschreibung der Figuren
Fig. 1 zeigt ein Parkassistenzsystem gemäß einem
Ausführungsbeispiel .
Fig. 2 zeigt eine schematische Darstellung des
Parkassistenzsystems gemäß einem
Ausführungsbeispiel .
Fig. 3 zeigt eine schematische Darstellung des
Parkassistenzsystems gemäß einem
Ausführungsbeispiel .
Fig. 4 zeigt eine schematische Ausführungsform des
Parkassistenzsystems gemäß einem
Ausführungsbeispiel .
Fig. 5 zeigt ein Flussdiagramm zur Illustration von Schritten eines Verfahrens zur Darstellung einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel.
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. In den Figuren können gleiche, gleichwirkende oder ähnliche Elemente mit gleichen Bezugszeichen versehen sein.
Detaillierte Beschreibung von Ausführungsbeispielen
Fig. 1 zeigt ein Parkassistenzsystem 100 für ein Fahrzeug 200, welches dazu eingerichtet ist, eine Umgebung des Fahrzeugs darzustellen, wobei das Parkassistenzsystem 100 zumindest eine Kamera 102 umfasst, welche dazu eingerichtet ist, ein Bild insbesondere des weiteren Fahrzeugs 300 aufzunehmen. Die Kamera 102 weist dabei einen Detektionsbereich 103 auf. Die
Bildauswerteeinheit 106 kann dazu eingerichtet sein, bspw. die Farbe des weiteren Fahrzeugs 300, auf Bauteile des weiteren Fahrzeugs 300, zu prognostizieren, welche sich außerhalb des Detektionsbereichs 103 befinden. Dabei verwendet das
Parkassistenzsystem 100 zur Darstellung der Umgebung des Fahrzeugs 200 für einen Benutzer eine Gitterstruktur. Ferner kann das Parkassistenzsystem 100 eine Bildauswerteeinheit 106 umfassen, welche dazu eingerichtet ist, eine Orientierung 302 eines weiteren Fahrzeugs 300, welches in dem Bild abgebildet ist, zu bestimmen. Des Weiteren kann die Bildauswerteeinheit 106 dazu eingerichtet sein, die Gitterstruktur 104 in Abhängigkeit der bestimmten Orientierung 302 des weiteren Fahrzeugs 300 anzupassen. Auch kann die Bildauswerteeinheit 106 dazu eingerichtet sein, das Bild auf die angepasste Gitterstruktur 108 zu projizieren. Ferner zeigt die Fig. 1 das Parkassistenzsystem 100, welches in dem Fahrzeug 200 angeordnet ist. Neben dem Fahrzeug 200 befindet sich ein weiteres Fahrzeug 300. Das Fahrzeug 200 weist eine Kamera 102 auf, welche ein Bild aufnimmt, das zur Darstellung der Umgebung 400 des Fahrzeugs 200 genutzt werden kann. Zusätzlich weist das Fahrzeug 200 eine
Bildauswerteeinheit 106 auf sowie ein computerlesbares Medium 500. Das weitere Fahrzeug 300 weist dabei eine Orientierung 302 auf, welche insbesondere in Abhängigkeit der Position des Fahrzeugs 200 ermittelt werden kann.
Fig. 2 zeigt eine schematische Darstellung der Gitterstruktur 104, welche die Umgebung 400 des Fahrzeugs 200 darstellt. Dabei kann das von der Kamera 102 aufgenommene Bild auf die
Gitterstruktur 104 und/oder die angepasste Gitterstruktur 108 projiziert werden und das daraus resultierende Modell auf einem Display einem Benutzer angezeigt werden.
In Fig. 3 wird eine schematische Darstellung einer angepassten Gitterstruktur 108 gezeigt, wobei die angepasste Gitterstruktur sowohl in ihrer Form verändert werden kann als auch ein generisches Fahrzeugmodell 304 in der angepassten Gitterstruktur 108 vorgesehen werden kann. Dabei entspricht die Orientierung des generischen Fahrzeugmodells 304 der Orientierung 302 des weiteren Fahrzeugs 300.
Fig. 4 zeigt eine schematische Darstellung der Ermittlung eines Schnittpunkts 312. Das Parkassistenzsystem 100, welches in dem Fahrzeug 200 vorgesehen sein kann, umfasst eine Kamera 102. Neben dem Fahrzeug 200 befindet sich ein weiteres Fahrzeug 300. Das Fahrzeug 300 steht auf einer Grundfläche 306. Dabei steht das weitere Fahrzeug 300 insbesondere auf seinen Rädern 308. Dabei kann angenommen werden, dass die Räder 308 orthogonal auf der Grundfläche 306 stehen. Die Bildauswerteeinheit 106 kann dazu in der Lage sein, eine Umfangskontur 310 der Räder 308 zu ermitteln. Ebenso kann die Bildauswerteeinheit 106 dazu in der Lage sein, die Orientierung 302 des weiteren Fahrzeugs 300 zu bestimmen, indem die Schnittpunkte 312 ermittelt werden. Die Ermittlung der Schnittpunkte 312 kann dadurch erfolgen, dass der nächstliegende Punkt zur Kamera 102 auf der Umfangskontur 310 der Räder 308 ermittelt wird. Zudem kann die Kamera 102 einen Frontbereich 316 und einen Heckbereich 314 des weiteren Fahrzeugs 300 ermitteln. Das generische Fahrzeugmodell 304 kann in seiner Kontur bzw. Erscheinung an den Frontbereich 316 und/oder den Heckbereich 314 angepasst werden.
Fig. 5 zeigt ein Flussdiagramm zur Illustration von Schritten eines Verfahrens zum Darstellen einer Umgebung 400 eines Fahrzeugs 200 gemäß einem Ausführungsbeispiel.
Ergänzend sei darauf hingewiesen, dass „umfassend" und „aufweisend" keine anderen Elemente ausschließt und die unbestimmten Artikel „eine" oder „ein" keine Vielzahl
ausschließen. Ferner sei darauf hingewiesen, dass Merkmale, die mit Verweis auf eines der obigen Ausführungsbeispiele
beschrieben worden sind, auch in Kombination mit anderen Merkmalen anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.

Claims

Patentansprüche
1. Parkassistenzsystem (100) für ein Fahrzeug (200), welches dazu eingerichtet ist, eine Umgebung (400) des Fahrzeugs
darzustellen, umfassend:
- zumindest eine Kamera (102) , welche dazu eingerichtet ist, zumindest ein Bild aufzunehmen,
wobei das Parkassistenzsystem (100) zur Darstellung der Umgebung (400) des Fahrzeugs (200) für einen Benutzer eine Gitterstruktur (104) verwendet,
- eine Bildauswerteeinheit (106), welche dazu eingerichtet ist :
- eine Orientierung (302) eines weiteren Fahrzeugs (300), welches in dem Bild abgebildet ist, zu bestimmen,
- die Gitterstruktur (104) in Abhängigkeit der bestimmten Orientierung (302) des weiteren Fahrzeugs (300) anzupassen,
- das Bild auf die angepasste Gitterstruktur (108) zu proj izieren .
2. Parkassistenzsystem gemäß Anspruch 1, wobei die
Gitterstruktur (104) eine geometrische Form, insbesondere eine Halbkugel, aufweist.
3. Parkassistenzsystem gemäß Anspruch 2, wobei die
Bildauswerteeinheit (106) dazu eingerichtet ist, die
geometrische Form, mittels Biegen oder ähnlichem, an die Orientierung (302) des weiteren Fahrzeugs (300) anzupassen.
4. Parkassistenzsystem gemäß einem der vorherigen Ansprüche, wobei die Gitterstruktur (104) zusätzlich ein generisches Fahrzeugmodell (304) aufweist.
5. Parkassistenzsystem gemäß Anspruch 4, wobei die
Bildauswerteeinheit dazu eingerichtet ist, das generische Fahrzeugmodell (304) mittels Skalierung, Bewegung und/oder Rotation an die Orientierung (302) des weiteren Fahrzeugs (300) anzupassen .
6. Parkassistenzsystem gemäß einem der Ansprüche 2-5, wobei die Bildauswerteeinheit (106) dazu eingerichtet ist, das generische Fahrzeugmodell (304) in der geometrischen Form mittels
Skalierung, Bewegung und/oder Rotation an die Orientierung (302) des weiteren Fahrzeugs (300) anzupassen.
7. Parkassistenzsystem gemäß einem der vorherigen Ansprüche, wobei die Bildauswerteeinheit (106) zur Bestimmung der
Orientierung (302) des weiteren Fahrzeuges (300) dazu
eingerichtet ist:
- eine Grundfläche (306) in dem Bild zu erkennen,
- zwei Räder (308) zumindest des weiteren Fahrzeuges (300) in dem Bild zu identifizieren,
- jeweils eine Umfangskontur (310) der Räder (308) zu ermitteln,
- jeweils einen Schnittpunkt (312) zwischen der Grundfläche (306) und der Umfangskontur (310) zu bilden, indem der zur Kamera (102) nächstliegende Punkt auf der Umfangskontur (310) des Rades (308) ermittelt wird.
8. Parkassistenzsystem gemäß Anspruch 7, wobei die
Bildauswerteeinheit (106) ferner dazu eingerichtet ist, eine Plausibilitätsprüfung der Grundfläche (306), der Räder (308), der Umfangskontur (310), der Schnittpunkte (312) und/oder der Orientierung (302) des weiteren Fahrzeugs (300) durchzuführen.
9. Parkassistenzsystem gemäß einem der vorherigen Ansprüche, wobei die Bildauswerteeinheit (106) dazu eingerichtet ist, einen Front- (316) und/oder Heckbereich (314) des weiteren Fahrzeuges (300) zu ermitteln, und die Gitterstruktur (104) in Abhängigkeit des Front- (316) und/oder Heckbereichs (314) zu orientieren.
10. Verfahren (600) zur Darstellung einer Umgebung (400) eines Fahrzeuges (200) umfassend die Schritte:
- Aufnehmen (Sl) eines Bildes der Umgebung (400) des Fahrzeugs , - Darstellen (S2) der Umgebung (400) des Fahrzeuges mittels einer Gitterstruktur,
- Bestimmen (S3) einer Orientierung eines weiteren
Fahrzeugs, welches in dem Bild abgebildet ist,
- Anpassen (S4) der Gitterstruktur in Abhängigkeit der Orientierung des weiteren Fahrzeuges,
- Projizieren (S5) des Bildes auf die angepasste
GitterStruktur .
11. Verfahren gemäß Anspruch 10, umfassend die Schritte:
- Erkennen (S6) einer Grundfläche in dem Bild,
- Identifizieren (S7) von zwei Räder des weiteren Fahrzeuges in dem Bild,
- Ermitteln (S8) einer Umfangskontur der Räder,
- Bilden (S9) eines Schnittpunktes zwischen der Grundfläche und der Umfangskontur, indem der zur Kamera nächstliegende Punkt auf der Umfangskontur des Rades ermittelt wird,
- Bestimmen (S10) der Orientierung des weiteren Fahrzeuges in Abhängigkeit des Schnittpunkts.
12. Verfahren gemäß einem der Anspruch 10-11, umfassend die Schritte :
- Ausbilden (Sil) einer geometrischen Form, insbesondere eine Halbkugel,
- Modifizieren (S12) der geometrischen Form, insbesondere mittels Biegen oder ähnlichem, in Abhängigkeit der Orientierung des weiteren Fahrzeuges zur Ausbildung der angepassten
GitterStruktur .
13. Verfahren gemäß einem der Ansprüche 10-12, umfassend die Schritte :
- Bilden (S13) eines generischen Fahrzeugmodells,
- Positionieren (S14) des generischen Fahrzeugmodells in der geometrischen Form,
- Adaptieren (S15) des generischen Fahrzeugmodells mittels Skalierung, Bewegung und/oder Rotation in Abhängigkeit der Orientierung des weiteren Fahrzeugs zur Ausbildung der angepassten Gitterstruktur.
14. Programmelement, dass wenn es in einem Parkassistenzsystem (100) ausgeführt wird, das Parkassistenzsystem (100) anleitet, die Schritte des Verfahrens (600) gemäß einem der Ansprüche 10-13 durchzuführen.
15. Computerlesbares Medium (500), auf welchem ein
Programmelement gemäß Anspruch 14, hinterlegt ist.
EP20718552.1A 2019-04-02 2020-03-18 Parkassistenzsystem Pending EP3948784A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019204656.8A DE102019204656A1 (de) 2019-04-02 2019-04-02 Parkassistenzsystem
PCT/DE2020/200019 WO2020200373A1 (de) 2019-04-02 2020-03-18 Parkassistenzsystem

Publications (1)

Publication Number Publication Date
EP3948784A1 true EP3948784A1 (de) 2022-02-09

Family

ID=70285369

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20718552.1A Pending EP3948784A1 (de) 2019-04-02 2020-03-18 Parkassistenzsystem

Country Status (6)

Country Link
US (1) US12071073B2 (de)
EP (1) EP3948784A1 (de)
JP (1) JP7393432B2 (de)
CN (1) CN113544742B (de)
DE (1) DE102019204656A1 (de)
WO (1) WO2020200373A1 (de)

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP4461920B2 (ja) * 2004-06-23 2010-05-12 株式会社デンソー 駐車支援装置
EP1696669B1 (de) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Gerät zur Fahrzeugumgebungsbeobachtung
DE102006013936A1 (de) * 2006-03-16 2007-09-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Umgebungserkennungssystems eines Fahrzeugs, insbesondere eines Nahbereichserkennungs- oder Parkhilfesystems und zugehöriges System
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
JP2008143430A (ja) * 2006-12-12 2008-06-26 Toyota Motor Corp 駐車支援装置
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
FR2954923B1 (fr) * 2010-01-06 2012-05-04 Delphi Tech Inc Dispositif diffractif de signalisation pour retroviseur avec affichage 2d/3d
WO2011154987A1 (ja) * 2010-06-07 2011-12-15 三菱電機株式会社 カメラ距離測定装置
JP5768647B2 (ja) 2011-10-11 2015-08-26 富士通株式会社 画像認識システムおよび画像認識方法
DE102011084554A1 (de) 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011084993A1 (de) 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
US20150143913A1 (en) * 2012-01-19 2015-05-28 Purdue Research Foundation Multi-modal sensing for vehicle
DE102012005851A1 (de) * 2012-03-22 2013-09-26 Connaught Electronics Ltd. Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor der Anwesenheit einesObjekts in der Umgebung des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102012018325A1 (de) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6187781B2 (ja) * 2012-11-06 2017-09-06 パナソニックＩｐマネジメント株式会社 駐車支援装置
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
KR101449295B1 (ko) * 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
JP6303377B2 (ja) * 2013-10-04 2018-04-04 アイシン精機株式会社 駐車支援装置
US10475242B2 (en) 2014-01-10 2019-11-12 Aisin Seiki Kabushiki Kaisha Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image
DE102014204303A1 (de) 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
DE102015202863A1 (de) 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
DE102016205285A1 (de) * 2016-03-31 2017-10-05 Ford Global Technologies, Llc Fernsteuervorrichtung zum Fernsteuern eines Kraftfahrzeugs
EP3611472B1 (de) * 2016-06-27 2021-11-24 Mobileye Vision Technologies Ltd. Steuerung eines hostfahrzeugs basierend auf erfassten geparkten fahrzeugeigenschaften
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
JP7002210B2 (ja) * 2017-04-07 2022-01-20 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置
JP7091624B2 (ja) * 2017-09-15 2022-06-28 株式会社アイシン 画像処理装置
US10384718B1 (en) * 2018-03-26 2019-08-20 Zoox, Inc. Vehicle parking assist
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment

Also Published As

Publication number Publication date
CN113544742B (zh) 2024-03-26
JP7393432B2 (ja) 2023-12-06
US20220161723A1 (en) 2022-05-26
JP2022522449A (ja) 2022-04-19
WO2020200373A1 (de) 2020-10-08
DE102019204656A1 (de) 2020-10-08
US12071073B2 (en) 2024-08-27
CN113544742A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
WO2016162245A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
EP3762857A1 (de) Surroundview-system mit angepasster projektionsfläche
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE102018122894A1 (de) Anhängerkupplungsunterstützungssystem mit Anhängerkupplungsverbindungsstück-Identifikationsmerkmal und Anhängerkupplungsverbindungsstück-Höhenschätzung
DE102018100211A1 (de) Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102020213146B3 (de) Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
WO2020200373A1 (de) Parkassistenzsystem
DE102022130692B3 (de) Computerimplementiertes Verfahren zur Erstellung eines dreidimensionalen virtuellen Modells einer Umgebung eines Kraftfahrzeugs
DE102013203402A1 (de) Verfahren zum räumlichen Darstellen eines Umfelds eines Objekts
DE102024132288A1 (de) Verfahren zum Erzeugen eines Anzeigebilds einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
DE102022206782A1 (de) Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102022205393A1 (de) Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug
DE102018116173A1 (de) Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug
DE102023206477A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bilddaten
DE102021211309A1 (de) Verfahren zum Generieren einer Darstellung einer Umgebung einer mobilen Plattform
DE102024208472A1 (de) Verfahren und Kamerasystem zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs
DE102012014466A1 (de) Verfahren und Vorrichtung zur Darstellung einer Szene für ein Fahrzeug
DE102020201363A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildern
DE102023206130A1 (de) Verfahren und Vorrichtung zum Erzeugen und Verwenden einer Umgebungskarte für ein Fahrzeug
DE102024115497A1 (de) Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs, elektronisches Fahrzeugführungssystem für das Kraftfahrzeug, Kraftfahrzeug und Computerprogrammprodukt

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06T0007700000

Ipc: G06V0020580000

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RIC1 Information provided on ipc code assigned before grant

Ipc: G06T 15/20 20110101ALI20240627BHEP

Ipc: G06T 7/70 20170101ALI20240627BHEP

Ipc: G06V 20/58 20220101AFI20240627BHEP

17Q First examination report despatched

Effective date: 20240709

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH