EP4533432A1 - Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug - Google Patents

Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug

Info

Publication number
EP4533432A1
EP4533432A1 EP23723591.6A EP23723591A EP4533432A1 EP 4533432 A1 EP4533432 A1 EP 4533432A1 EP 23723591 A EP23723591 A EP 23723591A EP 4533432 A1 EP4533432 A1 EP 4533432A1
Authority
EP
European Patent Office
Prior art keywords
data
vehicle
representation
representation data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23723591.6A
Other languages
English (en)
French (fr)
Inventor
Philipp Hüger
Manuel Joachim
Thomas Meyer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4533432A1 publication Critical patent/EP4533432A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically

Definitions

  • the invention relates to a method for operating an information system, a computer program product, and a vehicle.
  • a parking distance control system is often used in conjunction with an optical parking system. This is a representation with a separate top view and the drawing of distance bars.
  • this display requires additional space on the display.
  • the driver can only verify the obstacles detected by the parking distance control system by looking from the vehicle, which can lead to a severe loss of comfort, especially when there are many obstacles. It would therefore be desirable to provide the driver with a better overview of the driving situation so that he can visually verify the vehicle surroundings and/or the distances.
  • a method for operating an information system for providing information about at least one obstacle for a vehicle includes, in particular in the form of process steps:
  • Acquiring environmental data for detecting at least one geometric feature of the obstacle in particular by an environmental sensor system of the information system, providing representation data for representing an image of a vehicle environment that has the geometric feature of the obstacle, in particular by a control unit of the vehicle and/or a vehicle camera of the vehicle,
  • the vehicle can preferably be a motor vehicle, in particular in the form of an electric vehicle, and/or an aircraft.
  • the information system can be at least partially or completely integrated into the vehicle.
  • the information system may include an output interface for outputting the modified representation data.
  • the output interface can be integrated into the control unit in order to display the representation data of a display device, e.g. B. act in the form of a combination instrument in a passenger compartment of the vehicle and / or a, in particular external, mobile terminal.
  • the environmental data can be recorded using sensor data from an environmental sensor system of the information system.
  • the surrounding sensor system can include, for example, a radar, a lidar, an ultrasonic sensor system and/or a vehicle camera.
  • the geometric feature of the obstacle can be recognized using the sensor data.
  • the obstacle can be, for example: B. another, especially parked, vehicle, a tree, a traffic sign and/or the like.
  • the obstacle is part of a bottleneck, e.g. B. when entering a parking garage and / or when driving through a bridge that delimits the road horizontally and / or vertically.
  • the representation data can be generated at least partially or completely from the environmental data or can be generated separately from the environmental data.
  • the image of the vehicle environment can in particular be a real image, e.g. B. in the form of image data, or a stylized image, e.g. B. in the form of virtualization and/or graphical processing of the vehicle environment.
  • the image can advantageously be designed two-dimensionally or three-dimensionally.
  • the vehicle environment can preferably contain several obstacles and/or other environmental features, such as. B. road markings, houses, signs and / or the like.
  • a distance from the vehicle, in particular from a predefined point and/or area of the vehicle, to the obstacle can be determined. It is conceivable that the distance data is normalized to a predetermined height relative to a surface and/or a predetermined vehicle component. To determine the distance data, the environmental data can also be analyzed and/or prepared in the form of a point cloud.
  • the visualization of the distance data can, for example, be a graphic marking, e.g. B. in the form of a color highlighting, an area representing the geometric feature, an area assigned to the geometric feature and / or certain image elements of the representation data.
  • the geometric feature can, for example, include a side and/or edge of the obstacle facing the vehicle.
  • the modification of the representation data and/or the visualization of the distance data are only carried out for critical areas in the representation data.
  • at least one threshold value of a maximum distance can be defined for which the modification of the representation data and/or the visualization takes place.
  • the distance data is assigned directly to the geometric feature and/or the obstacle in order to enable visualization directly at the obstacle in the image of the vehicle environment.
  • Outputting the modified representation data can in particular include displaying and/or providing the representation data, in particular in the form of image data and/or in the form of graphic data, with the image of the vehicle environment.
  • the representation data can be output directly on a Display device can be displayed.
  • the representation data is sent to a display device when output and/or made available to a device for display on a display device.
  • an augmented representation of the vehicle environment can in particular be generated.
  • the method can be carried out when parking the vehicle and/or when passing through a bottleneck.
  • the representation data is recorded using image data from at least one vehicle camera of the vehicle, in particular where the distance data is localized using image elements of the image data.
  • the image elements can be pixels, voxels and/or graphic elements, such as. B. polygons, geometric elements, display areas and / or groupings of the aforementioned graphic elements.
  • the vehicle environment is provided with additional information and/or graphics, such as. B. a representation of the vehicle can be added by retrieving from a storage unit.
  • distance data from several image elements and/or several obstacles can be determined and used to modify the representation data.
  • the representation data can therefore in particular include the image data or consist of the image data.
  • the modified representation data also includes the image data with the visualization of the distance data in the image data when outputting the modified representation data.
  • the image data can advantageously be two-dimensional image data or three-dimensional image data.
  • the representation of the image of the vehicle surroundings is three-dimensional and/or includes a top view of the vehicle surroundings.
  • the vehicle camera can be designed as a stereo camera or several vehicle cameras can be provided to capture the image data three-dimensionally.
  • a user's perception of reality of the modified representation data can be further improved.
  • a three-dimensional image can improve height and/or depth perception. This allows the distance data to be checked for plausibility more easily and/or more reliably by the user.
  • the top view of the vehicle surroundings can e.g. B. be isometric or planar.
  • the top view can be composed of image data from several vehicle cameras. An image of the vehicle can be at least partially added to the image data. Especially when parking a vehicle, the vehicle can be surrounded by several obstacles. The top view gives a user an improved overview of all obstacles.
  • the method comprises the following step:
  • the distance data is determined depending on the environment map and / or the representation data is modified depending on the environment map.
  • the environment map is created depending on the distance data.
  • the environment map can also be called a virtual world.
  • the surrounding map can preferably be three-dimensional, e.g. B. in the form of a point cloud.
  • the environmental map can be created based on sensor data from several sensors of the environmental sensor system.
  • the environmental map can be used to record multiple obstacles and/or geometric features.
  • a distance to the vehicle can be determined for each point in the vehicle surroundings that is recognized in the environmental map and/or is a possible obstacle.
  • the visualization of the distance data when modifying the representation data takes place depending on a division of the distance data into several segments extending from the vehicle.
  • the segments can, for example, form sectors or parts of sectors of a measuring lobe.
  • the segments can be projected into the image of the representation data, in particular starting from the vehicle.
  • the visualization of the distance data takes place depending on the segments and/or is constant over each segment.
  • the image elements can be colored segment by segment for visualization purposes.
  • the segments can make it easier for the user to assign the distance data and/or evaluate the visualization. This makes it possible to clearly assign the distance data, particularly if there are many obstacles.
  • polygons with at least one piece of color information are generated, the color information being determined as a function of the distance data.
  • the polygons can, for example, be formed from points in the point cloud. It can be provided that each of the polygons is assigned uniform color information depending on the distance data or a color gradient.
  • a distance value can be determined for the geometric feature based on the distance data.
  • the color information can be determined depending on a classification of the distance value.
  • a polygon can be given a red color for a first distance value to visualize the distance data and an orange, yellow or orange color for a second distance value that is greater than the first distance value green color to visualize the distance data. This allows the visualization of the distance data to be perceived by a user in an intuitive manner.
  • the polygons are generated using an envelope model of the environmental data.
  • the envelope model can be used to create virtual boundaries of the obstacle and/or several elements of the vehicle environment.
  • the polygons can be created, for example, based on the virtual boundaries of the geometric feature.
  • the limitations can be simplified, for example based on a minimum distance between the geometric feature and/or the obstacle to the vehicle. It is therefore not necessary to capture every detail of the obstacle and/or the vehicle surroundings in the environmental data. This allows the computing time to be reduced, meaning that the output of the modified representation data can only have a short response time.
  • the distance data is determined as a function of a first height information of the geometric feature, with the first height information of the geometric feature and/or a second height information of the representation data being taken into account when modifying the representation data.
  • the second height information can be determined in particular based on the representation data. For example, a plurality of temporally successive image data, in particular when the vehicle is moving, can be analyzed in order to determine the second height information.
  • the first and second height information allows a more differentiated visualization of the distance information in the representation data. This allows the user to e.g. B. detect whether a geometry of the obstacle that protrudes at a height was correctly recognized.
  • a comparison of the first and second height information is carried out, the distance data in the representation data being localized depending on the comparison of the first and second height information.
  • the distance data is visually assigned to the geometry data if the first and second height information match. This allows the user to see, in particular, directly from the geometric feature in the image of the vehicle's surroundings whether a particular geometric feature has a critical distance from the vehicle.
  • a projection of the distance data ie in particular the visualization of the distance data
  • takes place onto a background of the vehicle surroundings so that the visualization of the distance data in the representation data can be displayed on the obstacle on the ground.
  • the subsurface can, for example, include a floor level.
  • the subsurface can be recognized in particular based on the second height information. For example, starting from a picture element in which the first and second height information match, a picture element vertical to it can be determined, in which the second height information has a zero height and/or a height of the ground. By displaying it on the ground, modification of the obstacle can be avoided, whereby the modified representation data can enable a free and/or uninfluenced view of the obstacle.
  • the output of the modified representation data includes a display of the modified representation data on a display device of the vehicle.
  • the display device can include a display, preferably in the form of a touch screen.
  • the modified representation data with the visualization of the distance data can be made directly available to a driver of the vehicle.
  • the modified representation data, in particular the visualization of the distance data can be adapted and/or individualized via the display device.
  • the projection of the distance data onto the ground can be activated and/or deactivated via the distance device.
  • the modified representation data is output depending on an at least partially or completely automated parking process for moving the vehicle into a parking area.
  • the modified representation data is sent to an external display device, e.g. B. a mobile device, such as a smartphone or tablet, are sent, especially if a user of the vehicle is outside the vehicle during the parking process. This allows the user to check at any time during the parking process whether the vehicle has correctly recognized the vehicle's surroundings and stop the at least partially automated parking process and/or intervene manually in the parking process.
  • the parking area in particular on which the vehicle is to stop, can be automatically recognized and visualized when modifying the representation data.
  • a manual parking process e.g. b. based on a low speed of the vehicle, is automatically recognized and the modified representation data is output depending on the detection and / or activation of the parking process.
  • a computer program product includes commands which, when executed by a control unit, cause the control unit to carry out a method according to the invention.
  • a computer program product thus brings with it the same advantages as have already been described in detail with reference to a method according to the invention.
  • the method can in particular be a computer-implemented method.
  • the computer program product may be implemented as computer-readable instruction code.
  • the computer program product may be stored on a computer-readable storage medium such as a data disk, a removable drive, a volatile or non-volatile memory, or a built-in memory/processor.
  • the computer program product can be made available or made available on a network such as the Internet, from which it can be downloaded or executed online by a user if necessary.
  • the computer program product can be implemented both by means of software and by means of one or more special electronic circuits, i.e. in hardware or in any hybrid form, i.e. by means of software components and hardware components.
  • a vehicle having an information system for providing information about at least one obstacle for the vehicle.
  • the information system includes a control unit for executing a method according to the invention.
  • Figure 1 modified representation data with an image of a vehicle environment based on a top view
  • Figure 2 modified representation data with an image of the vehicle environment using a rear view camera
  • Figure 3 shows an envelope model of a vehicle environment
  • Figure 4 shows a vehicle with an information system for carrying out a method according to the invention
  • Figure 5 shows the process in a schematic representation of process steps.
  • Figure 1 shows a display of modified representation data 300 in a method 100 according to the invention for operating an information system 10 for providing information about at least one obstacle 2 for a vehicle 1 in a first exemplary embodiment.
  • a visualization 302 of distance data 210 of the vehicle 1 to the obstacle 2 takes place directly in an image of a vehicle environment 3 of the vehicle 1, in which the obstacle 2 is located, locally at the obstacle 2.
  • the vehicle 1 is shown in Figure 4, the method 100 is shown in Figure 5.
  • the vehicle 1 has the information system 10 with a control unit 11, which is designed to carry out the method 100.
  • a computer program product can be provided that includes instructions which, when executed by the control unit 11, cause the control unit 11 to carry out the method 100.
  • the method 100 first involves acquiring 101 of environmental data 200 to detect at least one geometric feature 2.1 of the obstacle 2.
  • the vehicle 1 and/or the information system 10 can include an environmental sensor system 20 in order to detect the environmental data 200 on the basis of To obtain sensor data from the surrounding sensor system 20.
  • Environmental data 200 include sensor data from several sensors of the environmental sensor system 20.
  • an environment map 202 of the vehicle environment 3 is created 102 based on the environmental data 200.
  • a point cloud can be created from the environmental data 200.
  • representation data 300 is provided 103, in particular with several image elements, for representing the image of the vehicle environment 3.
  • the representation data 300 can be captured based on image data from at least one vehicle camera 21 of the vehicle 1.
  • the vehicle camera 21 can in particular be part of the surroundings sensor system 20.
  • the image data of the representation data 300 can still be retained and/or merely modified.
  • the image elements of the representation data 300 can be formed, for example, by pixels of the image data.
  • the representation data 300 can be composed of image data from several vehicle cameras 21.
  • an output 106 of the modified representation data 300 can take place depending on an at least partially automated parking process for moving the vehicle 1 into a parking space.
  • the top view has the advantage that a user can simultaneously recognize and monitor several obstacles 2 during the parking process.
  • the representation data 300 includes image data from an individual vehicle camera 21, shown in Figure 2 in the form of image data from a rear view camera.
  • the vehicle camera 21 is designed as a stereo camera, it can be provided that the representation of the image of the vehicle environment 3 is three-dimensional.
  • the method 100 includes determining 104 the distance data 210 of the vehicle 1 to the geometric feature 2.1, i.e. H. in particular to the obstacle 2, depending on the environmental data 200.
  • the distance data 210 preferably includes distance values and / or distance information of a distance or several distances between the vehicle 1 and the obstacle 2.
  • the distance data 210 can be determined depending on the environmental map 202. However, it is also conceivable that the distance data 210 is determined before the environment map 202 is generated and the environment map 202 is determined based on the distance data 210.
  • the representation data 300 is further modified 105 for the visualization 302 of the Distance data 210 in the representation data 300.
  • polygons 201 are included based on the geometric feature 2.1 and the environment data 200, in particular the environment map 202 at least one piece of color information can be generated.
  • the polygons 201 are generated using an envelope model 203 of the environmental data 200, as shown in Figure 3. A virtual boundary is created around the obstacle 2, to which the distance data 210 is related.
  • the color information for the polygons 201 is determined.
  • the modification 105 of the representation data 300 can take place depending on the environment map 202.
  • a coordinate transformation can be carried out, in which the environment map 202 and/or the representation data 300 are converted into a common coordinate system for the environment map 202 and the representation data 300.
  • the visualization 302 of the distance data 210 in the representation data 300 takes place by localizing the distance data 210 in the representation data 300 at the obstacle 2 on the ground of the vehicle environment 3.
  • the distance data 210 is determined depending on a first height information 211 of the geometric feature 2.1.
  • a comparison of the first height information 211 with a second height information 212 is then carried out.
  • the second height information 212 is assigned to the image elements and is determined based on the representation data 300.
  • a projection of the distance data 210 onto a background of the vehicle environment 3 also takes place depending on the first and second height information 211, 212, by first matching the first and second height information 211, 212, in particular in the common coordinate system. is recognized and the projection onto the background takes place based on the image element with the match. Additionally or alternatively, however, it is also conceivable that the visualization 302 takes place directly at the image elements, in particular without the projection, in order, for example, in the display according to FIG. 2 to enable the user to directly assign the visualization 302 of the distance data 210 to the geometric feature 2.1 vertically .

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Betreiben eines Informationssystems (10) zur Bereitstellung von Informationen über zumindest ein Hindernis (2) für ein Fahrzeug (1), umfassend: Erfassen (101) von Umgebungsdaten (200) zur Erfassung zumindest eines Geometriemerkmals (2.1) des Hindernisses (2). Ferner betrifft die Erfindung ein Computerprogrammprodukt, sowie ein Fahrzeug (1).

Description

Beschreibung
Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug
Die Erfindung betrifft ein Verfahren zum Betreiben eines Informationssystems, ein Computerprogrammprodukt, sowie ein Fahrzeug.
Es ist aus dem Stand der Technik bekannt, beispielsweise beim Einparken eines Fahrzeuges einen Fahrer des Fahrzeuges vor einer möglichen Kollision mit einem Objekt zu warnen, welches ein Hindernis für das Fahrzeug darstellt. Dazu wird häufig ein Park-Distance-Control- System in Verbindung mit einem optischen Park-System eingesetzt. Hierbei erfolgt eine Darstellung mit einer separaten Draufsicht und dem Einzeichnen von Abstandsbalken. Diese Anzeige benötigt aber zusätzlichen Platz im Display.
Beispielsweise ist es aus der DE 102009 055649 A1 bekannt, eine Kontur des Hindernisses innerhalb einer sog. Messkeule anzuzeigen, um dem Fahrer die Kollisionswarnung zu visualisieren. Die Darstellung mit der Messkeule erfordert dabei eine eigene Darstellung, die dem Fahrer keine Informationen über die übrige Fahrzeugumgebung zur Verfügung stellt.
Dadurch können vom Fahrzeug nicht korrekt erkannte Abstände leicht durch den Fahrer übersehen werden.
Weiterhin kann der Fahrer mit den bekannten Lösungen die vom Park-Distance-Control-System erkannten Hindernisse nur durch einen Blick aus dem Fahrzeug verifizieren, was insbesondere bei vielen Hindernissen zu einem starken Komfortverlust führen kann. Daher wäre es wünschenswert, dem Fahrer einen besseren Überblick über die Fahrsituation zu verschaffen, so dass dieser die Fahrzeugumgebung und/oder die Abstände optisch verifizieren kann.
Es ist eine Aufgabe der vorliegenden Erfindung, voranstehende, aus dem Stand der Technik bekannte Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung bei einem Fahrzeug eine Übersicht über eine Fahrzeugumgebung bei einer Bereitstellung von Informationen über zumindest ein Hindernis zu verbessern.
Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 , ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, sowie ein Fahrzeug mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und/oder dem erfindungsgemäßen Fahrzeug und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Betreiben eines Informationssystems zur Bereitstellung von Informationen über zumindest ein Hindernis für ein Fahrzeug vorgesehen. Das Verfahren umfasst, insbesondere in Form von Verfahrensschritten:
Erfassen von Umgebungsdaten zur Erfassung zumindest eines Geometriemerkmals des Hindernisses, insbesondere durch eine Umgebungssensorik des Informationssystems, Bereitstellen von Repräsentationsdaten zur Repräsentation eines Abbildes einer Fahrzeugumgebung, die das Geometriemerkmal des Hindernisses aufweist, insbesondere durch eine Steuereinheit des Fahrzeugs und/oder eine Fahrzeugkamera des Fahrzeugs,
Bestimmen von Abstandsdaten des Fahrzeugs zu dem Geometriemerkmal in Abhängigkeit von den Umgebungsdaten, insbesondere durch die Steuereinheit,
- Modifizieren der Repräsentationsdaten zur Visualisierung der Abstandsdaten in den Repräsentationsdaten in Abhängigkeit von einer Lokalisierung der Abstandsdaten in den Repräsentationsdaten, insbesondere durch die Steuereinheit,
- Ausgeben der modifizierten Repräsentationsdaten, insbesondere durch die Steuereinheit und/oder eine Anzeigevorrichtung.
Bei dem Fahrzeug kann es sich vorzugsweise um ein Kraftfahrzeug, insbesondere in Form eines Elektrofahrzeugs, und/oder ein Luftfahrzeug handeln. Das Informationssystem kann zumindest teilweise oder vollständig in das Fahrzeug integriert sein. Beispielsweise kann das Informationssystem eine Ausgabeschnittstelle zum Ausgeben der modifizierten Repräsentationsdaten umfassen. Die Ausgabeschnittstelle kann in die Steuereinheit integriert sein, um die Repräsentationsdaten einer Anzeigevorrichtung, z. B. in Form eines Kombiinstrumentes in einem Fahrgastraum des Fahrzeuges und/oder eines, insbesondere externen, mobilen Endgerätes handeln.
Die Umgebungsdaten können anhand von Sensordaten einer Umfeldsensorik des Informationssystems erfasst werden. Zum Erfassen der Sensordaten kann die Umfeldsensorik beispielsweise ein Radar, ein Lidar, eine Ultraschall-Sensorik und/oder eine Fahrzeugkamera umfassen. Anhand der Sensordaten kann das Geometriemerkmal des Hindernisses erkannt werden. Bei dem Hindernis kann es sich z. B. um ein anderes, insbesondere geparktes, Fahrzeug, einen Baum, ein Verkehrsschild und/oder dergleichen handeln. Weiterhin ist es denkbar, dass das Hindernis Teil einer Engstelle, z. B. bei der Einfahrt in ein Parkhaus und/oder bei einer Durchfahrt einer die Fahrbahn horizontal und/oder vertikal begrenzenden Brücke, ist.
Die Repräsentationsdaten können zumindest teilweise oder vollständig aus den Umgebungsdaten erzeugt werden oder separat zu den Umgebungsdaten generiert werden. Das Abbild der Fahrzeugumgebung kann insbesondere ein reales Abbild, z. B. in Form von Bilddaten, oder ein stilisiertes Abbild, z. B. in Form einer Virtualisierung und/oder grafischen Aufbereitung der Fahrzeugumgebung, sein. Das Abbild kann vorteilhafterweise zweidimensional oder dreidimensional ausgestaltet sein. Die Fahrzeugumgebung kann vorzugsweise mehrere Hindernisse und/oder weitere Umgebungsmerkmale, wie z. B. Fahrbahnmarkierungen, Häuser, Schilder und/oder dergleichen, umfassen.
Beim Bestimmen der Abstandsdaten kann eine Distanz vom Fahrzeug, insbesondere von einem vordefinierten Punkt und/oder Bereich des Fahrzeuges, zu dem Hindernis ermittelt werden. Es ist denkbar, dass die Abstandsdaten auf eine vorbestimmte Höhe zu einem Untergrund und/oder einer vorbestimmten Fahrzeugkomponente normiert werden. Zum Bestimmen der Abstandsdaten können die Umgebungsdaten ferner analysiert und/oder in Form einer Punktewolke aufbereitet werden.
Die Visualisierung der Abstandsdaten kann beispielsweise eine grafische Markierung, z. B. in Form einer farblichen Hervorhebung, eines das Geometriemerkmal repräsentierenden Bereiches, eines dem Geometriemerkmal zugeordneten Bereiches und/oder bestimmter Bildelemente der Repräsentationsdaten umfassen. Das Geometriemerkmal kann beispielsweise eine dem Fahrzeug zugewandte Seite und/oder Kante des Hindernisses umfassen.
Insbesondere kann vorgesehen sein, dass das Modifizieren der Repräsentationsdaten und/oder die Visualisierung der Abstandsdaten nur für kritische Bereiche in den Repräsentationsdaten ausgeführt werden. Beispielsweise kann zumindest ein Schwellwert eines maximalen Abstandes definiert sein, für welchen das Modifizieren der Repräsentationsdaten und/oder die Visualisierung erfolgt. Bei der Lokalisierung der Abstandsdaten in den Repräsentationsdaten kann vorzugsweise vorgesehen sein, dass die Abstandsdaten dem Geometriemerkmal und/oder dem Hindernis direkt zugeordnet werden, um die Visualisierung unmittelbar am Hindernis zu in dem Abbild der Fahrzeugumgebung zu ermöglichen.
Das Ausgeben der modifizierten Repräsentationsdaten kann insbesondere ein Anzeigen und/oder ein Bereitstellen der Repräsentationsdaten, insbesondere in Form von Bilddaten und/oder in Form Grafikdaten, mit dem Abbild der Fahrzeugumgebung umfassen.
Beispielsweise können die Repräsentationsdaten beim Ausgeben unmittelbar auf einer Anzeigevorrichtung angezeigt werden. Es ist jedoch ebenso denkbar, dass die Repräsentationsdaten beim Ausgeben an eine Anzeigevorrichtung gesendet und/oder einem Gerät zur Anzeige auf einer Anzeigevorrichtung zur Verfügung gestellt werden.
Durch das Modifizieren der Repräsentationsdaten kann somit insbesondere eine augmentierte Darstellung der Fahrzeugumgebung generiert werden. Dadurch erhält Nutzer des Fahrzeuges einen verbesserten Überblick über die Fahrzeugumgebung, bei dem gleichzeitig relevante Abstandsinformationen eingeblendet werden können. Dies kann einen Nutzerkomfort deutlich verbessern, wenn der Fahrer nicht mehr oder nur noch absichernd einen Rundumblick aus dem Fahrzeug macht, um die Fahrzeugumgebung zu erfassen. Durch die Übersicht über die Fahrzeugumgebung kann der Nutzer die Abstandsdaten ferner z. B. visuell verifizieren und/oder plausibilisieren, wodurch das Vertrauen des Nutzers in das Fahrzeug und/oder das Informationssystem, insbesondere bei Nutzung einer Fahrassistenzfunktion, verbessert sein kann. Beispielsweise kann das Verfahren beim Einparken des Fahrzeuges und/oder bei der Durchfahrt einer Engstelle ausgeführt werden.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Repräsentationsdaten anhand von Bilddaten von zumindest einer Fahrzeugkamera des Fahrzeugs erfasst werden, insbesondere wobei die Lokalisierung der Abstandsdaten anhand von Bildelementen der Bilddaten erfolgt. Die Bildelemente können Pixel, Voxel und/oder Grafikelemente, wie z. B. Polygone, Geometrieelemente, Darstellungsbereiche und/oder Gruppierungen der vorgenannten Grafikelemente, umfassen. Ferner ist es denkbar, dass der Fahrzeugumgebung beim Bereitstellen der Repräsentationsdaten zusätzliche Informationen und/oder Grafiken, wie z. B. eine Darstellung des Fahrzeuges, durch Abruf von einer Speichereinheit hinzugefügt werden. Vorzugsweise können bei dem Verfahren Abstandsdaten mehrerer Bildelemente und/oder mehrerer Hindernisse bestimmt und zum Modifizieren der Repräsentationsdaten verwendet werden. Vorzugsweise erfolgt beim Modifizieren der Repräsentationsdaten eine daten- und/oder computergestützte Erweiterung der Repräsentationsdaten in Abhängigkeit von den Abstandsdaten, insbesondere in Form einer augmented reality. Somit können die Repräsentationsdaten die Bilddaten insbesondere umfassen oder aus den Bilddaten bestehen. Insbesondere umfassen dabei auch die modifizierten Repräsentationsdaten die Bilddaten mit der Visualisierung der Abstandsdaten in den Bilddaten beim Ausgeben der modifizierten Repräsentationsdaten. Die Bilddaten können vorteilhafterweise zweidimensionale Bilddaten oder dreidimensionale Bilddaten sein. Durch die Verwendung der Bilddaten kann somit einem Nutzer ein reales Abbild der Fahrzeugumgebung angezeigt werden, wodurch, insbesondere nicht in den Umgebungsdaten enthaltene, Details der Fahrzeugumgebung realistisch wiedergegeben werden können und dem Nutzer ein echtes Abbild der Umgebung zeigen können. Dabei kann der Nutzer die Abstandsinformationen besonders komfortabel in den Bilddaten erkennen. Durch die Zuordnung der Bilddaten zu den Pixeln können Abstandsinformationen der Abstandsdaten dabei direkt in die Bilddaten integriert werden, um die Visualisierung zu realisieren.
Im Rahmen der Erfindung ist es weiterhin denkbar, dass die Repräsentation des Abbildes der Fahrzeugumgebung dreidimensional ist und/oder eine Draufsicht auf die Fahrzeugumgebung umfasst. Beispielsweise kann die Fahrzeugkamera als Stereokamera ausgestaltet sein oder es können mehrere Fahrzeugkameras vorgesehen sein, um die Bilddaten dreidimensional zu erfassen. Dadurch kann eine Realitätswahrnehmung der modifizierten Repräsentationsdaten durch einen Nutzer weiter verbessert sein. Beispielsweise kann durch ein dreidimensionales Abbild eine Höhen- und/oder Tiefenwahrnehmung verbessert werden. Dadurch können die Abstandsdaten durch den Nutzer einfacher und/oder zuverlässiger plausibilisiert werden. Die Draufsicht auf die Fahrzeugumgebung kann z. B. isometrisch oder planar sein. Ferner kann die Draufsicht aus Bilddaten mehrerer Fahrzeugkameras zusammengesetzt werden. Eine Abbildung des Fahrzeuges kann den Bilddaten dabei zumindest teilweise hinzugefügt werden. Gerade bei einem Einparkvorgang eines Fahrzeuges kann das Fahrzeug von mehreren Hindernissen umgeben sein. Durch die Draufsicht erhält ein Nutzer dabei eine verbesserte Übersicht über sämtliche Hindernisse.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Verfahren folgenden Schritt umfasst:
Erstellen einer Umgebungskarte der Fahrzeugumgebung in Abhängigkeit von den Umgebungsdaten, insbesondere durch die Steuereinheit, wobei die Abstandsdaten in Abhängigkeit von der Umgebungskarte bestimmt werden und/oder das Modifizieren der Repräsentationsdaten in Abhängigkeit von der Umgebungskarte erfolgt. Weiterhin ist es ebenfalls denkbar, dass die Umgebungskarte in Abhängigkeit von den Abstandsdaten erstellt wird. Die Umgebungskarte kann auch als virtuelle Welt bezeichnet werden. Dabei kann die Umgebungskarte vorzugsweise dreidimensional, z. B. in Form einer Punktewolke, erstellt werden. Insbesondere kann die Umgebungskarte anhand von Sensordaten mehrerer Sensoren der Umgebungssensorik erstellt werden. Anhand der Umgebungskarte kann eine Erfassung mehrerer Hindernisse und/oder Geometriemerkmale ermöglicht sein. Vorzugsweise kann beim Bestimmen der Abstandsdaten für jeden in der Umgebungskarte erkannten und/oder als Hindernis infrage kommenden Punkt der Fahrzeugumgebung ein Abstand zum Fahrzeug ermittelt werden. Dadurch können in einfacher Art und Weise, insbesondere in Hinblick auf eine mögliche Kollision, kritische Bereiche erkannt werden. Weiterhin kann durch die Umgebungskarte die Lokalisierung der Abstandsdaten in den Repräsentationsdaten ermöglicht werden. Im Rahmen der Erfindung ist es weiterhin denkbar, dass zum Modifizieren der Repräsentationsdaten eine Koordinatentransformation ausgeführt wird, bei welcher die Umgebungskarte und/oder die Repräsentationsdaten in ein gemeinsames Koordinatensystem für die Umgebungskarte und die Repräsentationsdaten überführt werden. Das Koordinatensystem kann das ursprüngliche Koordinatensystem der Umgebungsdaten oder der Repräsentationsdaten sein. Beispielsweise kann ein Koordinatensystem der Repräsentationsdaten Bildkoordinaten und ein Koordinatensystem der Umgebungskarte Weltkoordinaten umfassen. Die Koordinatentransformation kann insbesondere eine Bild-zu- Welt-Transformation und/oder eine Welt-zu-Bild-Transformation umfassen. Dadurch kann die Umgebungskarte den Bildelementen zugeordnet werden. Beispielsweise können die Punkte einer Punktewolke der Umgebungskarte durch die Koordinatentransformation den Pixeln der Bilddaten zugeordnet werden.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Visualisierung der Abstandsdaten beim Modifizieren der Repräsentationsdaten in Abhängigkeit von einer Aufteilung der Abstandsdaten auf mehrere, sich vom Fahrzeug erstreckende Segmente erfolgt. Die Segmente können beispielsweise Sektoren oder Teile von Sektoren einer Messkeule bilden. Dabei können die Segmente insbesondere ausgehend vom Fahrzeug in das Abbild der Repräsentationsdaten hineinprojiziert werden. Es ist denkbar, dass die Visualisierung der Abstandsdaten in Abhängigkeit von den Segmenten erfolgt und/oder jeweils über ein Segment konstant ist. Beispielsweise kann zur Visualisierung eine Einfärbung der Bildelemente segmentweise ausgeführt werden. Durch die Segmente kann eine Zuordnung der Abstandsdaten und/oder eine Bewertung der Visualisierung durch den Nutzer vereinfacht sein. Insbesondere bei vielen Hindernissen kann somit eine deutliche Zuordnung der Abstandsdaten ermöglicht sein.
Im Rahmen der Erfindung ist es weiterhin denkbar, dass zur Visualisierung der Abstandsdaten beim Modifizieren der Repräsentationsdaten und/oder beim Bestimmen der Abstandsdaten anhand des Geometriemerkmals und der Umgebungsdaten Polygone mit zumindest einer Farbinformation erzeugt werden, wobei die Farbinformation in Abhängigkeit von den Abstandsdaten festgelegt wird. Die Polygone können beispielsweise aus Punkten der Punktewolke gebildet werden. Es kann vorgesehen sein, dass jedem der Polygone eine einheitliche Farbinformation in Abhängigkeit von den Abstandsdaten zugewiesen wird oder ein Farbverlauf. Vorzugsweise kann für das Geometriemerkmal anhand der Abstandsdaten ein Abstandswert bestimmt werden. In Abhängigkeit von einer Klassifikation des Abstandswertes kann die Farbinformation festgelegt werden. Beispielsweise kann einem Polygon für einen ersten Abstandswert eine rote Farbe zur Visualisierung der Abstandsdaten und für einen zweiten Abstandswert, der größer als der erste Abstandswert ist, eine orange, gelbe oder grüner Farbe zur Visualisierung der Abstandsdaten zugewiesen werden. Dadurch kann die Visualisierung der Abstandsdaten in intuitiver Art und Weise durch einen Nutzer wahrgenommen werden.
Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Polygone anhand eines Hüllmodells der Umgebungsdaten erzeugt werden. Durch das Hüllmodell können virtuelle Begrenzungen des Hindernisses und/oder mehrerer Elemente der Fahrzeugumgebung erstellt werden. Dabei können die Polygone beispielsweise anhand der virtuellen Begrenzungen des Geometriemerkmals erstellt werden. Dabei können die Begrenzungen, beispielsweise anhand eines geringsten Abstandes des Geometriemerkmals und/oder des Hindernisses zum Fahrzeug, vereinfacht sein. Somit ist es nicht erforderlich, jedes Detail des Hindernisses und/oder der Fahrzeugumgebung in den Umgebungsdaten zu erfassen. Dadurch kann eine Rechenzeit reduziert werden, wodurch das Ausgeben der modifizierten Repräsentationsdaten eine nur kurze Reaktionszeit aufweisen kann.
Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass die Abstandsdaten in Abhängigkeit von einer ersten Höheninformation des Geometriemerkmals bestimmt werden, wobei beim Modifizieren der Repräsentationsdaten die erste Höheninformation des Geometriemerkmals und/oder eine zweite Höheninformation der Repräsentationsdaten berücksichtigt wird. Die zweite Höheninformation kann insbesondere anhand der Repräsentationsdaten ermittelt werden. Beispielsweise können dazu mehrere, zeitlich aufeinanderfolgende Bilddaten, insbesondere bei einer Bewegung des Fahrzeuges, analysiert werden, um die zweite Höheninformation zu ermitteln. Durch die erste und zweite Höheninformation kann eine differenziertere Visualisierung der Abstandsinformationen in den Repräsentationsdaten erfolgen. Dadurch kann der Nutzer z. B. erkennen, ob eine in einer Höhe hervorstehende Geometrie des Hindernisses korrekt erkannt wurde.
Weiterhin kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass beim Modifizieren der Repräsentationsdaten ein Vergleich der ersten und zweiten Höheninformation durchgeführt wird, wobei die Abstandsdaten in den Repräsentationsdaten in Abhängigkeit von dem Vergleich der ersten und zweiten Höheninformation lokalisiert werden. Bei dem Vergleich kann überprüft werden, ob die erste und zweite Höheninformation, insbesondere exakt oder innerhalb eines Toleranzbereiches, übereinstimmen. Es kann vorgesehen sein, dass die Abstandsdaten den Geometriedaten visuell zugeordnet werden, wenn die erste und zweite Höheninformation übereinstimmen. Dadurch kann der Nutzer insbesondere unmittelbar am Geometriemerkmal im Abbild der Fahrzeugumgebung erkennen, ob ein bestimmtes Geometriemerkmal einen kritischen Abstand zu Fahrzeug aufweist. Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass beim Modifizieren der Repräsentationsdaten in Abhängigkeit von der ersten und zweiten Höheninformation eine Projektion der Abstandsdaten, d. h. insbesondere der Visualisierung der Abstandsdaten, auf einen Untergrund der Fahrzeugumgebung erfolgt, so dass die Visualisierung der Abstandsdaten in den Repräsentationsdaten am Hindernis auf dem Untergrund anzeigbar ist. Der Untergrund kann beispielsweise eine Bodenebene umfassen. Dabei kann der Untergrund insbesondere anhand der zweiten Höheninformation erkannt werden. Beispielsweise kann, ausgehend von einem Bildelement, bei welchem die erste und zweite Höheninformation übereinstimmen, ein dazu vertikales Bildelement bestimmt werden, bei welchem die zweite Höheninformation eine Nullhöhe und/oder eine Höhe des Untergrundes aufweist. Durch die Anzeige auf dem Untergrund kann eine Modifikation des Hindernisses vermieden werden, wodurch die modifizierten Repräsentationsdaten eine freie und/oder unbeeinflusste Sicht auf das Hindernis ermöglichen können.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Ausgeben der modifizierten Repräsentationsdaten eine Anzeige der modifizierten Repräsentationsdaten auf einer Anzeigevorrichtung des Fahrzeugs umfasst. Die Anzeigevorrichtung kann ein Display, vorzugsweise in Form eines Touch-Screens, umfassen. Dadurch können die modifizierten Repräsentationsdaten mit der Visualisierung der Abstandsdaten einem Fahrer des Fahrzeuges direkt zur Verfügung gestellt werden. Ferner ist es denkbar, dass die modifizierten Repräsentationsdaten, insbesondere die Visualisierung der Abstandsdaten, über die Anzeigevorrichtung anpassbar und/oder individualisierbar ist. Beispielsweise kann vorgesehen sein, dass die Projektion der Abstandsdaten auf den Untergrund über die Abstandsvorrichtung aktivierbar und/oder deaktivierbar ist.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Ausgeben der modifizierten Repräsentationsdaten in Abhängigkeit von einem zumindest teilweise oder vollständig automatisierten Einparkvorgang zum Bewegen des Fahrzeugs auf eine Parkfläche erfolgt. Dabei ist es beispielsweise denkbar, dass die modifizierten Repräsentationsdaten an eine externe Anzeigevorrichtung, z. B. eines mobilen Gerätes, wie beispielsweise eines Smartphones oder Tablets, gesendet werden, insbesondere wenn sich ein Nutzer des Fahrzeuges während des Einparkvorgangs außerhalb des Fahrzeuges befindet. Dadurch kann der Nutzer jederzeit während des Einparkvorgangs überprüfen, ob das Fahrzeug die Fahrzeugumgebung korrekt erkannt hat und den zumindest teilweise automatisierten Einparkvorgang anhalten und/oder in den Einparkvorgang manuell eingreifen. Vorzugsweise kann die Parkfläche, insbesondere auf welcher das Fahrzeug zum Halten kommen soll, automatisch erkannt und beim Modifizieren der Repräsentationsdaten visualisiert werden. Zusätzlich oder alternativ kann es vorgesehen sein, dass ein manueller Einparkvorgang, z. B. anhand einer niedrigen Geschwindigkeit des Fahrzeuges, automatisch erkannt wird und das Ausgeben der modifizierten Repräsentationsdaten in Abhängigkeit von der Erkennung und/oder Aktivierung des Einparkvorgangs erfolgt.
Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt vorgesehen. Das Computerprogrammprodukt umfasst Befehle, die bei einer Ausführung durch eine Steuereinheit die Steuereinheit veranlassen, ein erfindungsgemäßes Verfahren auszuführen.
Somit bringt ein erfindungsgemäßer Computerprogrammprodukt die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßen Verfahren beschrieben worden sind. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln. Das Computerprogrammprodukt kann als computerlesbarer Anweisungscode implementiert sein. Ferner kann das Computerprogrammprodukt auf einem computerlesbaren Speichermedium wie einer Datendisk, einem Wechsellaufwerk, einem flüchtigen oder nichtflüchtigen Speicher, oder einem eingebauten Speicher/Prozessor abgespeichert sein. Ferner kann das Computerprogrammprodukt in einem Netzwerk wie beispielsweise dem Internet bereitstellbar oder bereitgestellt sein, von dem es bei Bedarf von einem Nutzer heruntergeladen oder online ausgeführt werden kann. Das Computerprogrammprodukt kann sowohl mittels einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d.h. in Hardware oder in beliebig hybrider Form, d.h. mittels Software-Komponenten und Hardware-Komponenten, realisiert sein.
Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug vorgesehen. Das Fahrzeug weist ein Informationssystem zur Bereitstellung von Informationen über zumindest ein Hindernis für das Fahrzeug auf. Das Informationssystem umfasst eine Steuereinheit zum Ausführen eines erfindungsgemäßen Verfahrens.
Somit bringt ein erfindungsgemäßes Fahrzeug die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Computerprogrammprodukt beschrieben worden sind. Die Steuereinheit kann einen Prozessor und/oder Mikroprozessor umfassen. Ferner kann die Steuereinheit Teil eines zentralen Steuergerätes des Fahrzeuges sein. Es ist jedoch ebenso denkbar, dass die Steuereinheit in eines oder mehrere dezentrale Steuergeräte, insbesondere des Fahrzeuges, verteilt integriert ist.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch:
Figur 1 Modifizierte Repräsentationsdaten mit einem Abbild einer Fahrzeugumgebung anhand einer Draufsicht,
Figur 2 Modifizierte Repräsentationsdaten mit einem Abbild der Fahrzeugumgebung anhand einer Rückfahrkamera,
Figur 3 ein Hüllmodell einer Fahrzeugumgebung,
Figur 4 ein Fahrzeug mit einem Informationssystem zum Ausführen eines erfindungsgemäßen Verfahrens, und
Figur 5 das Verfahren in schematischer Darstellung von Verfahrensschritten.
In der nachfolgenden Beschreibung zu einigen Ausführungsbeispielen der Erfindung werden für die gleichen technischen Merkmale auch in unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
Figur 1 zeigt eine Anzeige von modifizierten Repräsentationsdaten 300 bei einem erfindungsgemäßen Verfahren 100 zum Betreiben eines Informationssystems 10 zur Bereitstellung von Informationen über zumindest ein Hindernis 2 für ein Fahrzeug 1 in einem ersten Ausführungsbeispiel. Dabei erfolgt eine Visualisierung 302 von Abstandsdaten 210 des Fahrzeugs 1 zu dem Hindernis 2 unmittelbar in einem Abbild einer Fahrzeugumgebung 3 des Fahrzeugs 1, in welcher sich das Hindernis 2 befindet, lokal an dem Hindernis 2.
Das Fahrzeug 1 ist in Figur 4, das Verfahren 100 ist in Figur 5 dargestellt. Für das Verfahren 100 weist das Fahrzeug 1 das Informationssystem 10 mit einer Steuereinheit 11 auf, die zum Ausführen des Verfahrens 100 ausgebildet ist. Beispielsweise kann ein Computerprogrammprodukt vorgesehen sein, das Befehle umfasst, die bei einer Ausführung durch die Steuereinheit 11 die Steuereinheit 11 veranlassen, das Verfahren 100 auszuführen.
Zum Erzeugen der modifizierten Repräsentationsdaten 300 erfolgt bei dem Verfahren 100 zunächst ein Erfassen 101 von Umgebungsdaten 200 zur Erfassung zumindest eines Geometriemerkmals 2.1 des Hindernisses 2. Dazu kann das Fahrzeug 1 und/oder das Informationssystem 10 eine Umfeldsensorik 20 umfassen, um die Umgebungsdaten 200 anhand von Sensordaten der Umfeldsensorik 20 zu erhalten. Beispielsweise können die Umgebungsdaten 200 Sensordaten mehrerer Sensoren der Umfeldsensorik 20 umfassen. Anhand der Umgebungsdaten 200 erfolgt insbesondere ein Erstellen 102 einer Umgebungskarte 202 der Fahrzeugumgebung 3. Dazu kann beispielsweise aus den Umgebungsdaten 200 eine Punktewolke erstellt werden.
Weiterhin erfolgt bei dem Verfahren 100 ein Bereitstellen 103 von Repräsentationsdaten 300, insbesondere mit mehreren Bildelementen, zur Repräsentation des Abbildes der Fahrzeugumgebung 3. Die Repräsentationsdaten 300 können anhand von Bilddaten von zumindest einer Fahrzeugkamera 21 des Fahrzeugs 1 erfasst werden. Die Fahrzeugkamera 21 kann insbesondere Teil der Umfeldsensorik 20 sein. Insbesondere im Unterschied zu der Umgebungskarte 202 können die Bilddaten der Repräsentationsdaten 300 jedoch weiterhin beibehalten und/oder lediglich modifiziert werden. Die Bildelemente der Repräsentationsdaten 300 können beispielsweise durch Pixel der Bilddaten gebildet sein.
Figur 1 zeigt dabei Repräsentationsdaten 300 in Form einer Draufsicht auf die Fahrzeugumgebung 3 mit dem Fahrzeug 1. Dabei können die Repräsentationsdaten 300 aus Bilddaten mehrerer Fahrzeugkameras 21 zusammengesetzt werden. Insbesondere kann ein Ausgeben 106 der modifizierten Repräsentationsdaten 300 in Abhängigkeit von einem zumindest teilweise automatisierten Einparkvorgang zum Bewegen des Fahrzeugs 1 auf eine Parkfläche erfolgen. Dabei hat die Draufsicht den Vorteil, dass ein Nutzer während des Einparkvorgangs mehrere Hindernisse 2 gleichzeitig erkennen und überwachen kann. Es ist jedoch ebenso denkbar, dass die Repräsentationsdaten 300 Bilddaten einer einzelnen Fahrzeugkamera 21, in Figur 2 in Form von Bilddaten einer Rückfahrkamera dargestellt, umfassen. Insbesondere wenn mehrere Fahrzeugkameras 21 eingesetzt werden und/oder die Fahrzeugkamera 21 als Stereokamera ausgebildet ist, kann vorgesehen sein, dass die Repräsentation des Abbildes der Fahrzeugumgebung 3 dreidimensional ist.
Weiterhin umfasst das Verfahren 100 ein Bestimmen 104 der Abstandsdaten 210 des Fahrzeugs 1 zu dem Geometriemerkmal 2.1, d. h. insbesondere zu dem Hindernis 2, in Abhängigkeit von den Umgebungsdaten 200. Vorzugsweise umfassen die Abstandsdaten 210 Abstandswerte und/oder Abstandsinformationen eines Abstandes oder mehrerer Abstände zwischen dem Fahrzeug 1 und dem Hindernis 2. Die Abstandsdaten 210 können in Abhängigkeit von der Umgebungskarte 202 bestimmt werden. Es ist jedoch ebenso denkbar, dass die Abstandsdaten 210 vor dem Erzeugen der Umgebungskarte 202 bestimmt werden und die Umgebungskarte 202 anhand der Abstandsdaten 210 bestimmt wird.
In Abhängigkeit von einer Lokalisierung der Abstandsdaten 210 in den Repräsentationsdaten erfolgt ferner ein Modifizieren 105 der Repräsentationsdaten 300 zur Visualisierung 302 der Abstandsdaten 210 in den Repräsentationsdaten 300. Vorteilhafterweise werden zur Visualisierung 302 der Abstandsdaten 210, insbesondere beim Modifizieren 105 der Repräsentationsdaten 300 und/oder beim Bestimmen 104 der Abstandsdaten 210, anhand des Geometriemerkmals 2.1 und der Umgebungsdaten 200, insbesondere der Umgebungskarte 202, Polygone 201 mit zumindest einer Farbinformation erzeugt werden. Die Polygone 201 werden dabei anhand eines Hüllmodells 203 der Umgebungsdaten 200 erzeugt, wie in Figur 3 gezeigt. Dabei wird um das Hindernis 2 eine virtuelle Begrenzung erzeugt, auf welche die Abstandsdaten 210 bezogen werden. In Abhängigkeit von den Abstandsdaten 210 werden dabei die Farbinformation für die Polygone 201 festgelegt. Vorteilhafterweise kann das Modifizieren 105 der Repräsentationsdaten 300 in Abhängigkeit von der Umgebungskarte 202 erfolgen. Dazu kann eine Koordinatentransformation ausgeführt werden, bei welcher die Umgebungskarte 202 und/oder die Repräsentationsdaten 300 in ein gemeinsames Koordinatensystem für die Umgebungskarte 202 und die Repräsentationsdaten 300 überführt werden.
Wie in den Figuren 1 und 2 dargestellt, kann ferner vorteilhafterweise vorgesehen sein, dass die Visualisierung 302 der Abstandsdaten 210 in den Repräsentationsdaten 300 durch die Lokalisierung der Abstandsdaten 210 in den Repräsentationsdaten 300 am Hindernis 2 auf dem Untergrund der Fahrzeugumgebung 3 erfolgt. Dazu werden die Abstandsdaten 210 in Abhängigkeit von einer ersten Höheninformation 211 des Geometriemerkmals 2.1 bestimmt. Beim Modifizieren 105 der Repräsentationsdaten 300 wird dann ein Vergleich der ersten Höheninformation 211 mit einer zweiten Höheninformation 212 durchgeführt. Die zweite Höheninformation 212 ist den Bildelementen zugeordnet und wird anhand der Repräsentationsdaten 300 ermittelt. Beim Modifizieren 105 der Repräsentationsdaten 300 erfolgt ferner in Abhängigkeit von der ersten und zweiten Höheninformation 211 , 212 eine Projektion der Abstandsdaten 210 auf einen Untergrund der Fahrzeugumgebung 3, indem zunächst eine Übereinstimmung der ersten und zweiten Höheninformation 211, 212, insbesondere in dem gemeinsamen Koordinatensystem, erkannt wird und ausgehend von dem Bildelement mit der Übereinstimmung die Projektion auf den Untergrund erfolgt. Zusätzlich oder alternativ ist es jedoch ebenso denkbar, dass die Visualisierung 302 unmittelbar bei den Bildelementen, insbesondere ohne die Projektion, erfolgt, um beispielsweise bei der Anzeige gemäß Figur 2 dem Nutzer eine unmittelbare Zuordnung der Visualisierung 302 der Abstandsdaten 210 zum Geometriemerkmal 2.1 vertikal zu ermöglichen.
Wie in Figur 1 gezeigt, kann es ferner von Vorteil sein, wenn die Visualisierung 302 der Abstandsdaten 210 beim Modifizieren 105 der Repräsentationsdaten 300 in Abhängigkeit von einer Aufteilung der Abstandsdaten 210 auf mehrere, sich vom Fahrzeug 1 erstreckende Segmente 213 erfolgt. Dadurch kann die Wahrnehmung der Visualisierung 302 der Abstandsdaten 210 und/oder der Hindernisse 2 vereinfacht sein.
Anschließend erfolgt ein Ausgeben 106 der modifizierten Repräsentationsdaten 300.
Beispielsweise kann das Ausgeben 106 der modifizierten Repräsentationsdaten 300 eine Anzeige der modifizierten Repräsentationsdaten 300 auf einer Anzeigevorrichtung 12 des Fahrzeugs 1 umfassen, um die modifizierten Repräsentationsdaten 300 einem Fahrer des Fahrzeuges 1 bereitzustellen.
Bezugszeichenliste
Fahrzeug
Hindernis Geometriemerkmal Fahrzeugumgebung
I nformationssystem Steuereinheit Anzeigevorrichtung
Umfeldsensorik Fahrzeugkamera
Verfahren
Erfassen von 200
Erstellen von 202
Bereitstellung von 300 Bestimmen von 210 Modifizieren von 300
Ausgeben von 300
Umgebungsdaten Polygon Umgebungskarte
Hüllmodell
Abstandsdaten erste Höheninformation zweite Höheninformation
Segmente
Repräsentationsdaten Visualisierung von 210

Claims

Patentansprüche Verfahren (100) zum Betreiben eines Informationssystems (10) zur Bereitstellung von Informationen über zumindest ein Hindernis (2) für ein Fahrzeug (1), umfassend:
Erfassen (101) von Umgebungsdaten (200) zur Erfassung zumindest eines Geometriemerkmals (2.1) des Hindernisses (2),
Bereitstellen (103) von Repräsentationsdaten (300) zur Repräsentation eines Abbildes einer Fahrzeugumgebung (3), die das Geometriemerkmal (2.1) des Hindernisses (2) aufweist,
Bestimmen (104) von Abstandsdaten (210) des Fahrzeugs (1) zu dem Geometriemerkmal (2.1) in Abhängigkeit von den Umgebungsdaten (200), Modifizieren (105) der Repräsentationsdaten (300) zur Visualisierung (302) der Abstandsdaten (210) in den Repräsentationsdaten (300) in Abhängigkeit von einer Lokalisierung der Abstandsdaten (210) in den Repräsentationsdaten (300), Ausgeben (106) der modifizierten Repräsentationsdaten (300). Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass die Repräsentationsdaten (300) anhand von Bilddaten von zumindest einer Fahrzeugkamera (21) des Fahrzeugs (1) erfasst werden, wobei die Lokalisierung der Abstandsdaten (210) anhand von Bildelementen der Bilddaten erfolgt. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Repräsentation des Abbildes der Fahrzeugumgebung (3) dreidimensional ist und/oder eine Draufsicht auf die Fahrzeugumgebung (3) umfasst. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) folgenden Schritt umfasst:
Erstellen (102) einer Umgebungskarte (202) der Fahrzeugumgebung (3) in Abhängigkeit von den Umgebungsdaten (200), wobei die Abstandsdaten (210) in Abhängigkeit von der Umgebungskarte (202) bestimmt werden und/oder das Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von der Umgebungskarte (202) erfolgt. Verfahren (100) nach Anspruch 4, dadurch gekennzeichnet, dass zum Modifizieren (105) der Repräsentationsdaten (300) eine Koordinatentransformation ausgeführt wird, bei welcher die Umgebungskarte (202) und/oder die Repräsentationsdaten (300) in ein gemeinsames Koordinatensystem für die Umgebungskarte (202) und die Repräsentationsdaten (300) überführt werden. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Visualisierung der Abstandsdaten (210) beim Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von einer Aufteilung der Abstandsdaten (210) auf mehrere, sich vom Fahrzeug (1) erstreckende Segmente (213) erfolgt. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Visualisierung der Abstandsdaten (210) beim Modifizieren (105) der Repräsentationsdaten (300) anhand des Geometriemerkmals (2.1) und der Umgebungsdaten (200) Polygone (201) mit zumindest einer Farbinformation erzeugt werden, wobei die Farbinformation in Abhängigkeit von den Abstandsdaten (210) festgelegt wird. Verfahren (100) nach Anspruch 7, dadurch gekennzeichnet, dass die Polygone (201) anhand eines Hüllmodells (203) der Umgebungsdaten (200) erzeugt werden. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abstandsdaten (210) in Abhängigkeit von einer ersten Höheninformation (211) des Geometriemerkmals (2.1) bestimmt werden, wobei beim Modifizieren (105) der Repräsentationsdaten (300) die erste Höheninformation (211) des Geometriemerkmals (2.1) und/oder eine zweite Höheninformation (212) der Repräsentationsdaten (300) berücksichtigt wird. Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass beim Modifizieren (105) der Repräsentationsdaten (300) ein Vergleich der ersten und zweiten Höheninformation (211 , 212) durchgeführt wird, wobei die Abstandsdaten (210) in den Repräsentationsdaten (300) in Abhängigkeit von dem Vergleich der ersten und zweiten Höheninformation (211 , 212) lokalisiert werden. Verfahren (100) nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass beim Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von der ersten und zweiten Höheninformation (211, 212) eine Projektion der Abstandsdaten (210) auf einen Untergrund der Fahrzeugumgebung (3) erfolgt, so dass die Visualisierung der Abstandsdaten (210) in den Repräsentationsdaten (300) am Hindernis (2) auf dem Untergrund anzeigbar ist. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgeben (106) der modifizierten Repräsentationsdaten (300) eine Anzeige der modifizierten Repräsentationsdaten (300) auf einer Anzeigevorrichtung (12) des Fahrzeugs (1) umfasst. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgeben (106) der modifizierten Repräsentationsdaten (300) in Abhängigkeit von einem zumindest teilweise automatisierten Einparkvorgang zum Bewegen des Fahrzeugs (1) auf eine Parkfläche erfolgt. Computerprogrammprodukt, umfassend Befehle, die bei einer Ausführung durch eine Steuereinheit (11) die Steuereinheit (11) veranlassen, ein Verfahren (100) nach einem der vorhergehenden Ansprüche auszuführen. Fahrzeug (1) aufweisend ein Informationssystem (10) zur Bereitstellung (103) von Informationen über zumindest ein Hindernis (2) für das Fahrzeug (1) mit einer Steuereinheit (11) zum Ausführen eines Verfahrens (100) nach einem der Ansprüche 1 bis 13.
EP23723591.6A 2022-05-30 2023-05-08 Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug Pending EP4533432A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022205393.1A DE102022205393A1 (de) 2022-05-30 2022-05-30 Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug
PCT/EP2023/062145 WO2023232395A1 (de) 2022-05-30 2023-05-08 Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug

Publications (1)

Publication Number Publication Date
EP4533432A1 true EP4533432A1 (de) 2025-04-09

Family

ID=86378440

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23723591.6A Pending EP4533432A1 (de) 2022-05-30 2023-05-08 Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug

Country Status (4)

Country Link
EP (1) EP4533432A1 (de)
CN (1) CN119301658A (de)
DE (1) DE102022205393A1 (de)
WO (1) WO2023232395A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2181892B1 (de) 2008-10-28 2011-12-14 Volkswagen AG Parkassistenzsystem und Verfahren zum Betreiben eines Parkassistenzsystems für ein Kraftfahrzeug
JP2011109170A (ja) * 2009-11-12 2011-06-02 Clarion Co Ltd 車両周囲表示装置、車両周囲表示方法
DE102009055649A1 (de) 2009-11-24 2011-05-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Parkhilfeeinrichtung
DE102011105884B4 (de) 2011-06-28 2019-02-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Einparken eines Fahrzeugs
KR101459835B1 (ko) * 2012-10-11 2014-11-07 현대자동차주식회사 입체물 표시 제어 장치 및 방법
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置

Also Published As

Publication number Publication date
WO2023232395A1 (de) 2023-12-07
DE102022205393A1 (de) 2023-11-30
CN119301658A (zh) 2025-01-10

Similar Documents

Publication Publication Date Title
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
WO2019170202A1 (de) Surroundview-system mit angepasster projektionsfläche
WO2013053438A2 (de) Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
EP4025460B1 (de) Darstellen einer fahrzeugumgebung zum bewegen des fahrzeugs zu einer zielposition
EP3327698A1 (de) Verfahren zum unterstützen eines fahrers eines kraftfahrzeugs beim abstellen des kraftfahrzeugs auf einer parkfläche, fahrerassistenzsystem sowie kraftfahrzeug
EP3380357B1 (de) Fahrerassistenzsystem mit adaptiver umgebungsbilddatenverarbeitung
DE102022107907A1 (de) Sensorfusion-basierte dreidimensionale Stixel-Darstellung in einer Ansicht von oben zur Detektion eines allgemeinen Hindernisses in einem Fahrzeug
EP3571091B1 (de) Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102020004215A1 (de) Verfahren zur Darstellung einer Verkehrssituation in einem Fahrzeug
DE102020213146B3 (de) Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
EP3695387B1 (de) Verfahren zur darstellung von bildern eines kamerasystems eines fahrzeugs
WO2023232395A1 (de) Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug
WO2024037815A1 (de) Verfahren zum betreiben einer anzeigeeinrichtung in einem kraftfahrzeug
DE102021211309A1 (de) Verfahren zum Generieren einer Darstellung einer Umgebung einer mobilen Plattform
DE112018005744T5 (de) Bedienerassistenz-sichtsystem
WO2022223087A1 (de) Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung
WO2012028230A1 (de) Verfahren zum darstellen von hifslinien in einem kamerabasierten fahrerassistenzsystem
EP4475079A1 (de) Verfahren zum kalibrieren eines assistenzsystems eines zivilen kraftfahrzeugs
DE102016124989A1 (de) Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
DE102024135617A1 (de) Verfahren und vorrichtung zum detektieren von kindern
DE102024101216A1 (de) Verfahren zum Erzeugen einer synthetischen Ansicht eines Kraftfahrzeugumfeldes, Verarbeitungsvorrichtung und Computerprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)