EP3844947A1 - Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung - Google Patents

Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung

Info

Publication number
EP3844947A1
EP3844947A1 EP19756328.1A EP19756328A EP3844947A1 EP 3844947 A1 EP3844947 A1 EP 3844947A1 EP 19756328 A EP19756328 A EP 19756328A EP 3844947 A1 EP3844947 A1 EP 3844947A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
projection screen
representation
image information
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19756328.1A
Other languages
English (en)
French (fr)
Inventor
Alexander Urban
Georg Maier
Sascha Ziebart
Frank Schwitters
Gordon Seitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Publication of EP3844947A1 publication Critical patent/EP3844947A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the invention relates to a method and an arrangement for generating a
  • the environmental representation can be created and displayed in the manner of a so-called top or bird view perspective, in which a model representation of the vehicle itself is often displayed for orientation purposes (for example in the middle of the image).
  • environmental representations are known in which a model of the vehicle is shown in a top view and the vehicle surroundings, the vehicle surroundings being depicted on the basis of the captured camera images.
  • the environmental representation is typically combined from images captured by a plurality of vehicle-mounted camera devices.
  • Approaches are known for this, in which a (virtual) projection screen is generated and the images are projected into this projection screen, the images of a plurality of cameras being combined to form a correspondingly simultaneous projection to form the environmental representation.
  • the projection takes place, for example, in accordance with the known installation positions and / or
  • DE 10 2010 051 206 A1 discloses combining several partial images to form a larger area that exceeds the partial images, it also being possible to display additional symbols (so-called artificial image elements).
  • the environment representation can be created on the basis of
  • a (virtual) projection screen can be defined for camera images. This is typically defined as a horizontal room level and / or as a vehicle surface. This is based on the idea that the cameras are also directed at least in part towards the vehicle surface, for example by choosing an appropriate viewing angle, and thus captured images can also be projected back onto the vehicle surface. This represents a comparatively simple solution for creating the environment representation, in which satisfactory results can be achieved, particularly in the immediate vicinity of the vehicle. In certain situations, however, this approach can lead to distortions, which reduces the quality of representation. Alternatively, it is therefore known that
  • a curved projection screen which is also referred to as a projection “bowl”.
  • the projection screen is flat on its own and extends as a two-dimensional flat or curved structure around the vehicle or around the displayed vehicle model. It has been shown that the use of a curved projection screen does not always lead to a realistic and intuitively understandable environmental representation. In addition, only comparatively small ones have been made so far
  • a basic idea of the invention is to attach the projection screen to the
  • Structures within the vehicle environment are also raised (locally). It has been shown that in this way it is possible to reduce distortions within the representation of the surroundings in comparison with projection screens used hitherto, for example in comparison with the previous case in which real raised images recorded in the camera images
  • Structures can be projected onto flat or curved projection screens.
  • the invention further provides, not only in the immediate vicinity of the vehicle
  • the environment representation can be used to continuously texturize, generate and / or supplement an environment map while the vehicle is traveling.
  • the environment map can therefore in principle have a variable size or can generally be generated as a data collection of variable size.
  • the environment map can be continuously supplemented in accordance with the collected or generated environment representations and, for example, enlarged to an optional maximum size.
  • the environment map can be generated and supplemented along a route of the vehicle which is, for example, at least 5 m, at least 10 m or at least 20 m long.
  • a route of the vehicle which is, for example, at least 5 m, at least 10 m or at least 20 m long.
  • areas of the area map that are preferably opposite the current direction of travel or in relation to the current direction of travel behind the vehicle can be deleted and new areas of the direction of travel can be deleted Area map to be supplemented. This can be done by deleting and adding information for these areas.
  • the surrounding map (or the surrounding area covered by it) can therefore
  • the vehicle can be positioned in various ways within the environment map and / or the environment map cannot be fixed to the vehicle or cannot be purely centered around the
  • the projection screen is raised at least in certain areas if the determined height profile indicates a correspondingly raised structure of the vehicle surroundings and
  • the surroundings Representation of the surroundings, with the surroundings map being able to (and / or depicting) a surrounding area of the vehicle that is larger than a detection area of sensors used to determine the height profile and / or the image information.
  • the surrounding area depicted by the surroundings map can comprise at least one and a half times, at least twice, at least three times or at least four times the sensor detection area, the respective areas
  • ⁇ are preferably viewed as surfaces (for example in a horizontal spatial plane or along the vehicle surface).
  • a detection range of a sensor can be understood to be a range within which evaluable signals and / or signals that meet a predetermined quality criterion (e.g. have a signal-to-noise ratio of at least 0.5 or at least 0.7) can be detected.
  • a predetermined quality criterion e.g. have a signal-to-noise ratio of at least 0.5 or at least 0.7
  • the environmental representation can be a virtual and / or digital one
  • Act environment representation In particular, it can be a representation generated in the form or based on image and / or video files.
  • a representation of the environment can be displayed on a display device, in particular in a vehicle interior.
  • a displayable section of the environmental representation can correspond to a detection range of the sensors.
  • the environment map can generally depict a larger area of the surroundings than can be displayed on the display device.
  • a complete three-dimensional profile of the vehicle environment can be recorded, for example by means of (environment) sensor devices explained below.
  • a height profile of the vehicle surroundings should be recorded, that is, an extension of structures of the vehicle surroundings in the vertical spatial direction, the vertical spatial direction is preferably orthogonal to the vehicle surface. It is understood that the dimensions of the detectable height profile (or also the complete
  • the (preferably three-dimensional) height profile can be present as a file and / or be a digital information collection which, for example, depicts the surroundings in the form of a (measurement) point collection and / or a grid model.
  • the invention therefore generally provides for the projection screen to be produced in accordance with the height profile (i.e. the
  • Shape projection screen analogous to the height profile (preferably three-dimensional).
  • the projection screen and thus indirectly the surrounding map can then be textured with the image information.
  • the environment representation can also be referred to as an elevation profile textured with image information and / or the environment map can be generated or assembled on the basis of an environment representation that depicts different environment areas.
  • the captured image information can be video information and / or a video image data stream.
  • the environment representation can be continuously updated and / or generated, for example by continuously feeding in new (i.e. currently acquired) image information.
  • new image information i.e. currently acquired
  • image information that was acquired or recorded at the same acquisition time is preferably projected simultaneously.
  • the projecting can include arranging the image information in or on the projection screen, which can generally be carried out with the aid of a computer.
  • Information on the system structure and in particular the position and / or orientation of camera devices used for image acquisition can be used here.
  • a raised formation of the projection screen can be understood as an at least partial extension in a non-horizontal direction and / or at an angle to the direction (virtual) vehicle surface.
  • the projection screen can run vertically at least in some areas.
  • the raised formation of the projection screen can result in a three-dimensional formation of the projection screen, the raised areas rising from, for example, an initial plane of the projection screen or extending at an angle thereto can).
  • Raised areas can be shaped, for example, in a protruding manner or as protruding areas, for example in relation to an abovementioned starting or basic level of the
  • the projection screen By providing raised areas, the projection screen can have edges, kinks and / or angles at least in some areas. As a result of the raised areas, the projection screen can have areas running at an angle to one another and / or areas running parallel to one another (and in particular planes)
  • the method can optionally include determining raised areas in the height profile and locally changing the projection screen for at least selected of these areas from an initially or standard flat (or horizontal) extension, in particular in the form that the projection screen there is analogous to the raised areas of the height profile or the surrounding map (e.g. vertical).
  • a position of the vehicle can generally be determined within the area map.
  • odometry information can be used in a manner known per se which, for example, records or maps wheel movements.
  • a steering angle and / or a vehicle inclination can be recorded and taken into account.
  • information from navigation systems in particular location information
  • Such information can be generated, for example, on the basis of GPS signals.
  • GPS signals for example in order to be independent of current reception conditions for such signals.
  • a sensor e.g. a
  • Camera device is positioned and remains the same within the vehicle (i.e. positioned at a constant position in it and / or is oriented in a constant manner and thus has a constant viewing angle). Based on this, for example, a vehicle position can be converted into a position of the camera devices and / or corresponding location information can be assigned to the captured image information.
  • areas of the environment map and / or the height profile can also be assigned corresponding location information, wherein for example a position of the sensor device for generating the environment map (for example distance sensors) can be used and a determined vehicle position in a position of Sensor device can be converted. Information recorded from this (in particular areas of the environment map and / or the elevation profile recorded from this) can then likewise be provided with location information.
  • both areas of the environment map and / or the elevation profile and captured image information can thus be provided with location information, so that it can also be determined which image information relates to which areas of the environment map and / or the elevation profile.
  • Environment representation can be used.
  • a location information relating to this environment area can be assigned to an area of the environment representation that maps a particular environment area, e.g. based on the image information (s) used.
  • s image information
  • the image information is preferably mounted with at least one vehicle
  • Camera device that detects a type of sensor for generating the
  • At least three or at least four camera devices can be provided, which can be distributed around the vehicle, for example, so that cameras are preferably provided on each side of the vehicle (i.e. on the front and rear as well as on the two outer sides comprising the entry doors).
  • the environmental representation can correspond to a so-called “surround” or 360 ° view.
  • the image information can be provided in the form of video data and / or as an image data stream and the camera devices can accordingly be designed as video cameras.
  • the height profile (or the environment map) can be recorded at least in part on the basis of sensors with sensors in the form of at least one vehicle-mounted (environment) sensor device
  • the vehicle-mounted sensor device preferably being a sensor device different from the camera devices.
  • the sensor device can be set up to
  • the sensor device can be one of the following: a distance measuring device, a radar device, a Lidar device, an ultrasound device, an optical distance measuring device
  • the image information is used to generate an at least area-wise texture of the projection screen.
  • at least one area of the projection screen can be based on or by means of the
  • Image information can be textured. This can be done by projecting the image information, wherein a corresponding texturing or, in other words, mapping of the image information to this area as a corresponding texture can take place at the areas of impact of the image information on the projection screen.
  • texturing can take place in at least selected (in particular raised) areas of the projection screen by means of predetermined filling information instead of the image information.
  • provision can generally be made to first project all image information onto the projection screen (e.g. based on a predefined point in time) and then to subsequently adapt the content of the projection screen (e.g. by hiding or overwriting the image information projected onto the projection screen in areas).
  • it can be provided from the outset to determine areas of the projection screen onto which the image information is not to be projected or in which information other than the image information is to be displayed.
  • image information This can be done depending on the determined height profile. For example, areas can be determined on the basis of the height profile, on which projecting image information would presumably lead to a loss of quality and the predetermined filling information should instead be used. This can be raised areas or from raised areas (from
  • texturing takes place in at least one area of the projection screen which, from the vehicle's perspective, lies behind a raised area of the projection screen (that is to say is covered by this raised area) by means of predetermined filling information instead of the image information.
  • predetermined filling information can be used, which, for example, also only serves to make a driver aware that there is no meaningful image information for the corresponding area.
  • the fill-in information may include at least one of the following:
  • a given color e.g. black or white
  • an object in the area can be recognized and classified based on previously stored object classes (e.g. comprehensive traffic signs, vehicle types, components such as curbs or sidewalks).
  • object classes e.g. comprehensive traffic signs, vehicle types, components such as curbs or sidewalks.
  • this can then be represented by other information (or a texturing specification). From the driver's point of view, this can increase the informative value of the environment representation, since frequently recurring features are always displayed in the same way based on the texturing specification, and the content of the environment representation can thus be grasped quickly and intuitively.
  • the invention further relates to an arrangement for generating an environmental representation of a vehicle, comprising:
  • At least one sensor device for acquiring information for generating a height profile of the vehicle environment
  • At least one camera device for capturing image information of the
  • the projection screen Projecting the image information onto at least part of the projection screen to generate the environmental representation, wherein the projection screen can be raised at least in some areas if the determined height profile indicates a correspondingly raised structure of the vehicle surroundings, and wherein the environment representation generating device is also set up to generate an environment map of the vehicle on the basis of the environment representation with which an environment area of the vehicle can be mapped, which is larger than a detection range of the sensor device and the camera device.
  • the arrangement can be set up to carry out a method according to any of the above and following variants.
  • the invention further relates to a vehicle comprising an arrangement of the above type.
  • FIG. 1A shows a schematic illustration of a vehicle, comprising an arrangement according to an exemplary embodiment of the invention, the arrangement detecting the surroundings of the vehicle;
  • FIG. 1B shows a schematic illustration of a projection screen generated on the basis of the detection from FIG. 1A;
  • FIG. 2 shows a flow chart for a method according to the invention.
  • FIG. 1A shows a vehicle 100 which comprises an arrangement 10 according to the invention which carries out a method according to the invention.
  • the vehicle 100 is shown schematically in a front view, so that the line of sight corresponds to a view of the front or front of the vehicle.
  • the vehicle 100 comprises a camera device 12 and a further sensor device 14 in the form of a distance measuring device (for example an ultrasound sensor device which, in a side area (for example on a side mirror, not shown separately and therefore not directly on the front side facing the viewer) can also be arranged in the area of a fender).
  • the camera device 12 has a detection area, indicated by dashed lines and widening conically, but due to an increasing distance
  • the sensor device 14 detects distances to structures in the environment by ultrasound in a manner known per se, which is indicated in FIG. 1A by a single dashed line.
  • the camera device 12 and also the sensor device 14 thus each have a defined detection area (i.e. a detection area of the surroundings), the size of which is limited in particular by requirements for the quality of the information recorded (for example less than 4 m or less than 3 m).
  • the vehicle 100 although not shown accordingly, has at least one camera device 12 and a further sensor device 14 on each side, so that the
  • Vehicle environment in the sense of a 360 ° detection can be completely captured both visually and by means of the sensor devices 14.
  • a curb 16 is shown to the side of the vehicle 100 as a raised (i.e. deviating from the purely horizontal spatial plane) structure. This is recorded both by the camera device 12, which continuously generates video images of the surroundings, and by the sensor device 14, which also continuously detects the surroundings.
  • the camera device 12 and sensor device 14 send the detected and optionally also already evaluated information to an environment representation generating device 18, which e.g. can be integrated into a control device of the vehicle 100 or can be provided as such.
  • Environment representation generating device 18 a height profile of the environment. It preferably brings together the information from several or all of the corresponding sensor devices 14 on the individual sides of the vehicle, one
  • Captured camera images can also be evaluated to create the height profile, e.g. to make the measurement signals of the sensor devices 14 plausible
  • the environment representation generating device 18 also generates a virtual projection screen 22 (see FIG. 1B), into which it then captured all the camera devices 12 at the same time in order to generate the environmental representation
  • FIG. 1B schematically shows a section of the (virtual) projection screen 22 generated by the environment representation generating device 18.
  • This can e.g. can be defined as a data record which shows the spatial extension of the projection screen 22 e.g. around a virtual vehicle center point M (or a so-called virtual camera).
  • the projection screen 22 is not shown to the driver separately, but is only used to generate the environmental representation.
  • the projection screen 22 is defined as a three-dimensional structure and extends e.g. also into the image plane of FIG. 1B and in equal parts also to the left of the vehicle center M.
  • the projection screen 22 does not have a purely flat (i.e., extending in a single flat or curved two-dimensional plane) shape. Instead, it also has a raised area 24 in the area of the curb 16. The projection screen 22 thus extends analogously to the detected height profile
  • Height profile corresponds (i.e. reflects the uneven height profile caused by the curb 16).
  • the environmental representation generator 18 uses them
  • Projection screen 22 in order to project the image information acquired by means of the camera device 12 onto it. This is done in accordance with approaches known from the prior art, some of which are explained in the publications described at the outset or are already used in the “area view” solution offered by the applicant.
  • the initially not separately textured projection screen 22 (or an environment map corresponding to the height profile) is textured.
  • the fact that the projection screen 22 can also be designed to be raised in accordance with the detected height profile can reduce distortions that have occurred in previous projection into a purely horizontal plane (for example into a plane corresponding to the vehicle base 20 from FIG. 1A). The invention thus enables a higher quality of the environmental representation, since this is realistic and easier for the driver to understand.
  • the environmental representation obtained in this way can be given to a driver in a
  • Display device can be displayed in the vehicle interior. This is preferably done as a so-called bird-view perspective or vehicle top view, in which the vehicle is shown as a symbol. Examples of comparable representations can be found, for example, in areas 29a and 29d from FIGS. 4 & 5 of the above. DE 10 2015 002 438 A1.
  • the environment representation generating device 18 is set up to generate generated environment representations (or different areas of a
  • a realistic and comparatively large environment map (or, in other words, a large-scale composite environment representation) can be generated, with the help of which a more precise representation and generally comprehensive information collection regarding the environment can be achieved. This can be used to display to a driver, in comparison to previous solutions, larger, more realistic and / or continuously updated and also quickly retrievable sections of the environment map on a display device in the vehicle interior, particularly during maneuvering operations.
  • an area 26 is marked which, from the perspective of the vehicle 100 (or the vehicle center point M), is positioned behind the raised area 24, that is to say behind the area of the projection screen 22 corresponding to the curb 16. It can happen that for such areas 26 no image information can be captured by the camera devices 14, since they are covered by the raised structure (in this case the curb 16). Whether such potentially hidden areas 26 are present can be determined in a separate method step.
  • the information of the height profile can be used, for example a locally recorded height H, as is shown in FIG. 1B for the projection screen 22 in the raised area 24. If this exceeds a minimum threshold value, it can be assumed that the area behind it is likely to be covered and not meaningful from a vehicle perspective
  • Image information for this can be determined.
  • the height H shown can also be chosen to be significantly larger, e.g. as a kind of vertical delimitation surface of the projection screen 22.
  • the projection onto the vertical delimitation surface can take place and the determination of the hidden area or the provision of separate filling information would not be absolutely necessary.
  • a determination and a special representation of hidden areas 26 is desired. If a corresponding (potentially) hidden area 26 has been determined (for example by the environment representation generating device 18 and, for example, taking into account the information discussed above), it can be determined for this area 26 of the projection screen 22 that the environment representation in this area 26 is not based the captured image information is generated. Instead, predetermined (or similarly predetermined) filling information can be used there, e.g. predefined colors or patterns which indicate to the driver the absence of
  • Can signal image information can be specified as filling information in order to draw the driver's attention to the actually existing image information within the
  • Ambient representation increases because of unnatural distortions and / or an incorrect arrangement of image information within the surrounding representation less
  • Corresponding processes can be carried out continuously while the vehicle 100 is traveling, for example along a travel distance of at least 5 m or at least 10 m. This distance extends beyond the detection ranges of the sensors 12, 14, in particular when the vehicle 100 is stationary. Based on that Then, as explained above, an environment map can be continuously supplemented or put together, thus creating a type of digital and virtually reproducible information collection relating to the vehicle environment.
  • FIG. 2 shows a flow diagram for the method described above with reference to FIGS. 1A, 1B, but it is not necessary to consider hidden areas 26.
  • the vehicle environment is recorded in a step S1 by camera device (s) 12 and by sensor device (s) 14.
  • the information is transmitted to the environment representation generating device 18 for evaluation.
  • the latter determines a preferably 360 ° height profile of the vehicle surroundings in a step S2.
  • the (virtual) projection screen 22 is generated in a step S3, in particular by providing raised areas 24 of the projection screen 22 in accordance with corresponding raised structures in the height profile.
  • Camera devices 12 record image information on the projection screen 22.
  • the result can be displayed in step S5 on a display device in the vehicle interior.
  • steps S1 to S5 can be carried out repeatedly in order to permanently update the generated environmental representation. This is shown by a corresponding arrow from S5 to S1.
  • the steps can also be carried out partially in parallel. For example, when step S3 is carried out, a renewed environmental detection in the sense of step S1 can begin again
  • Environment detection can generally be carried out continuously and without interruption.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs (100), mit: - Ermitteln eines Höhenprofils einer Fahrzeugumgebung; - Erfassen von Bildinformationen der Fahrzeugumgebung; - Projizieren der Bildinformationen auf zumindest einen Teil einer Projektionsleinwand (22) zum Erzeugen der Umgebungsrepräsentation, wobei die Projektionsleinwand (22) zumindest bereichsweise erhaben erzeugt wird, wenn das ermittelte Höhenprofil eine entsprechend erhabene Struktur (16) der Fahrzeugumgebung anzeigt und - Erzeugen einer Umfeldkarte des Fahrzeugs (100) basierend auf der Umgebungsrepräsentation, mit der ein Umgebungsbereich des Fahrzeugs (100) abbildbar ist, der größer als ein Erfassungsbereich von zum Ermitteln des Höhenprofils und/oder der Bildinformationen verwendeten Sensoren ist. Ferner betrifft die Erfindung eine Anordnung (10) zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs (100) sowie ein Fahrzeug (100), umfassend eine solche Anordnung (10).

Description

Beschreibung
Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und
Fahrzeug mit einer solchen Anordnung
Die Erfindung betrifft ein Verfahren und eine Anordnung zum Erzeugen einer
Umgebungsrepräsentation eines Fahrzeugs und ein Fahrzeug umfassend eine solche
Anordnung.
Der Einsatz von Umgebungsrepräsentationen in Fahrzeugen ist bekannt. Diese werden allgemein dafür verwendet, um einen Fahrer über eine aktuelle Betriebssituation des Fahrzeugs zu informieren und insbesondere dem Fahrer eine Darstellung der aktuellen
Fahrzeugumgebung bereitzustellen. Dies kann z.B. mittels einer Anzeigeeinrichtung im
Fahrzeuginnenraum erfolgen, auf der die Umgebungsrepräsentation angezeigt wird.
Im Stand der Technik existieren Ansätze, um Umgebungsrepräsentationen mittels
fahrzeugmontierter Kameras zu erstellen. Die Umgebungsrepräsentation kann dabei nach Art einer sogenannten Top- oder Bird-View-Perspektive erstellt und angezeigt werden, in der zu Orientierungszwecken oftmals eine modellhafte Darstellung des Fahrzeugs selbst eingeblendet wird (beispielsweise in der Bildmitte). Anders ausgedrückt sind Umgebungsrepräsentationen bekannt, bei denen ein Modell des Fahrzeugs in Draufsicht sowie die Fahrzeugumgebung dargestellt werden, wobei die Fahrzeugumgebung anhand der erfassten Kamerabilder abgebildet wird. Eine solche Lösung wird von der Anmelderin unter der Bezeichnung„Area View“ angeboten.
Die Umgebungsrepräsentation wird typischerweise aus von mehreren fahrzeugmontierten Kameraeinrichtungen erfassten Bildern zusammenzufügt. Hierfür sind Ansätze bekannt, bei denen eine (virtuelle) Projektionsleinwand erzeugt und die Bilder in diese Projektionsleinwand hineinprojiziert werden, wobei sich die Bilder mehrerer Kameras bei einer entsprechend gleichzeitigen Projektion zu der Umgebungsrepräsentation zusammensetzen. Die Projektion erfolgt dabei beispielsweise nach Maßgabe der bekannten Einbaupositionen und/oder
Blickwinkel der Kameraeinrichtungen. Die DE 10 2010 051 206 A1 offenbart in diesem Zusammenhang das Zusammenfügen mehrerer Teilbilder zu einem die Teilbilder überschreitenden größeren Bereich, wobei auch zusätzliche Symbole (sogenannte künstliche Bildelemente) eingeblendet werden können.
Weiterer technologischer Hintergrund existiert in Form der DE 10 2015 002 438 A1 , der DE 10 2013 019 374 A1 , der DE 10 2016 013 696 A1 und der DE 603 18 339 T2.
Wie geschildert, kann zum Erstellen der Umgebungsrepräsentation auf Basis von
Kamerabildern eine (virtuelle) Projektionsleinwand definiert werden. Diese wird typischerweise als eine horizontale Raumebene definiert und/oder als Fahrzeuguntergrund. Dies beruht auf dem Gedanken, dass die Kameras zumindest anteilig ebenfalls auf den Fahrzeuguntergrund gerichtet sind, beispielsweise durch die Wahl eines entsprechenden Blickwinkels, und somit erfasste Bilder auch wieder auf den Fahrzeuguntergrund zurückprojiziert werden können. Dies stellt eine vergleichsweise einfache Lösung zum Erstellen der Umgebungsrepräsentation dar, bei der sich insbesondere in unmittelbarer Fahrzeugnähe zufriedenstellende Ergebnisse erzielen lassen. In bestimmten Situationen kann dieser Ansatz jedoch zu Verzerrungen führen, was die Repräsentationsqualität mindert. Alternativ ist es daher bekannt, die
Projektionsleinwand gewölbt auszubilden, was auch als Projektions-„Bowl“ bezeichnet wird. In beiden Fällen ist die Projektionsleinwand für sich genommen jedoch eben ausgebildet und erstreckt sich als zweidimensionale flache oder gewölbte Struktur um das Fahrzeug bzw. um das eingeblendete Fahrzeugmodell herum. Es hat sich gezeigt, dass auch das Verwenden einer gewölbten Projektionsleinwand nicht immer zu einer realitätsnahen und intuitiv verständlichen Umgebungsrepräsentation führt. Zudem lassen sich bisher nur vergleichsweise kleine
Umgebungsbereiche als Umgebungsrepräsentation abbilden, was den Informationsgehalt und somit die Qualität ebenfalls mindert.
Es stellt sich somit die Aufgabe, die Qualität einer Umgebungsrepräsentation für ein Fahrzeug zu verbessern.
Diese Aufgabe wird mit einem Verfahren gemäß dem beigefügten Anspruch 1 , einer Anordnung gemäß dem beigefügten Anspruch 9 und einem Fahrzeug gemäß Anspruch 10 gelöst. Es versteht sich, dass die einleitend diskutierten Varianten und Merkmale auch bei der
vorliegenden Erfindung vorgesehen sein können, sofern nicht anders angegeben oder ersichtlich.
Ein Grundgedanke der Erfindung besteht darin, die Projektionsleinwand an die
Fahrzeugumgebung anzupassen. In Abweichung vom Stand der Technik soll dabei ermöglicht werden, die Projektionsleinwand nicht mehr ausschließlich flach oder gleichmäßig gewölbt auszugestalten. Insbesondere soll die Projektionsleinwand in Bereichen mit erhabenen
Strukturen innerhalb der Fahrzeugumgebung ebenfalls (lokal) erhaben ausgebildet werden. Es hat sich gezeigt, dass sich hiermit im Vergleich zu bisher verwendeten Projektionsleinwänden Verzerrungen innerhalb der Umgebungsrepräsentation reduzieren lassen, beispielsweise im Vergleich zu dem bisherigen Fall, bei dem in den Kamerabildern erfasste real erhabene
Strukturen auf flache oder gewölbte Projektionsleinwände projiziert werden.
Weiter sieht die Erfindung vor, nicht nur in der unmittelbaren Fahrzeugnähe eine
Umgebungsrepräsentation zu erzeugen, sondern darauf basierend eine (virtuelle) Umfeldkarte zu erzeugen, die einen Bereich abdeckt, der größer als der Erfassungsbereich von zum
Ermitteln der Umgebungsrepräsentation verwendeten Sensoren ist (d.h. größer als der sensorbezogene Erfassungsbereich bzw. der Erfassungsbereich bei stehendem Fahrzeug ist). Die Umgebungsrepräsentation kann dazu verwendet, um während einer Fahrt des Fahrzeugs eine Umfeldkarte fortlaufend zu texturieren, zu erzeugen und/oder zu ergänzen. Die
Umfeldkarte kann daher prinzipiell eine variable Größe aufweisen oder allgemein als eine Datensammlung variabler Größe erzeugbar sein. Zum Beispiel kann die Umfeldkarte nach Maßgabe der gesammelten bzw. erzeugten Umgebungsrepräsentationen fortlaufend ergänzt und beispielweise bis hin zu einer optionalen Maximalgröße vergrößert werden.
Insbesondere kann die Umfeldkarte entlang einer Fahrstrecke des Fahrzeugs erzeugt und ergänzt werden, welche zum Beispiel mindestens 5 m, mindestens 10 m oder mindestens 20 m lang ist. Nach Art eines Ringspeichers oder auch dem sogenannten FIFO-Prinzip (First in First Out) können Bereiche der Umfeldkarte, die vorzugsweise entgegen der aktuellen Fahrtrichtung oder bezogen auf die aktuelle Fahrtrichtung hinter dem Fahrzeug liegen, gelöscht werden und können neue vorzugsweise in Fahrtrichtung liegende Bereiche der Umfeldkarte ergänzt werden. Dies kann durch entsprechendes Löschen und Ergänzen von Informationen für diese Bereiche erfolgen. Die Umfeldkarte (bzw. der hiervon abdeckte Umgebungsbereich) kann also
sozusagen gemeinsam mit dem Fahrzeug relativ zur Umgebung bewegt werden.
Ferner kann das Fahrzeug verschiedenartig innerhalb der Umfeldkarte positionierbar sein und/oder die Umfeldkarte kann nicht fahrzeugfest sein bzw. nicht rein zentrisch um das
Fahrzeug erzeugt werden.
Im Detail wird ein Verfahren zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs vorgeschlagen, mit:
Ermitteln eines Höhenprofils einer Fahrzeugumgebung; Erfassen von Bildinformationen der Fahrzeugumgebung;
Projizieren der Bildinformationen auf eine Projektionsleinwand zum Erzeugen der Umgebungsrepräsentation;
wobei die Projektionsleinwand zumindest bereichsweise erhaben erzeugt wird, wenn das ermittelte Höhenprofil eine entsprechend erhabene Struktur der Fahrzeugumgebung anzeigt und
- Erzeugen einer Umfeldkarte des Fahrzeugs basierend auf der
Umgebungsrepräsentation, wobei mit der Umfeldkarte ein Umgebungsbereich des Fahrzeugs abbildbar ist (und/oder abgebildet wird), der größer als ein Erfassungsbereich von zum Ermitteln des Höhenprofils und/oder der Bildinformationen verwendeten Sensoren ist.
Beispielsweise kann der von der Umfeldkarte abgebildete Umgebungsbereich wenigstens das Anderthalbfache, wenigstens das Zweifache, wenigstens das Dreifache oder wenigstens das Vierfache des Sensor-Erfassungsbereichs umfassen, wobei die jeweiligen Bereiche
vorzugsweise als Flächen betrachtet werden (beispielsweise in einer horizontalen Raumebene bzw. entlang dem Fahrzeuguntergrund).
Es versteht sich, das mit einem einzelnen Sensor in der Regel nur entweder das Höhenprofil oder die Bildinformationen erfasst werden. Weiter kann unter einem Erfassungsbereich eines Sensors ein Bereich verstanden werden, innerhalb dem auswertbare Signale und/oder Signale erfassbar sind, die ein vorbestimmtes Qualitätskriterium erfüllen (z.B. ein Signal-Rausch- Verhältnis von wenigstens 0,5 oder wenigstens 0,7 aufweisen).
Bei der Umgebungsrepräsentation kann es sich um eine virtuelle und/oder digitale
Umgebungsrepräsentation handeln. Insbesondere kann es sich um eine in Form oder auf Basis von Bild- und/oder Videodateien erzeugte Repräsentation handeln. Die
Umgebungsrepräsentation kann auf einer Anzeigeeinrichtung anzeigbar sein, insbesondere in einem Fahrzeuginnenraum. Ein anzeigbarer Ausschnitt der Umgebungsrepräsentation kann einem Erfassungsbereich der Sensoren entsprechen. Die Umfeldkarte kann allgemein einen größeren Umgebungsbereich abbilden, als er auf der Anzeigeeinrichtung anzeigbar ist.
Allgemein kann ein vollständiges dreidimensionales Profil der Fahrzeugumgebung erfasst werden, beispielsweise mittels nachfolgend erläuterter (Umfeld-) Sensoreinrichtungen.
Zumindest sollte aber ein Höhenprofil der Fahrzeugumgebung erfasst werden, also eine Erstreckung von Strukturen der Fahrzeugumgebung in vertikaler Raumrichtung, wobei die vertikale Raumrichtung vorzugsweise orthogonal zum Fahrzeug Untergrund verläuft. Es versteht sich, dass die Ausmaße des erfassbaren Höhenprofils (oder auch des vollständigen
dreidimensionalen Profils der Fahrzeugumgebung) z.B. durch die verwendeten
Sensoreinrichtungen und deren Erfassungsbereiche beschränkt sein kann.
Das (vorzugsweise dreidimensionale) Höhenprofil kann als Datei vorliegen und/oder eine digitale Informationssammlung sein, die zum Beispiel die Umgebung in Form einer (Mess-) Punktesammlung und/oder eines Gittermodells abbildet. Die Erfindung sieht demnach allgemein vor, die Projektionsleinwand nach Maßgabe des Höhenprofils zu erzeugen (d. h. die
Projektionsleinwand analog zum Höhenprofil (vorzugsweise dreidimensional) zu formen). Die Projektionsleinwand und somit mittelbar die Umfeldkarte können dann mit den Bildinformationen texturiert werden. Anders ausgedrückt kann die Umgebungsrepräsentation auch als mit Bildinformationen texturiertes Höhenprofil bezeichnet werden und/oder die Umfeldkarte kann auf Basis einer Umgebungsrepräsentation, die verschiedene Umgebungsbereiche abbildet, erzeugt bzw. zusammengesetzt werden.
Bei den erfassten Bildinformationen kann es sich um Videoinformationen und/oder einen Video- Bilddatenstrom handeln. Entsprechend kann die Umgebungsrepräsentation fortlaufend aktualisiert und/oder erzeugt werden, beispielsweise durch fortlaufendes Einspeisen neuer (d.h. aktuell erfasster) Bildinformationen. Zum Erzeugen der Umgebungsrepräsentation werden bei Verwenden von mit unterschiedlichen Kameraeinrichtungen erfassten Bildinformationen vorzugsweise Bildinformationen gleichzeitig projiziert, die zu gleichen Erfassungszeitpunkt erfasst bzw. aufgezeichnet wurden.
Wie geschildert, kann das Projizieren ein Anordnen der Bildinformationen in bzw. auf der Projektionsleinwand umfassen, was allgemein rechnergestützt erfolgen kann. Hierbei kann auf Informationen zum Systemaufbau und insbesondere die Position und/oder Ausrichtung von zur Bilderfassung verwendeten Kameraeinrichtungen zurückgegriffen werden.
Unter einem erhabenen Ausbilden der Projektionsleinwand kann eine zumindest bereichsweise Erstreckung in einer nicht-horizontalen Richtung und/oder in einem Winkel zum (virtuellen) Fahrzeuguntergrund verlaufenden Richtung verstanden werden. Beispielsweise kann die Projektionsleinwand zumindest bereichsweise vertikal verlaufen. Allgemein ausgedrückt kann das erhabene Ausbilden der Projektionsleinwand in einem dreidimensionalen Ausbilden der Projektionsleinwand resultieren, wobei sich die erhabenen Bereiche von zum Beispiel einer Ausgangsebene der Projektionsleinwand abheben bzw. in einem Winkel hierzu erstrecken können). Erhabene Bereiche können zum Beispiel vorsprungartig oder als hervorstehende Bereiche geformt sein, bspw. bezogen auf eine o.g. Ausgangs- oder Basisebene der
Projektionsleinwand. Durch Vorsehen erhabener Bereiche kann die Projektionsleinwand zumindest bereichsweise Kanten, Knicke und/oder Winkel aufweisen. Die Projektionsleinwand kann als Folge der erhabenen Bereiche in einem Winkel zueinander verlaufende Bereiche und/oder parallel zueinander verlaufende Bereiche (und insbesondere Ebenen) auf
unterschiedlichen Höhenniveaus aufweisen.
Das Verfahren kann optional umfassen, in dem Höhenprofil erhabene Bereiche zu ermitteln und die Projektionsleinwand für zumindest ausgewählte dieser Bereiche von einer zunächst oder standardmäßig ebenen (bzw. horizontalen) Erstreckung lokal abzuwandeln, insbesondere in der Form, dass sich Projektionsleinwand dort analog zu den erhabenen Bereichen des Höhenprofils bzw. der Umfeldkarte erstreckt (z.B. vertikal).
Weiter kann allgemein auch eine Position des Fahrzeugs innerhalb der Umfeldkarte ermittelt werden. Hierzu kann in an sich bekannter Weise auf Odometrieinformation zurückgegriffen werden, welche zum Beispiel Radbewegungen erfassen bzw. abbilden. Ferner kann ein Lenkwinkel und/oder eine Fahrzeugneigung erfasst und berücksichtigt werden. Ebenso kann auf Informationen von Navigationssystemen (insbesondere Ortungsinformationen)
zurückgegriffen werden, wobei derartige Informationen beispielsweise auf Basis von GPS- Signalen erzeugt werden können. Bevorzugt wird jedoch eine Variante ohne Zuhilfenahme derartiger Informationen und insbesondere von GPS-Signalen, beispielsweise um unabhängig von aktuellen Empfangsbedingungen für derartige Signale zu sein.
Dies kann auch dahingehend ausgenutzt werden, als dass den erfassten Bildinformationen ebenfalls entsprechende Ortsinformationen zugeordnet werden können. Hierbei ist vorteilhaft, wenn ein zum Erfassen der Bildinformationen verwendeter Sensor (z.B. eine
Kameraeinrichtung) gleichartig innerhalb dem Fahrzeug positioniert ist und bleibt (d. h. an einer gleich bleibenden Stelle darin positioniert und/oder gleichbleibend ausgerichtet ist und somit ein konstanten Blickwinkel aufweist). Darauf basierend kann zum Beispiel eine Fahrzeugposition in eine Position der Kameraeinrichtungen umgerechnet werden und/oder können den erfassten Bildinformationen entsprechender Ortsinformationen zugeordnet werden.
In analoger Weise können auch Bereichen der Umfeldkarte und/oder des Höhenprofils entsprechende Ortsinformationen zugeordnet werden, wobei beispielsweise auf eine Position der Sensoreinrichtung zum Erzeugen der Umfeldkarte (beispielsweise Abstandssensoren) zurückgegriffen werden kann und eine ermittelte Fahrzeugposition in eine Position der Sensoreinrichtung umgerechnet werden kann. Hiervon erfassten Informationen (insbesondere hiervon erfassten Bereichen der Umfeldkarte und/oder des Höhenprofils) können dann ebenfalls mit Ortsinformationen versehen werden.
Allgemein können somit sowohl Bereiche der Umfeldkarte und/oder des Höhenprofils als auch erfasste Bildinformationen mit Ortsinformationen versehen sein, sodass auch ermittelt werden kann, welche Bildinformationen sich auf welche Bereiche der Umfeldkarte und/oder des Höhenprofils beziehen.
Es versteht sich, dass derartige Ortsinformationen auch als Ortsinformationen für die
Umgebungsrepräsentation verwendet werden können. Insbesondere kann einem Bereich der Umgebungsrepräsentation, der einen bestimmten Umgebungsbereich abbildet, eine diesen Umgebungsbereich betreffende Ortsinformation zugeordnet werden, z.B. anhand der verwendeten Bildinformation(en). Zum Erzeugen der Umfeldkarte können mehrere derartige Bereiche der Umgebungsrepräsentation nach Maßgabe von Ortsinformationen
zusammengefügt werden.
Vorzugsweise werden die Bildinformationen mit wenigstens einer fahrzeugmontierten
Kameraeinrichtung erfasst, die eine Art von Sensor zum Erzeugen der
Umgebungsrepräsentation darstellt. Gemäß einer Variante können mindestens drei oder mindestens vier Kameraeinrichtungen vorgesehen sein, die beispielsweise um das Fahrzeug verteilt sein können, sodass vorzugsweise an jeder Fahrzeugseite (d.h. an der Vorder- und Rückseite sowie an den beiden äußeren, die Einstiegstüren umfassenden Seiten) Kameras vorgesehen sind. Folglich kann die Umgebungsrepräsentation einer sogenannten„surround“- oder auch 360°-Ansicht entsprechen. Wie erwähnt, können die Bildinformationen in Form von Videodaten und/oder als Bild-Datenstrom bereitgestellt werden und die Kameraeinrichtungen können entsprechend als Videokameras ausgebildet sein.
Das Höhenprofil (bzw. die Umfeldkarte) kann zumindest teilweise auf Basis von mit Sensoren in Form von wenigstens einer fahrzeugmontierten (Umfeld-) Sensoreinrichtung erfassten
Informationen erzeugt werden, wobei es sich bei der fahrzeugmontierten Sensoreinrichtung vorzugsweise um eine von den Kameraeinrichtungen verschiedene Sensoreinrichtungen handelt. Insbesondere kann die Sensoreinrichtung dazu eingerichtet sein, die
Fahrzeugumgebung nicht auf Basis von gemessenen Umgebungslichtintensitäten zu erfassen, wie bei Kameraeinrichtungen üblich. Beispielsweise kann es sich bei der Sensoreinrichtung um eine der folgenden handeln: eine Abstandsmesseinrichtung, eine Radareinrichtung, eine Lidareinrichtung, eine Ultraschalleinrichtung, eine optische Abstandsmesseinrichtung
(beispielsweise basierend auf Laserstrahlung).
Gemäß einer bevorzugten Ausführungsform werden die Bildinformationen zum Erzeugen einer zumindest bereichsweisen Textur der Projektionsleinwand verwendet. Anders ausgedrückt kann also wenigstens ein Bereich Projektionsleinwand basierend auf oder mittels der
Bildinformationen texturiert werden. Dies kann durch das Projizieren der Bildinformationen erfolgen, wobei an den Auftreffbereichen der Bildinformationen auf der Projektionsleinwand eine entsprechende Texturierung oder, mit anderen Worten, Abbildung der Bildinformationen an diesen Bereich als entsprechende Textur erfolgen kann.
Bei einer weiteren Variante können in zumindest ausgewählten (insbesondere erhabenen) Bereichen der Projektionsleinwand Texturierungen mittels vorbestimmter Ausfüllinformationen anstelle der Bildinformationen erfolgen. Im Rahmen der vorliegenden Offenbarung kann allgemein vorgesehen sein, zunächst sämtliche Bildinformationen auf die Projektionsleinwand zu projizieren (z.B. bezogen auf einen vorgegebenen Zeitpunkt) und dann den Inhalt der Projektionsleinwand nachträglich anzupassen (z.B. durch bereichsweises Ausblenden oder Überschreiben der auf die Projektionsleinwand projizierten Bildinformationen). Alternativ kann vorgesehen sein, von vornherein Bereiche der Projektionsleinwand zu ermitteln, auf welche die Bildinformationen nicht projiziert werden sollen bzw. in denen andere Informationen als die Bildinformationen dargestellt werden sollen.
Im Rahmen des Verfahrens kann also auch vorgesehen sein, Bereiche der Projektionsleinwand für eine Texturierung mittels der vorbestimmten Ausfüllinformationen anstelle der
Bildinformationen zu ermitteln. Dies kann in Abhängigkeit des ermittelten Höhenprofils erfolgen. Beispielsweise können anhand des Höhenprofils Bereiche ermittelt werden, an denen ein Projizieren einer Bildinformation voraussichtlich zu Qualitätseinbußen führen würde und stattdessen auf die vorbestimmten Ausfüllinformationen zurückgegriffen werden soll. Hierbei kann es sich um erhabene Bereiche handeln oder von erhabenen Bereichen (aus
Fahrzeugsicht) verdeckte Bereiche.
Bei einer Weiterbildung erfolgt in wenigstens einem Bereich der Projektionsleinwand, der aus Fahrzeugsicht hinter einem erhabenen Bereich der Projektionsleinwand liegt (also durch diesen erhabenen Bereich verdeckt wird), eine Texturierung mittels vorbestimmter Ausfüllinformationen anstelle der Bildinformationen. Dem liegt der Gedanke zugrunde, dass für diesen Bereich keine aussagekräftigen Bildinformationen ermittelbar sind, da diese aus Sicht der Kamera durch den erhabenen Bereich (bzw. der diesem Bereich zugrundeliegenden erhabenen Struktur des Höhenprofils) verdeckt ist. Um die Aussagekraft der Umgebungsrepräsentation zu erhöhen, können vorbestimmte Ausfüllinformationen verwendet werden, die beispielsweise auch lediglich dazu dienen, einen Fahrer darauf aufmerksam zu machen, dass für den entsprechenden Bereich keine aussagekräftigen Bildinformationen vorliegen.
In diesem Zusammenhang können die Ausfüllinformationen wenigstens eine der folgenden umfassen:
- eine vorgegebene Farbe (z.B. schwarz oder weiß);
- ein vorgegebenes Muster;
- eine Texturierungsvorgabe für ein in dem wenigstens einen Bereich erkanntes Objekt.
In letzterem Fall kann basierend auf bekannten Bildauswertealgorithmen und z.B. anhand vorab hinterlegter Objektklassen (z.B. umfassend Verkehrsschilder, Fahrzeugtypen, Bauelemente wie Bordsteine oder Bürgersteige) ein in dem Bereich vorhandenes Objekt erkannt und klassifiziert werden. Dieses kann daraufhin anstelle der tatsächlichen Bildinformationen durch anderweitige Ausfüllinformationen (bzw. eine Texturierungsvorgabe) dargestellt werden. Aus Sicht des Fahrers kann dies Aussagekraft der Umgebungsrepräsentation erhöhen, da ihm häufig wiederkehrende Merkmale stets in der gleichen Weise basierend auf der Texturierungsvorgabe angezeigt werden und somit der Inhalt der Umgebungsrepräsentation schnell und intuitiv erfassbar ist.
Die Erfindung betrifft ferner eine Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs, mit:
- wenigstens einer Sensoreinrichtung zum Erfassen von Informationen für das Erzeugen eines Höhenprofils der Fahrzeugumgebung;
- wenigstens einer Kameraeinrichtung zum Erfassen von Bildinformationen der
Fahrzeugumgebung; und
- einer Umgebungsrepräsentations-Erzeugungseinrichtung, die dazu eingerichtet ist, folgende Schritte durchzuführen:
• Ermitteln des Höhenprofils der Fahrzeugumgebung;
• Erzeugen einer Projektionsleinwand für die Umgebungsrepräsentation basierend auf dem Höhenprofil;
• Projizieren der Bildinformationen auf zumindest einen Teil der Projektionsleinwand zum Erzeugen der Umgebungsrepräsentation, wobei die Projektionsleinwand zumindest bereichsweise erhaben erzeugbar ist, wenn das ermittelte Höhenprofil eine entsprechend erhabene Struktur der Fahrzeugumgebung anzeigt, und wobei die Umgebungsrepräsentations-Erzeugungseinrichtung ferner zum Erzeugen einer Umfeldkarte des Fahrzeugs auf Basis der Umgebungsrepräsentation eingerichtet ist, mit der ein Umgebungsbereich des Fahrzeugs abbildbar ist, der größer als ein Erfassungsbereich der Sensoreinrichtung und der Kameraeinrichtung ist.
Sämtliche der vorstehenden und nachstehenden im Zusammenhang mit dem Verfahren erläuterten Merkmale und Weiterbildungen können bei der Anordnung ebenfalls vorgesehen sein. Insbesondere kann die Anordnung dazu eingerichtet sein, ein Verfahren gemäß jeglicher der vorstehenden und nachstehenden Varianten auszuführen.
Weiter betrifft die Erfindung ein Fahrzeug, umfassend eine Anordnung der vorstehenden Art.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand der beigefügten
schematischen Figuren erläutert. Es stellen dar:
Fig. 1 A eine schematische Darstellung eines Fahrzeugs, umfassend eine Anordnung gemäß einem Ausführungsbeispiel der Erfindung, wobei die Anordnung die Fahrzeugumgebung erfasst;
Fig. 1 B eine schematische Darstellung einer basierend auf der Erfassung aus Fig. 1 A erzeugten Projektionsleinwand; und
Fig. 2 ein Ablaufschema für ein erfindungsgemäßes Verfahren.
In Fig. 1A ist ein Fahrzeug 100 gezeigt, das eine erfindungsgemäße Anordnung 10 umfasst, die ein erfindungsgemäßes Verfahren ausführt. Das Fahrzeug 100 ist schematisch in Frontalansicht gezeigt, sodass die Blickachse einem Blick auf die Fahrzeugvorderseite bzw. - front entspricht. Man erkennt, dass das Fahrzeug 100 in einem Seitenbereich (z.B. an einem nicht gesondert dargestellten Seitenspiegel und somit nicht unmittelbar an der dem Betrachter zugewandten Vorderseite) eine Kameraeinrichtung 12 und eine weitere Sensoreinrichtung 14 in Form einer Abstandsmesseinrichtung umfasst (z.B. eine Ultraschall-Sensoreinrichtung, die auch im Bereich eines Kotflügels angeordnet sein kann). Die Kameraeinrichtung 12 weist einen strichliert angedeuteten und sich konisch aufweitenden Erfassungsbereich auf, wobei aber aufgrund einer sich mit zunehmendem Abstand
verringernden Auflösung nicht beliebig weit entfernte Bereiche mit einer gewünschten Qualität erfassbar sind. Die Sensoreinrichtung 14 erfasst in an sich bekannter Weise Abstände zu Strukturen in der Umgebung per Ultraschall, was in Fig. 1 A durch eine einzelne strichlierte Linie angedeutet ist. Die Kameraeinrichtung 12 und auch die Sensoreinrichtung 14 weisen somit jeweils einen definierten Erfassungsbereich auf (d. h. einen Erfassungsbereich der Umgebung), dessen Größe insbesondere durch Anforderungen an die Qualität der erfassten Informationen begrenzt ist (beispielsweise auf weniger als 4 m oder weniger als 3 m).
Das Fahrzeug 100 weist, wenn auch nicht entsprechend dargestellt, an jeder Seite wenigstens eine Kameraeinrichtung 12 und eine weitere Sensoreinrichtung 14 auf, sodass die
Fahrzeugumgebung im Sinne einer 360°-Erfassung sowohl bildlich als auch mittels der Sensoreinrichtungen 14 vollständig erfassbar ist.
In Fig. 1A ist seitlich vom Fahrzeug 100 als eine erhabene (d.h. von der rein horizontalen Raumebene abweichende) Struktur ein Bordstein 16 gezeigt. Dieser wird sowohl von der Kameraeinrichtung 12, die fortlaufend Videobilder der Umgebung erzeugt, als auch der Sensoreinrichtung 14 erfasst, die ebenfalls fortlaufend eine Umgebungserfassung vornimmt.
Die Kameraeinrichtung 12 und Sensoreinrichtung 14 senden die erfassten und optional auch bereits ausgewerteten Informationen an eine Umgebungsrepräsentations- Erzeugungseinrichtung 18, die z.B. in ein Steuergerät des Fahrzeugs 100 integriert bzw. als ein solches bereitgestellt sein kann.
Anhand der von der Sensoreinrichtung 14 erfassten Informationen erstellt die
Umgebungsrepräsentations-Erzeugungseinrichtung 18 ein Höhenprofil der Umgebung. Dabei führt sie vorzugsweise die Informationen mehrerer oder auch sämtlicher entsprechender Sensoreinrichtungen 14 an den einzelnen Fahrzeugseiten zusammen, wobei eine
entsprechende Mehrzahl von Sensoreinrichtungen 14 in Fig. 1 A nicht gesondert gezeigt ist. Weiter können für das Erstellen des Höhenprofils auch erfasste Kamerabilder ausgewertet werden, z.B. um eine Plausibilisierung der Messsignale der Sensoreinrichtungen 14
vorzunehmen und/oder Grenzen hiervon erfasster erhabener Bereiche zu überprüfen oder präziser zu definieren (z.B. eine in Fig. 1 A vertikale Höhe des Bordsteins 16 über dem unmittelbaren Fahrzeuguntergrund 20 per Bilderkennung zu verifizieren oder zu ermitteln). Anhand dieses Höhenprofils erzeugt die Umgebungsrepräsentations-Erzeugungseinrichtung 18 ferner eine virtuelle Projektionsleinwand 22 (sh. Fig. 1 B), in die sie dann zum Erzeugen der Umgebungsrepräsentation von sämtlichen Kameraeinrichtungen 12 zeitgleich erfasste
Bildinformationen in an sich bekannter Weise hineinprojiziert.
In Fig. 1 B ist schematisch ein Ausschnitt der von der Umgebungsrepräsentations- Erzeugungseinrichtung 18 erzeugten (virtuellen) Projektionsleinwand 22 gezeigt. Diese kann z.B. als ein Datensatz definiert werden, der die räumliche Erstreckung der Projektionsleinwand 22 z.B. um einen virtuellen Fahrzeugmittelpunkt M (oder auch eine sogenannte virtuelle Kamera) definiert. Die Projektionsleinwand 22 wird dem Fahrer nicht gesondert dargestellt, sondern lediglich für das Erzeugen der Umgebungsrepräsentation verwendet. Abweichend von der Darstellung aus Fig. 1 B ist die Projektionsleinwand 22 dabei als ein dreidimensionales Gebilde definiert und erstreckt sich z.B. auch in die Bildebene von Fig. 1 B hinein sowie zu gleichen Teilen auch links von dem Fahrzeugmittelpunkt M.
Man erkennt, dass die Projektionsleinwand 22 keine rein ebene (d.h. sich in einer einzelnen flachen oder gewölbten zweidimensionalen Ebene erstreckende) Form aufweist. Stattdessen weist sie im Bereich des Bordsteins 16 ebenfalls einen erhabenen Bereich 24 aufweist. Die Projektionsleinwand 22 erstreckt sich somit analog zu dem erfassten Höhenprofil der
Fahrzeugumgebung bzw. ist entsprechend diesem geformt. Dies äußert sich in Fig. 1 B in dem stufenförmigen vertikalen Anstieg der Projektionsleinwand 22, welcher dem erfassten
Höhenprofil entspricht (d.h. das durch den Bordstein 16 verursachte unebene Höhenprofil widerspiegelt).
Die Umgebungsrepräsentations-Erzeugungseinrichtung 18 verwendet diese
Projektionsleinwand 22, um die mittels der Kameraeinrichtung 12 erfassten Bildinformationen darauf zu projizieren. Dies erfolgt gemäß aus dem Stand der Technik bekannter Ansätze, die teilweise in den einleitend geschilderten Druckschriften erläutert werden oder bei der von der Anmelderin angebotenen„Area View“-Lösung bereits zum Einsatz kommen.
Im Rahmen der Projektion wird die zunächst nicht gesonderte texturierte Projektionsleinwand 22 (bzw. eine dem Höhenprofil entsprechende Umfeldkarte) texturiert. Dies bedeutet, dass die Bildinformationen per Projektion innerhalb der Projektionsleinwand 22 angeordnet bzw. darin verteilt werden oder, mit anderen Worten, ausfüllen. Dadurch, dass die Projektionsleinwand 22 nach Maßgabe des erfassten Höhenprofils ebenfalls erhaben ausgebildet werden kann, können Verzerrungen reduziert werden, die bei einem bisherigen Projizieren in eine rein horizontale Ebene aufgetreten sind (beispielsweise in eine Ebene entsprechend dem Fahrzeuguntergrund 20 aus Fig. 1 A). Die Erfindung ermöglicht somit eine höhere Qualität der Umgebungsrepräsentation, da diese realitätsnah und für den Fahrer leichter nachzuvollziehen ist.
Die auf diese Weise erhaltene Umgebungsrepräsentation kann einem Fahrer in einer
Anzeigeeinrichtung im Fahrzeuginnenraum angezeigt werden. Dies erfolgt vorzugsweise als eine sogenannte Bird-View-Perspektive oder auch Fahrzeugdraufsicht, bei denen das Fahrzeug als Symbol eingeblendet wird. Beispiele vergleichbarer Darstellungen finden sich beispielsweise in den Bereichen 29a und 29d aus den Figuren 4 & 5 der o.g. DE 10 2015 002 438 A1.
Erfindungsgemäß ist jedoch ferner vorgesehen, eine derartige Umgebungsrepräsentation zum Erzeugen einer vergleichsweise großen Umfeldkarte des Fahrzeugs zu verwenden. Genauer gesagt ist die Umgebungsrepräsentations-Erzeugungseinrichtung 18 dazu eingerichtet, erzeugte Umgebungsrepräsentationen (bzw. verschiedene Bereiche einer
Umgebungsrepräsentation) zum Beispiel basierend auf vorstehend erläuterten
Ortsinformationen zum Erzeugen einer (virtuellen bzw. digitalen) Umfeldkarte
zusammenzusetzen, um einen Umgebungsbereich des Fahrzeugs abzubilden, der größer als ein Erfassungsbereich der Sensoren 12, 14 ist und beispielsweise in wenigstens einer
Dimension mehrere Meter (zum Beispiel wenigstens 5 m oder wenigstens 10 m) umfasst. Somit kann insgesamt eine realitätsnahe und vergleichsweise große Umfeldkarte (oder, anders ausgedrückt, eine großflächige zusammengesetzte Umgebungsrepräsentation) erzeugt werden, mit deren Hilfe eine präzisere Darstellung und allgemein umfassende Informationssammlung bezüglich der Umgebung erzielbar ist. Diese kann dazu verwendet werden, um einem Fahrer im Vergleich zu bisherigen Lösungen größere, realitätsnähere und/oder während einer Fahrt und insbesondere während Rangiervorgängen fortlaufend aktualisierte und auch schnell abrufbare Ausschnitte der Umfeldkarte auf einer Anzeigeeinrichtung im Fahrzeuginnenraum anzuzeigen.
Anhand von Fig. 1 B wird im Folgenden eine weitere bevorzugte Ausgestaltung der
erfindungsgemäßen Lösung erläutert. In Fig. 1 B ist ein Bereich 26 markiert, der aus Sicht des Fahrzeugs 100 (bzw. des Fahrzeugmittelpunkts M) hinter dem erhabenen Bereich 24, also hinter dem dem Bordstein 16 entsprechenden Bereich der Projektionsleinwand 22 positioniert ist. Es kann der Fall eintreten, dass für derartige Bereiche 26 keine Bildinformationen mittels der Kameraeinrichtungen 14 erfassbar sind, da sie von der erhabenen Struktur (in diesem Fall dem Bordstein 16) verdeckt sind. Ob derartige potentiell verdeckte Bereiche 26 vorliegen, kann in einem gesonderten Verfahrensschritt ermittelt werden. Hierzu kann auf die Informationen des Höhenprofils zurückgegriffen werden, beispielsweise auf eine lokal erfasste Höhe H, wie sie in Fig. 1 B für die Projektionsleinwand 22 in dem erhabenen Bereich 24 angezeigt ist. Übersteigt diese einen Mindestschwellenwert, kann davon ausgegangen werden, dass aus Fahrzeugsicht dahinterliegenden Bereich voraussichtlich verdeckt sind und keine aussagekräftigen
Bildinformationen hierfür ermittelbar sind.
Prinzipiell kann die gezeigte Höhe H auch deutlich größer gewählt werden, z.B. als eine Art vertikale Begrenzungsfläche der Projektionsleinwand 22. Für diesen Fall kann die Projektion auf die vertikale Begrenzungsfläche erfolgen und das Ermitteln verdeckter Bereich oder das Vorsehen gesonderter Ausfüllinformationen wäre nicht zwingend erforderlich.
In der gezeigten Variante ist jedoch ein Ermitteln und eine besondere Darstellung verdeckter Bereiche 26 gewünscht. Wurde ein entsprechender (potentiell) verdeckter Bereich 26 ermittelt (beispielsweise von der Umgebungsrepräsentations-Erzeugungseinrichtung 18 und z.B. unter Berücksichtigung der vorstehend diskutierten Informationen), kann für diesen Bereich 26 der Projektionsleinwand 22 festgelegt werden, dass die Umgebungsrepräsentation in eben diesem Bereich 26 nicht auf Basis der erfassten Bildinformationen erzeugt wird. Stattdessen können dort vorbestimmte (oder gelichbedeutend vorgegebene) Ausfüllinformationen verwendet werden, z.B. vorgegebene Farben oder Muster, welche dem Fahrer das Fehlen von
Bildinformationen signalisieren können. Alternativ können auch gedeckte Farben oder schlicht schwarze Bereiche als Ausfüllinformationen vorgegeben werden, um die Aufmerksamkeit des Fahrers auf die tatsächlich existierenden Bildinformationen innerhalb der
Umgebungsrepräsentation zu richten und das Fehlen von Bildinformationen visuell nicht gesondert hervorzuheben. Auch auf diese Weise wird die Aussagekraft der
Umgebungsrepräsentation erhöht, da unnatürliche Verzerrungen und/oder eine unzutreffende Anordnung von Bildinformationen innerhalb der Umgebungsrepräsentation weniger
wahrscheinlich sind.
Entsprechende Vorgänge können während einer Fahrt des Fahrzeugs 100 fortlaufend durchgeführt werden, beispielsweise entlang einer Fahrstrecke von wenigstens 5 m oder wenigstens 10 m. Diese Strecke geht über die Erfassungsbereiche der Sensoren 12, 14 insbesondere bei einem stehenden Fahrzeug 100 um ein Vielfaches hinaus. Darauf basierend kann dann, wie oben erläutert, eine Umfeldkarte fortlaufend ergänzt bzw. zusammengesetzt werden und so eine Art digitale und virtuell abbildbare Informationssammlung bezüglich der Fahrzeugumgebung geschaffen werden.
In Fig. 2 ist ein Ablaufschema für das vorstehend anhand von Fig. 1 A, Fig. 1 B geschilderte Verfahren gezeigt, wobei jedoch auf eine Betrachtung gegebenenfalls verdeckter Bereiche 26 verzichtet wird.
Wie geschildert, wird in einem Schritt S1 die Fahrzeugumgebung per Kameraeinrichtung(en) 12 und per Sensoreinrichtung(en) 14 erfasst. Die Informationen werden zur Auswertung an die Umgebungsrepräsentations-Erzeugungseinrichtung 18 übermittelt. Letztere ermittelt in einem Schritt S2 ein vorzugsweise 360°-Höhenprofil der Fahrzeugumgebung. Darauf basierend wird die (virtuelle) Projektionsleinwand 22 in einem Schritt S3 erzeugt, insbesondere durch Vorsehen erhabener Bereiche 24 der Projektionsleinwand 22 nach Maßgabe entsprechend erhabener Strukturen im Höhenprofil. In einem Schritt S4 erfolgt dann die Projektion der von den
Kameraeinrichtungen 12 erfassten Bildinformationen auf die Projektionsleinwand 22. Das Resultat kann in Schritt S5 auf einer Anzeigeeinrichtung im Fahrzeuginnenraum dargestellt werden.
Es versteht sich, dass die Schritte S1 bis S5 wiederholt ausgeführt werden können, um die erzeugte Umgebungsrepräsentation permanent zu aktualisieren. Dies ist durch einen entsprechenden Pfeil von S5 zu S1 dargestellt. Ebenso können die Schritte auch teilweise parallel ausgeführt werden können. Beispielsweise kann bei Ausführen von Schritt S3 schon wieder eine erneute Umgebungserfassung im Sinne von Schritt S1 beginnen oder die
Umgebungserfassung kann allgemein fortlaufend und unterbrechungsfrei erfolgen.
Nicht gesondert dargestellt ist, dass auf diese Weise während einer Fahrt auch eine im
Vergleich großflächigere Umfeldkarte aus den jeweils erzeugten (und gegebenenfalls angezeigten) Umgebungsrepräsentationen fortlaufend zusammengesetzt werden kann. Bezugszeichenliste
10 Anordnung
12 Kameraeinrichtung
14 Sensoreinrichtung
16 Bordstein
18 Umgebungsrepräsentations-Erzeugungseinrichtung
20 Fahrzeuguntergrund
22 Projektionsleinwand
24 erhabene Struktur
26 verdeckter Bereich
100 Fahrzeug
M Fahrzeugmittelpunkt
H Höhe

Claims

Patentansprüche
1. Verfahren zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs (100), mit:
- Ermitteln eines Höhenprofils einer Fahrzeugumgebung;
- Erfassen von Bildinformationen der Fahrzeugumgebung;
- Projizieren der Bildinformationen auf zumindest einen Teil einer Projektionsleinwand (22) zum Erzeugen der Umgebungsrepräsentation,
wobei die Projektionsleinwand (22) zumindest bereichsweise erhaben erzeugt wird, wenn das ermittelte Höhenprofil eine entsprechend erhabene Struktur (16) der
Fahrzeugumgebung anzeigt; und
- Erzeugen einer Umfeldkarte des Fahrzeugs (100) basierend auf der
Umgebungsrepräsentation, mit der ein Umgebungsbereich des Fahrzeugs (100) abbildbar ist, der größer als ein Erfassungsbereich von zum Ermitteln des Höhenprofils und/oder der Bildinformationen verwendeten Sensoren ist.
2. Verfahren nach Anspruch 1 , wobei die Bildinformationen mit Sensoren in Form von
wenigstens einer fahrzeugmontierten Kameraeinrichtung (12) erfasst werden.
3. Verfahren nach einem der vorangehenden Ansprüche, wobei das Höhenprofil zumindest teilweise auf Basis von mit Sensoren in Form von wenigstens einer fahrzeugmontierten Sensoreinrichtung (14) erfassten Informationen erzeugt wird.
4. Verfahren nach Anspruch 3, wobei die Sensoreinrichtung (14) eine der folgenden ist: eine Abstandsmesseinrichtung, eine Radareinrichtung, eine Lidareinrichtung, eine
Ultraschalleinrichtung, eine optische Abstandsmesseinrichtung.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bildinformationen zum Erzeugen einer zumindest bereichsweisen Textur der Projektionsleinwand verwendet werden.
6. Verfahren nach einem der vorangehenden Ansprüche, wobei in wenigstens einem
Bereich der Projektionsleinwand (22) eine Texturierung mittels vorbestimmter
Ausfüllinformationen anstelle der Bildinformationen erfolgt.
7. Verfahren nach einem der vorangehenden Ansprüche, wobei in wenigstens einem
Bereich (24) der Projektionsleinwand (22), der aus Fahrzeugsicht hinter einem erhabenen Bereich (24) der Projektionsleinwand (22) liegt, eine Texturierung mittels vorbestimmter Ausfüllinformationen anstelle der Bildinformationen erfolgt.
8. Verfahren nach Anspruch 6 oder 7, wobei die Ausfüllinformationen wenigstens eine der folgenden umfassen:
- eine vorgegebene Farbe;
- ein vorgegebenes Muster;
- eine Texturierungsvorgabe für ein in dem wenigstens einen Bereich erkanntes Objekt.
9. Anordnung (10) zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs (100), mit:
wenigstens einer Sensoreinrichtung (14) zum Erfassen von Informationen für das Erzeugen eines Höhenprofils der Fahrzeugumgebung;
wenigstens einer Kameraeinrichtung (12) zum Erfassen von Bildinformationen der Fahrzeugumgebung; und
einer Umgebungsrepräsentations-Erzeugungseinrichtung (18), die dazu eingerichtet ist, folgende Schritte durchzuführen:
• Ermitteln eines Höhenprofils der Fahrzeugumgebung;
• Erzeugen einer Projektionsleinwand (22) für die Umgebungsrepräsentation basierend auf dem Höhenprofil;
• Projizieren der Bildinformationen auf zumindest einen Teil der Projektionsleinwand (22) zum Erzeugen der Umgebungsrepräsentation,
wobei die Projektionsleinwand (22) zumindest bereichsweise erhaben erzeugbar ist, wenn das ermittelte Höhenprofil eine entsprechend erhabene Struktur (16) der
Fahrzeugumgebung anzeigt, und
wobei die Umgebungsrepräsentations-Erzeugungseinrichtung (18) ferner zum Erzeugen einer Umfeldkarte des Fahrzeugs (100) auf Basis der Umgebungsrepräsentation eingerichtet ist, mit der ein Umgebungsbereich des Fahrzeugs (100) abbildbar ist, der größer als ein Erfassungsbereich der Sensoreinrichtung (14) und der Kameraeinrichtung (12) ist.
10. Fahrzeug (100), umfassend eine Anordnung (10) nach Anspruch 9.
EP19756328.1A 2018-08-31 2019-08-09 Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung Withdrawn EP3844947A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018214875.9A DE102018214875A1 (de) 2018-08-31 2018-08-31 Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
PCT/EP2019/071391 WO2020043461A1 (de) 2018-08-31 2019-08-09 Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung

Publications (1)

Publication Number Publication Date
EP3844947A1 true EP3844947A1 (de) 2021-07-07

Family

ID=67704494

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19756328.1A Withdrawn EP3844947A1 (de) 2018-08-31 2019-08-09 Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung

Country Status (5)

Country Link
US (1) US20210323471A1 (de)
EP (1) EP3844947A1 (de)
CN (1) CN112585959A (de)
DE (1) DE102018214875A1 (de)
WO (1) WO2020043461A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148914A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 表示制御装置、車両及び表示制御方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP3692082B2 (ja) 2002-01-23 2005-09-07 トヨタ自動車株式会社 駐車支援装置
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP2006160193A (ja) * 2004-12-10 2006-06-22 Alpine Electronics Inc 車両運転支援装置
JP4456086B2 (ja) * 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
DE102010051206A1 (de) 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
US10235575B2 (en) * 2011-08-26 2019-03-19 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
KR101459835B1 (ko) * 2012-10-11 2014-11-07 현대자동차주식회사 입체물 표시 제어 장치 및 방법
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
DE102013019374B4 (de) 2013-11-19 2022-09-08 Audi Ag Verfahren zum Betrieb eines zur vollständig automatisierten Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugsystems und Kraftfahrzeug
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
US9767366B1 (en) * 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
DE102014114999A1 (de) * 2014-10-15 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
DE102015002438A1 (de) 2015-02-26 2016-09-01 Daimler Ag Verfahren zum Betreiben eines Kraftfahrzeugs für ein Durchführen eines automatischen Parkvorgangs und Kraftfahrzeug mit einem Parksystem
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015213694A1 (de) * 2015-07-21 2017-01-26 Robert Bosch Gmbh Sensorsystem zum Erkennen überstehender oder freiliegender Objekte in der Umgebung eines Fahrzeugs
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges
DE102016013696A1 (de) 2016-11-17 2017-05-24 Daimler Ag Verfahren und Vorrichtung zur Parkplatzerkennung
US11010934B2 (en) * 2016-12-09 2021-05-18 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
JP7039879B2 (ja) * 2017-08-03 2022-03-23 株式会社アイシン 表示制御装置
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
EP3693244B1 (de) * 2019-02-06 2022-08-17 Continental Autonomous Mobility Germany GmbH Fahrzeug und verfahren zum autonomen betreiben eines fahrzeugs
EP3951744A4 (de) * 2019-03-26 2022-05-25 Sony Semiconductor Solutions Corporation Bildverarbeitungsvorrichtung, fahrzeugsteuerungsvorrichtung, verfahren und programm
EP4191274A1 (de) * 2021-12-03 2023-06-07 Aptiv Technologies Limited Radarbasierte schätzung der höhe eines objekts
US11645775B1 (en) * 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Also Published As

Publication number Publication date
US20210323471A1 (en) 2021-10-21
WO2020043461A1 (de) 2020-03-05
CN112585959A (zh) 2021-03-30
DE102018214875A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
DE60009114T2 (de) Vorrichtung zur unterstützung von kraftfahrzeugführern
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
EP1875442B1 (de) Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs
DE102018121018A1 (de) Erweitern von realen sensoraufnahmen mit simuliertem sensordatenhintergrund
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102011084554A1 (de) Verfahren zur Darstellung eines Fahrzeugumfeldes
DE112015004628B4 (de) Bilderzeugungsvorrichtung und Bilderzeugungsverfahren
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102009051526A1 (de) System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
DE102017127248B4 (de) Bildbearbeitungsvorrichtung und Bildbearbeitungsverfahren
DE102012001554A1 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
WO2011039129A1 (de) Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102018214874B3 (de) Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
EP2577614B1 (de) Vorrichtung zur darstellung von gelände auf einer anzeigevorrichtung eines flugkörpers
DE102015202863A1 (de) Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
EP3721371A1 (de) Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
EP3844947A1 (de) Verfahren und anordnung zum erzeugen einer umgebungsrepräsentation eines fahrzeugs und fahrzeug mit einer solchen anordnung
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
DE112019006103B4 (de) Informationsanzeigesteuervorrichtung, Verfahren, Programm und Aufzeichnungsmedium
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20210330

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20211202

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240103