EP4767304A1 - Verfahren zum erzeugen einer bilddarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug - Google Patents

Verfahren zum erzeugen einer bilddarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug

Info

Publication number
EP4767304A1
EP4767304A1 EP24759060.7A EP24759060A EP4767304A1 EP 4767304 A1 EP4767304 A1 EP 4767304A1 EP 24759060 A EP24759060 A EP 24759060A EP 4767304 A1 EP4767304 A1 EP 4767304A1
Authority
EP
European Patent Office
Prior art keywords
image
overlay
border region
region
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24759060.7A
Other languages
English (en)
French (fr)
Inventor
Martin Bürker
Felix Paffrath
Peter Steinbart
Gustavo MACHADO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Aumovio Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aumovio Autonomous Mobility Germany GmbH filed Critical Aumovio Autonomous Mobility Germany GmbH
Publication of EP4767304A1 publication Critical patent/EP4767304A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G06T11/23—Drawing from basic elements using straight lines or curves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the invention relates to a method for generating an image representation, wherein the image representation is generated from at least one image and at least one overlay superimposed on the image.
  • the invention further relates to a control device, a driver assistance system and a vehicle.
  • Modern vehicles use image representations that are generated from one or more camera images and, for example, display part of a vehicle's surroundings.
  • One or more overlays can be superimposed on the camera images to supplement or augment the environmental representation with additional information.
  • information such as driving trajectories, target positions or warning markings can be inserted into the environmental view to make it easier for a driver to maneuver the vehicle based on the camera images.
  • Various methods for generating environmental representations for vehicles are known from the state of the art.
  • the all-round vision system comprises at least one real camera for recording an image of the surroundings of the vehicle from a non-centered position, an image processing unit and a display unit.
  • the display unit is configured to display a projected representation of the image recorded by the real camera and at least one geometric shape, wherein the geometric shape is displayed as an overlay over the image of the real camera.
  • a camera surround view system for a vehicle with at least one vehicle camera is known.
  • the vehicle camera provides camera images which are processed by a data processing unit for Generation of a live video image stream that is displayed on a display unit of the vehicle.
  • the camera surround view system loads local cloud information data regarding an object displayed in the live video image stream from a data network and displays the received local cloud information data as an overlay in the displayed live video image stream.
  • the image representation produced thereby When superimposing an image, for example a camera image, with an overlay, it is desirable for the image representation produced thereby to have the best possible image quality.
  • the computing power available to produce the image representation may be limited, so there is still a need for a computationally efficient generation of the image representation with the best possible image quality.
  • the invention is therefore based on the object of specifying an improved method for generating an image representation from an image and an overlay superimposed on the image, which in particular has an improved image quality with only low demands on the computing resources required for generation.
  • the overlay comprises at least one graphic element which has an inner region and a first border region at least partially enclosing the inner region in a color channel of the overlay, wherein the at least one graphic element in an alpha channel of the overlay is assigned a second border region at least partially enclosing the inner region, wherein the second border region has a transparency which is greater than the transparency of the inner region.
  • the image representation can, for example, be an environmental representation which represents at least a partial area of the surroundings of a vehicle.
  • the image representation can be a top view of the vehicle from above or at an angle. It is also possible that it is a representation of an area in front, to the side and/or behind the vehicle.
  • the image display can use one or more images that are generated by one or more cameras in the vehicle. For example, one or more images that are generated by a front camera, at least one side camera and/or a rear view camera can be used. In particular, the image display can be generated continuously for a temporal sequence of images or for the images of a video stream.
  • the image representation generated using the method according to the invention is described in particular by a large number of image points or pixels.
  • the image representation generated can be digital image information which can be reproduced in particular on a display device such as an electrical display or the like.
  • the image used to generate the image representation can also be in digital form and be part of a digital image sequence or a digital video stream.
  • the overlay superimposed on the image to generate the image display comprises at least one line and can in particular be part of driver assistance information displayed to a driver of a vehicle.
  • the overlay can in particular be digital image information which is superimposed on the at least one image.
  • the position and the orientation or perspective of the overlay can in particular be selected or determined depending on the image content of the at least one camera image.
  • the overlay comprises one or more graphic information which is stored in a color channel of the overlay or in a digital image information representing the overlay.
  • the overlay can be in the color format “YUV420 Semiplanar” or a comparable color format, for example.
  • the overlay comprises one or more graphic elements, each of which can be, for example, a line, an arc segment, a curve curved once or multiple times, or a comparable geometric shape.
  • the Overlay may comprise a plurality of graphic elements which together may form one or more complex graphics and/or other elements, such as numbers and/or text.
  • the graphic element of the overlay includes the inner area and the first border area, which completely or at least partially encloses the inner area.
  • the first border area can describe the edge section of the graphic element and already be a component of the graphic element or the overlay.
  • the graphic element of the overlay can also initially only include the inner area, with the first border area being assigned to the graphic element or the overlay when the image representation is created.
  • the graphic element comprises the second border area in an alpha channel in which transparency information of the overlay is stored.
  • the second border area encloses the inner area completely or at least partially and has a transparency that is greater than the transparency of the inner area.
  • the second border area at least partially provides the edge area of the graphic element in the image representation with transparency.
  • the first border area of the graphic element is at least partially shown transparently in the image representation by the second border area assigned to the graphic element. This means that a pixel of the first border area in the image representation not only consists of the color information encoded in the color channel, but that color information of a pixel of the image located at the same location is also partially reproduced in the image representation, so that an intermediate color is created between the color of the first border area and the background.
  • the first border region has the same color as the inner region or that the first border region has a color that is different from a color of the inner region.
  • an improved representation in the edge region is only brought about by the transparency assigned to this region by means of the second border region.
  • the first border region can also have a color that is different from the color of the inner region.
  • the first border region can have a lighter color than the inner region. This can achieve a further improvement in an edge representation of the overlay in the image representation, at least for some types of image representations or for some types of images.
  • the second border area is as wide as the first border area or that the second border area has a smaller width than the first border area. This applies in particular to the case that the first border area is only assigned to the graphic element when the image representation is generated and/or the case that the first border area has a different color than the inner area.
  • a second border area which has the same width as the first border area, can in particular have a geometry corresponding to the first border area and a spatial position in the overlay corresponding to the first border area. As a result, the second border area in particular causes the entire first border area of the graphic element to be assigned transparency.
  • a second border region which is narrower than the first border region, can in particular have transparency on an outer edge of the first border region, i.e. the edge of the first border region opposite the inner region of the graphic element.
  • the image representation is described by a plurality of pixels, wherein the second border region has an average width of less than five pixels, in particular between one and two pixels inclusive.
  • the pixels in the alpha channel correspond in particular in size, arrangement and number to the pixels in the color channel.
  • the width refers to an extension of the second border area between an inner edge, which adjoins the inner area, and an outer edge of the overlay, which points to an image area of the image display in which the image is no longer overlaid by the overlay.
  • the width of the first border area can, for example, be between one and ten pixels inclusive.
  • the width of the inner area can also be between one and several pixels and depends on the desired size or line thickness of the graphic element in the image display.
  • the graphic element is linear, wherein the width of the second border area depends on an angle between the graphic element and the edges of a pixel grid used to describe the image information.
  • the width of the second border area depends on an angle between the graphic element and the edges of a pixel grid used to describe the image information.
  • step-like artifacts can arise if the linear element does not run horizontally or vertically or parallel to one of the edges of the pixel grid used to describe the image representation.
  • the width of the second border area can be selected depending on the angle between the line and one of the edges.
  • the largest width for the second border area can be selected for an angle of 45°.
  • the width can increase with the angle, and for an angle between 45° and 90°, the width can decrease again accordingly.
  • a second border area is assigned only to those linear graphic elements which do not run parallel to one of the edges of a pixel grid used to describe the image information.
  • the transparency of the second border area lies between a complete transparency and a transparency assigned to the inner area. This results in a smooth progression of the representation starting from the transparency of the inner area. It is possible that the inner area in the alpha channel is assigned a transparency of zero, ie a complete opacity, or that the inner area also has a transparency of greater than zero. Depending on this, the inner area of the graphic element can completely or partially overlay the image content of the image when generating the image representation.
  • the second border region has a transparency gradient, wherein the transparency increases along the width of the second border region from the inner region to the outer edges of the second border region.
  • the increase in transparency can be linear or defined by a function, e.g. exponential, logarithmic or similar.
  • the at least one image can be transmitted to the control device, for example from at least one camera.
  • the control device can determine the overlay depending on an image content of the at least one image and/or depending on further information, for example driving state information describing a driving state of a vehicle. It can be provided that the control device is designed to determine an image content of the at least one image.
  • the control device can be designed to transmit the generated image representation to a display device.
  • a driver assistance system comprises at least one camera, a display device and a control device according to the invention, wherein the at least one camera is designed to provide the at least one image and the display device is designed to reproduce the image representation.
  • a vehicle according to the invention comprises a driver assistance system according to the invention. All advantages and configurations described above in relation to the method according to the invention also apply accordingly to the control device according to the invention, the driver assistance system according to the invention, the vehicle according to the invention and vice versa. The advantages and configurations described for the control device according to the invention, the driver assistance system according to the invention and the vehicle according to the invention can also be transferred analogously to the other subject matters of the invention.
  • Fig. 1 shows an embodiment of a vehicle according to the invention
  • Fig. 2 is a flow chart of an embodiment of a method according to the invention.
  • Fig. 3 is a representation of an embodiment of a graphic element of an overlay in the color channel
  • Fig. 4 a representation of the pixels of the graphic element of the overlay in the color channel
  • Fig. 5 a representation of the embodiment of the graphic element in the alpha channel
  • Fig. 6 shows an example of an image representation generated with an embodiment of the method according to the invention.
  • Fig. 1 shows an embodiment of a vehicle 1.
  • the vehicle 1 can be, for example, a motor vehicle, in particular a
  • the vehicle 1 can be a passenger car, a truck or another type of commercial vehicle. It is also possible that the vehicle 1 is a non-motorized vehicle such as a trailer or that it is a combination of a towing vehicle and a trailer.
  • the vehicle 1 can also be a rail-bound vehicle such as a tram or the like, or a robot.
  • the vehicle 1 comprises an embodiment of a driver assistance system 2, which comprises one or more cameras 3 and a control device 4.
  • the vehicle 1 comprises four cameras 3, which form a camera arrangement designed as a surround view system.
  • a first camera 5 is arranged as a front camera of the vehicle 1
  • a second camera 6 as a rear view camera of the vehicle 1
  • a third camera 7 and a fourth camera 8 are each arranged as a side camera of the vehicle 1.
  • the control device 4 can be designed, for example, as a microcontroller, as a processor or as another type of computing device.
  • the driver assistance system 2 further comprises a display device 9, via which graphic information can be displayed for a driver or a user of the vehicle 1.
  • the display device 9 can, for example, be one or more screens or displays arranged in an interior of the vehicle 1.
  • the cameras 3 can be used to generate image data from a sub-area of the surroundings of the vehicle 1.
  • the cameras 3 are connected to the control device 4 via a communication connection 10.
  • the communication connection 10 can, for example, comprise a plurality of point-to-point connections or be a bus connection such as a CAN bus or the like. Images or image data are transmitted from the cameras 3 to the control device 4 via the communication connection 10, in particular continuously.
  • the control device 4 is designed to carry out a method for generating an image representation, wherein the image representation consists of at least one image and an overlay superimposed on the image.
  • the control device 4 uses one or more of the camera images recorded by the cameras 3 of the vehicle 1 as the at least one image.
  • the image display can in particular be an environment display that shows at least part of the environment of the vehicle 1.
  • the image display can in particular be a surround view that shows the vehicle 1 and part of the environment of the vehicle 1 from a virtual camera position.
  • the images generated by the cameras 3 and/or the overlay can be projected onto a projection surface, for example, from which the image display can be derived from an arbitrarily positioned virtual camera position.
  • the image display can also be a view in which only one image from one of the cameras 3 is used.
  • the image display can, for example, be a front view based on the images from the front camera 5, a rear view based on the images from the rear view camera 6 or a side view based on the images from one of the side cameras 7, 8.
  • the image display can be a video image based on continuously generated images from one or more of the cameras 3.
  • the image display can thus essentially reproduce at least a portion of the vehicle's surroundings in real time.
  • the image display is also based on an overlay that is superimposed on the at least one image.
  • the overlay can be understood as additional image information that is superimposed on the image or the camera image.
  • the overlay comprises at least one graphic element that is used to display additional information in the image display.
  • Fig. 2 shows a flow chart of a method for generating image information, which is carried out by the control device 4.
  • a step S1 one or more images from one or more cameras 3 are transmitted to the control device via the communication connection 10, for example an image from the rear view camera 6.
  • step S2 the control device 4, or alternatively another control device of the vehicle 1 that is communicatively connected to the control device 4, determines an overlay.
  • the overlay can be determined based on an image content of the image and/or based on at least one driving state parameter of the vehicle 1, which describes at least one driving state of the vehicle 1.
  • the image content of the at least one image can be determined, for example, by the control device 4 and/or by another control device of the vehicle 1 using artificial intelligence or comparable methods.
  • the at least one driving state parameter can be, for example, a direction of travel of the vehicle 1, a speed of the vehicle 1, a steering angle of the vehicle 1 or the like.
  • the driving state parameter can, for example, be transmitted from at least one sensor device of the vehicle 1 to the control device 4, in particular via the communication connection 10.
  • FIG. 3 An embodiment of an overlay 11 is shown in Fig. 3.
  • the overlay 11 comprises at least one graphic element 12.
  • a color channel of the overlay 11 is shown in Fig. 3.
  • the graphic element 12 comprises an inner region 13 in this color channel and a first border region 14 which at least partially surrounds the inner region 13, wherein the first border region 14 has a color which corresponds to the color of the inner region 13 or which is different from a color of the inner region 13.
  • the first border region 14 has, for example, a different color than the inner region 13, wherein the different colors of the inner region 13 and the first border region 14 in the color channel are represented by different Hatchings are shown schematically.
  • the first border area 14 it is possible for the first border area 14 to have the same color as the inner area 13.
  • the first border region can be assigned to a graphic element 12 of the overlay 11 during the method for generating the image representation, for example by the control device 4.
  • the first border region 14 can also already be contained in the overlay 11 used to generate the image representation or describe a section of the graphic element 12 contained in the overlay.
  • the at least one graphic element 12 shows in particular information which is assigned to a driver assistance system of the vehicle 1.
  • the graphic element 12 can be a part of any graphic or written information which is superimposed on the at least one image as an overlay 11 and thus augments it in the image representation.
  • the graphic element 12 can be a part of an expected vehicle trajectory of the vehicle 1, a marking of a parking space in the vicinity of the vehicle 1, a part of a font shown in the image representation or the like.
  • the overlay 11 is shown as a pixel graphic, which is formed by a plurality of pixels 15.
  • the graphic element 12 is linear and runs at an angle a to one of the edges 16 of a rectangular pixel grid 17, which is also used below to describe the image representation.
  • step-shaped artifacts occur at the edge of the graphic element 12.
  • the perception of this artifact can be at least partially reduced in the image display, for example, by the first border area 14 having a different color than the inner area 13.
  • the color of the border area 14 can be lighter than the color of the inner area.
  • An alpha channel of the overlay 11 is shown in Fig. 5.
  • transparency values are assigned to the individual pixels 15 of the overlay by the control device 4.
  • the graphic element 12 comprises a second border region 18 in the alpha channel, which at least partially surrounds the inner region 13 of the graphic element 12.
  • the transparency described by the second border region 12 is shown schematically as hatching of the respective pixels 15 of the second border region 12.
  • the width of the second border region 18 can correspond to the width of the first border region 14 or be narrower than this.
  • the first border region 14 in the color channel of the overlay and the second border region 18 in the alpha channel of the overlay 11 each have the same width of one pixel.
  • the second border region 14 can in particular have an average width of less than five pixels, in particular between one and two pixels.
  • the inner region 13 can also be assigned a transparency in the alpha channel, with the transparency of the second border region 18 preferably lying between complete transparency and the transparency assigned to the inner region.
  • the pixels 15 of the second border region 18 can each have the same transparency or the pixels of the second border region 18 can be assigned different transparency values.
  • the second border region 18 can also have a transparency gradient, wherein the transparency increases in particular along the width of the second border region 18 from the inner region 13 to the outer edges 19 of the second border region 18.
  • a transparency gradient can be provided in particular for those second border regions 18 which have a width of more than one pixel 15.
  • the transparency preferably increases in each case starting from a center of the inner region 13. the outer edges 19 of the second border area 18, i.e. along a positive and negative direction s, which is perpendicular to the extension direction t of the graphic element 12, as shown in Fig. 5.
  • the transparency curve can be described by a function and can be, for example, a linear, exponential or logarithmic curve.
  • a second border region 18 in the alpha channel of the overlay 11 can preferably only be assigned to those linear graphic elements 12 which do not run parallel to one of the edges 16 of the pixel grid 17 used to describe the image information.
  • step S3 of the embodiment of the method for generating the image representation shown in Fig. 2 an image representation is generated by overlaying the at least one image with the overlay 11.
  • the overlay 11 is inserted into the at least one image at a position assigned to the overlay 11.
  • the position and/or the geometry of an overlay 11 to be inserted can, as described above, be dependent on the interpretation of the image content and/or dependent on the at least one driving state parameter.
  • step S4 of the method the image representation is shown on the display device 9 of the vehicle 1.
  • At least part of the first border region 14 is assigned a transparency due to the second border region 18, so that a softer transition between the image and the overlay 11 results in the image representation.
  • This improves the perceptibility of the overlay 11 in the image representation by a driver or a user of the vehicle 1, in particular the perceptibility in relation to the image content of the at least one image also contained in the image representation.
  • Fig. 6 shows an embodiment of an image display 20. This comprises an image
  • the overlay 11 comprises several linear Graphic elements 12 which mark a parking space 22 located in the vicinity of the vehicle 1.
  • the overlay 11 also comprises two curved graphic elements 23 which mark a corridor 24 through which the vehicle 1 must travel to reach the parking space 22.
  • the geometry of the overlay 11, for example the geometry of the parking space 22, can be selected and displayed depending on an interpretation of the image content. Additionally or alternatively, the geometry of the overlay 11, in particular the geometry or the course of the curved graphic elements 23, can also be dependent on a driving state parameter, for example a set steering angle or similar.
  • At least some of the linear graphic elements 12 and the arc-shaped graphic elements 23 are each assigned a first border region 14 in the color channel of the overlay 11, the color of which differs from an inner region 13 of the respective graphic element 12, 23.
  • the respective first border regions 14 can also have the same color as the respective inner region 13 of the graphic element 12, 23 and/or can already be provided as part of the overlay 11.
  • At least the graphic elements 12, 23 that do not run parallel to one of the edges 16 of the pixel grid 17 used to display the image representation 19 are each assigned a second border region in an alpha channel of the overlay, as was previously described with reference to Figures 3 to 5.
  • the image representation 20 is generated from more than one image from one of the cameras 3 and/or that images from several of the cameras 3 are used to depict a larger part of the surroundings of the vehicle 1. It is possible that further and/or other overlays 11 are used to generate the image representation. In particular, at least some of the graphic elements 12, 23 of an overlay 11 can also represent text or other written information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren zum Erzeugen einer Bilddarstellung (20), wobei die Bilddarstellung (20) aus wenigstens einem Bild (21 ) und wenigstens einem dem Bild (21) überlagerten Overlay (11) erzeugt wird, wobei das Overlay (11) wenigstens ein Grafikelement (12), welches in einem Farbkanal des Overlays (11) einen inneren Bereich (13) und einen den inneren Bereich (13) zumindest teilweise umschließenden ersten Umrandungsbereich (14) aufweist, umfasst, wobei dem wenigstens einen Grafikelement (12) in einem Alphakanal des Overlays (11) ein den inneren Bereich (13) zumindest teilweise umschließender zweiter Umrandungsbereich (18) zugewiesen wird, wobei der zweite Umrandungsbereich (18) eine Transparenz aufweist, welche größer als die Transparenz des inneren Bereichs (13) ist.

Description

Beschreibung
Verfahren zum Erzeugen einer Bilddarstellung, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug
Die Erfindung betrifft ein Verfahren zum Erzeugen einer Bilddarstellung, wobei die Bilddarstellung aus wenigstens einem Bild und wenigstens einem dem Bild überlagerten Overlay erzeugt wird. Weiterhin betrifft die Erfindung eine Steuereinrichtung, ein Fahrerassistenzsystem und ein Fahrzeug.
In modernen Fahrzeugen werden Bilddarstellungen verwendet, welche aus einem oder mehreren Kamerabildern erzeugt werden und zum Beispiel einen Teil einer Fahrzeugumgebung wiedergeben. Dabei können den Kamerabildern ein oder mehrere Overlays überlagert werden, um die Umgebungsdarstellung mit weiteren Informationen zu ergänzen bzw. zu augmentieren. Auf diese Weise können beispielsweise Informationen wie Fahrtrajektorien, Zielpositionen oder Warnmarkierungen in die Umgebungsansicht eingefügt werden, um einem Fahrer das Manövrieren mit dem Fahrzeug auf Grundlage der Kamerabilder zu erleichtern. Aus dem Stand der Technik sind verschiedene Verfahren um Erzeugen von Umgebungsdarstellungen für Fahrzeuge bekannt.
In DE 10 2016 225 066 A1 wird ein Rundumsichtsystem für ein Fahrzeug beschrieben. Das Rundumsichtsystem umfasst wenigstens eine reale Kamera zur Aufnahme eines Bildes einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position, eine Bildverarbeitungseinheit und eine Anzeigeeinheit. Die Anzeigeeinheit ist dazu eingerichtet eine projizierte Darstellung des von der realen Kamera aufgenommenen Bilds und wenigstens einer geometrischen Form darzustellen, wobei die geometrische Form über dem Bild der realen Kamera als ein Overlay dargestellt wird.
Aus DE 10 2014 208 663 A1 ist ein Kamera-Surround-View-System für ein Fahrzeug mit wenigstens einer Fahrzeug kamera bekannt. Die Fahrzeug kamera liefert dabei Kamerabilder, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Live-Videobildstromes, der auf einer Anzeigeeinheit des Fahrzeugs angezeigt wird, verarbeitet werden. Das
Kamera-Surround-View-System lädt dabei lokale Cloud-Informationsdaten hinsichtlich eines in dem Live-Videobildstrom dargestellten Objekts von einem Datennetzwerk und zeigt die erhaltenen lokalen Cloud-Informationsdaten als Overlay in dem angezeigten Live-Videobildstrom an.
Bei der Überlagerung eines Bildes, beispielsweise eines Kamerabildes, mit einem Overlay ist es wünschenswert, wenn die dadurch erzeugte Bilddarstellung eine möglichst gute Bildqualität aufweist. Insbesondere bei einer Anwendung der Bilddarstellung in einem Fahrzeug kann jedoch die zur Erzeugung der Bilddarstellung zur Verfügung stehende Rechenleistung begrenzt sein, sodass weiterhin ein Bedarf an einer recheneffizienten Erzeugung der Bilddarstellung mit einer möglichst guten Bildqualität besteht.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Erzeugen einer Bilddarstellung aus einem Bild und einem dem Bild überlagerten Overlay anzugeben, welches insbesondere eine verbesserte Bildqualität bei nur geringen Anforderungen an die zur Erzeugungen benötigten Rechenressourcen aufweist.
Zur Lösung dieser Aufgabe ist es bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass das Overlay wenigstens ein Grafikelement, welches in einem Farbkanal des Overlays einen inneren Bereich und einen den inneren Bereich zumindest teilweise umschließenden ersten Umrandungsbereich aufweist, umfasst, wobei dem wenigstens einen Grafikelement in einem Alphakanal des Overlays ein den inneren Bereich zumindest teilweise umschließender zweiter Umrandungsbereich zugewiesen wird, wobei der zweite Umrandungsbereich eine Transparenz aufweist, welche größer als die Transparenz des inneren Bereichs ist.
Bei der Bilddarstellung kann es sich zum Beispiel um eine Umgebungsdarstellung handeln, welche zumindest einen Teilbereich einer Umgebung eines Fahrzeugs darstellt. Beispielsweise kann die Bilddarstellung eine Aufsicht auf das Fahrzeug von oben oder unter einem Winkel sein. Es ist auch möglich, dass es sich um eine Darstellung eines Bereichs vor, seitlich und/oder hinter dem Fahrzeug handelt.
Die Bilddarstellung kann dabei ein oder mehrere Bilder verwenden, welche von einer oder mehrerer Kameras des Fahrzeugs erzeugt werden. Dabei können beispielsweise ein oder mehrere Bilder verwendet werden, welche von einer Frontkamera, wenigstens einer Seitenkamera und/oder einer Rückfahrkamera erzeugt werden. Insbesondere kann die Bilddarstellung fortlaufend für eine zeitliche Folge von Bildern bzw. für die Bilder eines Videostreams erzeugt werden.
Die mit dem erfindungsgemäßen Verfahren erzeugte Bilddarstellung wird insbesondere durch eine Vielzahl von Bildpunkten bzw. Pixeln beschrieben. Mit anderen Worten kann es sich bei der erzeugten Bilddarstellung um eine digitale Bildinformation handeln, welche insbesondere auf einer Anzeigeeinrichtung, wie einem elektrischen Display oder dergleichen, wiedergebbar ist. Auch das zur Erzeugung der Bilddarstellung verwendete Bild kann in digitaler Form vorliegen und Teil einer digitalen Bildfolge bzw. eines digitalen Videostroms sein.
Das dem Bild zur Erzeugung der Bilddarstellung überlagerte Overlay umfasst wenigstens eine Linie und kann insbesondere ein Teil einer einem Fahrer eines Fahrzeugs dargestellten Fahrerassistenzinformation sein. Das Overlay kann insbesondere eine digitale Bildinformation sein, welche dem wenigstens einen Bild überlagert wird. Die Position sowie die Orientierung bzw. die Perspektive des Overlays können dabei insbesondere in Abhängigkeit eines Bildinhalts des wenigstens einen Kamerabilds gewählt oder ermittelt werden.
Das Overlay umfasst eine oder mehrere grafische Informationen, welche in einem Farbkanal des Overlays, bzw. einer das Overlay darstellenden digitalen Bildinformation, gespeichert sind. Das Overlay kann zum Beispiel im Farbformat „YUV420 Semiplanar“ oder einem vergleichbaren Farbformat vorliegen. Das Overlay umfasst eine oder mehrere Grafikelemente, welche jeweils zum Beispiel eine Linie, ein Bogensegment, eine einmal oder mehrfach gekrümmte Kurve oder eine vergleichbare geometrische Form sein können. Insbesondere kann das Overlay eine Vielzahl von Grafikelementen umfassen, welche zusammen eine oder mehrere komplexe Grafiken und/oder weitere Elemente, beispielsweise Zahlen und/oder einen Text, bilden können.
In dem Farbkanal umfasst das Grafikelement des Overlays den inneren Bereich und den ersten Umrandungsbereich, weicher den inneren Bereich ganz oder zumindest teilweise umschließt. Der erste Umrandungsbereich kann dabei den Randabschnitt des Grafikelements beschreiben und bereits ein Bestandteil des Grafikelements bzw. des Overlays sein. Alternativ dazu kann das Grafikelement des Overlays auch initial nur den inneren Bereich umfassen, wobei der erste Umrandungsbereich dem Grafikelement bzw. dem Overlay bei der Erstellung der Bilddarstellung zugewiesen wird.
Das Grafikelement umfasst in einem Alphakanal, in welchem Transparenzinformationen des Overlays gespeichert werden, den zweiten Umrandungsbereich. Der zweite Umrandungsbereich umschließt den inneren Bereich ganz oder zumindest teilweise und weist eine Transparenz auf, welche größer ist als die Transparenz des inneren Bereichs. Durch den zweiten Umrandungsbereich wird der Randbereich des Grafikelements in der Bilddarstellung zumindest teilweise mit einer Transparenz versehen. Insbesondere wird der erste Umrandungsbereich des Grafikelements durch den dem Grafikelement zugewiesenen zweiten Umrandungsbereich in der Bilddarstellung zumindest teilweise transparent dargestellt. Dies bewirkt, dass ein Bildpunkt des ersten Umrandungsbereichs in der Bilddarstellung nicht nur aus der im Farbkanal codierten Farbinformation besteht, sondern dass teilweise auch eine Farbinformation eines an derselben Stelle liegenden Bildpunkts des Bildes in der Bilddarstellung wiedergegeben wird, sodass sich eine Zwischenfarbe zwischen der Farbe des ersten Umrandungsbereichs und dem Hintergrund ergibt. Auf diese Weise wird ein noch weicherer Übergang insbesondere am Randbereich des Overlays erzeugt, wodurch sich ein verbessertes Antialiasing und somit ein verbessertes Erscheinungsbild der Bilddarstellung ergeben. Das Auftreten treppenförmiger Artefakte am Rand des Grafikelements und/oder weitere Artefakte wie Falschfarben im Randbereich des Grafikelements oder Ähnliches können dadurch vorteilhaft vermieden werden.
Vorteilhaft kann durch die Verwendung des Grafikelements mit dem zweiten Umrandungsbereich im Alphakanal auf weitergehende Berechnungen für ein Antialiasing verzichtet werden, sodass für die Erzeugung der Bilddarstellung nur eine vergleichsweise geringe Rechenleistung benötigt wird. Dadurch eignet sich das Verfahren in besonderem Maße für Anwendungen, in denen nur eine begrenzte Rechenleistung zur Verfügung steht, aber dennoch eine möglichst schnelle Bereitstellung der Bildinformation gewünscht wird, beispielsweise bei der Erzeugung einer Umgebungsdarstellung aus einem oder mehreren Kamerabildern in einem Fahrerassistenzsystem eines Fahrzeugs.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass der erste Umrandungsbereich die gleiche Farbe wie der innere Bereich aufweist oder dass der erste Umrandungsbereich eine Farbe aufweist, welche von einer Farbe des inneren Bereichs verschieden ist. Bei einem ersten Umrandungsbereich, welcher die gleiche Farbe wie der innere Bereich aufweist, wird eine verbesserte Darstellung im Kantenbereich nur durch die diesem Bereich mittels des zweiten Umrandungsbereichs zugewiesene Transparenz bewirkt. Alternativ kann jedoch auch der erste Umrandungsbereich eine Farbe aufweisen, welche sich von der Farbe des inneren Bereichs unterscheidet. Beispielsweise kann der erste Umrandungsbereich eine hellere Farbe als der innere Bereich aufweisen. Dadurch kann zumindest für manche Arten von Bilddarstellungen bzw. für manche Arten von Bildern eine weitere Verbesserung einer Kantendarstellung des Overlays in der Bilddarstellung erreicht werden.
Erfindungsgemäß kann vorgesehen sein, dass der zweite Umrandungsbereich genauso breit wie der erste Umrandungsbereich ist oder dass der zweite Umrandungsbereich eine geringere Breite als der erste Umrandungsbereich aufweist. Dies betrifft insbesondere den Fall, dass dem Grafikelement erst bei der Erzeugung der Bilddarstellung der erste Umrandungsbereich zugewiesen wird und/oder den Fall, dass der erste Umrandungsbereich eine andere Farbe als der innere Bereich aufweist. Ein zweiter Umrandungsbereich, welcher die gleiche Breite aufweist wie der erste Umrandungsbereich, kann insbesondere eine dem ersten Umrandungsbereich entsprechende Geometrie sowie eine dem ersten Umrandungsbereich entsprechende räumliche Position im Overlay aufweisen. Dadurch bewirkt der zweite Umrandungsbereich insbesondere, dass dem gesamten ersten Umrandungsbereich des Grafikelements eine Transparenz zugewiesen wird.
Ein zweiter Umrandungsbereich, welcher schmaler als der erste Umrandungsbereich ist, kann insbesondere einem äußeren Rand des ersten Umrandungsbereichs, d.h. dem dem inneren Bereich des Grafikelements gegenüberliegenden Rand des ersten Umrandungsbereichs, eine Transparenz zu weisen.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass die Bilddarstellung durch eine Vielzahl von Bildpunkten beschrieben wird, wobei der zweite Umrandungsbereich eine durchschnittliche Breite von weniger als fünf Bildpunkten, insbesondere zwischen einschließlich einem und einschließlich zwei Bildpunkten, aufweist. Die Bildpunkte im Alphakanal entsprechen dabei insbesondere in Größe, Anordnung und Anzahl den Bildpunkten des Farbkanals.
Die Breite bezieht sich dabei auf eine Ausdehnung des zweiten Umrandungsbereichs zwischen einer inneren Kante, welche an den inneren Bereich anschließt, und einer äußeren Kante des Overlays, welche zu einem Bildbereich der Bilddarstellung weist, in der das Bild nicht mehr von dem Overlay überlagert wird. Die Breite des ersten Umrandungsbereichs kann zum Beispiel zwischen einschließlich einem und einschließlich zehn Bildpunkten betragen. Die Breite des inneren Bereichs kann ebenfalls zwischen einem und mehreren Bildpunkten betragen und richtet sich nach der gewünschten Größe bzw. Strichstärke des Grafikelements in der Bilddarstellung.
Erfindungsgemäß kann vorgesehen sein, dass das Grafikelement linienförmig ist, wobei die Breite des zweiten Umrandungsbereichs in Abhängigkeit eines Winkels zwischen dem Grafikelement und den Kanten eines zur Beschreibung der Bildinformation verwendeten Bildpunkterasters gewählt wird. Insbesondere bei einem linienförmigen Grafikelement können treppenförmige Artefakte entstehen, wenn das linienförmige Element nicht horizontal oder vertikal bzw. nicht parallel zu einer der Kanten des zur Beschreibung der Bilddarstellung verwendeten Bildpunkterasters verläuft.
Es ist daher möglich, dass die Breite des zweiten Umrandungsbereichs in Abhängigkeit des Winkels zwischen der Linie und einer der Kanten gewählt wird. Insbesondere kann für einen Winkel von 45° die größte Breite für den zweiten Umrandungsbereich gewählt werden. Für Winkel zwischen 0° und 45° kann Die Breite mit dem Winkel zunehmen und für einen Winkel zwischen 45° und 90° kann die Breite entsprechend wieder abnehmen. Dies ermöglich vorteilhaft, dass vor allem bei denjenigen Grafikelementen, bei denen aufgrund ihres Verlaufs in der Bilddarstellung viel Antialiasing erforderlich ist, ein breiterer zweiter Umrandungsbereich und somit ein weicherer Übergang erzeugt werden kann als bei Grafikelementen, bei denen aufgrund ihres zumindest näherungsweise parallelen Verlaufs zu einer der Kanten des Bildpunkterasters keine oder nur sehr geringe Artefakte auftreten. Vorteilhaft kann dadurch Rechenleistung bei der Erzeugung der Bilddarstellung eingespart werden.
Um weitere Rechenleistung beim Erzeugen der Bilddarstellung einzusparen, kann erfindungsgemäß vorgesehen sein, dass bei dem Vorhandensein mehrerer linienförmiger Grafikelemente im Overlay nur denjenigen linienförmigen Grafikelementen ein zweiter Umrandungsbereich zugewiesen wird, welche nicht parallel zu einer der Kanten eines zur Beschreibung der Bildinformation verwendeten Bildpunkterasters verlaufen.
Erfindungsgemäß kann vorgesehen sein, dass die Transparenz des zweiten Umrandungsbereichs zwischen einer vollständigen Transparenz und einer dem inneren Bereich zugewiesenen Transparenz liegt. Dadurch ergibt sich ein weicher Verlauf der Darstellung ausgehend von der Transparenz des inneren Bereichs. Es ist möglich, dass dem inneren Bereich in dem Alphakanal eine Transparenz von null, d.h. eine vollständige Opazität, zugewiesen ist, oder dass auch der innere Bereich eine Transparenz von größer null aufweist. Je nachdem kann der innere Bereich des Grafikelements den Bildinhalt des Bildes bei der Erzeugung der Bilddarstellung vollständig oder teilweise überlagern.
In einer bevorzugten Ausgestaltung der Erfindung kann vorgesehen sein, dass der zweite Umrandungsbereich einen Transparenzverlauf aufweist, wobei die Transparenz entlang der Breite des zweiten Umrandungsbereichs vom inneren Bereich aus zu den Außenrändern des zweiten Umrandungsbereichs hin zunimmt. Die Zunahme der Transparenz kann linear sein oder durch eine Funktion, z.B. exponentiell, logarithmisch oder ähnliches, definiert sein. Durch das Verwenden eines Transparenzverlaufs mit einer zunehmenden Transparenz kann ein besonders weicher und harmonischer Übergang erzeugt werden.
Für eine erfindungsgemäßes Steuereinrichtung ist vorgesehen, dass sie zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtet ist. Der Steuereinrichtung kann das wenigstens eine Bild zum Beispiel von wenigstens einer Kamera übermittelt werden. Die Steuereinrichtung kann das Overlay in Abhängigkeit eines Bildinhalts des wenigstens einen Bildes und/oder in Abhängigkeit weiterer Informationen, beispielsweise von einen Fahrzustand eines Fahrzeugs beschreibenden Fahrzustandsinformationen, ermitteln. Es kann vorgesehen sein, dass die Steuereinrichtung zu einer Ermittlung eines Bildinhalts des wenigstens einen Bildes ausgebildet ist. Die Steuereinrichtung kann zu einer Übermittlung der erzeugten Bilddarstellung an eine Anzeigeeinrichtung ausgebildet sein.
Ein erfindungsgemäßes Fahrerassistenzsystem umfasst wenigstens eine Kamera, eine Anzeigeeinrichtung und eine erfindungsgemäße Steuereinrichtung, wobei die wenigstens eine Kamera zur Bereitstellung des wenigstens einen Bildes und die Anzeigeeinrichtung zur Wiedergabe der Bilddarstellung ausgebildet sind.
Für ein erfindungsgemäßes Fahrzeug ist vorgesehen, dass es ein erfindungsgemäßes Fahrerassistenzsystem umfasst. Sämtliche vorangehend in Bezug zu dem erfindungsgemäßen Verfahren beschriebenen Vorteile und Ausgestaltungen gelten entsprechend auch für die erfindungsgemäße Steuereinrichtung, das erfindungsgemäße Fahrerassistenzsystem, das erfindungsgemäße Fahrzeug sowie jeweils umgekehrt. Auch die jeweils für die erfindungsgemäße Steuereinrichtung, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Fahrzeug beschriebenen Vorteile und Ausgestaltungen sind auf die jeweils anderen Erfindungsgegenstände analog übertragbar.
Weitere Vorteile und Ausgestaltungen ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Diese sind schematische Darstellungen und zeigen:
Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs,
Fig. 2 ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
Fig. 3 eine Darstellung eines Ausführungsbeispiels eines Grafikelements eines Overlays im Farbkanal,
Fig. 4 eine Darstellung der Bildpunkte des Grafikelements des Overlays im Farbkanal,
Fig. 5 eine Darstellung des Ausführungsbeispiels des Grafikelements im Alphakanal und
Fig. 6 ein Beispiel einer mit einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erzeugten Bilddarstellung.
In Fig. 1 ist ein Ausführungsbeispiel eines Fahrzeugs 1 gezeigt. Bei dem Fahrzeug 1 kann es sich zum Beispiel um ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen oder eine andere Art von Nutzfahrzeug, handeln. Es ist auch möglich, dass das Fahrzeug 1 ein unmotorisiertes Fahrzeug wie ein Anhänger ist oder dass es sich um ein Gespann aus einem Zugfahrzeug und einem Anhänger handelt. Das Fahrzeug 1 kann auch ein schienengebundenes Fahrzeug, wie eine Straßenbahn oder dergleichen, oder ein Roboter sein.
Das Fahrzeug 1 umfasst ein Ausführungsbeispiel eines Fahrerassistenzsystems 2, welches eine oder mehrere Kameras 3 sowie eine Steuereinrichtung 4 umfasst. Im vorliegenden Ausführungsbeispiel umfasst das Fahrzeug 1 vier Kameras 3, welche eine als Surroundview-System ausgeführte Kameraanordnung bilden. Eine erste Kamera 5 ist dabei als eine Frontkamera des Fahrzeugs 1 , eine zweite Kamera 6 als eine Rückfahrkamera des Fahrzeugs 1 , sowie eine dritte Kamera 7 und eine vierte Kamera 8 jeweils als eine Seitenkamera des Fahrzeugs 1 angeordnet. Die Steuereinrichtung 4 kann zum Beispiel als ein Mikrocontroller, als ein Prozessor oder als eine andere Art von Recheneinrichtung ausgebildet sein.
Das Fahrerassistenzsystem 2 umfasst weiterhin eine Anzeigeeinrichtung 9, über die grafische Informationen für einen Fahrer bzw. einen Benutzer des Fahrzeugs 1 dargestellt werden können. Bei der Anzeigeeinrichtung 9 kann es sich zum Beispiel um einen oder mehrere in einem Innenraum des Fahrzeugs 1 angeordnete Bildschirme bzw. Displays handeln.
Mittels der Kameras 3 können jeweils Bilddaten aus einem Teilbereich einer Umgebung des Fahrzeugs 1 erzeugt werden. Die Kameras 3 sind mit der Steuereinrichtung 4 über eine Kommunikationsverbindung 10 verbunden. Die Kommunikationsverbindung 10 kann zum Beispiel eine Mehrzahl von Punkt-zu-Punkt-Verbindungen umfassen oder eine Bus-Verbindung wie ein CAN-Bus oder dergleichen sein. Über die Kommunikationsverbindung 10 werden, insbesondere kontinuierlich, Bilder bzw. Bilddaten von den Kameras 3 an die Steuereinrichtung 4 übermittelt.
Die Steuereinrichtung 4 ist dazu ausgebildet, ein Verfahren zum Erzeugen einer Bilddarstellung auszuführen, wobei die Bilddarstellung aus wenigstens einem Bild und einem dem Bild überlagerten Overlay erzeugt wird. Die Steuereinrichtung 4 verwendet dazu als das wenigstens eine Bild ein oder mehrere der Kamerabilder, welche mittels den Kameras 3 des Fahrzeug 1 aufgenommen wurden.
Bei der Bilddarstellung kann es sich insbesondere um eine Umgebungsdarstellung, welche zumindest einen Teil der Umgebung des Fahrzeugs 1 wiedergibt, handeln. Die Bilddarstellung kann insbesondere eine Surround-View-Ansicht, welche das Fahrzeug 1 sowie einen Teil der Umgebung des Fahrzeugs 1 ausgehend von einer virtuellen Kameraposition darstellt, sein. Dazu können die von den Kameras 3 erzeugten Bilder und/oder das Overlay zum Beispiel auf eine Projektionsfläche projiziert werden, von der die Bilddarstellung ausgehend von einer beliebig positionierten virtuellen Kameraposition aus abgeleitet werden kann.
Alternativ kann es sich bei der Bilddarstellung auch um eine Ansicht handeln, bei der nur ein Bild einer der Kameras 3 verwendet wird. Die Bilddarstellung kann dabei zum Beispiel eine Frontansicht basierend auf den Bildern der Frontkamera 5, eine Rückfahransicht basierend auf den Bildern der Rückfahrkamera 6 oder eine Seitenansicht basierend auf den Bildern einer der Seitenkameras 7, 8 sein.
Unabhängig davon, von welcher der Kameras 3 die Bilder für die Bilddarstellung bereitgestellt werden, kann es sich bei der Bilddarstellung um ein Videobild handeln, welches auf fortlaufend erzeugten Bildern einer oder mehrerer der Kameras 3 basiert. Durch die Bilddarstellung kann somit zumindest im Wesentlichen ein Teilbereich der Fahrzeugumgebung in Echtzeit wiedergegeben werden.
Zusätzlich zu dem wenigstens einen Bild basiert die Bilddarstellung auch auf einem Overlay, welches dem wenigstens einen Bild überlagert wird. Das Overlay kann als eine weitere Bildinformation aufgefasst werden, welche dem Bild bzw. dem Kamerabild überlagert wird. Das Overlay umfasst wenigstens ein Grafikelement, welches für die Anzeige weiterer Informationen in der Bilddarstellung dient. In Fig. 2 wird ein Flussdiagramm eines Verfahrens zum Erzeugen einer Bildinformation gezeigt, welches von der Steuereinrichtung 4 durchgeführt wird. In einem Schritt S1 werden ein oder mehrere Bilder von einer oder mehrerer Kameras 3 an die Steuereinrichtung über die Kommunikationsverbindung 10 übermittelt, beispielsweise ein Bild der Rückfahrkamera 6.
In Schritt S2 ermittelt die Steuereinrichtung 4, oder alternativ auch eine weitere, mit der Steuereinrichtung 4 kommunizierend verbundene Steuereinrichtung des Fahrzeugs 1 , ein Overlay. Das Overlay kann basierend auf einem Bildinhalts des Bilds und/oder basierend auf wenigstens einem Fahrzustandsparameter des Fahrzeugs 1 , welcher wenigstens einen Fahrzustand des Fahrzeugs 1 beschreibt, ermittelt werden.
Der Bildinhalt des wenigstens einen Bildes kann zum Beispiel durch die Steuereinrichtung 4 und/oder durch eine weitere Steuereinrichtung des Fahrzeugs 1 mittels künstlicher Intelligenz oder vergleichbarer Verfahren ermittelt werden. Der wenigstens eine Fahrzustandsparameter kann zum Beispiel eine Fahrtrichtung des Fahrzeugs 1 , eine Geschwindigkeit des Fahrzeugs 1 , ein Lenkwinkel der Fahrzeugs 1 oder Ähnliches sein. Der Fahrzustandsparameter kann zum Beispiel von wenigstens einer Sensoreinrichtung des Fahrzeugs 1 an die Steuereinrichtung 4, insbesondere über die Kommunikationsverbindung 10, übermittelt werden.
In Fig. 3 ist ein Ausführungsbeispiel eines Overlays 11 dargestellt. Das Overlay 11 umfasst wenigstens ein Grafikelement 12. In Fig. 3 ist dabei ein Farbkanal des Overlays 11 dargestellt. Das Grafikelement 12 umfasst in diesem Farbkanal einen inneren Bereich 13 sowie einen den inneren Bereich 13 zumindest teilweise umgebenden ersten Umrandungsbereich 14, wobei der erste Umrandungsbereich 14 eine Farbe aufweist, welche der Farbe des inneren Bereichs 13 entspricht oder welche von einer Farbe des inneren Bereichs 13 verschieden ist. Vorliegend weist der erste Umrandungsbereich 14 beispielhaft eine andere Farbe als der innere Bereich 13 auf, wobei die unterschiedlichen Farben des inneren Bereichs 13 und des ersten Umrandungsbereichs 14 im Farbkanal durch unterschiedliche Schraffuren schematisch dargestellt werden. Alternativ ist es möglich, dass der erste Umrandungsbereich 14 die gleiche Farbe wie der innere Bereich 13 aufweist.
Der erste Umrandungsbereich kann einem Grafikelement 12 des Overlays 11 während des Verfahrens zur Erzeugung der Bilddarstellung zugewiesen werden, beispielsweise durch die Steuereinrichtung 4. Alternativ kann der erste Umrandungsbereich 14 auch bereits in dem für die Erzeugung der Bilddarstellung verwendeten Overlay 11 enthalten sein bzw. einen Abschnitt des in dem Overlay enthaltenen Grafikelements 12 beschreiben.
Das wenigstens eine Grafikelement 12 zeigt insbesondere Informationen, welche einem Fahrerassistenzsystem des Fahrzeugs 1 zugeordnet sind. Grundsätzlich kann das Grafikelement 12 ein Teil einer beliebigen grafischen oder schriftlichen Information sein, welche dem wenigstens einen Bild als Overlay 11 überlagert wird und dieses somit in der Bilddarstellung augmentiert. Beispielsweise kann das Grafikelement 12 ein Teil einer voraussichtlichen Fahrzeugtrajektorie des Fahrzeugs 1 , eine Markierung eines Parkplatz in der Umgebung des Fahrzeugs 1 , ein Teil einer in der Bilddarstellung dargestellten Schrift oder dergleichen sein.
In Fig. 4 ist das Overlay 11 als eine Pixelgrafik dargestellt, welche durch eine Mehrzahl von Bildpunkten 15 gebildet wird. Vorliegend ist das Grafikelement 12 linienförmig und verläuft unter einem Winkel a zu einer der Kanten 16 eines rechteckigen Bildpunkterasters 17, welches nachfolgend auch zur Beschreibung der Bilddarstellung verwendet wird.
Aufgrund des Winkels a zwischen dem linienförmigen Grafikelement 12 und der Kante 16 des Bildpunkterasters 17 kommt es bei der Darstellung des Grafikelements 12 zu treppenförmigen Artefakten am Rand des Grafikelements 12. Die Wahrnehmung dieses Artefaktes kann zum Beispiel in der Bilddarstellung zumindest teilweise dadurch reduziert werden, dass der erste Umrandungsbereich 14 eine andere Farbe als der innere Bereich 13 aufweist. Beispielsweise kann die Farbe des Umrandungsbereichs 14 heller sein als die Farbe des inneren Bereichs In Fig. 5 ist ein Alphakanal des Overlays 11 bildlich dargestellt. Im Alphakanal werden den einzelnen Bildpunkten 15 des Overlays durch die Steuereinrichtung 4 Transparenzwerte zugewiesen. Das Grafikelement 12 umfasst in dem Alphakanal einen zweiten Umrandungsbereich 18, weicher den inneren Bereich 13 des Grafikelements 12 zumindest teilweise umgibt. Die durch den zweiten Umrandungsbereich 12 beschriebene Transparenz ist schematisch als Schraffur der jeweiligen Bildpunkte 15 des zweiten Umrandungsbereichs 12 dargestellt.
Die Breite des zweiten Umrandungsbereichs 18 kann der Breite des ersten Umrandungsbereichs 14 entsprechen oder schmaler sein als diese. In dem gezeigten Ausführungsbeispiel weisen der erste Umrandungsbereich 14 im Farbkanal des Overlays und der zweite Umrandungsbereich 18 im Alphakanal des Overlays 11 jeweils dieselbe Breite von einem Bildpunkt bzw. Pixel auf. Der zweite Umrandungsbereich 14 kann insbesondere eine durchschnittliche Breite von weniger als fünf Bildpunkten, insbesondere zwischen einem und zwei Bildpunkten, aufweisen.
Auch dem inneren Bereich 13 kann im Alphakanal eine Transparenz zugewiesen sein, wobei die Transparenz des zweiten Umrandungsbereichs 18 bevorzugt zwischen einer vollständigen Transparenz und der dem inneren Bereich zugewiesenen Transparenz liegt. Die Bildpunkte 15 des zweiten Umrandungsbereichs 18 können dabei jeweils die gleiche Transparenz aufweisen oder es können den Bildpunkten des zweiten Umrandungsbereichs 18 unterschiedliche Transparenzwerte zugewiesen sein.
Der zweite Umrandungsbereich 18 kann auch einen Transparenzverlauf aufweisen, wobei die Transparenz insbesondere entlang der Breite des zweiten Umrandungsbereichs 18 vom inneren Bereich 13 aus zu den Außenrändern 19 des zweiten Umrandungsbereichs 18 hin zunimmt. Ein Transparenzverlauf kann dabei insbesondere bei solchen zweiten Umrandungsbereichen 18 vorgesehen werden, welche eine Breite von mehr als einem Bildpunkt 15 aufweisen. Bevorzugt nimmt die Transparenz jeweils ausgehend von einer Mitte des inneren Bereichs 13 aus zu den Außenrändern 19 des zweiten Umrandungsbereichs 18 zu, also entlang einer positiven und negativen Richtung s, welche senkrecht auf der Erstreckungsrichtung t des Grafikelements 12 steht, so wie es in Fig. 5 dargestellt ist. Der Transparenzverlauf kann dabei durch eine Funktion beschrieben werden und beispielsweise ein linearer, exponentieller oder logarithmischer Verlauf sein.
Bei dem Vorhandensein mehrerer linienförmiger Grafikelemente 12 in dem Overlay 11 kann bevorzugt nur denjenigen linienförmigen Grafikelementen 12 ein zweiter Umrandungsbereich 18 in dem Alphakanal des Overlays 11 zugewiesen werden, welche nicht parallel zu einer der Kanten 16 des zur Beschreibung der Bildinformation verwendeten Bildpunkterasters 17 verlaufen.
In Schritt S3 des in Fig. 2 dargestellten Ausführungsbeispiels des Verfahrens zum Erzeugen der Bilddarstellung wird eine Bilddarstellung durch Überlagern des wenigstens einen Bildes mit dem Overlay 11 erzeugt. Dazu wird das Overlay 11 an einer dem Overlay 11 zugeordneten Position in das wenigstens eine Bild eingefügt. Die Position und/oder die Geometrie eines einzufügenden Overlays 11 kann, wie vorangehend beschrieben wurde, in Abhängigkeit der Interpretation des Bildinhalts und/oder in Abhängigkeit des wenigstens einen Fahrzustandsparameters erfolgen.
In Schritt S4 des Verfahrens wird die Bilddarstellung auf der Anzeigeeinrichtung 9 des Fahrzeugs 1 dargestellt. Zumindest einem Teil des ersten Umrandungsbereichs 14 wird aufgrund des zweiten Umrandungsbereichs 18 eine Transparenz zugewiesen, sodass sich in der Bilddarstellung ein weicherer Übergang zwischen dem Bild und dem Overlay 11 ergibt. Dies verbessert die Wahrnehmbarkeit des Overlays 11 in der Bilddarstellung durch einen Fahrer oder einen Benutzer des Fahrzeugs 1 , insbesondere die Wahrnehmbarkeit in Bezug zu dem ebenfalls in der Bilddarstellung enthaltenen Bildinhalts des wenigstens einen Bildes.
Fig. 6 zeigt ein Ausführungsbeispiel einer Bilddarstellung 20. Diese umfasst ein Bild
21 der Rückfahrkamera 6 des Fahrzeugs 1 , welches mit einem Overlay 11 überlagert wurde. Vorliegend umfasst das Overlay 11 mehrere linienförmige Grafikelemente 12, welche einen sich in dem Umfeld des Fahrzeugs 1 befindlichen Parkplatz 22 markieren. Zusätzlich dazu umfasst das Overlay 11 auch zwei bogenförmige Grafikelemente 23, durch welche ein von dem Fahrzeug 1 zu durchfahrender Korridor 24 zum Erreichen des Parkplatzes 22 gekennzeichnet wird. Die Geometrie des Overlays 11 , also zum Beispiel die Geometrie des Parkplatzes 22, kann in Abhängigkeit einer Interpretation des Bildinhalts gewählt und dargestellt werden. Zusätzlich oder alternativ dazu kann die Geometrie des Overlays 11 , insbesondere die Geometrie bzw. der Verlauf der bogenförmigen Grafikelemente 23, auch in Abhängigkeit eines Fahrzustandsparameters, beispielsweise eines eingestellten Lenkwinkels o.Ä., erfolgen.
Um ein Antialiasing zu erreichen, wird beim Erzeugen der Bilddarstellung 20 zumindest einem Teil der linienförmigen Grafikelementen 12 sowie den bogenförmigen Grafikelementen 23 jeweils in dem Farbkanal des Overlays 11 ein ersten Umrandungsbereich 14 zugewiesen, dessen Farbe sich von einem inneren Bereich 13 des jeweiligen Grafikelements 12, 23 unterscheidet. Alternativ können die jeweiligen ersten Umrandungsbereiche 14 auch die gleiche Farbe wie der jeweilige innere Bereich 13 des Grafikelements 12, 23 aufweisen und/oder bereits als Teil des Overlays 11 bereitgestellt werden. Zumindest den nicht parallel zu einer der Kanten 16 des zur Darstellung der Bilddarstellung 19 verwendeten Bildpunkterasters 17 verlaufenden Grafikelementen 12, 23 wird jeweils in einem Alphakanal des Overlays ein zweiter Umrandungsbereich zugewiesen, so wie es vorangehend in Bezug zu den Figuren 3 bis 5 beschrieben wurde.
Es ist möglich, dass die Bilddarstellung 20 aus mehr als einem Bild einer der Kameras 3 erzeugt wird und/oder dass Bilder mehrerer der Kameras 3 verwendet werden, um einen größeren Teilbereich der Umgebung des Fahrzeugs 1 abzubilden. Es ist möglich, dass weitere und/oder andere Overlays 11 zum Erzeugen der Bilddarstellung verwendet werden. Insbesondere können zumindest ein Teil der Grafikelemente 12, 23 eines Overlays 11 auch einen Text oder eine andere schriftliche Information darstellen.

Claims

Patentansprüche
1 . Verfahren zum Erzeugen einer Bilddarstellung (20), wobei die Bilddarstellung (20) aus wenigstens einem Bild (21) und wenigstens einem dem Bild (21 ) überlagerten Overlay (11 ) erzeugt wird, wobei das Overlay (11 ) wenigstens ein Grafikelement (12), welches in einem Farbkanal des Overlays (11 ) einen inneren Bereich (13) und einen den inneren Bereich (13) zumindest teilweise umschließenden ersten Umrandungsbereich (14) aufweist, umfasst, wobei dem wenigstens einen Grafikelement (12) in einem Alphakanal des Overlays (11 ) ein den inneren Bereich (13) zumindest teilweise umschließender zweiter Umrandungsbereich (18) zugewiesen wird, wobei der zweite Umrandungsbereich (18) eine Transparenz aufweist, welche größer als die Transparenz des inneren Bereichs (13) ist.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der erste Umrandungsbereich (14) die gleiche Farbe wie der innere Bereich (13) aufweist oder dass der erste Umrandungsbereich (14) eine Farbe aufweist, welche von einer Farbe des inneren Bereichs (13) verschieden ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der zweite Umrandungsbereich (18) genauso breit wie der erste Umrandungsbereich (14) ist oder dass der zweite Umrandungsbereich (18) eine geringere Breite als der erste Umrandungsbereich (14) aufweist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddarstellung (20) durch eine Vielzahl von Bildpunkten (15) beschrieben wird, wobei der zweite Umrandungsbereich (18) eine durchschnittliche Breite von weniger als fünf Bildpunkten (15), insbesondere zwischen einschließlich einem und einschließlich zwei Bildpunkten (15), aufweist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Grafikelement (12) linienförmig ist, wobei die Breite des zweiten Umrandungsbereichs (18) in Abhängigkeit eines Winkels (a) zwischen dem Grafikelement (12) und den Kanten (16) eines zur Beschreibung der Bildinformation (20) verwendeten Bildpunkterasters (17) gewählt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Vorhandensein mehrerer linienförmiger Grafikelemente (12) im Overlay (11 ) nur denjenigen linienförmigen Grafikelementen (12) ein zweiter Umrandungsbereich (18) zugewiesen wird, welche nicht parallel zu einer der Kanten (16) eines zur Beschreibung der Bildinformation (20) verwendeten Bildpunkterasters (17) verlaufen.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Transparenz des zweiten Umrandungsbereichs (18) zwischen einer vollständigen Transparenz und einer dem inneren Bereich (13) zugewiesenen Transparenz liegt.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zweite Umrandungsbereich (18) einen Transparenzverlauf aufweist, wobei die Transparenz entlang der Breite des zweiten Umrandungsbereichs (18) vom inneren Bereich (13) aus zu den Außenrändern (19) des zweiten Umrandungsbereichs (18) hin zunimmt.
9. Steuereinrichtung, eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
10. Fahrerassistenzsystem umfassend wenigstens eine Kamera (3), wenigstens eine Anzeigeeinrichtung (9) und eine Steuereinrichtung (4) nach Anspruch 9, wobei die Kamera (3) zur Bereitstellung des wenigstens einen Bildes (21 ) und die Anzeigeeinrichtung (9) zur Wiedergabe der Bilddarstellung (20) ausgebildet sind.
11 . Fahrzeug umfassend ein Fahrerassistenzsystem (2) nach Anspruch 10.
EP24759060.7A 2023-08-23 2024-08-08 Verfahren zum erzeugen einer bilddarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug Pending EP4767304A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023208082.6A DE102023208082A1 (de) 2023-08-23 2023-08-23 Verfahren zum Erzeugen einer Bilddarstellung, Steuereinrichtung, Fahrerassistenzsystem und Fahrzeug
PCT/DE2024/200088 WO2025040221A1 (de) 2023-08-23 2024-08-08 Verfahren zum erzeugen einer bilddarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug

Publications (1)

Publication Number Publication Date
EP4767304A1 true EP4767304A1 (de) 2026-07-01

Family

ID=92503658

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24759060.7A Pending EP4767304A1 (de) 2023-08-23 2024-08-08 Verfahren zum erzeugen einer bilddarstellung, steuereinrichtung, fahrerassistenzsystem und fahrzeug

Country Status (3)

Country Link
EP (1) EP4767304A1 (de)
DE (1) DE102023208082A1 (de)
WO (1) WO2025040221A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292713B2 (ja) * 1999-09-07 2002-06-17 株式会社ナムコ 画像生成システム及び情報記憶媒体
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
DE102014208663A1 (de) 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur bereitstellung von informationsdaten zu einem in einem videobildstrom enthaltenen objekt einer fahrzeugumgebung
GB201414609D0 (en) 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
US10701299B2 (en) 2014-08-18 2020-06-30 Jaguar Land Rover Limited Display system and method
DE102014119317A1 (de) 2014-12-22 2016-06-23 Connaught Electronics Ltd. Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
EP4155128B1 (de) * 2016-12-09 2025-02-12 Kyocera Corporation Bildgebungsvorrichtung, bildverarbeitungsvorrichtung, anzeigesystem und fahrzeug
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法

Also Published As

Publication number Publication date
WO2025040221A1 (de) 2025-02-27
DE102023208082A1 (de) 2025-02-27

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20260323

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR