EP4552069A1 - Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem - Google Patents

Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem

Info

Publication number
EP4552069A1
EP4552069A1 EP23738620.6A EP23738620A EP4552069A1 EP 4552069 A1 EP4552069 A1 EP 4552069A1 EP 23738620 A EP23738620 A EP 23738620A EP 4552069 A1 EP4552069 A1 EP 4552069A1
Authority
EP
European Patent Office
Prior art keywords
view
shape
camera
bounding box
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23738620.6A
Other languages
English (en)
French (fr)
Inventor
Markus Friebe
Gustavo MACHADO
Christian Kaps
Charlotte GLOGER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4552069A1 publication Critical patent/EP4552069A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • the present invention relates to a method for generating a view with a camera system for a vehicle and a camera system, in particular a surround view camera system for detecting the environment for a vehicle, which can generate a view using the method according to the invention.
  • Modern vehicles are increasingly being equipped with driver assistance systems that support the driver in carrying out driving maneuvers.
  • these driver assistance systems also include, in particular, surround view camera systems that allow the vehicle's surroundings to be displayed to the driver of the vehicle.
  • surround view camera systems generally include a control device and several cameras, which provide real images of the vehicle surroundings, which are combined in particular by a data processing unit of the surround view camera system to form an environmental image of the vehicle surroundings. The image of the vehicle surroundings is then displayed to the driver on a display unit (such as the navigation system display). In this way, the driver can be supported during vehicle maneuvers, for example when reversing the vehicle or during a parking maneuver.
  • the surround view cameras are usually “fisheye cameras”, i.e. H. a camera with a fisheye lens that provides a fisheye image.
  • the undistorted fisheye images are then used to present the driver with various views of the environment, such as: E.g. front view, rear view, curb view and the like.
  • Modern surround view camera systems can then display the resulting views to the driver, e.g. B. on a display, a cockpit or a navigation system.
  • the images can also be stitched together to form a 360° panoramic view, allowing the driver to select the appropriate viewpoint by moving within a virtual camera scene.
  • There are various functions or views such as “bowl” or “top view” (“bird’s eye view” or “top view”), in which images or textures from the surround view cameras are combined to form an overall view (or overall texture). be joined together or seamlessly strung together (stitching).
  • the images or textures of the surround view cameras generally have overlapping regions or overlapping areas. Especially in the bowl view, where the textures from the cameras are projected to visualize a virtual 3D bowl, which represents the entire area around the car.
  • texture information can be projected from the camera system onto a network (projection surface) or a static 2D plane, for example.
  • views created in this way can result in the captured objects being visually distorted or disturbed. This happens due to the reprojection of the object texture onto the base surface. However, this effect is visually disturbing for the user, so there is a particular interest in avoiding such distortions.
  • the DE 10 2014 208 664 A1 discloses a camera surround view system for a vehicle with at least one vehicle camera that provides camera images that are processed by a data processing unit to generate an environmental image that is displayed on a display unit, the data processing unit providing textures , which are captured by the vehicle cameras, are replicated on an adaptive re-projection surface similar to the vehicle environment, which is calculated based on sensor data provided by vehicle sensors, thereby minimizing or eliminating distortions or distorted artifacts.
  • a method in which, in order to reproduce a graphic in a three-dimensional virtual environment of a vehicle, a standard three-dimensional projection surface is generated from camera data or images from several cameras, which is centered around a virtual representation of the vehicle in a virtual environment is. This is done using initial polygon model data that corresponds to the shape of an object in the environment.
  • the three-dimensional projection surface is then deformed with respect to the first polygon model data for an object at a location in the virtual environment that corresponds to a relative distance and a direction of the object, which was detected using environmental sensor data.
  • the images can then be projected onto the deformed three-dimensional projection surface and displayed by means of a display device in an in-vehicle information system, the displayed graphic corresponding to the deformed three-dimensional projection surface with the plurality of projected images.
  • the present invention is therefore based on the object of providing a generic (surround view) camera system through which the display of distorted objects is prevented in order to display objects or obstacles in the vehicle environment as clearly as possible and without distortion.
  • the camera system comprises a control device and at least one camera - preferably several cameras, the view being generated using the following method steps:
  • image scaling is understood to mean a change in the size of an image or the boundary shape or the network structure of the boundary shape.
  • image resolution can be changed so that a new image with a higher or lower number of image points (pixels) is created.
  • texture mapping or “pattern mapping” can also take place, whereby surfaces of models, in particular three-dimensional surface models, are designed with two-dimensional images (textures) and possibly also surface properties. The textures make the images appear more detailed and realistic.
  • the bounding box can be adapted to the size of the bounding box as a type of model with the image of the projected object.
  • image distortion or “image warping” is understood to mean an image-based technique in which, for example, B. the depth values associated with an image are transformed using a so-called reshaping or warping equation (“morphing” or “image morphing”) in such a way that the image is deformed/distorted in the desired way and/or viewed from a different point of view ( in real time).
  • the present invention aims to improve a diagonally distorted appearance of objects in the area surrounding the vehicle. For example, in the bird's eye view or top view, these objects are projected onto the ground, with the projected shape of these objects positioned in the image in such a way that their projection looks straight and not distorted diagonally, so that the objects in the vehicle surroundings look good can be displayed visibly and without distortion, which in many cases significantly improves the visual appearance of these objects and the spatial representation.
  • the view can expediently include a 2D view, in particular a top view view, a 3D view, in particular a bowl, or the like.
  • the boundary box is preferably designed to be two-dimensional and axis-oriented.
  • this can be a two-dimensional geometric shape (e.g. circle, polygon, such as rectangle, square, triangle, hexagon or the like).
  • This shape can be chosen in a practical manner depending on the outline or contour of the respective object or the associated detection points.
  • the network structure or the grid structure comprises a triangular network or a triangular grid.
  • a triangular network or a triangular grid comprises a triangular network or a triangular grid.
  • other forms are also conceivable, such as: B. differently designed polygon networks or polygon grids.
  • a shape is preferably selected which is created by connecting corners of the boundary box with another geometric shape, in particular a shape comprising a polygon (e.g. triangular, square or rectangle shape). , which is arranged at the opposite end of the projected points, that is, for example, a rectangle or square (alternatively another polygon or circular shape - especially depending on the contour of the object) is arranged, which spans the outer points.
  • a rectangle or square alternatively another polygon or circular shape - especially depending on the contour of the object
  • the boundary shape can include all projected points of the object, with any outliers that can be detected, for example, using limit values, not being taken into account.
  • the network structure can expediently be arranged within the boundary box in such a way that the corners and edges of the final boundary are arranged along the boundary of the original boundary box.
  • the object is given the same scope or boundary of the bounding box created in step II and is therefore displayed particularly realistically and clearly. In addition, distortions are particularly avoided.
  • extrinsic and/or intrinsic camera parameters as well as the object data (preferably three-dimensional data that are determined based on the environmental data of the cameras or other sensors) are used to create the bounding box and/or the bounding shape and/or the network structure or lattice structure.
  • intrinsic parameters are understood to mean camera parameters that are internally and firmly coupled to a specific camera or digitization device.
  • extrinsic parameters are camera parameters that are external to the camera and can change in relation to the world view (location/position/orientation of the camera in the world coordinate system). In terms of a camera model, this means that extrinsic parameters define the location and orientation of the camera in relation to the world view.
  • intrinsic parameters enable an association between camera coordinates and pixel coordinates in the image or field of view (relationship between camera and image coordinate systems), e.g. B. the focal length f and the optical center in the image plane.
  • the camera model is, so to speak, a mapping from world coordinates to image coordinates, which is done using a 3D to 2D transformation.
  • the intrinsic parameters do not depend on the position and orientation of the camera in the world and describe the image and the internal geometry of the camera.
  • free areas created by arranging the network or grid structure within the boundary box can be filled by propagating pixels from the environment into this area and/or using a historical ground structure for filling and/or using texture information from different cameras. This particularly improves the view.
  • the present invention further comprises a camera system, in particular a surround view camera system for a vehicle, which has a control device and one or more comprises camera(s) arranged in/on the vehicle, wherein the control device generates the view based on the method according to the invention and the cameras or the camera data or camera images.
  • a camera system in particular a surround view camera system for a vehicle, which has a control device and one or more comprises camera(s) arranged in/on the vehicle, wherein the control device generates the view based on the method according to the invention and the cameras or the camera data or camera images.
  • Fig. 1 is a simplified schematic representation of an embodiment of a
  • Fig. 2 is a simplified schematic representation of an inventive
  • FIG. 3 shows a simplified representation of the method according to the invention based on various steps (A-F), in which a vehicle detects an object using detection points and a view of this object is generated using the method according to the invention.
  • Reference number 1 in Fig. 1 denotes a vehicle with a control device 2 (ECU, Electronic Control Unit or ADCU, Assisted and Automated Driving Control Unit), which can access various actuators (e.g. steering, engine, brake) of the vehicle 1 in order to be able to carry out control operations of vehicle 1.
  • the vehicle 1 has several surround view cameras or cameras 3a-3d, a camera sensor 4 (or front camera) and a lidar sensor 5 for detecting the surroundings, which are controlled via the control device 2.
  • the present invention expressly also includes embodiments in which no common control device 2 is provided, but individual control devices or control units are provided for sensor control (e.g.
  • a separate control unit or a separate control device for controlling the cameras 3a-3d, for corresponding data processing and for carrying out the method according to the invention).
  • other sensors such as. B. radar or ultrasonic sensors may be provided.
  • the sensor data can then be used for environment and object recognition.
  • various assistance functions such as: B. Parking assistant, emergency brake assistant (EBA, Electronic Brake Assist), distance following control (ACC, Adaptive Cruise Control), lane keeping control or a Lane keeping assistant (LKA, Lane Keep Assist) or the like can be implemented.
  • the assistance functions can also be carried out via the control device 2 or a separate control device.
  • the cameras 3a-3d are part of a surround-view camera system, which is preferably controlled by the control device 2 (alternatively, a separate control can be provided, for example), which offers a complete 360-degree view around the entire vehicle 1 by increasing the fields of view of the individual surround view cameras, e.g. B. 120 degrees, can be combined to form an overall view or overall picture.
  • This camera system has numerous advantages in many everyday situations.
  • the surround view camera system allows the driver to see different angles of the vehicle 1, e.g. B. can be displayed via a display unit (not shown in FIG. 1).
  • 4 surround view cameras 3a-3d are used, e.g. B. are arranged in the front and rear areas as well as on the side mirrors.
  • three, six, eight, ten or more surround view cameras can also be provided. These camera views or viewing angles are particularly helpful when checking the blind spot, changing lanes or parking.
  • the method according to the invention is shown schematically in FIG. 2 and has the method steps described below.
  • Step I Acquiring an object (or objects) from three-dimensional environmental data (Fig. 3A).
  • This step essentially depends on the camera or sensor and environmental data.
  • this data can be in the form of point clouds (as shown in Fig. 3A using the black dots or detection points), with so-called point clusters being recognized if they are e.g. B. lie above a certain threshold (“threshold”) above the ground level.
  • threshold a certain threshold
  • Step II Creating a, in particular two-dimensional and axis-oriented, bounding box of the object (Fig. 3B) from the vehicle's top view.
  • the X-Y axis where for a given set of object points the minimum and maximum on each axis are taken.
  • Step III Projecting the object onto the ground plane (Fig. 3C), e.g. For example, a camera is placed to the left of the points and the points are not on the ground, so that the points spread across the boundaries of the bounding box when projected to the ground (shown by the triangular points in Fig. 3C).
  • Step IV Creating or computing a bounding shape that includes both the bounding box and the projected object (Fig. 3D).
  • a simple form can be chosen that includes both the bounding box itself and the projected objects. This simple form can e.g. B. be the connection of the bounding box, another rectangle at the other end of the projected points and the connection of their corners.
  • the resulting shape should preferably include all projected points within the created area.
  • Step V Creating a mesh or grid structure (triangular mesh or triangular grid) for the boundary shape (Fig. 3E), preferably creating a triangle mesh structure to represent the boundary shape by comparing the angles of the shape with each polygon-triangle approach.
  • Step VI Arranging the network or lattice structure within the bounding box (FIG. 3F), whereby the network structure or the triangular network from step V is adjusted such that the corners and edges are arranged along the boundary of the original bounding box.
  • the resulting shape essentially has the shape of the bounding box (from step II).
  • the boundary shape is adapted to the size of the bounding box by image scaling and/or image distortion.
  • image mapping step which, so to speak, transforms or reshapes the network or lattice structure from step V into a network or lattice structure (as shown in FIG. 3F), which essentially corresponds to the boundary of the bounding box thus adapting the object representation accordingly.
  • the object then appears much more natural when displayed later and gives the user a better sense of orientation. This allows e.g. B. Parking processes can be made particularly easier.
  • step V When moving from step V to step VI or when removing the network or grid structure created for the boundary shape (step V), the area of the original grid structure that is not in the boundary box (see step VI) remains free or not filled. There is, so to speak, no visual information from current camera and time data to represent this area.
  • various methods can advantageously be used to fill this floor area or the image area, such as. For example, propagating pixels from the environment into this area, using historical ground structure to fill these areas, or using texture information from different cameras.
  • the visualization quality is significantly improved by the invention in that objects do not appear distorted and have a static reprojection surface.
  • Another advantage can be if the top view is expanded with parking lot markers. Without stretching, obstacles or other vehicles can be pulled into the free parking space so that the parking space markings appear to lie on the obstacle. After removing the stretch, the place where the parking space is displayed actually looks clear.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Ansicht für ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem für ein Fahrzeug (1), umfassend eine Steuereinrichtung (2) und mindestens eine Kamera (3a-3d), wobei die Ansicht anhand folgender Verfahrensschritte erzeugt wird: - Erfassen zumindest eines Objekts aus den Umgebungsdaten der mindestens eine Kamera (3a-3d), - Erzeugen einer Begrenzungsbox des Objekts, - Projizieren des Objekts auf eine Bodenebene, - Erstellen einer Begrenzungsform, welche die Begrenzungsbox und das projizierte Objekt umfasst, - Erstellen einer Netz- oder Gitterstruktur für die Begrenzungsform, und - Anordnen der Netz- oder Gitterstruktur innerhalb der Begrenzungsbox, wobei die Begrenzungsform insbesondere durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst wird.

Description

Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem für ein Fahrzeug und ein Kamerasystem, insbesondere ein Surroundview- Kamerasystem zur Umfelderfassung für ein Fahrzeug, welches eine Ansicht anhand des erfindungsgemäßen Verfahrens erzeugen kann.
Technologischer Hintergrund
Moderne Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview- Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel eine Steuereinrichtung und mehrere Kameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasystems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung wird dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver. Ferner handelt es sich bei den Surroundview- Kameras in der Regel um „Fischaugenkameras“ (Fisheye camera), d. h. eine Kamera mit Fischaugenobjektiv, die ein Fischaugenbild (Fisheye image) liefern. Die unverzerrten Fischaugenbilder werden dann verwendet, um dem Fahrer verschiedene Ansichten der Umgebung darzustellen, wie z. B. Vorderansicht, Rückansicht, Bordsteinansicht und dergleichen. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem.
Ferner können die Bilder auch zu einer 360°-Panorama-Ansicht zusammengefügt werden, sodass der Fahrer den geeigneten Blickpunkt auswählen kann, indem er sich innerhalb einer Szene einer virtuellen Kamera bewegen kann. Hierbei gibt es verschiedene Funktionen bzw. Ansichten wie „Bowl“ oder „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zu einer Gesamtansicht (oder Gesamttextur) zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Ferner können Texturinformationen von dem Kamerasystem auf ein Netz (Projektionsfläche) bzw. eine statische 2D-Ebene projiziert werden, um z. B. eine Top- View-Ansicht zu erzeugen. Bei derartig erzeugten Ansichten kann es jedoch dazu kommen, dass die erfassten Objekte visuell verzerrt bzw. gestört werden. Dies geschieht aufgrund der Reprojektion der Objekttextur auf die Grundfläche. Dieser Effekt ist für den Benutzer jedoch visuell störend, so dass ein besonderes Interesse besteht derartige Verzerrungen zu vermeiden.
Druckschriftlicher Stand der Technik
Die DE 10 2014 208 664 A1 offenbart ein Kamera-Surround- View-System für ein Fahrzeug mit mindestens einer Fahrzeugkamera, die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Umgebungsbildes verarbeitet werden, das auf einer Anzeigeeinheit angezeigt wird, wobei die Datenverarbeitungseinheit Texturen, die von den Fahrzeugkameras erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Projektionsfläche repliziert, die auf Basis von durch Fahrzeugsensoren bereitgestellten Sensordaten berechnet wird, wodurch Verzerrungen bzw. verzerrte Artefakte minimiert bzw. eliminiert werden.
Ferner ist aus EP 2 973420 B1 ein Verfahren bekannt, bei dem zum Wiedergeben einer Grafik in einer dreidimensionalen virtuellen Umgebung eins Fahrzeuges eine standardmäßige dreidimensionale Projektionsfläche aus Kameradaten bzw. Bildern mehrerer Kameras erzeugt wird, die um eine virtuelle Darstellung des Fahrzeugs in einer virtuellen Umgebung zentriert ist. Dabei wird anhand von ersten Polygonmodelldaten, die der Form eines Gegenstands in der Umgebung entsprechen, erzeugt. Die dreidimensionale Projektionsfläche wird dann in Bezug auf die ersten Polygonmodelldaten für einen Gegenstand an einem Ort in der virtuellen Umgebung verformt, welcher einer relativen Entfernung und einer Richtung des Gegenstands entspricht, wobei dieser anhand von Umfeldsensordaten erfasst wurde. Anschließend können die Bilder auf die verformte dreidimensionale Projektionsfläche projiziert werden und mittels einer Anzeigevorrichtung in einem fahrzeuginternen Informationssystem angezeigt werden, wobei die angezeigte Grafik der verformten dreidimensionalen Projektionsfläche mit der Vielzahl von projizierten Bildern entspricht. Aufgabe der vorliegenden Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein gattungsgemäßes (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das die Darstellung verzerrter Objekte unterbindet wird, um Objekte oder Hindernisse in der Fahrzeugumgebung möglichst gut sichtbar und verzerrungsfrei darzustellen.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Bei dem erfindungsgemäßen Verfahren zum Erzeugen einer Ansicht für ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem für ein Fahrzeug, umfasst das Kamerasystem eine Steuereinrichtung und mindestens eine Kamera - bevorzugt mehrere Kameras, wobei die Ansicht anhand folgender Verfahrensschritte erzeugt wird:
- Erfassen zumindest eines Objekts aus den Umgebungsdaten der mindestens einen Kamera,
- Erzeugen einer Begrenzungsbox („bounding box“) des Objekts,
- Projizieren des Objekts auf eine Bodenebene,
- Erstellen einer Begrenzungsform, welche die Begrenzungsbox und das projizierte Objekt umfasst,
- Erstellen einer Netzstruktur bzw. Gitterstruktur für die Begrenzungsform, und
- Anordnen der Netzstruktur bzw. Gitterstruktur innerhalb der Begrenzungsbox, wobei die Begrenzungsform insbesondere durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst werden kann. Im Sinne Der Erfindung wird unter Bildskalierung eine Größenänderung eines Bildes bzw. der Begrenzungsform bzw. der Netzstruktur der Begrenzungsform verstanden. Beispielsweise kann bei der Skalierung die Bildauflösung geändert werden, so dass ein neues Bild mit einer höheren beziehungsweise niedrigeren Anzahl von Bildpunkten (Pixeln) erzeugt wird. Beispielsweise kann im Zuge der Bildskalierung auch ein „Textur-Mapping“ bzw. eine „Musterabbildung“ erfolgen, wobei Flächen von Modellen, insbesondere dreidimensionaler Oberflächenmodelle, mit zweidimensionalen Bildern (Texturen) und ggf. auch Oberflächeneigenschaften ausgestaltet werden. Die Texturen lassen die Bilder dabei detailreicher und realistischer erscheinen. In Bezug auf die Erfindung kann dabei die Begrenzungsbox als eine Art Modell mit dem Bild des projizierten Objekts auf die Größe der Begrenzungsbox angepasst werden. Unter Bildverzerrung oder „Image- Warping“ (Bildverformen oder Bildverzerren) wird im Sinne der Erfindung eine bildbasierte Technik verstanden, bei der z. B. die zu einem Bild dazugehörigen Tiefenwerte mittels einer sogenannten Umform- bzw. Warping-Gleichung derart umgeformt werden („morphing“ oder „Image morphing“), dass das Bild in gewünschter Weise verformt/verzerrt und/oder von einem anderen Blickpunkt aus (in Echtzeit) betrachtet werden kann.
Die vorliegende Erfindung zielt dabei darauf ab, ein diagonal verzerrtes Erscheinungsbild von Objekten in der Umgebung des Fahrzeugs zu verbessern. Beispielsweise werden in der Vogelperspektive bzw. Top- iew-Ansicht, diese Objekte auf den Boden projiziert, wobei die projizierte Form dieser Objekte derart im Bild positioniert wird, dass ihre Projektion gerade aussieht und nicht diagonal verzerrt, so dass die Objekte in der Fahrzeugumgebung gut sichtbar und verzerrungsfrei dargestellt werden, womit in vielen Fällen das visuelle Erscheinungsbild dieser Objekte und die räumliche Darstellung deutlich verbessert werden.
Zweckmäßigerweise kann die Ansicht eine 2D-Ansicht, insbesondere eine Top- View-Ansicht, eine 3D-Ansicht, insbesondere eine Bowl, oder dergleichen umfassen.
Vorzugsweise ist die Begrenzungsbox zweidimensional und achsenorientiert ausgestaltet. Insbesondere kann es sich hierbei um eine zweidimensionale geometrische Form (z. B. Kreis, Polygon, wie z. B. Rechteck, Viereck, Dreieck, Sechseck oder dergleichen handeln). Diese Form kann in praktischer Weise in Abhängigkeit vom Umriss bzw. der Kontur des jeweiligen Objekts oder den dazugehörigen Detektionspunkten gewählt werden.
Gemäß einer bevorzugten Ausgestaltung der Erfindung umfasst die Netzstruktur bzw. die Gitterstruktur ein Dreiecksnetz bzw. ein Dreiecksgitter. Denkbar sind jedoch auch andere Formen wie z. B. anders gestaltete Polygonnetze bzw. Polygongitter.
Vorzugsweise wird für das Erstellen der Begrenzungsform in Schritt IV eine Form gewählt, welche erstellt wird, indem Ecken der Begrenzungsbox mit einer anderen geometrischen Form, insbesondere einer einen Polygonzug umfassenden Form (z. B. Dreieck-, Viereck- oder Rechteckform), verbunden werden, die am gegenüberliegenden Ende der projizierten Punkte angeordnet wird, d. h. es wird beispielsweise ein Recht- oder Viereck (alternativ auch eine andere Polygon oder Kreisform - insbesondere je nach Kontur des Objekts) angeordnet, welches die äußeren Punkte umspannt. Diese kann dann z. B. auch eine ähnliche Kontur, wie die Begrenzungsbox oder ein Teil der Begrenzungsbox aufweisen. Die verzerrungsfreie bzw. weniger verzerrte Darstellung wird dadurch in besonderem Maße verbessert. Gemäß einer bevorzugten Ausgestaltung kann die Begrenzungsform alle projizierten Punkte des Objekts umfassen, wobei etwaige Ausreißer, die beispielsweise über Grenzwerte erfassbar sind, nicht berücksichtigt werden können.
Zweckmäßigerweise kann das Anordnen der Netzstruktur innerhalb der Begrenzungsbox derart erfolgen, dass die Ecken und Kanten der finalen Begrenzung entlang der Grenze der ursprünglichen Begrenzungsbox angeordnet sind. In praktischer Weise erhält das Objekt dadurch den gleichen Umfang bzw. die gleiche Begrenzung der in Schritt II erstellten Begrenzungsbox und wird dadurch besonders realistisch und übersichtlich dargestellt. Zudem werden Verzerrungen in besonderem Maße vermieden.
Vorzugsweise werden zum Erstellen der Begrenzungsbox und/oder der Begrenzungsform und/oder der Netzstruktur bzw. Gitterstruktur extrinsische und/oder intrinsischen Kameraparameter sowie die Objektdaten (vorzugsweise dreidimensionale Daten, die anhand der Umgebungsdaten der Kameras oder anderer Sensorik ermittelt werden) herangezogen. Im Sinne der Erfindung werden unter intrinsischen Parametern Kameraparameter verstanden, die intern und fest an einer bestimmten Kamera- bzw. Digitalisierungseinrichtung gekoppelt sind. Demgegenüber sind extrinsische Parameter Kameraparameter, die kameraextern sind und sich in Bezug auf das Weltbild ändern können (Lage/Position/Ausrichtung der Kamera im Weltkoordinatensystem). In Bezug auf ein Kameramodell bedeutet das, dass extrinsische Parameter den Standort und die Ausrichtung der Kamera in Bezug auf das Weltbild definieren. Demgegenüber ermöglichen intrinsische Parameter eine Zuordnung zwischen Kamerakoordinaten und Pixelkoordinaten im Bild bzw. Sichtfeld (Zusammenhang zwischen Kamera- und Bildkoordinatensystem), z. B. die Brennweite f und das optische Zentrum in der Bildebene. Das Kameramodell ist sozusagen eine Abbildung von Weltkoordinaten auf Bildkoordinaten, wobei dies anhand einer 3D- zu 2D-Transformation erfolgt. Die intrinsischen Parameter hängen dabei nicht von der Position und Orientierung der Kamera in der Welt ab und beschreiben die Abbildung sowie die interne Geometrie der Kamera.
Zweckmäßigerweise können durch das Anordnen der Netz- oder Gitterstruktur innerhalb der Begrenzungsbox entstehende freie Bereiche gefüllt werden, indem Pixel aus der Umgebung in diesen Bereich hinein propagiert werden und/oder eine historischen Bodenstruktur zum Verfüllen herangezogen wird und/oder Texturinformationen aus verschiedenen Kameras herangezogen werden. Dadurch wird die Ansicht in besonderem Maße verbessert.
Ferner umfasst die vorliegende Erfindung ein Kamerasystem, insbesondere Surroundview- Kamerasystem für ein Fahrzeug, welches eine Steuereinrichtung und eine oder mehrere im/am Fahrzeug angeordnete Kamera(s) umfasst, wobei die Steuereinrichtung die Ansicht anhand des erfindungsgemäßen Verfahrens und der Kameras bzw. der Kameradaten oder Kamerabilder erzeugt.
Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
Fig. 1 eine vereinfachte schematische Darstellung einer Ausgestaltung eines
Fahrzeuges mit einem erfindungsgemäßen (Surroundview-) Kamerasystem;
Fig. 2 eine vereinfachte schematische Darstellung eines erfindungsgemäßen
Verfahrensablaufs, sowie
Fig. 3 eine vereinfachte Darstellung des erfindungsgemäßen Verfahrens anhand verschiedener Schritte (A-F) schematisch dargestellt, bei der ein Fahrzeug ein Objekt anhand von Detektionspunkten erfasst und eine Ansicht dieses Objekts anhand des erfindungsgemäßen Verfahrens erzeugt wird.
Bezugsziffer 1 in Fig. 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, eine Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d, zur entsprechenden Datenverarbeitung und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120- Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-Kamerasystem können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in Fig. 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei 4 Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
Das erfindungsgemäße Verfahren ist schematisch in Fig. 2 dargestellt und weist die im folgenden beschriebenen Verfahrensschritte auf.
Schritt I: Erfassen eines Objekts (oder mehrerer Objekte) aus dreidimensionalen Umgebungsdaten (Fig. 3A). Dieser Schritt hängt im Wesentlichen von den Kamera- bzw. Sensor- und Umweltdaten ab. Beispielsweise können diese Daten in Form von Punktwolken vorliegen (wie in Fig. 3A anhand der schwarzen Punkte bzw. Detektionspunkte dargestellt), wobei sogenannte Punktcluster erkannt werden, wenn diese z. B. über einer bestimmten Schwelle („Threshold“) über der Bodenebene liegen.
Schritt II: Das Erzeugen einer, insbesondere zweidimensionalen und achsenorientierten, Begrenzungsbox („bounding box“) des Objekts (Fig. 3B) aus der Fahrzeugoberperspektive (Top- View). Zum Beispiel die X-Y-Achse, wobei für einen bestimmten Satz von Objektpunkten das Minimum und Maximum an jeder Achse herangezogen wird.
Schritt III: Das Projizieren des Objekts auf die Bodenebene (Fig. 3C), wobei z. B. eine Kamera links neben den Punkten angeordnet ist und die Punkte nicht am Boden liegen, so dass sich die Punkte über die Grenzen der Begrenzungsbox hinweg verteilen, wenn die Projektion zum Boden erfolgt (dargestellt anhand der dreieckigen Punkte in Fig. 3C). Schritt IV: Das Erstellen bzw. Berechnen einer Begrenzungsform, die sowohl die Begrenzungsbox als auch das projizierte Objekt umfasst (Fig. 3D). In praktischer Weise kann hierbei eine einfache Form gewählt werden, die sowohl die Begrenzungsbox selbst als auch die projizierten Objekte umfasst. Diese einfache Form kann z. B. die Verbindung der Begrenzungsbox, ein anderes Rechteck am anderen Ende der projizierten Punkte und die Verbindung ihrer Ecken sein. Die daraus resultierende Form sollte jedoch vorzugsweise alle projizierten Punkte innerhalb der erzeugten Fläche umfassen.
Schritt V: Das Erstellen einer Netz- bzw. Gitterstruktur (Dreiecksnetz bzw. Dreiecksgitter) für die Begrenzungsform (Fig. 3E), wobei bevorzugt eine Dreiecknetzstruktur erstellt wird, um die Begrenzungsform zu repräsentieren, indem die Winkel der Form mit jedem Polygon-Dreieck- Ansatz verbunden werden.
Schritt VI: Das Anordnen der Netz- bzw. Gitterstruktur innerhalb der Begrenzungsbox (Fig. 3F), wobei die Netzstruktur bzw. das Dreiecksnetz aus Schritt V dabei derart angepasst wird, dass die Ecken und Kanten entlang der Grenze der ursprünglichen Begrenzungsbox angeordnet sind. Die so entstehende Form besitzt dabei im Wesentlichen die Form der Begrenzungsbox (aus Schritt II). Dabei wird die Begrenzungsform durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst. Dieser beispielsweise „Textur-Mapping-Schritt“ der sozusagen die Netz- bzw. Gitterstruktur aus Schritt V zu einer Netz- bzw. Gitterstruktur (wie in Fig. 3F dargestellt) transformiert bzw. umformt, welche im Wesentlichen der Begrenzung der Begrenzungsbox entspricht, dient somit dazu die Objektdarstellung entsprechend anzupassen. Das Objekt wirkt dann dadurch auf der späteren Anzeige sehr viel natürlicher und vermittelt dem Benutzer ein besseres Orientierungsgefühl. Dadurch können z. B. Einparkvorgänge in besonderem Maße erleichtert werden.
Beim Übergang von Schritt V zu Schritt VI bzw. beim Entfernen der für die Begrenzungsform erstellten Netz- bzw. Gitterstruktur (Schritt V) bleibt der Bereich der ursprünglichen Gitterstruktur, der sich nicht in der Begrenzungsbox befindet (siehe Schritt VI), frei bzw. nicht gefüllt. Es gibt sozusagen keine visuellen Informationen aus aktuellen Kamera- und Zeitdaten, um diesen Bereich darzustellen. In vorteilhafter weise können jedoch verschiedene Methoden angewandt werden, um diese Bodenfläche bzw. den Bildbereich zu füllen, wie z. B. das Propagieren von Pixeln aus der Umgebung in diesen Bereich hinein, das Verwenden einer historischen Bodenstruktur, um diese Bereiche zu füllen oder das Verwenden von Texturinformationen aus verschiedenen Kameras. Zusammenfassend wird die Visualisierungsqualität durch die Erfindung somit deutlich verbessert, indem Objekte nicht als verzerrt und mit einer statischen Reprojektionsfläche erscheinen. Ein weiterer Vorteil kann darin bestehen, wenn die Top-View-Ansicht mit Parkplatzmarkierungen erweitert wird. Ohne Streckung können Hindernisse oder andere Fahrzeuge in den freien Parkplatz hineingezogen werden, sodass die Parkplatzmarkierungen auf dem Hindernis zu liegen scheinen. Nach dem Entfernen der Streckung sieht die Stelle, an der der Parkplatz angezeigt wird, tatsächlich frei aus.
BEZUGSZEICHENLISTE 1 Fahrzeug
2 Steuereinrichtung
3a Kamera
3b Kamera
3c Kamera 3d Kamera
4 Kamerasensor
5 Lidarsensor

Claims

PATENTANSPRÜCHE
1. Verfahren zum Erzeugen einer Ansicht für ein Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug (1), umfassend eine Steuereinrichtung (2) und mindestens eine Kamera (3a-3d), wobei die Ansicht anhand folgender Verfahrensschritte erzeugt wird:
- Erfassen zumindest eines Objekts aus den Umgebungsdaten der mindestens einen Kamera (3a-3d);
- Erzeugen einer Begrenzungsbox des Objekts;
- Projizieren des Objekts auf eine Bodenebene;
- Erstellen einer Begrenzungsform, welche die Begrenzungsbox und das projizierte Objekt umfasst;
- Erstellen einer Netzstruktur für die Begrenzungsform; und
- Anordnen der Netzstruktur innerhalb der Begrenzungsbox, wobei die Begrenzungsform insbesondere durch Bildskalierung und/oder Bildverzerrung auf die Größe der Begrenzungsbox angepasst wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Ansicht eine 2D- Ansicht, insbesondere eine Top-View-Ansicht, eine 3D-Ansicht, insbesondere eine Bowl, oder dergleichen umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich bei die Begrenzungsbox zweidimensional und achsenorientiert ausgestaltet ist
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Netzstruktur ein Polygonnetz oder Polygongitter, insbesondere ein Dreiecksnetz oder ein Dreiecksgitter, umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für das Erstellen der Begrenzungsform eine Form gewählt wird, welche erstellt wird, indem Ecken der Begrenzungsbox mit einer anderen geometrischen Form, insbesondere einer einen Polygonzug umfassenden Form, verbunden werden, die am gegenüberliegenden Ende der projizierten Punkte angeordnet wird. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die
Begrenzungsform alle projizierten Punkte des Objekts umfasst. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Anordnen der Netzstruktur innerhalb der Begrenzungsbox derart erfolgt, dass die Ecken und Kanten entlang der Grenze der ursprünglichen Begrenzungsbox angeordnet sind. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Erstellen der Begrenzungsbox und/oder der Begrenzungsform und/oder der Netzstruktur extrinsische und/oder intrinsischen Kameraparameter sowie die Objektdaten herangezogen werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch das Anordnen der Netz- oder Gitterstruktur innerhalb der Begrenzungsbox entstehende freie Bereiche gefüllt werden, indem
- Pixel aus der Umgebung in diesen Bereich hinein propagiert werden und/oder
- eine historischen Bodenstruktur zum Verfüllen herangezogen wird und/oder
- Texturinformationen aus verschiedenen Kameras herangezogen werden. Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug (1), umfassend eine Steuereinrichtung (2), mehrere im/am Fahrzeug (1) angeordnete Kameras (3a-3d), und die Steuereinrichtung (2) eine Ansicht anhand der Kameras (3a-3d) erzeugt, dadurch gekennzeichnet, dass die Ansicht anhand eines Verfahrens nach einem der vorhergehenden Ansprüche erzeugt wird.
EP23738620.6A 2022-07-04 2023-06-23 Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem Pending EP4552069A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206782.7A DE102022206782A1 (de) 2022-07-04 2022-07-04 Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
PCT/DE2023/200125 WO2024008246A1 (de) 2022-07-04 2023-06-23 Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem

Publications (1)

Publication Number Publication Date
EP4552069A1 true EP4552069A1 (de) 2025-05-14

Family

ID=87158422

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23738620.6A Pending EP4552069A1 (de) 2022-07-04 2023-06-23 Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem

Country Status (6)

Country Link
US (1) US20250232523A1 (de)
EP (1) EP4552069A1 (de)
JP (1) JP7853457B2 (de)
CN (1) CN119547115A (de)
DE (1) DE102022206782A1 (de)
WO (1) WO2024008246A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4061013B2 (ja) 2000-08-30 2008-03-12 株式会社リコー ３次元形状生成方法、その方法を実施するためのプログラムを記憶した記憶媒体および３次元形状生成装置
JP2010128795A (ja) 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 障害物検出装置
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
US8892358B2 (en) 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
DE102014208664A1 (de) 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
US10546421B2 (en) 2015-09-23 2020-01-28 Koninklijke Philips N.V. Generation of triangle mesh for a three dimensional image
EP3776485B1 (de) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Ansichtserzeugung in einer beliebigen welt
US11270409B1 (en) 2019-11-14 2022-03-08 Apple Inc. Variable-granularity based image warping

Also Published As

Publication number Publication date
US20250232523A1 (en) 2025-07-17
CN119547115A (zh) 2025-02-28
JP7853457B2 (ja) 2026-04-28
JP2025519787A (ja) 2025-06-26
DE102022206782A1 (de) 2024-01-04
WO2024008246A1 (de) 2024-01-11

Similar Documents

Publication Publication Date Title
DE102014107158B4 (de) Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem
EP3053133B1 (de) Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem
DE102014107156B4 (de) System und Verfahren zum Bereitstellen einer verbesserten perspektivischen Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE112015004628B4 (de) Bilderzeugungsvorrichtung und Bilderzeugungsverfahren
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102015202863A1 (de) Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
DE102018108751A1 (de) Method, system and device of obtaining 3D-information of objects
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102020107949A1 (de) Sichtfeldunterstützungsbild-Erzeugungsvorrichtung und Bildumwandlungsverfahren
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
DE102020213146B3 (de) Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
WO2022049040A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
WO2024008246A1 (de) Verfahren zum erzeugen einer ansicht mit einem kamerasystem sowie kamerasystem
DE102020215696A1 (de) Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, Computerprogrammprodukt, Speichermedium, Steuergerät und Fahrzeug
DE102016226299B4 (de) Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
WO2023202844A1 (de) Verfahren für ein kamerasystem sowie kamerasystem
DE102018116173A1 (de) Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug
DE102024208472A1 (de) Verfahren und Kamerasystem zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs
DE102024205936A1 (de) Verfahren und Kamerasystem zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs
DE102016124989A1 (de) Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250204

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)