EP4371298A1 - Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem - Google Patents

Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem

Info

Publication number
EP4371298A1
EP4371298A1 EP22746958.2A EP22746958A EP4371298A1 EP 4371298 A1 EP4371298 A1 EP 4371298A1 EP 22746958 A EP22746958 A EP 22746958A EP 4371298 A1 EP4371298 A1 EP 4371298A1
Authority
EP
European Patent Office
Prior art keywords
view
vehicle
trailer
camera system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22746958.2A
Other languages
English (en)
French (fr)
Inventor
Charlotte GLOGER
Frank KITTMANN
Markus Friebe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4371298A1 publication Critical patent/EP4371298A1/de
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to a camera system, in particular a surround view camera system for detecting the surroundings of a vehicle, and a method for generating a view with a camera system for a vehicle with an additional vehicle (trailer or trailer), a camera system according to the invention being provided as the camera system.
  • these driver assistance systems also include, in particular, surround view camera systems, which allow the vehicle environment to be displayed to the driver of the vehicle.
  • surround view camera systems generally include a control device and a number of cameras which deliver real images of the vehicle environment, which are combined in particular by a data processing unit of the surround view camera system to form an image of the vehicle environment. The image of the vehicle surroundings is then displayed to the driver on a display unit (such as the display of the navigation system). In this way, the driver can be supported during a vehicle maneuver, for example when reversing the vehicle or during a parking maneuver.
  • the surround view cameras are usually “fisheye cameras”, ie a camera with a fisheye lens that delivers a fisheye image.
  • the undistorted fisheye images are then used to present the driver with various views of the environment, such as: B. front view, rear view, curb view and the like.
  • the images can also be combined into a 360° panoramic view, allowing the driver to select the appropriate viewpoint by moving within a virtual camera scene.
  • There are various functions or views such as “Bowl” or “Top View”("bird's eye view” or “top view”), in which images or textures from the surround view cameras are combined or combined into an overall view (or overall texture). .be lined up seamlessly (stitching).
  • the images or textures of the surround view cameras generally have overlapping regions or overlapping areas.
  • the textures from the cameras are projected to visualize a 3D virtual bowl representing the entire area around the car.
  • Modern surround view camera systems can then display the views generated as a result to the driver, e.g. B. on a display, a cockpit or a navigation system.
  • Generic surround view systems can nowadays usually be expanded by up to four additional or trailer cameras on the outside of an additional vehicle, in particular a trailer (trailer), if the vehicle is to be operated together with the trailer.
  • a trailer tilter
  • one trailer camera on the front, one trailer camera on the back, and one trailer camera on each side of the trailer Due to the increased image resolution, this can reach a considerable size when the data is transmitted to the car.
  • the supported length of the cable for connecting the trailer cameras to the in-vehicle controller has some limitations.
  • a possible solution is therefore to integrate a separate control unit into the trailer that collects the camera data from the trailer cameras and forwards it to the control unit in the vehicle.
  • the bandwidth between the trailer's control unit and the vehicle's control unit is usually not sufficient, e.g. B. to traverse four image streams.
  • DE 102016224904 A1 discloses a three-dimensional all-round vision system for a combination of a vehicle and a trailer, the trailer being attached to the vehicle in an articulated manner about a vertical axis of the vehicle by means of a straight tow bar.
  • the all-round vision system includes multiple cameras of the vehicle, multiple cameras of the trailer, an image processing unit and an optical output unit.
  • the image processing unit is set up to determine a first angle of rotation from an image recorded by one of the cameras of the vehicle, by which the pull rod is rotated relative to the vehicle about its vertical axis relative to a forward orientation of the vehicle.
  • an image area covered by the trailer of a vehicle all-round image generated by the vehicle cameras is replaced by a corresponding image area of a trailer all-round image generated by the trailer cameras. In this way, a three-dimensional all-round image of the entire combination can be displayed on the display unit.
  • the four cameras in the car are usually used and projected onto a bowl display.
  • the blind spot of the cameras i.e. the area under the car, is covered and a 3D car model is rendered into the scene.
  • this approach can be extended to eight cameras, including the trailer's four cameras.
  • all necessary camera images for image processing are loaded into the cache.
  • the cache size in embedded surround view systems is generally not large enough to process all four camera images simultaneously. However, this can lead to cache errors and increased processing time.
  • US 2017341 583 A1 discloses a surround view system for a vehicle for towing trailers, in which the generation of the surround view image is carried out by merging all camera images of the vehicle and trailer in a common controller.
  • EP 3318469 A1 describes a method for creating a surround view image for a vehicle with a trailer and the superimposition/joining of both depending on the alignment of the trailer.
  • US Pat. No. 9,860,445 B2 describes a trailer assistance system in which two surround view images generated by stitching in two separate control units (ECU—Electronic Control Unit) are combined to form a common 2D surround view (top view/bird's eye view).
  • ECU Electronic Control Unit
  • the object of the present invention is therefore to provide a generic (surround view) camera system that simplifies communication between the trailer and the vehicle and improves it in a cost-effective manner and reduces the probability of errors.
  • a surround view camera system for a vehicle comprises a control device, several (surround view) cameras arranged in/on the vehicle, a control device arranged in/on an auxiliary vehicle (in particular a trailer). is, and several additional or trailer cameras that are arranged in / on the additional vehicle.
  • the control device generates a view based on the cameras on the vehicle or the streams/images/data from the surround view cameras, while the control device generates a view based on the additional or trailer cameras or the streams/images/data from the trailer cameras .
  • a combined view is then generated from the views of the control device and the control device.
  • the method according to the invention reduces the required bandwidth and also the number of images that are required in the cache at the same time, as a result of which the communication between the trailer and the vehicle is simplified and improved to a particular degree.
  • the communication between the trailer and the vehicle is simplified and improved to a particular degree.
  • only one image needs to be transmitted from the trailer controller to the vehicle's controller for each frame.
  • each controller only has to process four camera streams at any given time, reducing memory consumption and the chances of a cache miss during processing.
  • the method described can be implemented in a particularly simple and cost-effective manner and can also be retrofitted in existing systems.
  • the combined view may take into account the length and/or width of the vehicle combination, i. H. Vehicle and trailer, or part of the vehicle combination. This allows the entire vehicle combination to be easily visualized in a 2D/3D representation in the vehicle and thus displayed to the driver.
  • the combined view can also take into account the angle between the vehicle and the trailer. This allows the view to be generated even more precisely.
  • the combined view is preferably an extension of the 3D view of the control device and/or the view of the control unit.
  • the view of the control device can be transmitted from the control device to the control device and the control device can generate the combined view.
  • the control unit can expediently use a virtual camera to generate the view, the position of which essentially corresponds to the position of the vehicle's camera, i. H. the rear-facing surround view camera or reversing camera.
  • FIG. 6 is a simplified schematic representation of another
  • Reference number 1 in FIG. 1 designates a vehicle with a control device 2 (ECU, Electronic Control Unit or ADCU, Assisted and Automated Driving Control Unit), which can access various actuators (e.g. steering, engine, brakes) of the vehicle 1 , in order to be able to carry out control processes of the vehicle 1 .
  • Vehicle 1 also has a number of surround view cameras or cameras 3a-3d, a camera sensor 4 (or front camera) and a lidar sensor 5 for detecting the surroundings, which are controlled by control device 2 .
  • the present invention also expressly includes configurations in which no common control device 2 is provided, but individual control devices or control units are provided for sensor control (e.g.
  • B. radar or Ultrasonic sensors may be provided.
  • the sensor data can then be used for environment and object recognition.
  • various assistance functions such as B. parking assistants, emergency brake assistant (EBA, Electronic Brake Assist), distance following control (ACC, Adaptive Cruise Control), lane keeping control or a lane keeping assistant (LKA, Lane Keep Assist) or the like can be realized.
  • EBA Electronic Brake Assist
  • ACC Adaptive Cruise Control
  • LKA Lane Keep Assist
  • the assistance functions can also be carried out via the control device 2 or a separate control device.
  • the cameras 3a-3d are part of a surround view camera system, which is preferably controlled by the control device 2 (alternatively, a separate control can be provided, for example), which provides a full 360-degree view around the entire vehicle 1 offers by combining the fields of view of the individual surround view cameras, e.g. B. 120 degrees, to form an overall view or overall picture.
  • This camera system has numerous advantages in many everyday situations.
  • the surround view camera system allows the driver to see different angles of the vehicle 1, e.g. B. on a display unit (not shown in Fig. 1) are displayed.
  • 4 surround view cameras 3a-3d are used in this case, the z. B. are arranged in the front and stain area and on the side mirrors.
  • three, six, eight, ten or more surround view cameras can also be provided. These camera views or perspectives are particularly helpful when checking the blind spot, changing lanes or parking.
  • the trailer 6 comprises a control device 7 and four trailer cameras 8a-8d, the data or streams of which can be collected by the control device 7, which in turn can transmit this data to the control device 2 (e.g. wired or via radio), e.g . B. as an image or precursor thereof.
  • the control device 7 for the trailer 6 is used to view the four camera images of the trailer 6 from the rear camera position (rear camera 3d) of the vehicle 1 in 3D.
  • the intrinsic and extrinsic values of the camera 3d can be given to the control device 7 when starting up.
  • a 3D bowl geometry or bowl 10 is generated on the control unit 7 , the position of the trailer 6 being the center of the bowl 10 .
  • the four cameras 8a-8d of trailer 6 are used to texture the 3D bowl.
  • the control unit 7 can also use known algorithms to cover the blind spots of the trailer's cameras 8a-8d, i. H. the area 11 under the trailer 6 and all body parts of the trailer 6, as shown in FIG.
  • the floor area of the bowl 10 is enlarged (as shown in FIG. 4 by the black arrow pointing in the direction of the trailer 6) in order to accommodate the trailer 6 behind the vehicle 1 as well. After that, both the blind spot under the vehicle or area 12 and the body parts visible from the vehicle must be covered.
  • the length and the angle of the T railer can be used to calculate in which direction the bowl should be widened or expanded.
  • Different expansions of the bowl 10 are shown as an example in FIG. 7 (a)-(c), which were generated as a function of the length and orientation of the trailer 6 .
  • the extension of the bowl 10 is shown in Fig. (b) and Fig. 7 (c) using the black arrow.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug (1), umfassend eine Steuereinrichtung (2), mehrere im/am Fahrzeug (1) angeordnete Kameras (3a-3d), und ein Steuergerät (7) das in/an einem Zusatzfahrzeug, insbesondere Trailer (6) angeordnet ist, mehrere Zusatz- oder Trailer-Kameras (8a-8d), die in/an dem Zusatzfahrzeug bzw. Trailer (6) angeordnet sind, wobei die Steuereinrichtung (2) eine Ansicht anhand der Kameras (3a-3d) erzeugt, das Steuergerät (7) eine Ansicht anhand der Trailer-Kameras (8a-8d) erzeugt, und eine kombinierte Ansicht aus den Ansichten von Steuereinrichtung (2) und Steuergerät (7) erzeugt wird.

Description

Beschreibung
Kamerasystem sowie Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem
Die vorliegende Erfindung betrifft ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug, sowie ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem, für ein Fahrzeug mit Zusatzfahrzeug (Trailer bzw. Anhänger), wobei als Kamerasystem ein erfindungsgemäßes Kamerasystem vorgesehen ist.
Technologischer Hintergrund
Moderne Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel eine Steuereinrichtung und mehrere Kameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasystems zu einem Umgebungsbild der Fahrzeugumgebung zusam-mengefügt werden. Das Bild der Fahrzeugumgebung wird dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver. Ferner handelt es sich bei den Surroundview-Kameras in der Regel um „Fischaugenkameras“ (Fisheye camera), d. h. eine Kamera mit Fischaugenobjektiv, die ein Fischaugenbild (Fisheye image) liefern. Die unverzerrten Fischaugenbilder werden dann verwendet, um dem Fahrer verschiedene Ansichten der Umgebung darzustellen, wie z. B. Vorderansicht, Rückansicht, Bordsteinansicht und der-gleichen. Ferner können die Bilder auch zu einer 360°-Panorama-Ansicht zusammengefügt werden, sodass der Fahrer den geeigneten Blickpunkt auswählen kann, indem er sich innerhalb einer Szene einer virtuellen Kamera bewegen kann. Hierbei gibt es verschiedene Funktionen bzw. Ansichten wie „Bowl“ oder „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zu einer Gesamtansicht (oder Gesamt-textur) zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem.
Gattungsgemäße Surroundview Systeme können heutzutage um meistens bis zu vier Zusatz- oder Trailer-Kameras auf der Außenseite eines Zusatzfahrzeuges, insbesondere Anhängers (Trailer), erweitert werden, wenn das Fahrzeug zusammen mit dem Anhänger betrieben wer-den soll. Beispielsweise eine Trailer-Kamera auf der Vorderseite, eine Trailer-Kamera auf der Rückseite und jeweils eine Trailer-Kamera auf jeder Seite des Anhängers. Durch die erhöhte Bildauflösung kann dies bei der Übertragung der Daten an das Auto eine beachtliche Größe erreichen. Darüber hinaus hat die unterstützte Länge des Kabels für den Anschluss der Trailer-Kameras an die Steuereinrichtung im Fahrzeug einige Einschränkungen. Eine mögliche Lösung ist daher, ein separates Steuergerät in den Anhänger zu integrieren, dass die Kameradaten von den Trailer-Kameras sammelt und sie an das die Steuereinrichtung im Fahrzeug weiterleitet. Dennoch ist die Bandbreite zwischen dem Steuergerät des Anhängers und der Steuereinrichtung des Fahrzeugs in der Regel nicht ausreichend, um z. B. vier Bildströme zu durchqueren. Druckschriftlicher Stand der Technik
Aus der DE 102016224904 A1 ist ein dreidimensionales Rundumsichtsystem für ein Gespann aus einem Fahrzeug und einem Anhänger bekannt, wobei der Anhänger mittels einer geraden Zugstange um eine Hochachse des Fahrzeugs gelenkig an dem Fahrzeug befestigt ist. Das Rundumsichtsystem umfasst mehrere Kameras des Fahrzeugs, mehrere Kameras des Anhängers, eine Bildverarbeitungseinheit und eine optische Ausgabeeinheit. Die Bildverarbeitungseinheit ist dazu eingerichtet, aus einem von einer der Kameras des Fahrzeugs auf-genommenen Bild einen ersten Drehwinkel zu bestimmen, um welchen die Zugstange relativ zu dem Fahrzeug um dessen Hochachse relativ zu einer Vorausrichtung des Fahrzeugs verdreht ist. Basierend auf dem bestimmten ersten Drehwinkel der Zugstange wird ein durch den Anhänger verdeckter Bildbereich eines durch die Kameras des Fahrzeugs generierten Fahr-zeug-Rundumbilds durch einen korrespondierenden Bildbereich eines durch die Kameras des Anhängers generierten Anhänger Rundumbilds ersetzt. Auf diese Weise kann auf der Anzeigeeinheit ein dreidimensionales Rundumbild des gesamten Gespanns dargestellt werden.
Für die Erzeugung eines 3D-View in einem Surround View System werden in der Regel die vier Kameras des Autos verwendet und auf einer Schüssel-Darstellung („Bowl“) projiziert. Der tote Winkel der Kameras, also der Bereich unter dem Auto, wird abgedeckt und ein 3D-Automodell wird in die Szene gerendert. Für eine 3D-Ansicht inklusive Anhänger kann dieser Ansatz auf acht Kameras, einschließlich der vier Kameras des Anhängers, erweitert werden. Bei der Erstellung von 3D-Views werden alle notwendigen Kamerabilder für die Bildverarbeitung in den Cache geladen. Die Cache-Größe in eingebetteten Surround View Systemen ist im Allgemeinen nicht groß genug, um alle vier Kamerabilder gleichzeitig zu bearbeiten. Dies kann allerdings zu Cache-Fehlern und erhöhter Verarbeitungszeit führen.
Ferner ist aus der US 2017341 583 A1 ein Surroundview-System für ein Fahrzeug zum Ziehen von Anhängern bekannt, bei dem die Erzeugung des Surroundview-Bildes durch Zusammenfügen aller Kamerabilder von Fahrzeug und Anhänger in einem gemeinsamen Controller erfolgt.
Die EP 3318469 A1 beschreibt ein Verfahren zum Erstellen eines Surroundview-Bildes für ein Fahrzeug mit Anhänger sowie die Überlagerung/Zusammenfügen beider in Abhängigkeit der Ausrichtung des Anhängers.
Die US 9860445 B2 beschreibt ein Trailer-Assistenzsystem, wobei ein Zusammenfügen zweier in zwei separaten Steuergeräten (ECU - Electronic Control Unit) durch Stitching erzeugter Surroundview-Bilder zu einer gemeinsamen Surroundview-2D-Ansicht (Top View/Bird’s Eye View) erfolgt.
Aufgabe der vorliegenden Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein gattungsgemäßes (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das die Kommunikation zwischen dem Anhänger und dem Fahrzeug vereinfacht und in kostengünstiger Weise verbessert und die Fehlerwahrscheinlichkeit verringert wird.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des neben-geordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Das erfindungsgemäße Kamerasystem, insbesondere
Surroundview-Kamerasystem für ein Fahrzeug umfasst eine Steuereinrichtung, mehrere im/am Fahrzeug angeordnete (Surround-view-) Kameras, ein Steuergerät das in/an einem Zusatzfahrzeug (insbesondere Trailer bzw. Anhänger) angeordnet ist, und mehrere Zusatz- oder Trailer-Kameras, die in/an dem Zusatz-fahrzeug angeordnet sind. Die Steuereinrichtung erzeugt dabei eine Ansicht anhand der Kameras am Fahrzeug bzw. der Streams/Bilder/Daten der Surroundview-Kameras, während das Steuergerät eine Ansicht anhand der Zusatz- oder Trailer-Kameras bzw. der Streams/Bilder/Daten der Trailer-Kameras erzeugt. Im Anschluss daran wird eine kombinierte Ansicht aus den Ansichten von Steuereinrichtung und Steuergerät erzeugt. Durch das erfindungsgemäße Verfahren werden die reduziert benötigte Bandbreite als auch die Anzahl der Bilder, die im Cache gleichzeitig benötigt werden, reduziert, wodurch die die Kommunikation zwischen dem Anhänger und dem Fahrzeug in besonderem Maße vereinfacht und verbessert wird. Anstelle von drei oder vier Kameraströmen muss für jeden Frame nur ein Bild vom An-hänger-Steuergerät auf die Steuereinrichtung des Fahrzeugs übertragen werden. Mit diesem Ansatz muss jedes Steuergerät nur vier Kameraströme zu einem bestimmten Zeitpunkt bearbeiten, was den Speicherverbrauch und die Chancen auf einen Cache-Fehler während der Verarbeitung verringert. Zudem kann das beschriebene Verfahren in besonders einfacher und kostengünstiger Weise umgesetzt und auch in bestehenden Systemen nachgerüstet werden.
Vorzugsweise ist als Ansicht eine 2D-Ansicht, insbesondere Top-View-Ansicht, oder eine 3D-Ansicht, insbesondere eine Bowl-View bzw. eine Bowl, vorgesehen. Alternativ kann jedoch auch eine andere 3D-Ansicht erzeugt werden, wobei die Steuereinrichtung und das Steuergerät auch unterschiedliche Ansichten erzeugen können, die später jedoch zu einem 3D-Ansicht-Typ kombiniert werden.
Zweckmäßigerweise kann die kombinierte Ansicht unter Berücksichtigung der Länge und/oder Breite des Fahrzeuggespanns, d. h. Fahrzeug und Anhänger, oder einem Teil des Fahrzeuggespanns erfolgen. Dadurch kann das gesamte Fahrzeuggespann in einfacher Wei-se in einer 2D-/3D-Darstellung im Fahrzeug visualisiert und dem Fahrer somit angezeigt wer-den.
Gemäß einer besonderen Ausgestaltung der Erfindung kann die kombinierte Ansicht auch unter Berücksichtigung des Winkels zwischen Fahrzeug und Trailer erfolgen. Die Ansicht kann dadurch noch genauer erzeugt werden. Vorzugsweise stellt die kombinierte Ansicht eine Erweiterung der unter Berücksichtigung der 3D-Ansicht der Steuereinrichtung und/oder der Ansicht des Steuergerätes dar.
Ferner kann die Ansicht des Steuergerätes vom Steuergerät der Steuereinrichtung übermittelt wird und die Steuereinrichtung die kombinierte Ansicht erzeugt werden.
Zweckmäßigerweise kann das Steuergerät für die Erzeugung der Ansicht eine virtuelle Kamera heranzieht, deren Position im Wesentlichen der Position der zum Trailer gerichteten Kamera des Fahrzeuges, d. h. der nach hinten gerichteten Surroundview-Kamera bzw. Rückfahrkamera, entspricht.
Nebengeordnet beansprucht die vorliegende Erfindung auch ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem, für ein Fahrzeug mit Zusatzfahrzeug bzw. Anhänger/Trailer, wobei als Kamerasystem ein erfindungsgemäßes Kamerasystem vorgesehen ist.
Beschreibung der Erfindung anhand von Ausführungsbeispielen
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
Fig. 1 eine vereinfachte schematische Darstellung einer Ausgestaltung eines Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem;
Fig. 2 eine stark vereinfachte schematische Darstellung des Fahrzeuges aus Fig. 1 mit Trailer; Fig. 3 eine vereinfachte schematische Darstellung einer Ausgestaltung einer Bowl, die mit dem erfindungsgemäßen Verfahren erzeugt wurde;
Fig. 4 eine vereinfachte schematische Darstellung einerweiteren
Ausgestaltung Bowl aus Fig. 3, die ausgedehnt wurde;
Fig. 5 eine vereinfachte schematische Darstellung einerweiteren
Ausgestaltung der Bowl aus Fig. 4, die um die Rückansicht der Trailer-Rückkamera erweitert wurde;
Fig. 6 eine vereinfachte schematische Darstellung einerweiteren
Ausgestaltung der Bowl aus Fig. 5, bei der die Modelle für Fahrzeug und Anhänger eingefügt wurden, sowie
Fig. 7 stark vereinfachte schematische Darstellungen (a)-(c) unterschiedlicher Ausdehnungen einer Bowl in Abhängigkeit von der Länge und Orientierung des Anhängers.
Bezugsziffer 1 in Fig. 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, eine Kamera-sensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d, zur entsprechenden Datenverarbeitung und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugs-weise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-Kamerasystem können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in Fig. 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei 4 Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Fleckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
In Fig. 2 ist eine vereinfachte Ansicht des Fahrzeuges 1 dargestellt, bei dem über eine Anhängervorrichtung am Fahrzeug 1 ein Zusatzfahrzeug bzw. ein Anhänger bzw. Trailer 6 befestigt ist. Der Trailer 6 umfasst ein Steuergerät 7 und vier Trailer-Kameras 8a-8d, deren Daten bzw. Streams vom Steuergerät 7 gesammelt werden können, welches diese Daten wiederum an die Steuereinrichtung 2 übermitteln kann (z. B. drahtgebunden oder über Funk), z. B. als Image oder Vorstufe davon. Ferner kann das Steuergerät 7 für den Trailer 6 dient dazu, die vier Kamerabilder des Trailers 6 von der hinteren Kameraposition (Rück-Kamera 3d) des Fahrzeugs 1 aus in 3D zu betrachten. Die intrinsischen und extrinsischen Werte der Kamera 3d können beim Anfahren dem Steuergerät 7 angegeben werden.
Auf dem Steuergerät 7 wird eine 3D-Bowl Geometrie bzw. Bowl 10 erzeugt, wobei die Position des Trailers 6 die Mitte der Bowl 10 ist. Die vier Kameras 8a-8d des Trailers 6 werden zur Textur der 3D-Bowl verwendet. Das Steuergerät 7 kann dabei auch über bekannte Algorithmen die toten Winkel der Kameras 8a-8d des Anhängers abdecken, d. h. die Fläche 11 unter dem Trailer 6 sowie alle Karosserieteile des Trailers 6, wie in Fig. 3 dargestellt. Dabei wird die Bodenfläche der Bowl 10 vergrößert (wie in Fig. 4 anhand des schwarzen Pfeils in Richtung Trailer 6 gezeigt), um den Trailer 6 hinter dem Fahrzeug 1 mit aufzunehmen. Danach müssen sowohl der tote Winkel unter dem Fahrzeug bzw. Fläche 12 als auch die vom Fahrzeug sicht-baren Karosserieteile abgedeckt werden. Die 3D-Ansicht wird dann dargestellt, wobei eine virtuelle Kameraposition der hinteren Kameraposition des realen Fahrzeugs entspricht und idealerweise ein horizontales Sichtfeld (Field of View) von 180° ist. Obwohl auch ein kleineres Sichtfeld funktionieren würde, imitiert ein Sichtfeld von 180° eine Surround-View-Rück-Kamera in besonders guter Weise. Die generierte Ansicht wird dann an die Steuereinrichtung 2 gesendet und ersetzt dort den Rück-Kamera-Stream bei der 3D-Ansicht (wie in Fig. 5 an-hand der Abgrenzung zwischen Rück-Kamera-Stream und restlichen Streams gezeigt). Als letzter Schritt können dann das 3D-Fahrzeug- und Anhängermodell in die 3D-Ansicht aufgenommen werden (wie in Fig. 6 gezeigt). Das Anhängermodell kann entweder vom Anhänger-Steuergerät 7 bei der Initialisierungsphase geliefert werden oder es kann ein generisches Modell verwendet werden, das an die realen Abmessungen des Trailers 6 angepasst ist. Die für die Positionierung des 3D-Anhängermodells erforderlichen Informationen: Lage, Länge, Breite und Winkel des Anhängers können vom System und vom Fahrer bereitgestellt werden.
Ferner können die Länge und der Winkel des T railers herangezogen werden, um zu berechnen, in welche Richtung die Bowl ausgeweitet bzw. ausgedehnt werden soll. Exemplarisch sind in Fig. 7 (a)-(c) unterschiedliche Ausdehnungen der Bowl 10 dargestellt, die in Abhängigkeit von der Länge und Orientierung des Trailers 6 erzeugt wurden. Die Ausdehnung der Bowl 10 ist in Fig. (b) und Fig. 7 (c) anhand des schwarzen Pfeils dargestellt.
Sollte die Kommunikation nur unidirektional funktionieren (d. h. nur in eine Richtung: entweder vom Fahrzeug 1 zum Trailer 6 oder vom Trailer 6 zum Fahrzeug 1), kann entweder das Steuergerät 7 des Trailers 6 verwendet werden, um eine generische Rückkamera-Position und entsprechende Kameraparameter, die dann der Steuereinrichtung 2 des Fahrzeugs 1 zur Ver-fügung stellen, die dann zur Projektion der erzeugten Rückansicht in der 3D-Bowl 10 verwendet werden. Oder das Steuergerät 7 für den Trailer 6 kann anstelle der hinteren Kameraposition verwendet werden - Die jeweilige Kamerakonfiguration kann somit der Steuereinrichtung 2 des Fahrzeugs 1 zur Verfügung gestellt werden.
Bezugszeichenliste
1 Fahrzeug
2 Steuereinrichtung
3a Kamera
3b Kamera
3c Kamera
3d Kamera
4 Kamerasensor
5 Lidarsensor
6 Trailer 7 Steuergerät
8a Trailer-Kamera
8b Trailer-Kamera
8c Trailer-Kamera
8d Trailer-Kamera
9 Rückfahrsicht Kamera (3d)
10 Bowl 11 Fläche 12 Fläche

Claims

Patentansprüche
1. Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug (1), umfassend eine Steuereinrichtung (2), mehrere im/am Fahrzeug (1) angeordnete Kameras (3a-3d), und ein Steuergerät (7) das in/an einem Zusatzfahrzeug, insbesondere Trailer (6), angeordnet ist, mehrere im/am Zusatzfahrzeug angeordnete Zusatzkameras, insbesondere Trailer-Kameras (8a-8d), wobei die Steuereinrichtung (2) eine Ansicht anhand der Kameras (3a-3d) erzeugt, das Steuergerät (7) eine Ansicht anhand der Zusatzkameras erzeugt, und eine kombinierte Ansicht aus den Ansichten von Steuereinrichtung (2) und Steuergerät (7) erzeugt wird.
2. Kamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass die Ansicht eine 2D-Ansicht, insbesondere eine Top-View-Ansicht, eine 3D-Ansicht, insbesondere eine Bowl (10), oder dergleichen umfasst.
3. Kamerasystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die kombinierte Ansicht unter
Berücksichtigung der Länge und/oder Breite von Fahrzeug (1) und/oder Zusatzfahrzeug erfolgt.
4. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die kombinierte Ansicht unter
Berücksichtigung des Winkels zwischen Fahrzeug (1) und Zusatzfahrzeug erfolgt.
5. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die kombinierte Ansicht eine Erweiterung der unter Berücksichtigung der Ansicht der Steuereinrichtung (2) und/oder der Ansicht des Steuergerätes (7) darstellt.
6. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ansicht des Steuergerätes (7) vom
Steuergerät (7) an die Steuereinrichtung (2) übermittelt wird und die Steuereinrichtung (2) die kombinierte Ansicht erzeugt.
7. Kamerasystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Steuergerät (7) für die Erzeugung der
Ansicht eine virtuelle Kamera heranzieht, deren Position im Wesentlichen der Position der zum Zusatzfahrzeug gerichteten Kamera (3d) des Fahrzeuges (1) entspricht.
8. Verfahren zum Erzeugen einer 3D-Ansicht mit einem Kamerasystem, für ein
Fahrzeug (1) mit Zusatzfahrzeug, insbesondere Trailer (6), wobei als Kamerasystem ein Kamerasystem nach einem der vorhergehenden Ansprüche vorgesehen ist.
EP22746958.2A 2021-07-15 2022-06-24 Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem Pending EP4371298A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021207558.4A DE102021207558B4 (de) 2021-07-15 2021-07-15 Kamerasystem sowie Verfahren zum Erzeugen einer 3D-Ansicht mit einem Kamerasystem
PCT/DE2022/200141 WO2023284920A1 (de) 2021-07-15 2022-06-24 Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem

Publications (1)

Publication Number Publication Date
EP4371298A1 true EP4371298A1 (de) 2024-05-22

Family

ID=82694005

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22746958.2A Pending EP4371298A1 (de) 2021-07-15 2022-06-24 Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem

Country Status (4)

Country Link
US (1) US20240348749A1 (de)
EP (1) EP4371298A1 (de)
DE (1) DE102021207558B4 (de)
WO (1) WO2023284920A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11858420B2 (en) * 2021-11-29 2024-01-02 Texas Instruments Incorporated Below vehicle rendering for surround view systems
DE102023202306B3 (de) 2023-03-14 2024-06-06 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Bildaufnahmeeinrichtung und Fahrzeug
DE102023203322B3 (de) 2023-04-12 2024-06-13 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Fahrerassistenzeinrichtung, Fahrzeug und Computerprogramm
DE102023205965B3 (de) 2023-06-23 2024-09-26 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Bildaufnahmeeinrichtung und Fahrzeug
DE102023208357A1 (de) 2023-08-31 2025-03-06 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umgebungsansicht eines Fahrzeugs
US20250162162A1 (en) * 2023-11-16 2025-05-22 Howe & Howe Inc. Operating a firefighting robot by remotely displaying top-down views

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US10259390B2 (en) 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
EP3487172A4 (de) * 2016-07-13 2019-07-10 Sony Corporation Bilderzeugungsvorrichtung, bilderzeugungsverfahren und programm
KR101859045B1 (ko) 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
DE102016224904A1 (de) 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Dreidimensionales Rundumsichtsystem
DE102019133948A1 (de) * 2019-12-11 2021-06-17 Connaught Electronics Ltd. Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger

Also Published As

Publication number Publication date
US20240348749A1 (en) 2024-10-17
DE102021207558B4 (de) 2025-09-04
WO2023284920A1 (de) 2023-01-19
DE102021207558A1 (de) 2023-01-19

Similar Documents

Publication Publication Date Title
DE102021207558B4 (de) Kamerasystem sowie Verfahren zum Erzeugen einer 3D-Ansicht mit einem Kamerasystem
EP3024700B1 (de) Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs
EP3219533B1 (de) Sichtsystem für ein fahrzeug, insbesondere nutzfahrzeug
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
EP3560796B1 (de) Verfahren zum betreiben eines anhängerrangierassistenzsystems eines kraftfahrzeugs und anhängerrangierassistenzsystem für ein kraftfahrzeug
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP1147032B1 (de) Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2637898A1 (de) Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
DE102014107917A1 (de) Verfahren und Vorrichtung zum Vermeiden einer Kollision eines ein Kraftfahrzeug und einen Anhänger umfassenden Gespanns mit einem Hindernis
DE102014204872B4 (de) Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102016122301A1 (de) Überwachen eines Totwinkelbereichs eines Gespanns
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102016115313A1 (de) Verfahren zum Unterstützen eines Fahrers eines Gespanns, Fahrerassistenzsystem sowie Gespann
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102017223098A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
EP4308418B1 (de) Verfahren und umfeld-erfassungssystem zum erzeugen eines umgebungsbildes eines mehrgliedrigen gesamtfahrzeugs
DE102019133948A1 (de) Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
DE102006055372A1 (de) Fahrzeugparkassistenzsystem und Verfahren
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
WO2024188567A1 (de) Verfahren zum überwachen eines rückwärtigen raumes und/oder eines seitwärtigen raumes für eine mehrgliedrige fahrzeugkombination, insbesondere nutzfahrzeugkombination, computerprogramm und/oder computerlesbares medium, steuergerät, anhänger, zugfahrzeug und mehrgliedrige fahrzeugkombination, insbesondere nutzfahrzeugkombination
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250411

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH