EP3545463A1 - Method and device for generating a view around a vehicle for a vehicle - Google Patents

Method and device for generating a view around a vehicle for a vehicle

Info

Publication number
EP3545463A1
EP3545463A1 EP17787872.5A EP17787872A EP3545463A1 EP 3545463 A1 EP3545463 A1 EP 3545463A1 EP 17787872 A EP17787872 A EP 17787872A EP 3545463 A1 EP3545463 A1 EP 3545463A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
area
visible
cameras
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP17787872.5A
Other languages
German (de)
French (fr)
Inventor
Georg Arbeiter
Rodrigo GARCIA MARQUES
Martin Simon
Johannes PETZOLD
Jörg Schrepfer
Markus Friebe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP3545463A1 publication Critical patent/EP3545463A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method and a device for generating a vehicle environment view, in particular in egg ⁇ nem road vehicle.
  • Vehicles are increasingly being equipped with systems for displaying the vehicle environment of the vehicle.
  • This sogenann ⁇ th surround view systems give the vehicle environment of the vehicle as closely as possible again.
  • Conventional systems for displaying the vehicle environment view of the vehicle were ⁇ th camera images, which are recorded by vehicle cameras , which are brought to ⁇ a vehicle body of the vehicle.
  • the vehicle cameras are laterally mounted on different sides of the vehicle body to generate camera images of the vehicle surroundings of the vehicle and to transmit them to an image data processing unit.
  • ⁇ vehicle cameras provide no image data of a floor surface on which the vehicle body befin ⁇ det. This bottom surface is located below the vehicle ⁇ body and is not visible to the vehicle cameras .
  • a conventional vehicle environment view represents a relatively poor representation of the vehicle environment in the area of the floor surface.
  • This insufficient representation of the vehicle environment in the area below the vehicle body floor surface causes a driver of the vehicle in the execution of driving maneuvers, such as parking maneuvers, of the driver assistance system which determines the determined Viewing convincing view or evaluates, is supported only suboptimal, so that, for example, the vehicle body ⁇ rie can be damaged in the implementation of a vehicle maneuver.
  • It is therefore an object of the present invention to provide a method and an apparatus for generating a vehicle environment view generating environmental view of a more realistic driving ⁇ in the area of covered by the vehicle body ⁇ rie of the vehicle bottom surface provides, and thus the driver efficiently when performing maneuvers supports and in particular avoids damage to the vehicle ⁇ body.
  • This object is achieved according to a first aspect of the invention by a method for generating a vehicle environment view having the features specified in claim 1.
  • the invention accordingly provides a method for generating a vehicle environment view with the steps:
  • a texture of a below the vehicle body ge ⁇ lying, not visible to the vehicle cameras area of a floor surface within the vehicle environment view depending on texture data of the non-visible area of the bottom surface surrounding visible for the vehicle cameras area of the floor surface is calculated.
  • the image data values of the pixels Color ⁇ data values have.
  • the vehicle environment view is generated while the vehicle is moving over the ground surface.
  • the vehicle environment view is generated while the vehicle is standing on the ground surface.
  • the texture of the bottom of the Driving ⁇ generating body located, not visible to the vehicle cameras portion of the bottom surface is calculated by a calculation ⁇ unit in real time based on the be ⁇ riding provided by the vehicle cameras camera images.
  • the texture of the bottom of the Driving ⁇ generating body located, not visible to the vehicle cameras portion of the bottom surface has an inner area with a uniform color and an area surrounding the inner edge region.
  • a color transition from the colors detected by means of the vehicle cameras at the edge of the non-visible region to the uniform color of the inner region is produced in the edge region.
  • the invention further provides, according to a further aspect, a device for generating a vehicle environment view with the features specified in claim 6.
  • the invention accordingly provides an apparatus for generating a vehicle environment view having vehicle cameras mounted on a vehicle body of a vehicle and providing camera images of the vehicle surroundings of the vehicle and having a computing unit that calculates the vehicle surroundings view based on the provided camera images, wherein a texture of below The vehicle body is ⁇ calculated, not visible to the vehicle cameras area of a floor surface within the vehicle environment view in response to texture data of the non-visible area of the bottom surface enclosing visible for the vehicle cameras area of the floor area is calculated.
  • the device according to the invention has the texture of below the Anlagenkaros ⁇ series situated, not visible to the vehicle cameras Be ⁇ Reich the bottom surface of image points whose image data values by the calculating unit on the basis of image data values of the image points of the visible for vehicle cameras Be ⁇ kingdom the floor surface are extrapolated.
  • the device according to the invention have the image data values of the pixels, which are evaluated by the computing unit, color ⁇ image data values on.
  • the vehicle environment view is generated through the device while the vehicle is moving on the Bo ⁇ denthesis or is on the bottom surface.
  • the texture of the underneath of the vehicle body located, not visible to the vehicle cameras portion of the bottom surface is calculated by the calculation unit in real time based on the be ⁇ riding provided by the vehicle cameras camera images.
  • the texture of the below Anlagenkaros ⁇ series situated, not visible to the vehicle cameras Be ⁇ Reich the bottom surface has an inner area with a uniform color and an area surrounding the inner edge region.
  • a color transition from the colors detected by means of the vehicle cameras at the edge of the non-visible region to the uniform color of the inner region is produced in the edge region.
  • the invention provides a driver assistance system with a device for generating a Vehicle environment view according to the second aspect of the inven ⁇ tion.
  • the invention further provides, in another aspect, a vehicle having such a driver assistance system.
  • the vehicle comprises a land vehicle, a watercraft or an aircraft.
  • FIG. 1 shows a flow chart for illustrating an embodiment of a method according to the invention for generating a vehicle environment view
  • FIG. 2 shows a schematic view for illustrating the mode of operation of the method for generating a vehicle environment view illustrated in FIG. 1; a block diagram illustrating an embodiment of an inventive device for generating a vehicle environment view.
  • a first step Sl camera images KB are provided by vehicle cameras provided on a vehicle body of a vehicle F.
  • the various vehicle cameras continuously supply camera images or image data via signal lines for data processing.
  • the vehicle cameras are preferably provided on different sides of the vehicle body of the vehicle F.
  • the driving ⁇ convincing F may be preferably a land vehicle in particular ⁇ sondere a road vehicle or agricultural vehicle act.
  • the vehicle F may also be a watercraft or an aircraft or aircraft.
  • ⁇ play an aircraft capable of detecting camera images of the vehicle environment after landing in the movement in the airport.
  • a vehicle environment FUA view of the vehicle F is calculated based on the riding ⁇ be provided by the camera the camera images KB.
  • a texture is located one below the vehicle body or vehicle ⁇ hull, not visible to the vehicle cameras portion of a bottom surface within the Anlagenum suitssan ⁇ view in dependence of texture data of an enclosing the non visible ⁇ cash area of floor space, visible to the vehicle cameras portion of the bottom surface calculated.
  • the vehicle environment view FUA is preferably calculated by a calculation unit in real time on the basis of the image data or camera images transmitted by the vehicle cameras.
  • the texture of the underneath of the vehicle body or moving ⁇ generating hull located not sichtba ⁇ temperatures for the vehicle cameras portion of the bottom surface image points whose image data ⁇ values on the basis of image data values of the pixels of for the vehicle cameras extrapolated visible area of the floor area.
  • the image data values of the pixels in one possible embodiment have color image data values.
  • the vehicle surroundings view FUA of the vehicle surroundings of the vehicle F is generated while the vehicle F is stationary on a floor surface. Next ⁇ out may also be generated moves away while the vehicle on the floor surface in one possible embodiment the vehicle environment view FUA.
  • the texture of the un ⁇ terraum of the vehicle body located, not visible to the Anlagenka ⁇ meras portion of the bottom surface is calculated by the calculation unit in real time based on the camera images provided by the vehicle cameras.
  • FIG. 2 shows schematically the generation of a vehicle environment view FUA for performing the method according to the invention.
  • Figure 2 schematically shows the view from above of egg ⁇ ne vehicle body of a vehicle M, for example, egg ⁇ nes cars or trucks.
  • the vehicle F can stand or on a Bo ⁇ den configuration toonnebewe ⁇ gen over a ground surface thereby.
  • the vehicle body of the road vehicle is in ⁇ We sentlichen rectangular.
  • the timebil ⁇ KB of the vehicle environment to a computing unit lie ⁇ far.
  • the vehicle cameras can be, for example, fisheye cameras which transmit corresponding image data to the calculation unit.
  • FIG. 2 diagrammatically shows various camera images KB1-KB4 which are produced by different fisheye cameras.
  • Figure 2 shows a first camera image KB1, which is generated by a fisheye camera, which is located on the front of the Anlagenka ⁇ rosserie. Furthermore, camera images KB2, KB3 are shown schematically, which are generated by fisheye cameras be located on the two long sides of the vehicle body. Furthermore, in Figure 2, a fourth camera image KB4 is shown, which is evidence by a fisheye camera, he ⁇ which is disposed at the rear of the vehicle body of the vehicle F.
  • the various camera images KB of the vehicle environment may overlap in one possible embodiment.
  • the various vehicle cameras, in particular, fish-eye cameras can not provide image data of the located below the vehicle body frame or Bo ⁇ den quantities.
  • a texture of an un ⁇ ter endeavour of the vehicle body is situated, for the Anlagenka ⁇ meras, in particular fish-eye cameras, not visible Be ⁇ Reich a floor surface within the vehicle environment view FUA depending on texture data of the not visible area of the floor surface enclosing, for the vehicle cameras visible area of the floor surface calculates ⁇ net.
  • This enclosing, visible to the vehicle cameras area of the bottom surface is shown schematically in Figure 2.
  • the various camera images KB which are supplied by the vehicle cameras, each contain a plurality of pixels.
  • the texture of the underneath of the vehicle body of the vehicle F located, not visible to the vehicle ⁇ cameras region comprises picture elements whose image data values are extrapolated by the calculating unit on the basis of image data values of the visible for vehicle cameras portion of the bottom surface.
  • the image data values preferably have color image data values.
  • the texture of the non-visible for the vehicle cameras of the vehicle portion of the Bo ⁇ denfiguration has two color regions, namely an inner region and an indoor IB IB surrounds the edge region RB.
  • the texture of the inner region IB has a uniform color or a uniform color value.
  • the border area RB enclosing the interior area IB, which is shown hatched in FIG.
  • the rendering of the vehicle environment in the calculated vehicle environment view FUA thus becomes more realistic, so that the driver can be more efficiently assisted in performing vehicle maneuvers.
  • the generated vehicle environment view FUA can be further processed to further functional units of a driver assistance system in order to provide further driver assistance functions for the driver. Due to the higher quality of the generated vehicle environment view FUA, the further calculated driver assistance functions can more reliably assist the driver.
  • FIG. 3 shows a block diagram of an embodiment of an inventive device 1 for generating a vehicle environment view FUA.
  • the device 1 contains a calculation unit 4, in particular a microprocessor or a processor, which evaluates camera images or image data that are transmitted by different vehicle cameras 2-i.
  • the various vehicle cameras 2-i are located on different sides of a vehicle body 3 of a vehicle F.
  • the vehicle cameras 2-i can be fisheye cameras which provide camera images KB of the vehicle surroundings of the vehicle F in real time.
  • the calculation unit 4 performs the image data processing of the received camera images KB in real time.
  • the computation unit 4 of the device 1 performs a calculation ⁇ voltage of the vehicle environment view FUA based on the receive ⁇ NEN camera images KB by using a texture of a underneath the vehicle body 3 of the vehicle F located, not visible to the vehicle cameras 2-i region of a Bodenflä ⁇ che an enclosing non-exposed areas of the bottom surface within the vehicle environment in view FUA
  • ⁇ speed of texture data is calculated for the vehicle cameras 2 ⁇ view cash portion of the floor surface.
  • the vehicle F may be in motion when the calculation of the vehicle environment view by the calculation unit 4 or may be fixed on a floor surface.
  • the vehicle F may be a land vehicle, for example a road vehicle, or to trade an agricultural vehicle.
  • the apparatus 1 for computing the vehicle environment view FUA forms part of a driver assistance system FAS, which provides various assistance functions and auxiliary functions for the driver particularly in the implementation of driving maneuvers at a Moegli ⁇ chen embodiment.
  • the calculated or generated vehicle environment view FUA is cached in egg ⁇ nem data storage, on the other radio units ⁇ tion of the driver assistance system FAS have access.
  • the cached or recorded vehicle environment view is FUA the vehicle Conversely ⁇ bung further elaborated ⁇ enhanced by data processing units of the various functional units of the driver assistance system to provide various assistance functions for the driver of the vehicle F.
  • the driver is assisted in carrying out a driving maneuver, in particular a parking maneuver, by the driver assistance system FAS. Due to the high quality of the calculated vehicle environment view, which also includes a texture of the ground surface, the provided functions can assist the driver in performing the driving maneuver with greater certainty and reliability than is the case with conventional driver assistance systems FAS.
  • the probability of damage to the vehicle body 3 during ei ⁇ nes such driving maneuver is reduced accordingly.
  • the vehicle F shown in Figure 3 is a land vehicle, particularly a road ⁇ . poverty or an agricultural vehicle with a Moegli ⁇ chen embodiment.
  • the vehicle chen Moegli ⁇ F is an aircraft such as an airplane, which vehicle body or vehicle body is equipped with vehicle cameras 2-i. In this embodiment, for example, a pilot of the aircraft is subjected during maneuvers on an aerodrome. supports.
  • a watercraft or a vessel on the ship's hull may also be in the vehicle F a watercraft or a vessel on the ship's hull to the vehicle cameras 2-i are and provide corresponding influencebi ⁇ lder KB to a calculation unit 4 for producing a vehicle environment view FUA of the ship's vehicle.
  • vehicle ⁇ bung view FUA can be output in a possible embodiment on a display unit to a driver of a road vehicle to a pilot of an aircraft or a ship ⁇ leader of a watercraft.
  • the vehicle environment view FUA is recorded in a data memory for further evaluation.
  • the calculated vehicle environmental view FUA is transmitted via an integrally Schlos ⁇ Senen to the calculation unit 4 transceiver to a central controller.
  • This control is located, for example, in the tower of an airport. In this way, third parties can follow or monitor the execution of vehicle maneuvers.

Abstract

The invention relates to a method for generating a view around a vehicle, comprising the steps: providing (S1) camera images (KB) by vehicle cameras (2) that are provided on a vehicle body (3) of a vehicle (F); and calculating (S2) the view around the vehicle based on the provided camera images (KB), wherein a texture of a region of a ground surface located under the vehicle body (3) and not visible to the vehicle cameras (2) is calculated within the view around the vehicle subject to texture data of a region of the ground surface that is visible to the vehicle cameras (2) and surrounds the non-visible region of the ground surface.

Description

VERFAHREN UND VORRICHTUNG ZUM ERZEUGEN EINER METHOD AND DEVICE FOR PRODUCING ONE
FAHRZEUGUMGEBUNGSANSICHT BEI EINEM FAHRZEUG VEHICLE ENVIRONMENT VIEW ON A VEHICLE
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht insbesondere bei ei¬ nem Straßenfahrzeug. The invention relates to a method and a device for generating a vehicle environment view, in particular in egg ¬ nem road vehicle.
Fahrzeuge werden zunehmend mit Systemen zur Darstellung der Fahrzeugumgebung des Fahrzeuges ausgerüstet. Diese sogenann¬ ten Surround-View-Systeme geben die Fahrzeugumgebung des Fahrzeuges möglichst genau wieder. Herkömmliche Systeme zur Darstellung der Fahrzeugumgebungsansicht des Fahrzeuges wer¬ ten Kamerabilder aus, die von Fahrzeugkameras aufgenommen werden, welche an einer Fahrzeugkarosserie des Fahrzeuges an¬ gebracht sind. Herkömmlicherweise werden die Fahrzeugkameras an verschiedenen Seiten der Fahrzeugkarosserie seitlich angebracht, um Kamerabilder der Fahrzeugumgebung des Fahrzeuges zu erzeugen und an eine Bilddatenverarbeitungseinheit zu übertragen. Die an der Fahrzeugkarosserie des Fahrzeuges an¬ gebrachten Fahrzeugkameras liefern allerdings keine Bilddaten einer Bodenfläche, auf der sich die Fahrzeugkarosserie befin¬ det. Diese Bodenfläche befindet sich unterhalb der Fahrzeug¬ karosserie und ist für die Fahrzeugkameras nicht sichtbar. Bei herkömmlichen Surround-View-Systemen wird die unterhalb der Fahrzeugkarosserie des Fahrzeuges gelegene Bodenfläche in einem gleichförmigen Farbton wiedergegeben. Daher stellt eine herkömmliche Fahrzeugumgebungsansicht eine relativ schlechte Darstellung der Fahrzeugumgebung im Bereich der Bodenfläche dar. Diese unzureichende Darstellung der Fahrzeugumgebung im Bereich der unterhalb der Fahrzeugkarosserie gelegenen Bodenfläche führt dazu, dass ein Fahrer des Fahrzeuges bei der Ausführung von Fahrmanövern, beispielsweise Einparkmanövern, von dem Fahrerassistenzsystem, welches die ermittelte Fahr- zeugumgebungsansicht anzeigt oder auswertet, nur suboptimal unterstützt wird, sodass beispielsweise die Fahrzeugkarosse¬ rie bei der Durchführung eines Fahrzeugmanövers beschädigt werden kann. Vehicles are increasingly being equipped with systems for displaying the vehicle environment of the vehicle. This sogenann ¬ th surround view systems give the vehicle environment of the vehicle as closely as possible again. Conventional systems for displaying the vehicle environment view of the vehicle wer ¬ th camera images, which are recorded by vehicle cameras , which are brought to ¬ a vehicle body of the vehicle. Conventionally, the vehicle cameras are laterally mounted on different sides of the vehicle body to generate camera images of the vehicle surroundings of the vehicle and to transmit them to an image data processing unit. However placed on the vehicle body of the vehicle at ¬ vehicle cameras provide no image data of a floor surface on which the vehicle body befin ¬ det. This bottom surface is located below the vehicle ¬ body and is not visible to the vehicle cameras . In conventional surround view systems, the floor surface located below the vehicle body of the vehicle is displayed in a uniform hue. Therefore, a conventional vehicle environment view represents a relatively poor representation of the vehicle environment in the area of the floor surface. This insufficient representation of the vehicle environment in the area below the vehicle body floor surface causes a driver of the vehicle in the execution of driving maneuvers, such as parking maneuvers, of the driver assistance system which determines the determined Viewing convincing view or evaluates, is supported only suboptimal, so that, for example, the vehicle body ¬ rie can be damaged in the implementation of a vehicle maneuver.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht zu schaffen, welche eine realistischere Fahr¬ zeugumgebungsansicht im Bereich der von der Fahrzeugkarosse¬ rie des Fahrzeuges bedeckten Bodenfläche liefert und somit den Fahrer bei der Durchführung von Fahrmanövern effizient unterstützt und insbesondere eine Beschädigung der Fahrzeug¬ karosserie vermeidet. It is therefore an object of the present invention to provide a method and an apparatus for generating a vehicle environment view generating environmental view of a more realistic driving ¬ in the area of covered by the vehicle body ¬ rie of the vehicle bottom surface provides, and thus the driver efficiently when performing maneuvers supports and in particular avoids damage to the vehicle ¬ body.
Diese Aufgabe wird gemäß einem ersten Aspekt der Erfindung durch ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht mit den in Patentanspruch 1 angegebenen Merkmalen gelöst. This object is achieved according to a first aspect of the invention by a method for generating a vehicle environment view having the features specified in claim 1.
Die Erfindung schafft demnach ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht mit den Schritten: The invention accordingly provides a method for generating a vehicle environment view with the steps:
Bereitstellen von Kamerabildern durch Fahrzeugkameras, die an einer Fahrzeugkarosserie eines Fahrzeuges vorgesehen sind, und Providing camera images by vehicle cameras, which are provided on a vehicle body of a vehicle, and
Berechnen der Fahrzeugumgebungsansicht auf Basis der bereit¬ gestellten Kamerabilder, Calculating the vehicle environment view on the basis of the ready-made camera images,
wobei eine Textur eines unterhalb der Fahrzeugkarosserie ge¬ legenen, für die Fahrzeugkameras nicht sichtbaren Bereichs einer Bodenfläche innerhalb der Fahrzeugumgebungsansicht in Abhängigkeit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche berechnet wird. Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens weist die Textur des unterhalb der Fahrzeugkaros¬ serie gelegenen, für die Fahrzeugkameras nicht sichtbaren Be¬ reichs der Bodenfläche Bildpunkte auf, deren Bilddatenwerte auf Basis von Bilddatenwerten der Bildpunkte des für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche extrapo¬ liert werden. wherein a texture of a below the vehicle body ge ¬ lying, not visible to the vehicle cameras area of a floor surface within the vehicle environment view depending on texture data of the non-visible area of the bottom surface surrounding visible for the vehicle cameras area of the floor surface is calculated. In one possible embodiment of the method according to the invention has the texture of below the Fahrzeugkaros ¬ series situated, not visible to the vehicle cameras Be ¬ Reich the bottom surface of image points whose image data values on the basis of image data values of the image points of the visible for vehicle cameras portion of the bottom surface extrapo ¬ lines become.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens weisen die Bilddatenwerte der Bildpunkte Farbbild¬ datenwerte auf. In one possible embodiment of the method, the image data values of the pixels Color ¬ data values have.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird die Fahrzeugumgebungsansicht erzeugt während sich das Fahrzeug über die Bodenfläche bewegt. In another possible embodiment of the method according to the invention, the vehicle environment view is generated while the vehicle is moving over the ground surface.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird die Fahrzeugumgebungsansicht erzeugt während das Fahrzeug auf der Bodenfläche steht. In a further possible embodiment of the method according to the invention, the vehicle environment view is generated while the vehicle is standing on the ground surface.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird die Textur des unterhalb der Fahr¬ zeugkarosserie gelegenen, für die Fahrzeugkameras nicht sichtbaren Bereichs der Bodenfläche durch eine Berechnungs¬ einheit in Echtzeit auf Basis der von den Fahrzeugkameras be¬ reitgestellten Kamerabilder berechnet. In a further possible embodiment of the method according to the invention the texture of the bottom of the Driving ¬ generating body located, not visible to the vehicle cameras portion of the bottom surface is calculated by a calculation ¬ unit in real time based on the be ¬ riding provided by the vehicle cameras camera images.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens weist die Textur des unterhalb der Fahr¬ zeugkarosserie gelegenen, für die Fahrzeugkameras nicht sichtbaren Bereichs der Bodenfläche einen Innenbereich mit einheitlicher Farbe und einem den Innenbereich umschließenden Randbereich auf. Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird in dem Randbereich ein Farbübergang von den mittels der Fahrzeugkameras erfassten Farben am Rand des nicht sichtbaren Bereichs hin zu der einheitlichen Farbe des Innenbereichs erzeugt. In a further possible embodiment of the method according to the invention the texture of the bottom of the Driving ¬ generating body located, not visible to the vehicle cameras portion of the bottom surface has an inner area with a uniform color and an area surrounding the inner edge region. In one possible embodiment of the method according to the invention, a color transition from the colors detected by means of the vehicle cameras at the edge of the non-visible region to the uniform color of the inner region is produced in the edge region.
Die Erfindung schafft ferner gemäß einem weiteren Aspekt eine Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht mit den in Patentanspruch 6 angegebenen Merkmalen. The invention further provides, according to a further aspect, a device for generating a vehicle environment view with the features specified in claim 6.
Die Erfindung schafft demnach eine Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht mit Fahrzeugkameras, die an einer Fahrzeugkarosserie eines Fahrzeuges angebracht sind und Kamerabilder der Fahrzeugumgebung des Fahrzeuges liefern und mit einer Berechnungseinheit, die die Fahrzeugumgebungsan¬ sicht auf Basis der bereitgestellten Kamerabilder berechnet, wobei eine Textur eines unterhalb der Fahrzeugkarosserie ge¬ legenen, für die Fahrzeugkameras nicht sichtbaren Bereichs einer Bodenfläche innerhalb der Fahrzeugumgebungsansicht in Abhängigkeit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche berechnet wird. The invention accordingly provides an apparatus for generating a vehicle environment view having vehicle cameras mounted on a vehicle body of a vehicle and providing camera images of the vehicle surroundings of the vehicle and having a computing unit that calculates the vehicle surroundings view based on the provided camera images, wherein a texture of below The vehicle body is ¬ calculated, not visible to the vehicle cameras area of a floor surface within the vehicle environment view in response to texture data of the non-visible area of the bottom surface enclosing visible for the vehicle cameras area of the floor area is calculated.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung weist die Textur des unterhalb der Fahrzeugkaros¬ serie gelegenen, für die Fahrzeugkameras nicht sichtbaren Be¬ reichs der Bodenfläche Bildpunkte auf, deren Bilddatenwerte durch die Berechnungseinheit auf Basis von Bilddatenwerten der Bildpunkte des für die Fahrzeugkameras sichtbaren Be¬ reichs der Bodenfläche extrapoliert werden. Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung weisen die Bilddatenwerte der Bildpunkte, die durch die Berechnungseinheit ausgewertet werden, Farb¬ bilddatenwerte auf. In one possible embodiment of the device according to the invention has the texture of below the Fahrzeugkaros ¬ series situated, not visible to the vehicle cameras Be ¬ Reich the bottom surface of image points whose image data values by the calculating unit on the basis of image data values of the image points of the visible for vehicle cameras Be ¬ kingdom the floor surface are extrapolated. In a further possible embodiment of the device according to the invention have the image data values of the pixels, which are evaluated by the computing unit, color ¬ image data values on.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird die Fahrzeugumgebungsansicht durch die Vorrichtung erzeugt während sich das Fahrzeug auf der Bo¬ denfläche bewegt oder auf der Bodenfläche steht. In a further possible embodiment of the device according to the invention, the vehicle environment view is generated through the device while the vehicle is moving on the Bo ¬ denfläche or is on the bottom surface.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird die Textur des unterhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeugkameras nicht sichtbaren Bereichs der Bodenfläche durch die Berechnungseinheit in Echtzeit auf Basis der von den Fahrzeugkameras be¬ reitgestellten Kamerabilder berechnet. In a further possible embodiment of the device according to the invention the texture of the underneath of the vehicle body located, not visible to the vehicle cameras portion of the bottom surface is calculated by the calculation unit in real time based on the be ¬ riding provided by the vehicle cameras camera images.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung weist die Textur des unterhalb der Fahrzeugkaros¬ serie gelegenen, für die Fahrzeugkameras nicht sichtbaren Be¬ reichs der Bodenfläche einen Innenbereich mit einheitlicher Farbe und einen den Innenbereich umschließenden Randbereich auf . In one possible embodiment of the device according to the invention the texture of the below Fahrzeugkaros ¬ series situated, not visible to the vehicle cameras Be ¬ Reich the bottom surface has an inner area with a uniform color and an area surrounding the inner edge region.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird in dem Randbereich ein Farbübergang von den mittels der Fahrzeugkameras erfassten Farben am Rand des nicht sichtbaren Bereichs hin zu der einheitlichen Farbe des Innenbereichs erzeugt. In one possible embodiment of the device according to the invention, a color transition from the colors detected by means of the vehicle cameras at the edge of the non-visible region to the uniform color of the inner region is produced in the edge region.
Die Erfindung schafft gemäß einem weiteren Aspekt ein Fahrerassistenzsystem mit einer Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht gemäß dem zweiten Aspekt der Erfin¬ dung . According to a further aspect, the invention provides a driver assistance system with a device for generating a Vehicle environment view according to the second aspect of the inven ¬ tion.
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Fahrzeug mit einem derartigen Fahrerassistenzsystem. The invention further provides, in another aspect, a vehicle having such a driver assistance system.
Bei einer möglichen Ausführungsform weist das Fahrzeug ein Landfahrzeug, ein Wasserfahrzeug oder ein Luftfahrzeug auf. In one possible embodiment, the vehicle comprises a land vehicle, a watercraft or an aircraft.
Im Weiteren werden mögliche Ausführungsformen des erfindungsgemäßen Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht und der erfindungsgemäßen Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht unter Bezugnahme auf die beige¬ fügten Figuren detailliert beschrieben. In the following, possible embodiments of the method according to the invention for generating a vehicle environment view and the device according to the invention for generating a vehicle environment view will be described in detail with reference to the attached figures.
Es zeigen: ein Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht; 1 shows a flow chart for illustrating an embodiment of a method according to the invention for generating a vehicle environment view;
Figur 2 eine schematische Ansicht zur Darstellung der Funktionsweise des in Figur 1 dargestellten Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht; ein Blockschaltbild zur Darstellung eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht. FIG. 2 shows a schematic view for illustrating the mode of operation of the method for generating a vehicle environment view illustrated in FIG. 1; a block diagram illustrating an embodiment of an inventive device for generating a vehicle environment view.
Wie man aus Figur 1 erkennen kann, weist ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht gemäß dem ersten As¬ pekt der Erfindung bei dem dargestellten Ausführungsbeispiel zwei Schritte auf. In einem ersten Schritt Sl werden Kamerabilder KB durch Fahrzeugkameras, die an einer Fahrzeugkarosserie eines Fahrzeuges F vorgesehen sind, bereitgestellt. Die verschiedenen Fahrzeugkameras liefern kontinuierlich Kamerabilder bzw. Bilddaten über Signalleitungen zur Datenverarbeitung. Die Fahrzeugkameras sind dabei vorzugsweise an verschiedenen Seiten der Fahrzeugkarosserie des Fahrzeuges F vorgesehen. Bei dem Fahr¬ zeug F kann es sich vorzugsweise um ein Landfahrzeug, insbe¬ sondere ein Straßenfahrzeug oder ein Agrarfahrzeug, handeln. Weiterhin kann es sich bei dem Fahrzeug F auch um ein Wasserfahrzeug oder ein Flugzeug bzw. Luftfahrzeug handeln. Bei¬ spielsweise kann ein Luftfahrzeug nach der Landung bei der Bewegung im Flughafen Kamerabilder der Fahrzeugumgebung erfassen . As can be seen from Figure 1, a method for generating a vehicle environment view according to the first ¬ As pect of the invention in the embodiment shown in two steps. In a first step Sl, camera images KB are provided by vehicle cameras provided on a vehicle body of a vehicle F. The various vehicle cameras continuously supply camera images or image data via signal lines for data processing. The vehicle cameras are preferably provided on different sides of the vehicle body of the vehicle F. In the driving ¬ convincing F may be preferably a land vehicle in particular ¬ sondere a road vehicle or agricultural vehicle act. Furthermore, the vehicle F may also be a watercraft or an aircraft or aircraft. In ¬ play, an aircraft capable of detecting camera images of the vehicle environment after landing in the movement in the airport.
In einem weiteren Schritt S2 wird eine Fahrzeugumgebungsansicht FUA des Fahrzeuges F auf Basis der durch die Kamera be¬ reitgestellten Kamerabilder KB berechnet. Dabei wird eine Textur eines unterhalb der Fahrzeugkarosserie bzw. Fahrzeug¬ rumpfes gelegenen, für die Fahrzeugkameras nicht sichtbaren Bereichs einer Bodenfläche innerhalb der Fahrzeugumgebungsan¬ sicht in Abhängigkeit von Texturdaten eines den nicht sicht¬ baren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche berechnet. Die Berechnung der Fahrzeugumgebungsansicht FUA erfolgt dabei vorzugsweise durch eine Berechnungseinheit in Echtzeit auf Basis der durch die Fahrzeugkameras übertragenen Bilddaten bzw. Kamerabilder. Bei einer möglichen Ausführungsform weist die Textur des unterhalb der Fahrzeugkarosserie bzw. Fahr¬ zeugrumpfes gelegenen, für die Fahrzeugkameras nicht sichtba¬ ren Bereichs der Bodenfläche Bildpunkte auf, deren Bilddaten¬ werte auf Basis von Bilddatenwerten der Bildpunkte des für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche extrapoliert. Die Bilddatenwerte der Bildpunkte weisen bei einer möglichen Ausführungsform Farbbilddatenwerte auf. Bei einer möglichen Ausführungsform wird die Fahrzeugumgebungsansicht FUA der Fahrzeugumgebung des Fahrzeuges F erzeugt während das Fahrzeug F auf einer Bodenfläche fest steht. Weiter¬ hin kann bei einer möglichen Ausführungsform die Fahrzeugumgebungsansicht FUA auch erzeugt werden während das Fahrzeug sich über die Bodenfläche hinweg bewegt. Die Textur des un¬ terhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeugka¬ meras nicht sichtbaren Bereichs der Bodenfläche wird durch die Berechnungseinheit in Echtzeit auf Basis der von den Fahrzeugkameras bereitgestellten Kamerabilder berechnet. In a further step S2, a vehicle environment FUA view of the vehicle F is calculated based on the riding ¬ be provided by the camera the camera images KB. In this case, a texture is located one below the vehicle body or vehicle ¬ hull, not visible to the vehicle cameras portion of a bottom surface within the Fahrzeugumgebungsan ¬ view in dependence of texture data of an enclosing the non visible ¬ cash area of floor space, visible to the vehicle cameras portion of the bottom surface calculated. The vehicle environment view FUA is preferably calculated by a calculation unit in real time on the basis of the image data or camera images transmitted by the vehicle cameras. In one possible embodiment, on the texture of the underneath of the vehicle body or moving ¬ generating hull located, not sichtba ¬ temperatures for the vehicle cameras portion of the bottom surface image points whose image data ¬ values on the basis of image data values of the pixels of for the vehicle cameras extrapolated visible area of the floor area. The image data values of the pixels in one possible embodiment have color image data values. In one possible embodiment, the vehicle surroundings view FUA of the vehicle surroundings of the vehicle F is generated while the vehicle F is stationary on a floor surface. Next ¬ out may also be generated moves away while the vehicle on the floor surface in one possible embodiment the vehicle environment view FUA. The texture of the un ¬ terhalb of the vehicle body located, not visible to the Fahrzeugka ¬ meras portion of the bottom surface is calculated by the calculation unit in real time based on the camera images provided by the vehicle cameras.
Figur 2 zeigt schematisch die Erzeugung einer Fahrzeugumgebungsansicht FUA zur Durchführung des erfindungsgemäßen Verfahrens. Figur 2 zeigt schematisch die Sicht von oben auf ei¬ ne Fahrzeugkarosserie eines Fahrzeuges F, beispielsweise ei¬ nes Pkws oder Lkws . Das Fahrzeug F kann dabei auf einer Bo¬ denfläche stehen oder sich über eine Bodenfläche hinwegbewe¬ gen. Die Fahrzeugkarosserie des Straßenfahrzeuges ist im We¬ sentlichen rechteckig. An der Fahrzeugkarosserie befinden sich an verschiedenen Seiten Fahrzeugkameras, die Kamerabil¬ der KB der Fahrzeugumgebung an eine Berechnungseinheit lie¬ fern. Bei den Fahrzeugkameras kann es sich beispielsweise um Fischaugenkameras handeln, die entsprechende Bilddaten an die Berechnungseinheit übertragen. In Figur 2 sind schematisch verschiedene Kamerabilder KB1 - KB4 dargestellt, die durch verschiedene Fischaugenkameras erzeugt werden. Figur 2 zeigt ein erstes Kamerabild KB1, welches von einer Fischaugenkamera erzeugt wird, welche sich an der Frontseite der Fahrzeugka¬ rosserie befindet. Weiterhin sind schematisch Kamerabilder KB2, KB3 dargestellt, die durch Fischaugenkameras erzeugt werden, die sich an den beiden Längsseiten der Fahrzeugkarosserie befinden. Weiterhin ist in Figur 2 ein viertes Kamerabild KB4 dargestellt, welches durch eine Fischaugenkamera er¬ zeugt wird, die an der Rückseite der Fahrzeugkarosserie des Fahrzeuges F angeordnet ist. Die verschiedenen Kamerabilder KB der Fahrzeugumgebung können sich bei einer möglichen Ausführungsform überlappen. Die verschiedenen Fahrzeugkameras, insbesondere Fischaugenkameras, können keine Bilddaten des unterhalb der Fahrzeugkarosserie gelegenen Bereichs bzw. Bo¬ denfläche liefern. Bei dem erfindungsgemäßen Verfahren wie es auch in Figur 1 dargestellt ist, wird eine Textur eines un¬ terhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeugka¬ meras, insbesondere Fischaugenkameras, nicht sichtbaren Be¬ reichs einer Bodenfläche innerhalb der Fahrzeugumgebungsansicht FUA in Abhängigkeit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche berech¬ net. Dieser umschließende, für die Fahrzeugkameras sichtbare Bereich der Bodenfläche ist in Figur 2 schematisch dargestellt. Die verschiedenen Kamerabilder KB, welche von den Fahrzeugkameras geliefert werden, enthalten jeweils eine Vielzahl von Bildpunkten. Die Textur des unterhalb der Fahrzeugkarosserie des Fahrzeuges F gelegenen, für die Fahrzeug¬ kameras nicht sichtbaren Bereichs umfasst Bildpunkte, deren Bilddatenwerte durch die Berechnungseinheit auf Basis von Bilddatenwerten des für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche extrapoliert werden. Dabei weisen die Bilddatenwerte vorzugsweise Farbbilddatenwerte auf. Bei einer möglichen Ausführungsform weist die Textur des für die Fahrzeugkameras des Fahrzeuges nicht sichtbaren Bereichs der Bo¬ denfläche zwei Farbbereiche auf, nämlich einen Innenbereich IB und einen den Innenbereich IB umschließenden Randbereich RB. Die Textur des Innenbereichs IB weist eine einheitliche Farbe bzw. einen einheitlichen Farbwert auf. Der den Innenbereich IB umschließende Randbereich RB, welcher in Fig. 2 schraffiert dargestellt ist, weist einen kontinuierlichen Farbübergang von der mittels der Fahrzeugkameras erfassten Farben am Rand des nicht sichtbaren Bereichs hin zu der einheitlichen Farbe des Innenbereichs IB auf. Basierend auf einem Farbwert der mittels der Fahrzeugkameras erfassten Bildpunkte, die sich direkt am Rand der für die Fahrzeugkameras nicht sicht¬ baren Fläche befinden, wird somit ein Farbübergang in die einheitliche Farbe des Innenbereichs IB erzeugt. Figure 2 shows schematically the generation of a vehicle environment view FUA for performing the method according to the invention. Figure 2 schematically shows the view from above of egg ¬ ne vehicle body of a vehicle M, for example, egg ¬ nes cars or trucks. The vehicle F can stand or on a Bo ¬ denfläche to hinwegbewe ¬ gen over a ground surface thereby. The vehicle body of the road vehicle is in ¬ We sentlichen rectangular. On the vehicle body are located on different sides of vehicle cameras , the Kamerabil ¬ KB of the vehicle environment to a computing unit lie ¬ far. The vehicle cameras can be, for example, fisheye cameras which transmit corresponding image data to the calculation unit. FIG. 2 diagrammatically shows various camera images KB1-KB4 which are produced by different fisheye cameras. Figure 2 shows a first camera image KB1, which is generated by a fisheye camera, which is located on the front of the Fahrzeugka ¬ rosserie. Furthermore, camera images KB2, KB3 are shown schematically, which are generated by fisheye cameras be located on the two long sides of the vehicle body. Furthermore, in Figure 2, a fourth camera image KB4 is shown, which is evidence by a fisheye camera, he ¬ which is disposed at the rear of the vehicle body of the vehicle F. The various camera images KB of the vehicle environment may overlap in one possible embodiment. The various vehicle cameras, in particular, fish-eye cameras can not provide image data of the located below the vehicle body frame or Bo ¬ denfläche. In the inventive method as shown also in Figure 1, a texture of an un ¬ terhalb of the vehicle body is situated, for the Fahrzeugka ¬ meras, in particular fish-eye cameras, not visible Be ¬ Reich a floor surface within the vehicle environment view FUA depending on texture data of the not visible area of the floor surface enclosing, for the vehicle cameras visible area of the floor surface calculates ¬ net. This enclosing, visible to the vehicle cameras area of the bottom surface is shown schematically in Figure 2. The various camera images KB, which are supplied by the vehicle cameras, each contain a plurality of pixels. The texture of the underneath of the vehicle body of the vehicle F located, not visible to the vehicle ¬ cameras region comprises picture elements whose image data values are extrapolated by the calculating unit on the basis of image data values of the visible for vehicle cameras portion of the bottom surface. The image data values preferably have color image data values. In one possible embodiment, the texture of the non-visible for the vehicle cameras of the vehicle portion of the Bo ¬ denfläche has two color regions, namely an inner region and an indoor IB IB surrounds the edge region RB. The texture of the inner region IB has a uniform color or a uniform color value. The border area RB enclosing the interior area IB, which is shown hatched in FIG. 2, has a continuous color transition from the colors detected by the vehicle cameras at the edge of the non-visible area to the uniform color of the interior area IB. Based on a color value of the captured by the vehicle camera pixels, which are located directly on the edge of the non-visible for the vehicle cameras ¬ area, thus a color transition is generated in the uniform color of the inner area IB.
Die Textur des unterhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeugkameras nicht sichtbaren Bereichs geht ohne signifikanten bzw. harten Übergang in die Textur des für die Fahrzeugkameras sichtbaren Bereichs der Bodenfläche über. Die Wiedergabe der Fahrzeugumgebung in der berechneten Fahrzeugumgebungsansicht FUA wird somit realistischer, sodass der Fahrer bei der Durchführung von Fahrzeugmanövern effizienter unterstützt werden kann. Weiterhin kann die erzeugte Fahrzeugumgebungsansicht FUA an weitere Funktionseinheiten eines Fahrerassistenzsystems weiterverarbeitet werden, um weitere Hilfs- bzw. Fahrerassistenzfunktionen für den Fahrer bereitzustellen. Aufgrund der höheren Qualität der erzeugten Fahrzeugumgebungsansicht FUA können die weiteren berechneten Fahrerassistenzfunktionen den Fahrer zuverlässiger unterstützen. Insbesondere werden durch das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht FUA sogenannte Blind Spots vor allem an den Ecken der Fahrzeugkarosserie vermieden, welche insbesondere bei Einparkmanövern zu Beschädigungen der Fahrzeugkarosserie führen können. Figur 3 zeigt ein Blockschaltbild eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung 1 zur Erzeugung einer Fahrzeugumgebungsansicht FUA. Die Vorrichtung 1 enthält eine Berechnungseinheit 4, insbesondere einen Mikroprozessor bzw. einen Prozessor, welcher Kamerabilder bzw. Bilddaten auswertet, die von verschiedenen Fahrzeugkameras 2-i übertragen werden. Die verschiedenen Fahrzeugkameras 2-i befinden sich an verschiedenen Seiten einer Fahrzeugkarosserie 3 eines Fahrzeuges F. Bei dem Fahrzeugkameras 2-i kann es sich um Fischaugenkameras handeln, die in Echtzeit Kamerabilder KB der Fahrzeugumgebung des Fahrzeuges F liefern. Die Blickwinkel der verschiedenen Fahrzeugkameras können sich bei einer möglichen Ausführungsform überlappen. Die Berechnungseinheit 4 führt bei einer möglichen Ausführungsform die Bilddatenverarbeitung der empfangenen Kamerabilder KB in Echtzeit durch. Die Berechnungseinheit 4 der Vorrichtung 1 führt eine Berech¬ nung der Fahrzeugumgebungsansicht FUA auf Basis der empfange¬ nen Kamerabilder KB durch, wobei eine Textur eines unterhalb der Fahrzeugkarosserie 3 des Fahrzeuges F gelegenen, für die Fahrzeugkameras 2-i nicht sichtbaren Bereichs einer Bodenflä¬ che innerhalb der Fahrzeugumgebungsansicht FUA in Abhängig¬ keit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras 2 sicht¬ baren Bereichs der Bodenfläche berechnet wird. Bei einer mög¬ lichen Ausführungsform erfolgt die Berechnung in Abhängigkeit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras 2 sichtbaren Randbereichs der Bodenfläche. Das Fahrzeug F kann sich bei Durchführung der Berechnung der Fahrzeugumgebungsansicht durch die Berechnungseinheit 4 in Bewegung befinden oder fest auf einer Bodenfläche stehen. Bei dem Fahrzeug F kann es sich um ein Landfahrzeug, beispielsweise ein Straßenfahrzeug, oder um ein Agrarfahrzeug handeln. Die Vorrichtung 1 zur Berechnung der Fahrzeugumgebungsansicht FUA bildet bei einer mögli¬ chen Ausführungsform Teil eines Fahrerassistenzsystems FAS, welches verschiedene Assistenzfunktionen bzw. Hilfsfunktionen für den Fahrer insbesondere bei der Durchführung von Fahrmanövern bietet. Bei einer möglichen Ausführungsform wird die berechnete bzw. erzeugte Fahrzeugumgebungsansicht FUA in ei¬ nem Datenspeicher zwischengespeichert, auf den weitere Funk¬ tionseinheiten des Fahrerassistenzsystems FAS Zugriff haben. Bei dieser Ausführungsform wird die zwischengespeicherte bzw. aufgezeichnete Fahrzeugumgebungsansicht FUA der Fahrzeugumge¬ bung durch Datenverarbeitungseinheiten der verschiedenen Funktionseinheiten des Fahrerassistenzsystems weiter ausge¬ wertet, um verschiedene Assistenzfunktionen für den Fahrer des Fahrzeuges F bereitzustellen. Beispielsweise wird der Fahrer bei der Durchführung eines Fahrmanövers, insbesondere eines Parkmanövers, durch das Fahrerassistenzsystem FAS unterstützt. Aufgrund der hohen Qualität der berechneten Fahrzeugumgebungsansicht, welche auch eine Textur der Bodenfläche beinhaltet, können die bereitgestellten Funktionen den Fahrer bei der Durchführung des Fahrmanövers mit größerer Sicherheit und zuverlässiger unterstützen als dies bei herkömmlichen Fahrerassistenzsystemen FAS der Fall ist. Die Wahrscheinlichkeit einer Beschädigung der Fahrzeugkarosserie 3 während ei¬ nes derartigen Fahrmanövers wird dementsprechend vermindert. Das in Figur 3 dargestellte Fahrzeug F ist bei einer mögli¬ chen Ausführungsform ein Landfahrzeug, insbesondere ein Stra¬ ßenfahrzeug oder ein Agrarfahrzeug . Bei einer weiteren mögli¬ chen Ausführungsform ist das Fahrzeug F ein Luftfahrzeug, beispielsweise ein Flugzeug, dessen Fahrzeugkarosserie bzw. Fahrzeugrumpf mit Fahrzeugkameras 2-i ausgestattet ist. Bei dieser Ausführungsform wird beispielsweise ein Pilot des Flugzeuges während Fahrmanövern auf einem Flugplatz unter- stützt. Weiterhin kann es sich bei dem Fahrzeug F auch um ein Wasserfahrzeug bzw. Schiff handeln, an dessen Schiffsrumpf sich Fahrzeugkameras 2-i befinden und entsprechende Kamerabi¬ lder KB an eine Berechnungseinheit 4 zur Erzeugung einer Fahrzeugumgebungsansicht FUA des Schifffahrzeuges liefern. Die durch die Berechnungseinheit 4 erzeugte Fahrzeugumge¬ bungsansicht FUA kann bei einer möglichen Ausführungsform über eine Anzeigeeinheit an einen Fahrer eines Straßenfahrzeuges an einen Piloten eines Flugzeuges oder einen Schiffs¬ führer eines Wasserfahrzeuges ausgegeben werden. Bei einer möglichen Ausführungsform der erfindungsgemäßen Umgebung wird die Fahrzeugumgebungsansicht FUA in einem Datenspeicher zur weiteren Auswertung aufgezeichnet. Bei einer weiteren möglichen Ausführungsform wird die berechnete Fahrzeugumgebungsansicht FUA über einen an die Berechnungseinheit 4 angeschlos¬ senen Transceiver an eine zentrale Steuerung übertragen. Diese Steuerung befindet sich beispielsweise im Tower eines Flughafens. Auf diese Weise können Dritte die Durchführung von Fahrzeugmanövern mitverfolgen bzw. überwachen. The texture of the area below the vehicle body, not visible to the vehicle cameras, merges without any significant transition into the texture of the area of the floor area visible to the vehicle cameras. The rendering of the vehicle environment in the calculated vehicle environment view FUA thus becomes more realistic, so that the driver can be more efficiently assisted in performing vehicle maneuvers. Furthermore, the generated vehicle environment view FUA can be further processed to further functional units of a driver assistance system in order to provide further driver assistance functions for the driver. Due to the higher quality of the generated vehicle environment view FUA, the further calculated driver assistance functions can more reliably assist the driver. In particular, so-called blind spots, especially at the corners of the vehicle body, are avoided by the method according to the invention and the device according to the invention for generating a vehicle environment view FUA, which can lead to damage to the vehicle bodywork, in particular during parking maneuvers. Figure 3 shows a block diagram of an embodiment of an inventive device 1 for generating a vehicle environment view FUA. The device 1 contains a calculation unit 4, in particular a microprocessor or a processor, which evaluates camera images or image data that are transmitted by different vehicle cameras 2-i. The various vehicle cameras 2-i are located on different sides of a vehicle body 3 of a vehicle F. The vehicle cameras 2-i can be fisheye cameras which provide camera images KB of the vehicle surroundings of the vehicle F in real time. The viewing angles of the various vehicle cameras may overlap in one possible embodiment. In one possible embodiment, the calculation unit 4 performs the image data processing of the received camera images KB in real time. The computation unit 4 of the device 1 performs a calculation ¬ voltage of the vehicle environment view FUA based on the receive ¬ NEN camera images KB by using a texture of a underneath the vehicle body 3 of the vehicle F located, not visible to the vehicle cameras 2-i region of a Bodenflä ¬ che an enclosing non-exposed areas of the bottom surface within the vehicle environment in view FUA Depending ¬ speed of texture data, is calculated for the vehicle cameras 2 ¬ view cash portion of the floor surface. In a handy embodiment mög ¬ visible to the vehicle cameras 2 edge area of the bottom surface of the calculation as a function of texture data is an enclosing non-exposed areas of the bottom surface. The vehicle F may be in motion when the calculation of the vehicle environment view by the calculation unit 4 or may be fixed on a floor surface. The vehicle F may be a land vehicle, for example a road vehicle, or to trade an agricultural vehicle. The apparatus 1 for computing the vehicle environment view FUA forms part of a driver assistance system FAS, which provides various assistance functions and auxiliary functions for the driver particularly in the implementation of driving maneuvers at a Moegli ¬ chen embodiment. In one possible embodiment, the calculated or generated vehicle environment view FUA is cached in egg ¬ nem data storage, on the other radio units ¬ tion of the driver assistance system FAS have access. In this embodiment, the cached or recorded vehicle environment view is FUA the vehicle Conversely ¬ bung further elaborated ¬ enhanced by data processing units of the various functional units of the driver assistance system to provide various assistance functions for the driver of the vehicle F. For example, the driver is assisted in carrying out a driving maneuver, in particular a parking maneuver, by the driver assistance system FAS. Due to the high quality of the calculated vehicle environment view, which also includes a texture of the ground surface, the provided functions can assist the driver in performing the driving maneuver with greater certainty and reliability than is the case with conventional driver assistance systems FAS. The probability of damage to the vehicle body 3 during ei ¬ nes such driving maneuver is reduced accordingly. The vehicle F shown in Figure 3 is a land vehicle, particularly a road ¬ ßenfahrzeug or an agricultural vehicle with a Moegli ¬ chen embodiment. In a further embodiment, the vehicle chen Moegli ¬ F is an aircraft such as an airplane, which vehicle body or vehicle body is equipped with vehicle cameras 2-i. In this embodiment, for example, a pilot of the aircraft is subjected during maneuvers on an aerodrome. supports. Furthermore, it may also be in the vehicle F a watercraft or a vessel on the ship's hull to the vehicle cameras 2-i are and provide corresponding Kamerabi ¬ lder KB to a calculation unit 4 for producing a vehicle environment view FUA of the ship's vehicle. The generated by the calculation unit 4. On the other vehicle ¬ bung view FUA can be output in a possible embodiment on a display unit to a driver of a road vehicle to a pilot of an aircraft or a ship ¬ leader of a watercraft. In one possible embodiment of the environment according to the invention, the vehicle environment view FUA is recorded in a data memory for further evaluation. In another possible embodiment, the calculated vehicle environmental view FUA is transmitted via an integrally Schlos ¬ Senen to the calculation unit 4 transceiver to a central controller. This control is located, for example, in the tower of an airport. In this way, third parties can follow or monitor the execution of vehicle maneuvers.
BEZUGSZEICHEN REFERENCE NUMBERS
1 Vorrichtung 1 device
2 Fahrzeugkameras 2 vehicle cameras
3 Fahrzeugkarosserie3 vehicle body
4 Berechnungseinheit F Fahrzeug 4 calculation unit F vehicle
KB Kamerabild  KB camera image
IB Innenbereich  IB interior
RB Randbereich  RB edge area

Claims

PATENTANSPRÜCHE
1. Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht mit den Schritten: A method for generating a vehicle environment view, comprising the steps of:
(a) Bereitstellen (Sl) von Kamerabildern (KB) durch Fahrzeugkameras (2), die an einer Fahrzeugkarosserie (3) eines Fahrzeuges (F) vorgesehen sind; und (a) providing (sl) camera images (KB) by vehicle cameras (2) provided on a vehicle body (3) of a vehicle (F); and
(b) Berechnen (S2) der Fahrzeugumgebungsansicht auf Basis der bereitgestellten Kamerabilder (KB) , (b) calculating (S2) the vehicle environment view based on the provided camera images (KB),
wobei eine Textur eines unterhalb der Fahrzeugkaros¬ serie (3) gelegenen, für die Fahrzeugkameras (2) nicht sichtbaren Bereichs einer Bodenfläche innerhalb der Fahrzeugumgebungsansicht in Abhängigkeit von Tex¬ turdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras (2) sichtbaren Bereichs der Bodenfläche berechnet wird. wherein a texture of a below the Fahrzeugkaros ¬ series (3) located, not visible to the vehicle cameras (2) area of a floor surface within the vehicle environment view depending on Tex ¬ turdaten the non-visible area of the bottom surface enclosing visible for the vehicle cameras (2) Area of the floor area is calculated.
2. Verfahren nach Anspruch 1, 2. The method according to claim 1,
wobei die Textur des unterhalb der Fahrzeugkarosserie (3) gelegenen, für die Fahrzeugkameras (2) nicht sichtbaren Bereichs der Bodenfläche Bildpunkte aufweist, deren Bild¬ datenwerte auf Basis von Bilddatenwerten der Bildpunkte des für die Fahrzeugkameras (2) sichtbaren Bereichs der Bodenfläche extrapoliert werden. wherein the texture of the below the vehicle body (3), not visible to the vehicle cameras (2) area of the bottom surface pixels having their image ¬ data values based on image data of the pixels of the visible for the vehicle cameras (2) area of the bottom surface are extrapolated.
3. Verfahren nach Anspruch 2, 3. The method according to claim 2,
wobei die Bilddatenwerte der Bildpunkte Farbbilddatenwer¬ te aufweisen. wherein the image data values of the pixels Farbbilddatenwer ¬ te have.
4. Verfahren nach einem der vorangehenden Ansprüche 1 bis 3, wobei die Fahrzeugumgebungsansicht erzeugt wird während das Fahrzeug (F) auf der Bodenfläche steht oder sich über die Bodenfläche bewegt. 4. The method of claim 1, wherein the vehicle environment view is generated during the vehicle (F) stands on the ground surface or moves over the ground surface.
5. Verfahren nach einem der vorangehenden Ansprüche 1 bis 4, wobei die Textur des für die Fahrzeugkameras (2) nicht sichtabren Bereichs der Bodenfläche einen Innenbereich (IB) mit einheitlicher Farbe und einen den Innenbereich (IB) umschließenden Randbereich (RB) aufweist, 5. Method according to one of the preceding claims 1 to 4, wherein the texture of the area of the floor surface not visible to the vehicle cameras (2) has an interior area (IB) of uniform color and an edge area (RB) enclosing the interior area (IB),
wobei in dem Randbereich (RB) ein Farbübergang von dem mittels der Fahrzeugkameras (2) erfassten Farben am Rand des nicht sichtbaren Bereichs hin zu der einheitlichen Farbe des Innenbereichs (IB) erzeugt wird.  wherein in the border area (RB), a color transition from the colors detected by the vehicle cameras (2) at the edge of the invisible area to the uniform color of the interior area (IB) is generated.
6. Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht mit Fahrzeugkameras (2), die an einer Fahrzeugkarosserie (3) eines Fahrzeuges F angebracht sind und Kamerabilder (KB) der Fahrzeugumgebung des Fahrzeuges (F) liefern und mit einer Berechnungseinheit (4), die die Fahrzeugumge¬ bungsansicht auf Basis der bereitgestellten Kamerabilder (KB) berechnet, 6. A device for generating a vehicle environment view with vehicle cameras (2), which are attached to a vehicle body (3) of a vehicle F and camera images (KB) of the vehicle environment of the vehicle (F) supply and with a calculation unit (4), the Fahrzeugumge ¬ calculated on the basis of the provided camera images (KB),
wobei eine Textur eines unterhalb der Fahrzeugkarosserie (3) gelegenen, für die Fahrzeugkameras (2) nicht sichtba¬ ren Bereichs einer Bodenfläche innerhalb der Fahrzeugum¬ gebungsansicht in Abhängigkeit von Texturdaten eines den nicht sichtbaren Bereich der Bodenfläche umschließenden, für die Fahrzeugkameras (2) sichtbaren Bereichs der Bo¬ denfläche berechnet wird. wherein a texture of a below the vehicle body (3), for the vehicle cameras (2) not sichtba ¬ ren area of a bottom surface within the Fahrzeugum ¬ view depending on texture data of the invisible area of the bottom surface enclosing visible for the vehicle cameras (2) Area of Bo ¬ denfläche is calculated.
7. Vorrichtung nach Anspruch 6, 7. Apparatus according to claim 6,
wobei die Textur des unterhalb der Fahrzeugkarosserie (3) gelegenen, für die Fahrzeugkameras (2) nicht sichtbaren Bereichs der Bodenfläche Bildpunkte aufweist, deren Bild¬ datenwerte durch die Berechnungseinheit (4) auf Basis von Bilddatenwerten der Bildpunkte des für die Fahrzeugkame¬ ras (2) sichtbaren Bereichs der Bodenfläche extrapoliert werden . wherein the texture of the below the vehicle body (3) located, not visible to the vehicle cameras (2) region of the bottom surface pixels having their image ¬ data by the calculation unit (4) based on Image data values of the pixels of the region of the bottom surface visible to the vehicle camera (2) are extrapolated.
8. Vorrichtung nach Anspruch 7, 8. Apparatus according to claim 7,
wobei die Bilddatenwerte der Bildpunkte Farbbilddatenwer¬ te aufweisen. wherein the image data values of the pixels Farbbilddatenwer ¬ te have.
9. Vorrichtung nach einem der vorangehenden Ansprüche 6 bis 8, 9. Device according to one of the preceding claims 6 to 8,
wobei die Textur des für die Fahrzeugkameras (2) nicht sichtbaren Bereichs der Bodenfläche ein Innenbereich (IB) mit einheitlicher Farbe und einen den Innenbereich (IB) umschließenden Randbereich (RB) aufweist, wobei der Randbereich (RB) einen Farbübergang von dem mittels der Fahrzeugkameras (2) erfassten Farben am Rand des nicht sicht¬ baren Bereichs hin zu der einheitlichen Farbe des Innenbereichs (IB) aufweist. wherein the texture of the area of the bottom surface not visible to the vehicle cameras (2) comprises a uniform color inner region (IB) and an edge region (RB) surrounding the inner region (IB), the peripheral region (RB) providing a color transition from that by means of the vehicle cameras having detected (2) colors at the edge of the non visible ¬ cash portion toward the uniform color of the inner portion (IB).
10. Fahrerassistenzsystem für ein Fahrzeug (F) mit einer Vorrichtung (1) zur Erzeugung einer Fahrzeugumgebungsansicht nach einem der vorangehenden Ansprüche 6 bis 9. 10. A driver assistance system for a vehicle (F) with a device (1) for generating a vehicle environment view according to one of the preceding claims 6 to 9.
11. Fahrzeug mit einem Fahrerassistenzsystem nach Anspruch 10. 11. vehicle with a driver assistance system according to claim 10.
12. Fahrzeug nach Anspruch 11, wobei das Fahrzeug ein Stra¬ ßenfahrzeug, ein Wasserfahrzeug oder ein Luftfahrzeug aufweist . 12. The vehicle of claim 11, wherein the vehicle has a road ¬ ßenfahrzeug, a watercraft or an aircraft.
EP17787872.5A 2016-11-25 2017-09-15 Method and device for generating a view around a vehicle for a vehicle Ceased EP3545463A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016223391.2A DE102016223391A1 (en) 2016-11-25 2016-11-25 METHOD AND DEVICE FOR PRODUCING A VEHICLE ENVIRONMENT VIEW ON A VEHICLE
PCT/DE2017/200096 WO2018095490A1 (en) 2016-11-25 2017-09-15 Method and device for generating a view around a vehicle for a vehicle

Publications (1)

Publication Number Publication Date
EP3545463A1 true EP3545463A1 (en) 2019-10-02

Family

ID=60161903

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17787872.5A Ceased EP3545463A1 (en) 2016-11-25 2017-09-15 Method and device for generating a view around a vehicle for a vehicle

Country Status (6)

Country Link
US (1) US10937201B2 (en)
EP (1) EP3545463A1 (en)
JP (1) JP7008068B2 (en)
CN (1) CN110023947A (en)
DE (2) DE102016223391A1 (en)
WO (1) WO2018095490A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016220651A1 (en) 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh A method and apparatus for generating a vehicle environment view in a vehicle
DE102018203590A1 (en) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview system with adapted projection surface
JP7018923B2 (en) * 2019-12-13 2022-02-14 本田技研工業株式会社 Parking Assistance Equipment, Parking Assistance Methods and Programs
DE102020213146B3 (en) * 2020-10-19 2021-08-05 Continental Automotive Gmbh Camera system for detecting the surroundings for a vehicle and a method for operating such a camera system
US11935156B2 (en) * 2022-02-18 2024-03-19 GM Global Technology Operations LLC Methods and systems for color harmonization in surround view systems

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581294B2 (en) 2001-06-06 2010-11-17 日産自動車株式会社 Vehicle display device
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5182042B2 (en) 2008-11-28 2013-04-10 富士通株式会社 Image processing apparatus, image processing method, and computer program
JP5035284B2 (en) 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 Vehicle periphery display device
CN101588482A (en) * 2009-06-02 2009-11-25 石黎 Vehicular virtual panoramic electronic system
DE102011077143A1 (en) * 2011-06-07 2012-12-13 Robert Bosch Gmbh A vehicle camera system and method for providing a seamless image of the vehicle environment
FR2976355B1 (en) * 2011-06-09 2013-06-21 Jean Luc Desbordes DEVICE FOR MEASURING SPEED AND POSITION OF A VEHICLE MOVING ALONG A GUIDE PATH, METHOD AND CORRESPONDING COMPUTER PROGRAM PRODUCT.
DE102011077398B4 (en) 2011-06-10 2021-11-04 Robert Bosch Gmbh Vehicle camera system for providing a complete image of the vehicle environment and the corresponding method
US10460475B2 (en) * 2012-02-07 2019-10-29 Zencolor Global, Llc Normalization of color from a captured image into a universal digital color system for specification and matching
DE102012211025A1 (en) * 2012-06-27 2014-01-02 Robert Bosch Gmbh Method for assisting driver of vehicle during parking into parking space, involves determining friction coefficient of wheels on subsurface such that coefficient is utilized during calculation of variables that are assignable to actuator
JP2014036326A (en) 2012-08-08 2014-02-24 Honda Motor Co Ltd Bird's eye image display device
DE102012112724A1 (en) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Method for determining a road condition from environmental sensor data
DE102013200427B4 (en) * 2013-01-14 2021-02-04 Robert Bosch Gmbh Method and device for generating an all-round view image of a vehicle environment of a vehicle, method for providing at least one driver assistance function for a vehicle, all-round view system for a vehicle
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
GB201406405D0 (en) 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9892493B2 (en) 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
DE102014208664A1 (en) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh METHOD AND DEVICE FOR DISABLING DISPLAYING A VEHICLE ENVIRONMENT ENVIRONMENT
DE102014117888A1 (en) 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online calibration of a motor vehicle camera system
US9811743B2 (en) 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
DE102016005463A1 (en) * 2016-05-03 2016-11-17 Daimler Ag Method and device for detecting and locating road bumps
JP2017220163A (en) 2016-06-10 2017-12-14 富士通テン株式会社 Image generation device, image display system and image generation method
DE102016220651A1 (en) 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh A method and apparatus for generating a vehicle environment view in a vehicle
CN109891475A (en) 2016-11-09 2019-06-14 索尼公司 Information processing equipment, information processing method, program and moving body

Also Published As

Publication number Publication date
US20200258266A1 (en) 2020-08-13
JP2020501226A (en) 2020-01-16
DE102016223391A1 (en) 2018-05-30
JP7008068B2 (en) 2022-01-25
US10937201B2 (en) 2021-03-02
CN110023947A (en) 2019-07-16
WO2018095490A1 (en) 2018-05-31
DE112017004613A5 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
EP3545463A1 (en) Method and device for generating a view around a vehicle for a vehicle
DE102016210376B4 (en) INTELLIGENT TRAILER DEVICE CONTROL USING HMI-BASED VISUAL SERVOING
EP3328686B1 (en) Method and device for displaying the surrounding field of a tractor and trailer
DE102017111530A1 (en) Systems and methods for a towing vehicle and a trailer with all-round imaging devices
WO2018072793A1 (en) Method and device for generating a view around a vehicle for a vehicle
DE102018104857A1 (en) Methods and systems for analyzing vehicle tires using vehicle-mounted cameras
EP3413086B1 (en) Method for characterising a trailer attached to a tractor vehicle, driver assistance system and road train
DE102016123884A1 (en) CLUTCH ANGLE DETECTION FOR TRAILER REVERSE ASSISTANCE SYSTEM
DE102016102002A1 (en) Improvement of a vehicle motion estimation with radar data
EP2273471B1 (en) Method for operating a vehicle's driver assistance system
DE102018121370A1 (en) TRAILER RETURN SYSTEM WITH PRÄDIKTIVER ANHÄNGERKUPPLUNGSWINKELFUNKTION
DE102019106052A1 (en) VEHICLE CAMERAS FOR MONITORING OFF ROAD TERRAIN
DE102016113808A1 (en) Lane detection device
DE102019104352A1 (en) COUPLING SUPPORT SYSTEM WITH ESTIMATE OF THE TRAILER HEIGHT AND IDENTIFICATION OF THE CLUTCH COUPLER
EP3532983A1 (en) Method and device for producing a view of the surroundings of a vehicle
DE112019005706T5 (en) systems and methods for controlling a vehicle camera
DE102017109514A1 (en) Adaptive reversing indicator
DE112019001414T5 (en) CONTROL UNIT FOR A VEHICLE
EP2603403B1 (en) Method of displaying pictures on a display in a motor vehicle, corresponding driver assistance system and vehicle
DE102020112549A1 (en) Method for measuring an add-on part arranged on a vehicle on the basis of images from a mobile terminal, computing device and driver assistance system
DE112020002753T5 (en) VEHICLE CONTROL METHOD, VEHICLE CONTROL DEVICE AND VEHICLE CONTROL SYSTEM INCLUDING THEM
DE102014202259B4 (en) Estimation of parameters of a commercial vehicle
DE102022117260A1 (en) VEHICLE DETERMINING FULL SPEED WITH RADAR
DE102016123135B4 (en) vehicle data recording
DE102018004110A1 (en) Method and control arrangement for modeling a spatial movement of a trailer, which is hinged to a vehicle

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190625

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

17Q First examination report despatched

Effective date: 20201217

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20230131