EP3529743A1 - Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug - Google Patents

Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug

Info

Publication number
EP3529743A1
EP3529743A1 EP17788107.5A EP17788107A EP3529743A1 EP 3529743 A1 EP3529743 A1 EP 3529743A1 EP 17788107 A EP17788107 A EP 17788107A EP 3529743 A1 EP3529743 A1 EP 3529743A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
fua
tpm
matrix
vehicle environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP17788107.5A
Other languages
English (en)
French (fr)
Inventor
Markus Friebe
Jörg Schrepfer
Rodrigo GARCIA MARQUES
Johannes PETZOLD
Georg Arbeiter
Stefan MILZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP3529743A1 publication Critical patent/EP3529743A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method and a device for generating a vehicle environment view in a vehicle, in particular in a land vehicle.
  • Vehicles are increasingly being ⁇ equipped with systems for displaying a vehicle environment view and surround view systems.
  • the surround-view system may form part of a remplias ⁇ sistenzsystems of the vehicle, wherein the surround view system as possible de ⁇ represents the vehicle environment of the vehicle fitted.
  • the driver assistance system supports in particular the driver of the vehicle when performing vehicle maneuvers.
  • camera images are evaluated, which are provided by vehicle cameras, which are provided on affykaros ⁇ series of the vehicle.
  • the vehicle cameras are located laterally on the vehicle body and generate camera images of the vehicle environment .
  • the camera images provided by the various vehicle cameras do not provide image data from the ground surface underlying the vehicle body.
  • Her ⁇ tional surround-view systems provide the location underneath the vehicle body floor surface is in a ssenli ⁇ chen color. Accordingly, the preferred under the Anlagenkaros ⁇ series of the vehicle, is not visible to the vehicle cameras bottom surface is shown only insufficient.
  • the vehicle surroundings view presented by the surround view system does not provide a realistic representation of the vehicle environment to a driver of the vehicle in the area of the ground surface, thus assisting the driver the performance of driving maneuvers is impaired. Due to the insufficient reproduction of the floor surface, it can therefore come in driving maneuvers, such as parking maneuvers or the like, damage to the vehicle body.
  • This object is achieved by a method for generating a vehicle environment view in a vehicle having the features specified in claim 1.
  • the invention thus provides a method for generating a vehicle environment view in a vehicle with the
  • the inventive method is based on the riding ⁇ be provided by the vehicle cameras camera images an original vehicle surroundings Viewing the vehicle without determining the texture of the vehicle body located below, calculated for the Anlagenkame ⁇ ras floor area calculated.
  • a local Farbhowdiktion to Be ⁇ a bill Farb remplidiktionsmatrix and a nadoskom--compensated Textur3.8diktion for calculating a Textur remplidik- is performed tion matrix based on the calculated original vehicle environment view.
  • an edge error is calculated along an edge of the invisible floor surface between the original vehicle environment view and the calculated texture prediction matrix.
  • error measures for the pixels within the non-visible bottom surface in dependence of the calculation ⁇ Neten edge errors are calculated to form a weight matrix.
  • the color prediction matrix and the texture prediction matrix for the calculation of the vehicle environment view are combined in a weighted manner with the determined weighting matrix as follows:
  • TPM is the texture prediction matrix.
  • the motion compensated prediction texture ⁇ takes place for calculating a Texturlessnessdiktionsmatrix, TPM, depending on odometric sensor-detected data.
  • the invention further provides, according to a further aspect, a device for generating a vehicle environment view, FUA, in a vehicle having the features specified in claim 7.
  • the invention accordingly provides an apparatus for generating a vehicle environment view, FUA, in a vehicle with: Vehicle cameras, which are attached to a vehicle body of Fahrzeu ⁇ ges and provide camera images of the vehicle environment of the vehicle,
  • a calculation unit which calculates a vehicle environment view of the vehicle on the basis of the provided camera images
  • an original vehicle surrounding view of the vehicle is calculated without determining the texture of the underneath of the vehicle body ⁇ rie located, not visible to the vehicle cameras Bo ⁇ den construction based on the be ⁇ riding provided by the vehicle cameras camera images by the calculation unit first.
  • a local color prediction for calculating a color prediction matrix and a motion-compensated texture prediction for calculating a texture prediction matrix is performed by the calculation unit on the basis of the calculated original vehicle environment view.
  • the calculation unit calculates edge errors along an edge of the invisible floor surface between the original vehicle environment view and the text prediction matrix.
  • the calculated edge errors are calculated for Jardinun a weighting matrix by the error calculating unit dimensions for the pixels within the non-visible bottom ⁇ area in dependency.
  • TPM is the texture prediction matrix
  • the device contains at least one Data memory for intermediate storage of the calculated color prediction matrix and the calculated texture prediction matrix.
  • the invention further provides, in another aspect, a driver assistance system having the features specified in claim 14.
  • the invention accordingly provides a driver assistance system for a vehicle with a device for generating a vehicle environment view
  • Vehicle cameras which are mounted on a vehicle body of the vehicle and gesges ⁇ provide camera images of the vehicle environment of the vehicle, and has
  • a calculation unit adapted to calculate a vehicle Conversely ⁇ bung view of the vehicle on the basis of the camera images provided
  • the invention further provides, in another aspect, a land vehicle having such a driver assistance system.
  • Figure 1 is a simple flow diagram of a possible exemplary embodiment of an inventive A method for generating a vehicle environment view in a vehicle;
  • Figure 2 is a schematic representation of a possible embodiment of the method according to the invention for generating a vehicle environment view in egg ⁇ nem vehicle;
  • FIG. 3 shows a simple block diagram for illustrating an exemplary embodiment of a device according to the invention for generating a vehicle environment view in a vehicle.
  • a method includes generating a vehicle environment view in a driving FUA ⁇ imaging according to the first aspect of the invention, in the exemplary embodiment illustrated Darge ⁇ two main steps.
  • Sl camera images are provided by vehicle cameras, which are provided on a vehicle body of the vehicle.
  • a vehicle environment view of the vehicle is calculated by a calculation unit on the basis of the camera images provided in step S1.
  • a texture of a non-visible ground surface located below the vehicle body is determined or calculated within the vehicle environment view by means of local color prediction and motion-compensated texture prediction.
  • step S2 On the basis of the camera images ready ⁇ provided by the various vehicle cameras, in step S2 a first ori ginäre vehicle environment view oFUA of the relevant Fahr ⁇ tool calculated without determining a texture of the below the vehicle body of the vehicle located, not visible for the Anlagenka ⁇ meras bottom surface.
  • a local Farburgidikti on ⁇ for calculating a Farberiediktionsmatrix FPM and a motion compensated Texturlessnessdiktion for calculating a TPM Textur Wegdiktionsmatrix is then performed by the calculation unit based on the vehicle environment originä ⁇ ren view oFUA. In doing so prediction algorithms can be executed.
  • the calculated color ⁇ FPM prediction matrix and the motion-compensated prediction matrix texture ⁇ TPM can be cached in a possible embodiment in one or several data storage for further data processing.
  • an error margin along an edge of the non-visible bottom surface between the primary environmental view oFUA vehicle and the calculated intermediately ⁇ cherten Textur Wegdiktionsmatrix TPM is preferably calculated.
  • error measures for pixels within the invisible bottom surface are calculated as a function of the calculated edge errors to form a weighting matrix GM.
  • the weighting matrix can likewise be temporarily stored in a data memory for further data processing.
  • TPM is the texture prediction matrix.
  • the motion-compensated texture prediction performed in step S2 by the calculation unit for the calculation of the texture prediction matrix TPM can in one possible embodiment be carried out as a function of sensory odometry data.
  • the odometric data are supplied by sensors, which are also attached to the Anlagenkaros ⁇ series of the vehicle.
  • Figure 2 shows a further schematic diagram illustrating an embodiment of the procedural ⁇ proceedings according to the invention for generating a vehicle environment view FUA at ei ⁇ nem vehicle.
  • an original vehicle environment view oFUA or a surround View Image without determining a texture is situated below the vehicle body, not visible to the vehicle ⁇ cameras bottom surface on the basis of the calculated frequencybil ⁇ .
  • a local Farbschaudikti ⁇ on the one hand, carried out to calculate a Farberiediktionsmatrix FPM and secondly performed a motion compensated Textur Weg ⁇ diction for calculating a Textur remplidiktionsmatrix TPM Based on these original vehicle Conversely ⁇ bung view oFUA.
  • the calculated color prediction matrix FPM and the texture prediction matrix TPM are then preferably temporarily stored for further data processing.
  • edge ⁇ error (error boundary) along an edge of the non-visible bottom face between the primary vehicle environment ⁇ view oFUA and the computed and cached Textur Wegdiktionsmatrix TPM be calculated.
  • the error measures for pixels within the invisible bottom surface are preferably used as a function of the calculated edge errors Forming a weighting matrix GM calculated.
  • the bottom surface below the vehicle body can be represented by a plurality of pixels. In a conventional land vehicle, the bottom surface below the vehicle body is typically rectangular and may be provided with egg ⁇ ner corresponding two-dimensional weighting matrix GM. For example, if the bottom surface is rendered at 200 x 500 pixels, the weighting matrix has 200 rows and 500 columns.
  • the weighting matrix GM thus includes for each image point of the bottom surface of a weighting factor, which is determined by the calculation unit based on the error metrics calculated in dependence of the calculation ⁇ Neten edge error.
  • the calculated weighting matrix ⁇ with the therein weighting factors is preferably temporarily stored and used as the basis for the calculation of the vehicle environmental view of FUA Fahrzeu ⁇ sat.
  • the cached Farbieridiktionsmatrix FPM and the veinge ⁇ stored Textur remplidiktionsmatrix TPM is weighted with the weighting matrix cached GM combined as follows:
  • FUA GM x FMP + (1-GM) x TPM.
  • the calculated vehicle environment view comprises a Tex FUA ⁇ structure for location underneath the vehicle body floor ⁇ surface and thus reflects the vehicle environment of the vehicle including the bottom surface against realistic.
  • the calculated vehicle environmental view FUA can be output via a Ausgabeein ⁇ ness.
  • the calculated vehicle environment view FUA is output directly to a display unit of a driver assistance system FAS to a driver of the vehicle.
  • the calculated vehicle environment FUA including the textured bottom surface for further data processing cached.
  • driver assistance functions of a driver assistance system may further evaluate the image data of the calculated intermediately ⁇ cherten vehicle environment view FUA and provide corresponding driver assistance system auxiliary functions for the driver of the vehicle.
  • the evaluation of the camera images provided by the vehicle cameras and the calculation of the vehicle environment view FUA are performed in real time in a preferred embodiment.
  • calculating unit whichzhouum suitssan ⁇ view FUA using the Farbieridiktion and schiskom--compensated Textur3.8diktion calculated in real time there may be one or more microprocessors.
  • the calculation of the vehicle environment view FUA may be performed when the subject vehicle is stationary or when the vehicle is moving above the ground.
  • the number of various ⁇ which vehicle cameras, which are attached to the vehicle body of the vehicle, for example, laterally, can vari ⁇ ieren.
  • FIG 3 shows a simple block diagram of an examplary ⁇ rule embodiment of an inventive device 1 for producing a vehicle environment view FUA in a vehicle.
  • the device 1 receives continuously from various vehicle cameras 2-1, 2-2, 2-3, 2-4 camera images of the vehicle environment via corresponding signal lines.
  • the vehicle cameras 2-i are mounted on a vehicle body 3 of a vehicle F.
  • the various ⁇ nen vehicle cameras 2-i are preferably located on different sides of the vehicle body 3.
  • the vehicle has four vehicle ⁇ cameras, which at the front, the back and to the both longitudinal sides of the vehicle F are mounted.
  • one possible embodiment may be so-called fish eye cameras whose fields of view preferably overlap.
  • the device 1 for generating the vehicle environment view FUA contains in the illustrated embodiment a calculation unit 4.
  • the calculation unit 4 preferably contains one or more microprocessors for image data processing in real time.
  • the calculation unit 4 receives signal lines KB via the signal lines from the various vehicle cameras 2-i.
  • the calculation unit 4 calculates a vehicle Conversely ⁇ bung view FUA of the vehicle F on the basis of accommodatege ⁇ easily received camera images KB, a texture of a underneath the vehicle body 3 located not sichtba ⁇ ren floor surface within the vehicle environment view FUA determined by means of local Farbieridiktion and motion compensated Texturlessnessdiktion or is calculated.
  • the encouragedka ⁇ rosserie 3 of the land vehicle F is rectangular, so ⁇ below the vehicle body 3 is a non-visible corresponding rectangular floor surface, which can not be detected by the vehicle cameras 2-i.
  • ⁇ below the vehicle body 3 is a non-visible corresponding rectangular floor surface, which can not be detected by the vehicle cameras 2-i.
  • an original vehicle environment view oFUA of the vehicle F without determining a texture of below the Anlagenkaros ⁇ memori 3 located, not visible to the various vehicle cameras 2-i bottom surface is calculated by the calculating unit 4 first.
  • a local Farbgar ⁇ diction for calculating a Farbierediktionsmatrix FPM and a motion compensated Textur remplidiktion for calculating a TPM Textur remplidiktionsmatrix is then based on the original vehicle environment view oFUA by the calculation unit 4 carried out in real time. It can the calculation unit 4 execute the corresponding color prediction algorithms and texture prediction algorithms.
  • the computing unit 4 of device 1 then calculates edge errors along an edge of the invisible floor area between the cached original vehicle environment view oFUA and the cached textual prediction matrix TPM. Furthermore, error measures for pixels within the invisible bottom surface are calculated by the calculation unit 4 as a function of the calculated edge errors to form a weighting matrix GM.
  • TPM is the texture prediction matrix
  • the output unit may be a display unit which outputs the calculated vehicle environment view FUA to a driver of the vehicle F. Further, the output unit may include a data interface to a white ⁇ direct data processing unit, which further evaluates the driving ⁇ generating environmental view FUA.
  • more driver assistance units of a driver assistance system FAS can access in a possible embodiment on the basis of the calculated vehicle environment view FUA to constructivear ⁇ term auxiliary functions or driver assistance functions for the Driver of the vehicle F to provide or calculate.
  • the device 1 for generating a vehicle environment view FUA comprises a calculation unit 4, in particular a processor, which is preferably suitable for carrying out the calculation step S2 provided in step S2 in real time.
  • the motion-compensated Texturlessnessdiktion carried to Be ⁇ calculation of Textur remplidiktionsmatrix TPM as a function of odometric data, which are detected by sensors, which are attached to the vehicle body 3 of the vehicle F.
  • the method according to the invention for generating a vehicle environment view FUA allows generating a vehicle environment view FUA both at one on one If the vehicle F is in motion, the image quality of the calculated vehicle environment view FUA is usually higher. Therefore, the inventive method for generating a vehicle environment view FUA is particularly suitable for moving or moving vehicles.
  • the method according to the invention and the device 1 for generating a vehicle environment view FUA are preferably used in a land vehicle which moves over a ground. In the country ⁇ vehicle may be a conventional road vehicle, in particular car or truck, act or an agricultural vehicle that moves across a dirt floor space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht, FUA, bei einem Fahrzeug mit den folgenden Schriten: (a) Bereitstellen (Sl) von Kamerabildern (KB) durch Fahrzeugkameras (2), die an einer Fahrzeugkarosserie (3) des Fahrzeuges vorgesehen sind; und (b) Berechnen (S2) einer Fahrzeugumgebungsansicht, FUA, des Fahrzeuges auf Basis der bereitgestellten Kamerabilder (KB), wobei eine Textur einer unterhalb der Fahrzeugkarosserie (3) gelegenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht, FUA, mittels örtlicher Farbprädiktion und bewegungskompensierter Texturprädiktion ermittelt wird.

Description

Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug, insbesondere bei einem Landfahrzeug.
Fahrzeuge werden zunehmend mit Systemen zur Darstellung einer Fahrzeugumgebungsansicht bzw. Surround-View-Systemen ausge¬ stattet. Das Surround-View-System kann Teil eines Fahreras¬ sistenzsystems des Fahrzeuges bilden, wobei das Surround- View-System die Fahrzeugumgebung des Fahrzeuges möglichst de¬ tailliert wiedergibt. Das Fahrerassistenzsystem unterstützt insbesondere den Fahrer des Fahrzeuges bei der Durchführung von Fahrzeugmanövern. Bei herkömmlichen Surround-View- Systemen werden Kamerabilder ausgewertet, die durch Fahrzeugkameras bereitgestellt werden, welche an einer Fahrzeugkaros¬ serie des Fahrzeuges vorgesehen sind. Die Fahrzeugkameras be¬ finden sich dabei seitlich an der Fahrzeugkarosserie und er¬ zeugen Kamerabilder der Fahrzeugumgebung.
Die Kamerabilder, welche von den verschiedenen Fahrzeugkameras geliefert werden, liefern jedoch keine Bilddaten von der Bodenfläche, die unterhalb der Fahrzeugkarosserie liegt. Her¬ kömmliche Surround-View-Systeme stellen die unterhalb der Fahrzeugkarosserie gelegene Bodenfläche in einer einheitli¬ chen Farbe dar. Demzufolge wird die unter der Fahrzeugkaros¬ serie des Fahrzeuges gelegene, für die Fahrzeugkameras nicht sichtbare Bodenfläche nur unzureichend dargestellt. Die von dem Surround-View-System dargestellte Fahrzeugumgebungsansicht bietet somit beispielsweise einem Fahrer des Fahrzeuges im Bereich der Bodenfläche keine realistische Wiedergabe der Fahrzeugumgebung, sodass die Unterstützung des Fahrers bei der Durchführung von Fahrmanövern beeinträchtigt ist. Aufgrund der unzureichenden Wiedergabe der Bodenfläche kann es daher bei Fahrmanövern, beispielsweise bei Einparkmanövern oder dergleichen, zu Schäden an der Fahrzeugkarosserie kommen .
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erzeugen einer realistischeren Fahrzeugumgebungsansicht insbesondere im Bereich der Bodenfläche des Fahrzeuges zu schaffen, um den Fahrer bei der Durchführung von Fahrmanövern effizienter zu unterstützen und Beschädigungen an der Fahrzeugkarosserie bei der Durchführung derartiger Fahrzeugmanöver zu vermeiden.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug mit den in Patentanspruch 1 angegebenen Merkmalen gelöst.
Die Erfindung schafft demnach ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug mit den
Schritten :
Bereitstellen von Kamerabildern durch Fahrzeugkameras, die an einer Fahrzeugkarosserie des Fahrzeuges vorgesehen sind, und Berechnen einer Fahrzeugumgebungsansicht des Fahrzeuges auf Basis der bereitgestellten Kamerabilder, wobei eine Textur einer unterhalb der Fahrzeugkarosserie gelegenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht mittels örtlicher Farbprädiktion und bewegungskompensierter Texturprädiktion ermittelt wird.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird auf Basis der durch die Fahrzeugkameras be¬ reitgestellten Kamerabilder eine originäre Fahrzeugumgebungs- ansieht des Fahrzeuges ohne Ermittlung der Textur der unterhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeugkame¬ ras nicht sichtbaren Bodenfläche berechnet.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird auf Grundlage der berechneten originären Fahrzeugumgebungsansicht eine örtliche Farbprädiktion zur Be¬ rechnung einer Farbprädiktionsmatrix und eine bewegungskom- pensierte Texturprädiktion zur Berechnung einer Texturprädik- tionsmatrix durchgeführt.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens wird ein Randfehler entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der originären Fahrzeugumgebungsansicht und der berechneten Texturprädikti- onsmatrix berechnet.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Bodenfläche in Abhängigkeit der berech¬ neten Randfehler zur Bildung einer Gewichtungsmatrix berechnet .
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens werden die Farbprädiktionsmatrix und die Texturprädiktionsmatrix zur Berechnung der Fahrzeugumgebungsansicht mit der ermittelten Gewichtungsmatrix wie folgt gewichtet kombiniert:
FUA = GM x FMP + (1 - GM) x TPM,
wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist. Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Verfahrens erfolgt die bewegungskompensierte Textur¬ prädiktion zur Berechnung einer Texturprädiktionsmatrix, TPM, in Abhängigkeit von sensorisch erfassten odometrischen Daten.
Die Erfindung schafft ferner gemäß einem weiteren Aspekt eine Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht, FUA, bei einem Fahrzeug mit den in Patentanspruch 7 angegebenen Merkmalen.
Die Erfindung schafft demnach eine Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht, FUA, bei einem Fahrzeug mit: Fahrzeugkameras, die an einer Fahrzeugkarosserie des Fahrzeu¬ ges angebracht sind und Kamerabilder der Fahrzeugumgebung des Fahrzeuges bereitstellen,
einer Berechnungseinheit, die auf Basis der bereitgestellten Kamerabilder eine Fahrzeugumgebungsansicht des Fahrzeuges be¬ rechnet,
wobei eine Textur einer unterhalb der Fahrzeugkarosserie ge¬ legenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht mittels örtlicher Farbprädiktion und be- wegungskompensierter Texturprädiktion ermittelt wird, und mit einer Ausgabeeinheit, welche die durch die Berechnungseinheit berechnete Fahrzeugumgebungsansicht ausgibt.
Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird auf Basis der durch die Fahrzeugkameras be¬ reitgestellten Kamerabilder durch die Berechnungseinheit zunächst eine originäre Fahrzeugumgebungsansicht des Fahrzeuges ohne Ermittlung der Textur der unterhalb der Fahrzeugkarosse¬ rie gelegenen, für die Fahrzeugkameras nicht sichtbaren Bo¬ denfläche berechnet. Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung wird auf Grundlage der berechneten origi nären Fahrzeugumgebungsansicht durch die Berechnungseinheit eine örtliche Farbprädiktion zur Berechnung einer Farbprädik tionsmatrix und eine bewegungskompensierte Texturprädiktion zur Berechnung einer Texturprädiktionsmatrix ausgeführt.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung werden durch die Berechnungseinheit Rand fehler entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der originären Fahrzeugumgebungsansicht und der Tex turprädiktionsmatrix berechnet.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung werden durch die Berechnungseinheit Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Boden¬ fläche in Abhängigkeit der berechneten Randfehler zur Bildun einer Gewichtungsmatrix berechnet.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung ist die Berechnungseinheit der Vorrichtung ausgelegt, die Farbprädiktionsmatrix und die Texturprä¬ diktionsmatrix zur Berechnung der Fahrzeugumgebungsansicht mit der Gewichtungsmatrix gewichtet wie folgt zu kombinieren FUA = GM x FMP + (1 - GM) x TPM,
wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist.
Bei einer weiteren möglichen Ausführungsform der erfindungsgemäßen Vorrichtung enthält die Vorrichtung mindestens einen Datenspeicher zur Zwischenspeicherung der berechneten Farb- prädiktionsmatrix und der berechneten Texturprädiktions- matrix .
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Fahrerassistenzsystem mit den in Patentanspruch 14 angegebenen Merkmalen.
Die Erfindung schafft demnach ein Fahrerassistenzsystem für ein Fahrzeug mit einer Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht die
Fahrzeugkameras, die an einer Fahrzeugkarosserie des Fahrzeu¬ ges angebracht sind und Kamerabilder der Fahrzeugumgebung des Fahrzeuges bereitstellen, und aufweist
eine Berechnungseinheit, die geeignet ist, eine Fahrzeugumge¬ bungsansicht des Fahrzeuges auf Basis der bereitgestellten Kamerabilder zu berechnen,
wobei eine Textur einer unterhalb der Fahrzeugkarosserie ge¬ legenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht mittels örtlicher Farbprädiktion und be- wegungskompensierter Texturprädiktion ermittelt wird.
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Landfahrzeug mit einem derartigen Fahrerassistenzsystem.
Im Weiteren werden mögliche Ausführungsformen der verschiedenen erfindungsgemäßen Aspekte unter Bezugnahme auf die beige¬ fügten Figuren detailliert beschrieben.
Es zeigen:
Figur 1 ein einfaches Ablaufdiagramm einer möglichen beispielhaften Ausführungsform eines erfindungsgemäßen Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug;
Figur 2 eine schematische Darstellung eines möglichen Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Erzeugen einer Fahrzeugumgebungsansicht bei ei¬ nem Fahrzeug;
Figur 3 ein einfaches Blockschaltbild zur Darstellung eines exemplarischen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug.
Wie man in Figur 1 erkennen kann, umfasst ein Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht FUA bei einem Fahr¬ zeug gemäß dem ersten Aspekt der Erfindung bei dem darge¬ stellten Ausführungsbeispiel zwei Hauptschritte.
Bei einem ersten Schritt Sl werden Kamerabilder durch Fahrzeugkameras bereitgestellt, die an einer Fahrzeugkarosserie des Fahrzeuges vorgesehen sind.
Bei einem weiteren Schritt S2 wird durch eine Berechnungseinheit eine Fahrzeugumgebungsansicht des Fahrzeuges auf Basis der im Schritt Sl bereitgestellten Kamerabilder berechnet. Dabei wird eine Textur einer unterhalb der Fahrzeugkarosserie gelegenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht mittels örtlicher Farbprädiktion und be- wegungskompensierter Texturprädiktion ermittelt bzw. berechnet .
Auf Basis der durch die verschiedenen Fahrzeugkameras bereit¬ gestellten Kamerabilder wird im Schritt S2 zunächst eine ori- ginäre Fahrzeugumgebungsansicht oFUA des betreffenden Fahr¬ zeuges ohne Ermittlung einer Textur der unterhalb der Fahrzeugkarosserie des Fahrzeuges gelegenen, für die Fahrzeugka¬ meras nicht sichtbaren Bodenfläche berechnet. Anschließend wird durch die Berechnungseinheit auf Grundlage der originä¬ ren Fahrzeugumgebungsansicht oFUA eine örtliche Farbprädikti¬ on zur Berechnung einer Farbprädiktionsmatrix FPM und eine bewegungskompensierte Texturprädiktion zur Berechnung einer Texturprädiktionsmatrix TPM durchgeführt. Dabei können Prädiktionsalgorithmen ausgeführt werden. Die berechnete Farb¬ prädiktionsmatrix FPM und die bewegungskompensierte Textur¬ prädiktionsmatrix TPM können bei einer möglichen Ausführungsform in einem oder verschiedenen Datenspeicher zur weiteren Datenverarbeitung zwischengespeichert werden. Im Schritt S2 wird vorzugsweise ein Randfehler entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der originären Fahrzeugumgebungsansicht oFUA und der berechneten zwischengespei¬ cherten Texturprädiktionsmatrix TPM berechnet. Anschließend werden im Schritt S2 Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Bodenfläche in Abhängigkeit der berechneten Randfehler zur Bildung einer Gewichtungsmatrix GM berechnet. Die Gewichtungsmatrix kann ebenfalls in einem Datenspeicher zur weiteren Datenverarbeitung zwischengespeichert werden. Durch die Berechnungseinheit wird im Schritt S2 die zwischen¬ gespeicherte Farbpräventionsmatrix FPM und die zwischenge¬ speicherte Texturprädiktionsmatrix TPM zur Berechnung der Fahrzeugumgebungsansicht FUA mit der zwischengespeicherten Gewichtungsmatrix GM gewichtet wie folgt kombiniert:
FUA = GM x FMP + (1 - GM) x TPM,
wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist. Die im Schritt S2 durch die Berechnungseinheit ausgeführte bewegungskompensierte Texturprädiktion zur Berechnung der Texturprädiktionsmatrix TPM kann bei einer möglichen Ausführungsform in Abhängigkeit von sensorisch erfassten odometrischen Daten erfolgen. Die odometrischen Daten werden dabei durch Sensoren geliefert, die ebenfalls an der Fahrzeugkaros¬ serie des Fahrzeuges angebracht sind.
Figur 2 zeigt schematisch ein weiteres Diagramm zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfah¬ rens zum Erzeugen einer Fahrzeugumgebungsansicht FUA bei ei¬ nem Fahrzeug.
Zunächst wird eine originäre Fahrzeugumgebungsansicht oFUA bzw. ein Surround View Image ohne Ermittlung einer Textur der unterhalb der Fahrzeugkarosserie gelegenen, für die Fahrzeug¬ kameras nicht sichtbaren Bodenfläche auf Basis der Kamerabil¬ der berechnet. Auf Grundlage dieser originären Fahrzeugumge¬ bungsansicht oFUA wird einerseits eine örtliche Farbprädikti¬ on zur Berechnung einer Farbprädiktionsmatrix FPM durchgeführt und andererseits eine bewegungskompensierte Texturprä¬ diktion zur Berechnung einer Texturprädiktionsmatrix TPM ausgeführt. Die berechnete Farbprädiktionsmatrix FPM und die Texturprädiktionsmatrix TPM werden anschließend vorzugsweise zur weiteren Datenverarbeitung zwischengespeichert. Weiterhin werden in einem weiteren Zwischenschritt vorzugsweise Rand¬ fehler (boundary error) entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der originären Fahrzeugumgebungs¬ ansicht oFUA und der berechneten und zwischengespeicherten Texturprädiktionsmatrix TPM berechnet. Die Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Bodenfläche werden vorzugsweise in Abhängigkeit der berechneten Randfehler zur Bildung einer Gewichtungsmatrix GM berechnet. Die Bodenfläche unterhalb der Fahrzeugkarosserie kann durch eine Vielzahl von Bildpunkten bzw. Pixeln dargestellt werden. Bei einem herkömmlichen Landfahrzeug ist die Bodenfläche unterhalb der Fahrzeugkarosserie typischerweise rechteckig und kann mit ei¬ ner entsprechenden zweidimensionalen Gewichtungsmatrix GM versehen sein. Wird beispielsweise die Bodenfläche mit 200 x 500 Bildpunkten bzw. Pixeln wiedergegeben, besitzt die Gewichtungsmatrix 200 Zeilen und 500 Spalten. Die Gewichtungsmatrix GM umfasst somit für jeden Bildpunkt der Bodenfläche einen Gewichtungsfaktor, der durch die Berechnungseinheit auf Basis der ermittelten Fehlermaße in Abhängigkeit der berech¬ neten Randfehler ermittelt wird. Die berechnete Gewichtungs¬ matrix mit den darin enthaltenen Gewichtungsfaktoren wird vorzugsweise zwischengespeichert und dient als Grundlage für die Berechnung der Fahrzeugumgebungsansicht FUA des Fahrzeu¬ ges. Bei einer bevorzugten Ausführungsform wird die zwischengespeicherte Farbprädiktionsmatrix FPM und die zwischenge¬ speicherte Texturprädiktionsmatrix TPM mit der zwischengespeicherten Gewichtungsmatrix GM gewichtet wie folgt kombiniert :
FUA = GM x FMP + (1 - GM) x TPM.
Die berechnete Fahrzeugumgebungsansicht FUA umfasst eine Tex¬ tur für die unterhalb der Fahrzeugkarosserie gelegene Boden¬ fläche und spiegelt somit die Fahrzeugumgebung des Fahrzeuges einschließlich der Bodenfläche realistisch wider. Die berechnete Fahrzeugumgebungsansicht FUA kann über eine Ausgabeein¬ heit ausgegeben werden. Bei einer möglichen Ausführungsform wird die berechnete Fahrzeugumgebungsansicht FUA direkt auf eine Anzeigeeinheit eines Fahrerassistenzsystems FAS an einen Fahrer des Fahrzeuges ausgegeben. Bei einer weiteren möglichen Ausführungsform wird die berechnete Fahrzeugumgebungsan- sicht FUA einschließlich der mit Textur versehenen Bodenfläche zur weiteren Datenverarbeitung zwischengespeichert. Beispielsweise können Fahrerassistenzfunktionen eines Fahrerassistenzsystems die Bilddaten der berechneten zwischengespei¬ cherten Fahrzeugumgebungsansicht FUA weiter auswerten und entsprechende Fahrerassistenzsystem-Hilfsfunktionen für den Fahrer des Fahrzeuges bereitstellen. Die Auswertung der Kamerabilder, welche durch die Fahrzeugkameras bereitgestellt werden, und die Berechnung der Fahrzeugumgebungsansicht FUA erfolgen bei einer bevorzugten Ausführungsform in Echtzeit. Bei der Berechnungseinheit, welche die Fahrzeugumgebungsan¬ sicht FUA mithilfe der Farbprädiktion und der bewegungskom- pensierten Texturprädiktion in Echtzeit berechnet, kann es sich um einen oder mehrere Mikroprozessoren handeln. Die Berechnung der Fahrzeugumgebungsansicht FUA kann durchgeführt werden, wenn das betreffende Fahrzeug steht oder wenn sich das Fahrzeug über dem Boden bewegt. Die Anzahl der verschie¬ denen Fahrzeugkameras, die beispielsweise seitlich an der Fahrzeugkarosserie des Fahrzeuges angebracht sind, kann vari¬ ieren .
Figur 3 zeigt ein einfaches Blockschaltbild eines exemplari¬ schen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung 1 zum Erzeugen einer Fahrzeugumgebungsansicht FUA bei einem Fahrzeug. Die Vorrichtung 1 erhält von verschiedenen Fahrzeugkameras 2-1, 2-2, 2-3, 2-4 fortlaufend Kamerabilder der Fahrzeugumgebung über entsprechende Signalleitungen. Die Fahrzeugkameras 2-i sind an einer Fahrzeugkarosserie 3 eines Fahrzeuges F angebracht. Dabei befinden sich die verschiede¬ nen Fahrzeugkameras 2-i vorzugsweise an verschiedenen Seiten der Fahrzeugkarosserie 3. Bei dem in Figur 3 dargestellten Ausführungsbeispiel verfügt das Fahrzeug über vier Fahrzeug¬ kameras, die an der Vorderseite, der Rückseite und an den beiden Längsseiten des Fahrzeuges F angebracht sind. Bei den Fahrzeugkameras 2-i kann es sich bei einer möglichen Ausführungsform um sogenannte Fischaugenkameras handeln, deren Sichtfelder sich vorzugsweise überlappen. Die Vorrichtung 1 zur Erzeugung der Fahrzeugumgebungsansicht FUA enthält bei dem dargestellten Ausführungsbeispiel eine Berechnungseinheit 4. Die Berechnungseinheit 4 enthält vorzugsweise einen oder mehrere Mikroprozessoren zur Bilddatenverarbeitung in Echtzeit. Die Berechnungseinheit 4 erhält über die Signalleitun¬ gen von den verschiedenen Fahrzeugkameras 2-i Kamerabilder KB. Die Berechnungseinheit 4 berechnet eine Fahrzeugumge¬ bungsansicht FUA des Fahrzeuges F auf Basis der bereitge¬ stellten empfangenen Kamerabilder KB, wobei eine Textur einer unterhalb der Fahrzeugkarosserie 3 gelegenen, nicht sichtba¬ ren Bodenfläche innerhalb der Fahrzeugumgebungsansicht FUA mittels örtlicher Farbprädiktion und bewegungskompensierter Texturprädiktion ermittelt bzw. berechnet wird. Bei dem in Figur 3 dargestellten Ausführungsbeispiel ist die Fahrzeugka¬ rosserie 3 des Landfahrzeuges F rechteckig ausgebildet, so¬ dass sich unterhalb der Fahrzeugkarosserie 3 eine nicht sichtbare entsprechend rechteckförmige Bodenfläche befindet, die durch die Fahrzeugkameras 2-i nicht erfasst werden kann. Auf Basis der durch die Fahrzeugkameras 2-i bereitgestellten Kamerabilder KB wird durch die Berechnungseinheit 4 zunächst eine originäre Fahrzeugumgebungsansicht oFUA des Fahrzeuges F ohne Ermittlung einer Textur der unterhalb der Fahrzeugkaros¬ serie 3 gelegenen, für die verschiedenen Fahrzeugkameras 2-i nicht sichtbaren Bodenfläche berechnet. Anschließend wird auf Grundlage der originären Fahrzeugumgebungsansicht oFUA durch die Berechnungseinheit 4 in Echtzeit eine örtliche Farbprä¬ diktion zur Berechnung einer Farbprädiktionsmatrix FPM und eine bewegungskompensierte Texturprädiktion zur Berechnung einer Texturprädiktionsmatrix TPM durchgeführt. Dabei kann die Berechnungseinheit 4 die entsprechenden Farbprädiktions- algorithmen und Texturprädiktionsalgorithmen ausführen. Die Berechnungseinheit 4 der Vorrichtung 1 berechnet anschließen Randfehler entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der zwischengespeicherten originären Fahrzeugumgebungsansicht oFUA und der zwischengespeicherten Tex- turprädiktionsmatrix TPM. Ferner werden Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Bodenfläche durch die Berechnungseinheit 4 in Abhängigkeit der berechneten Randfeh ler zur Bildung einer Gewichtungsmatrix GM berechnet.
Schließlich wird durch die Berechnungseinheit 4 die Farbprä- diktionsmatrix FPM und die Texturprädiktionsmatrix TPM zur Berechnung der Fahrzeugumgebungsansicht FUA mit der Gewich¬ tungsmatrix GM gewichtet wie folgt kombiniert:
FUA = GM x FMP + (1 - GM) x TPM,
wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist.
An die Berechnungseinheit 4 ist vorzugsweise eine Ausgabeein¬ heit angeschlossen, über welche die berechnete Fahrzeugumge¬ bungsansicht FUA ausgegeben wird. Bei der Ausgabeeinheit kann es sich bei einer möglichen Ausführungsform um eine Anzeigeeinheit handeln, welche die berechnete Fahrzeugumgebungsansicht FUA an einen Fahrer des Fahrzeuges F ausgibt. Weiterhin kann die Ausgabeeinheit eine Datenschnittstelle zu einer wei¬ teren Datenverarbeitungseinheit umfassen, welche die Fahr¬ zeugumgebungsansicht FUA weiter auswertet. Dabei können bei einer möglichen Ausführungsform auf Basis der berechneten Fahrzeugumgebungsansicht FUA weitere Fahrerassistenzeinheiten eines Fahrerassistenzsystems FAS zugreifen, um verschiedenar¬ tige Hilfsfunktionen bzw. Fahrerassistenzfunktionen für den Fahrer des Fahrzeuges F bereitzustellen bzw. zu berechnen. Die erfindungsgemäße Vorrichtung 1 zur Erzeugung einer Fahrzeugumgebungsansicht FUA enthält eine Berechnungseinheit 4, insbesondere einen Prozessor, welcher vorzugsweise geeignet ist, den im Schritt S2 bereitgestellten Berechnungsschritt S2 in Echtzeit auszuführen. Bei einer möglichen Ausführungsform erfolgt die bewegungskompensierte Texturprädiktion zur Be¬ rechnung der Texturprädiktionsmatrix TPM in Abhängigkeit von odometrischen Daten, die durch Sensoren erfasst werden, die an der Fahrzeugkarosserie 3 des Fahrzeuges F angebracht sind.
Das erfindungsgemäße Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht FUA wie es beispielhaft in Figur 1 dargestellt ist und die erfindungsgemäße Vorrichtung 1 zum Erzeugen einer Fahrzeugumgebungsansicht FUA bei einem Fahrzeug F wie sie exemplarisch in Figur 3 dargestellt ist, erlauben das Erzeugen einer Fahrzeugumgebungsansicht FUA sowohl bei einem auf einem Boden stehenden Fahrzeug F als auch bei einem sich über einem Boden bewegenden Fahrzeug F. Falls sich das Fahrzeug F in Bewegung befindet, ist die Bildqualität der berechneten Fahrzeugumgebungsansicht FUA in der Regel höher. Daher eignet sich das erfindungsgemäße Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht FUA vor allem bei beweglichen bzw. sich bewegenden Fahrzeugen. Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 1 zum Erzeugen einer Fahrzeugumgebungsansicht FUA werden vorzugsweise bei einem Landfahrzeug eingesetzt, das sich über einem Boden bewegt. Bei dem Land¬ fahrzeug kann es sich um ein herkömmliches Straßenfahrzeug, insbesondere Pkw oder Lkw, handeln oder um ein Agrarfahrzeug, welches sich über eine nicht asphaltierte Bodenfläche bewegt.

Claims

PATENTANSPRÜCHE
1. Verfahren zum Erzeugen einer Fahrzeugumgebungsansicht, FUA, bei einem Fahrzeug mit den folgenden Schritten:
(a) Bereitstellen (Sl) von Kamerabildern (KB) durch Fahrzeugkameras (2), die an einer Fahrzeugkarosserie (3) des Fahrzeuges vorgesehen sind; und
(b) Berechnen (S2) einer Fahrzeugumgebungsansicht, FUA, des Fahrzeuges auf Basis der bereitgestellten Kamera¬ bilder (KB) ,
wobei eine Textur einer unterhalb der Fahrzeugkaros¬ serie (3) gelegenen, nicht sichtbaren Bodenfläche in¬ nerhalb der Fahrzeugumgebungsansicht, FUA, mittels örtlicher Farbprädiktion und bewegungskompensierter Texturprädiktion ermittelt wird.
2. Verfahren nach Anspruch 1,
wobei auf Basis der durch die Fahrzeugkameras (2) bereit¬ gestellten Kamerabilder (KB) eine originäre Fahrzeugumge¬ bungsansicht, oFUA, des Fahrzeuges ohne Ermittlung der Textur der unterhalb der Fahrzeugkarosserie (3) gelege¬ nen, für die Fahrzeugkameras (2) nicht sichtbaren Bodenfläche berechnet wird, wobei auf Grundlage der originären Fahrzeugumgebungsansicht, oFUA, eine örtliche Farbprädik¬ tion zur Berechnung einer Farbprädiktionsmatrix, FPM, und eine bewegungskompensierte Texturprädiktion zur Berechnung einer Texturprädiktionsmatrix, TPM, erfolgt.
3. Verfahren nach Anspruch 1 oder 2,
wobei Randfehler entlang eines Randes der nicht sichtba¬ ren Bodenfläche zwischen der originären Fahrzeugumge- bungsansicht , oFUA, und der Texturprädiktionsmatrix, PM, berechnet werden.
4. Verfahren nach Anspruch 3,
wobei Fehlermaße für Bildpunkte innerhalb der nicht sichtbaren Bodenfläche in Abhängigkeit der berechneten Randfehler zur Bildung einer Gewichtungsmatrix, GM, berechnet werden.
5. Verfahren nach Anspruch 4,
wobei die Farbprädiktionsmatrix, FPM, und die Texturprädiktionsmatrix, TPM, zur Berechnung der Fahrzeugumgebungsansicht, FUA, mit der Gewichtungsmatrix, GM, gewichtet wie folgt kombiniert werden:
FUA = GM x FMP + (1 - GM) x TPM, wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist.
6. Verfahren nach einem der vorangehenden Ansprüche 1 bis 5, wobei die bewegungskompensierte Texturprädiktion zur Be¬ rechnung einer Texturprädiktionsmatrix, TPM, in Abhängigkeit von sensorisch erfassten odometrischen Daten erfolgt .
7. Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht, FUA, bei einem Fahrzeug (F) mit:
Fahrzeugkameras (2), die an einer Fahrzeugkarosserie (3) des Fahrzeuges (F) angebracht sind und Kamerabil- der (KB) der Fahrzeugumgebung, FUA, des Fahrzeuges bereitstellen; einer Berechnungseinheit (4), die dazu ausgelegt ist, eine Fahrzeugumgebungsansicht, FUA, auf Basis der be¬ reitgestellten Kamerabilder (KB) zu berechnen, wobei eine Textur einer unterhalb der Fahrzeugkarosserie (3) gelegenen, nicht sichtbaren Bodenfläche innerhalb der Fahrzeugumgebungsansicht, FUA, mittels örtlicher Farbprädiktion und bewegungskompensierter Texturprädiktion ermittelt wird; und mit
einer Ausgabeeinheit, welche die durch die Berech¬ nungseinheit (4) berechnete Fahrzeugumgebungsansicht, FUA, ausgibt.
8. Vorrichtung nach Anspruch 7,
wobei die Berechnungseinheit (4) auf Basis der durch die Fahrzeugkameras (2) bereitgestellten Kamerabilder (KB) eine originäre Fahrzeugumgebungsansicht, oFUA, des Fahr¬ zeuges ohne Ermittlung der Textur der unterhalb der Fahrzeugkarosserie (3) gelegenen, für die Fahrzeugkameras (2) nicht sichtbaren Bodenfläche berechnet und auf Grundlage der berechneten originären Fahrzeugumgebungsansicht, oFUA, eine örtliche Farbprädiktion zur Berechnung einer Farbprädiktionsmatrix, FPM, und eine bewegungskompensier- te Texturprädiktion zur Berechnung einer Texturprädikti- onsmatrix, TPM, durchführt.
9. Vorrichtung nach Anspruch 7 oder 8,
wobei die Berechnungseinheit (4) Randfehler entlang eines Randes der nicht sichtbaren Bodenfläche zwischen der originären Fahrzeugumgebungsansicht, oFUA, und der Textur- prädiktionsmatrix, TPM, berechnet.
10. Vorrichtung nach Anspruch 9,
wobei die Berechnungseinheit (4) Fehlermaße für Bildpunk¬ te innerhalb der nicht sichtbaren Bodenfläche in Abhän¬ gigkeit der berechneten Randfehler zur Bildung einer Gewichtungsmatrix, GM, berechnet.
11. Vorrichtung nach einem der vorangehenden Ansprüche 7 bis 10,
wobei die Berechnungseinheit (4) die Farbprädiktions- matrix, FPM, und die Texturprädiktionsmatrix, TPM, zur Berechnung der Fahrzeugumgebungsansicht, FUA, mit der Ge¬ wichtungsmatrix, GM, gewichtet wie folgt kombiniert:
FUA = GM x FMP + (1 - GM) x TPM, wobei FUA die Fahrzeugumgebungsansicht,
GM die Gewichtungsmatrix,
FMP die Farbprädiktionsmatrix und
TPM die Texturprädiktionsmatrix ist.
12. Vorrichtung nach einem der vorangehenden Ansprüche 7 bis 11,
wobei die bewegungskompensierte Texturprädiktion zur Be¬ rechnung einer Texturprädiktionsmatrix, TPM, in Abhängigkeit von odometrischen Daten erfolgt, die durch Sensoren des Fahrzeuges sensorisch erfasst werden.
13. Vorrichtung nach einem der vorangehenden Ansprüche 7 bis 12,
wobei die berechnete Farbprädiktionsmatrix, FPM, und die berechnete Texturprädiktionsmatrix, TPM, in einem Datenspeicher zwischengespeichert werden.
14. Fahrerassistenzsystem für ein Fahrzeug mit einer Vorrichtung (1) zur Erzeugung einer Fahrzeugumgebungsansicht, FUA, nach einem der vorangehenden Ansprüche 7 bis 13.
15. Landfahrzeug mit einem Fahrerassistenzsystem gemäß Anspruch 14.
EP17788107.5A 2016-10-20 2017-09-21 Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug Ceased EP3529743A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016220651.6A DE102016220651A1 (de) 2016-10-20 2016-10-20 Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
PCT/DE2017/200098 WO2018072793A1 (de) 2016-10-20 2017-09-21 Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug

Publications (1)

Publication Number Publication Date
EP3529743A1 true EP3529743A1 (de) 2019-08-28

Family

ID=60164562

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17788107.5A Ceased EP3529743A1 (de) 2016-10-20 2017-09-21 Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug

Country Status (5)

Country Link
US (1) US10902622B2 (de)
EP (1) EP3529743A1 (de)
JP (1) JP7132213B2 (de)
DE (2) DE102016220651A1 (de)
WO (1) WO2018072793A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018207976A1 (de) 2018-05-22 2019-11-28 Continental Automotive Gmbh Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung
DE102019201702A1 (de) * 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置
US11663807B2 (en) * 2021-08-05 2023-05-30 Ford Global Technologies, Llc Systems and methods for image based perception
US11966452B2 (en) 2021-08-05 2024-04-23 Ford Global Technologies, Llc Systems and methods for image based perception

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3772185B2 (ja) * 1995-07-28 2006-05-10 独立行政法人情報通信研究機構 画像符号化方式
JP2002354467A (ja) * 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
FR2976355B1 (fr) 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
DE102011077398B4 (de) * 2011-06-10 2021-11-04 Robert Bosch Gmbh Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren
DE102012211025A1 (de) 2012-06-27 2014-01-02 Robert Bosch Gmbh Verfahren zur Fahrassistenz und Fahrassistenzsystem
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
DE102016005463A1 (de) 2016-05-03 2016-11-17 Daimler Ag Verfahren und Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten
US20200051435A1 (en) * 2016-11-09 2020-02-13 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, program, and movable object
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug

Also Published As

Publication number Publication date
JP2020502850A (ja) 2020-01-23
US10902622B2 (en) 2021-01-26
US20190213744A1 (en) 2019-07-11
WO2018072793A1 (de) 2018-04-26
DE102016220651A1 (de) 2018-04-26
JP7132213B2 (ja) 2022-09-06
DE112017004075A5 (de) 2019-04-18

Similar Documents

Publication Publication Date Title
EP3529743A1 (de) Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102008027723B4 (de) Bildverarbeitungsvorrichtung zum Verringern von Effekten von Nebel bezüglich Abbildungen, die von einer in ein Fahrzeug eingebauten Kamera erzielt werden, und Fahrerunterstützungsvorrichtung, welche sich ergebende verarbeitete Abbildungen verwendet
DE102016122819B4 (de) Fahrzeugfahrtsteuerungsvorrichtung
EP3545463A1 (de) Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102014208664A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE102017112786A1 (de) Verfahren zum Charakterisieren eines an ein Zugfahrzeug angehängten Anhängers, Fahrerassistenzsystem sowie Gespann
DE102015205507B3 (de) Rundsichtsystem für ein Fahrzeug
DE102020102712A1 (de) Entfernung von fehlalarmen in der keulenbildungsphase zum erfassen von radaren unter verwendung eines tiefen neuronalen netzwerks
DE102021110477A1 (de) Dynamische anpassung eines bildes mit erweiterter realität
DE112019005706T5 (de) ysteme und Verfahren zur Steuerung einer Fahrzeugkamera
DE102020127000A1 (de) Erzeugung von zusammengesetzten bildern unter verwendung von zwischenbildflächen
DE102021129544A1 (de) Systeme und verfahren zur tiefenabschätzung in einem fahrzeug
EP3532983A1 (de) Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht
DE102018212779A1 (de) Verfahren und System zum Bestimmen und Anzeigen einer Watsituation
DE102016200656A1 (de) Verfahren zum Auswerten eines Umfeldes eines Fahrzeuges
DE112020000325T5 (de) Schätzung von Anhängereigenschaften mit Fahrzeugsensoren
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
DE102021201525A1 (de) Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102014202259B4 (de) Abschätzung von Parametern eines Nutzfahrzeugs
DE102021111114A1 (de) Fahrspurunbestimmtheitsmodellierung und -verfolgung in einem Fahrzeug
DE102019220526A1 (de) Verfahren und Vorrichtung zum Bestimmen von mindestens einem Knickwinkel eines Fahrzeuggespanns
DE102020207732A1 (de) Hinderniserkennung in einem Überlappungsbereich von Sichtfeldern zweier Kameras durch Ausnutzung von Unterschieden zwischen Re-Projektionen
DE102019129101A1 (de) Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt
EP1679529B1 (de) Verfahren für die Objekterfassung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190520

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: GARCIA MARQUES, RODRIGO

Inventor name: FRIEBE, MARKUS

Inventor name: MILZ, STEFAN

Inventor name: SCHREPFER, JOERG

Inventor name: ARBEITER, GEORG

Inventor name: PETZOLD, JOHANNES

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

17Q First examination report despatched

Effective date: 20201218

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20230131