DE102021212569A1 - Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle - Google Patents

Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle Download PDF

Info

Publication number
DE102021212569A1
DE102021212569A1 DE102021212569.7A DE102021212569A DE102021212569A1 DE 102021212569 A1 DE102021212569 A1 DE 102021212569A1 DE 102021212569 A DE102021212569 A DE 102021212569A DE 102021212569 A1 DE102021212569 A1 DE 102021212569A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
camera image
area
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021212569.7A
Other languages
German (de)
Inventor
Andreas Kern
Marcus Treu
Raphael Cano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021212569.7A priority Critical patent/DE102021212569A1/en
Priority to PCT/EP2022/080579 priority patent/WO2023083665A1/en
Publication of DE102021212569A1 publication Critical patent/DE102021212569A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur Anzeige eines Umgebungsmodells für den Fahrer eines Fahrzeugs (100), wobei das Fahrzeug (100) mindestens eine erste Kamera (110) und eine zweite Kamera (120) aufweist, welche dazu eingerichtet sind, Kamerabilder von der Umgebung des Fahrzeugs (100) zu erfassen, wobei sich der erste Erfassungsbereich (111) der ersten Kamera (110) und der zweite Erfassungsbereich (121) der zweiten Kamera (120) überlappen, umfassend wenigstens folgenden Verfahrensschritte: Erfassung (510) wenigstens eines ersten Kamerabilds mittels der ersten Kamera (110); Erfassung (520) wenigstens eines zweiten Kamerabilds mittels der zweiten Kamera (120); Bestimmung (530) einer Korrekturmaßnahme in Abhängigkeit des erfassten ersten und zweiten Kamerabilds; und Anzeige (580) des Umgebungsmodells (200) in Abhängigkeit des ersten Kamerabilds und/oder des zweiten Kamerabilds, wobei das Umgebungsmodell (200) in der Repräsentation des Überlappungsbereichs (150) zwischen dem ersten und zweiten Kamerabild einen Nahtbereich (201) aufweist, an welchen das erste und zweite Kamerabild aneinandergefügt werden, wobei eine Anpassung (570) des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds in Abhängigkeit der bestimmten Korrekturmaßnahme und in Abhängigkeit einer Gewichtungsfunktion (f(x)) der Entfernung (x) eines jeweiligen Pixels von dem Nahtbereich (201) durchgeführt wird.Method for displaying an environment model for the driver of a vehicle (100), the vehicle (100) having at least a first camera (110) and a second camera (120), which are set up to display camera images of the environment of the vehicle (100) to capture, wherein the first capture area (111) of the first camera (110) and the second capture area (121) of the second camera (120) overlap, comprising at least the following method steps: Capturing (510) at least one first camera image by means of the first camera ( 110); acquisition (520) of at least one second camera image by means of the second camera (120); determining (530) corrective action as a function of the captured first and second camera images; and display (580) of the environment model (200) as a function of the first camera image and/or the second camera image, the environment model (200) having a seam area (201) in the representation of the overlapping area (150) between the first and second camera images which the first and second camera images are joined together, with an adjustment (570) of the captured first camera image and/or the captured second camera image depending on the specific corrective measure and depending on a weighting function (f(x)) of the distance (x) of a respective pixel is carried out by the seam area (201).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Anzeige eines Modells einer Umgebung eines Fahrzeugs, wobei das Verfahren eine Erfassung mindestens zweier Kamerabilder und eine Anpassung mindestens eines erfassten Kamerabilds in Abhängigkeit einer bestimmten Korrekturmaßnahme und einer Gewichtungsfunktion umfasst. Die Erfindung betrifft auch ein Computerprogramm umfassend Befehle zur Ausführung des Verfahrens und ein Steuergerät mit einer Recheneinheit, die so konfiguriert ist, dass sie die Schritte des Verfahrens ausführt. Ferner betrifft die Erfindung ein Fahrzeug mit dem Steuergerät.The present invention relates to a method for displaying a model of an area surrounding a vehicle, the method comprising capturing at least two camera images and adapting at least one captured camera image as a function of a specific corrective measure and a weighting function. The invention also relates to a computer program comprising instructions for carrying out the method and a control device with a computing unit which is configured in such a way that it carries out the steps of the method. Furthermore, the invention relates to a vehicle with the control device.

Stand der TechnikState of the art

Die Schrift US 2015/0138312 A1 offenbart ein Verfahren zur Erzeugung eines Umgebungsmodells zur Fahrassistenz in einem Fahrzeug basierend auf mehreren Kamerabildern beziehungsweise ein Surround View - Kamerasystem. Das Surround View - Kamerasystem führt eine Korrektur von Farbwerten zwischen unterschiedlichen Kamerabildern basierend auf den Farbwertunterschieden jedes Farbkanals innerhalb eines Beispielbereichs im Überlappungsbereich zweier Kamerabilder durch. Dabei werden Farbdurchschnittswerte des jeweiligen Kanals im Beispielbereich statt Pixelwerten verwendet. Ausreißer in den Farbunterschieden oberhalb eines Schwellenwertes werden nicht zur Korrektur verwendet, sondern verworfen. Die Farbkorrektur beziehungsweise Verstärkung eines Farbwertes wird für die Farbkanäle jeweils separat ermittelt und dann global auf alle Pixel angewendet.The font US 2015/0138312 A1 discloses a method for generating an environment model for driving assistance in a vehicle based on multiple camera images or a surround view - camera system. The Surround View camera system corrects color values between different camera images based on the color value differences of each color channel within a sample area in the overlapping area of two camera images. Average color values of the respective channel in the sample area are used instead of pixel values. Outliers in the color differences above a threshold are not used for correction, but are discarded. The color correction or amplification of a color value is determined separately for each color channel and then applied globally to all pixels.

Die Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Anzeige eines Modells einer Umgebung eines Ego-Objektes zu verbessern.The object of the present invention is to improve a method for displaying a model of an environment of an ego object.

Offenbarung der ErfindungDisclosure of Invention

Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1, 10, 11 und 12 gelöst.The above object is achieved according to the invention according to independent claims 1, 10, 11 and 12.

Die vorliegende Erfindung betrifft ein Verfahren zur Anzeige eines Modells einer Umgebung eines Fahrzeugs für den Fahrer, insbesondere zur Anzeige einer Rundumsicht - beziehungsweise Surround View - Darstellung des Fahrzeugs in der Umgebung. Das Fahrzeug weist mindestens eine erste Kamera und eine zweite Kamera auf, welche insbesondere jeweils Weitwinkelobjektive aufweisen. Vorteilhafterweise umfasst das Fahrzeug vier Kameras, welche jeweils Weitwinkelobjektive aufweisen, wobei insbesondere an jeder Seite des Fahrzeugs jeweils eine der vier Kameras angeordnet ist. Die mindestens erste und zweite Kamera sind jeweils dazu eingerichtet, Kamerabilder von der Umgebung des Fahrzeugs zu erfassen, wobei sich die Erfassungsbereiche der ersten und zweiten Kamera beziehungsweise benachbarter Kameras überlappen beziehungsweise überschneiden. Insbesondere sind vier Kameras des Fahrzeugs mittels der Weitwinkelobjektive dazu eingerichtet, Kamerabilder der Umgebung des Fahrzeugs zu erfassen, welche zusammen die Umgebung des Fahrzeugs nahezu vollständig abbilden, wobei sich die Erfassungsbereiche der benachbarten Kameras jeweils überschneiden. Das Verfahren umfasst mindestens eine Erfassung wenigstens eines ersten Kamerabilds mittels der ersten Kamera, wobei insbesondere eine Abfolge von ersten Kamerabildern kontinuierlich erfasst wird. Das Verfahren umfasst des Weiteren mindestens eine Erfassung wenigstens eines zweiten Kamerabilds mittels der zweiten Kamera, wobei insbesondere eine Abfolge von zweiten Kamerabildern kontinuierlich erfasst wird. Anschließend erfolgt eine Bestimmung wenigstens einer Korrekturmaßnahme in Abhängigkeit des ersten und zweiten Kamerabilds. Es kann vorgesehen sein, dass zur Anpassung des ersten Kamerabildes eine erste Korrekturmaßnahme und zur Anpassung des zweiten Kamerabildes eine zweite Korrekturmaßnahme in Abhängigkeit des ersten und zweiten Kamerabilds bestimmt wird. Die Bestimmung der Korrekturmaßnahme oder der Korrekturmaßnahmen erfolgt insbesondere in Abhängigkeit des in dem ersten Kamerabild und dem zweiten Kamerabild abgebildeten Überlappungsbereichs beziehungsweise Überschneidungsbereichs der Erfassungsbereiche. Bei mehr als zwei Kameras des Fahrzeugs wird insbesondere pro Überlappungsbereich beziehungsweise Überschneidungsbereich mindestens eine Korrekturmaßnahme für mindestens eines der Kamerabilder bestimmt, welches den Überlappungsbereich beziehungsweise Überschneidungsbereich aufweist. Danach wird eine Anpassung des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds in Abhängigkeit der wenigstens einen bestimmten Korrekturmaßnahme und in Abhängigkeit einer Gewichtungsfunktion der Entfernung eines jeweiligen Pixels von einem Nahtbereich durchgeführt. Die Anpassung des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds wird insbesondere bezüglich der Transparenz, der Helligkeit und/oder der Farbe der Pixel des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds, insbesondere in dem zugehörigen Überlappungsbereich und/oder in dem restlichen Kamerabild ohne den Überlappungsbereich, durchgeführt. Die Entfernung eines jeweiligen Pixels wird vorteilhafterweise von dem Nahtbereich parallel zur Längs- und/oder Querachse des Fahrzeugs oder rechtwinklig zum Nahtbereich ermittelt. Der Nahtbereich ist dabei der Bereich, in welchem Kamerabilder in der Anzeige des Umgebungsmodells aneinandergefügt werden. Es kann vorteilhafterweise vorgesehen sein, dass die Anpassung des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds in Abhängigkeit unterschiedlicher Korrekturmaßnahmen und/oder Gewichtungsfunktionen für unterschiedliche Farbkanäle und/oder die Helligkeit erfolgt. Die Anpassung des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds erfolgt insbesondere bezüglich der Transparenz, der Helligkeit und/oder der Farbe für jeden Pixel oder einen Teilbereich der Pixel des jeweiligen Kamerabildes. Anschließend wird das Umgebungsmodell in Abhängigkeit des angepassten ersten Kamerabilds und/oder des angepassten zweiten Kamerabilds angezeigt, wobei das Umgebungsmodell in der Repräsentation des Überlappungsbereichs zwischen dem ersten und zweiten Kamerabild den Nahtbereich aufweist, an welchen die Kamerabilder in der Anzeige des Umgebungsmodells aneinandergefügt werden. Durch das Verfahren resultiert der Vorteil, dass Kamerabilder benachbarter Kameras bezüglich ihrer Helligkeits- und/oder Farbewerte lokal am beziehungsweise in der Nähe des jeweiligen Nahtbereichs aneinander angeglichen werden, so dass eine unauffälliger Nahtbereich beziehungsweise eine realistische Darstellung des Umgebungsmodells angezeigt wird. Die erste und zweite Kamera können beispielsweise eine automatische Helligkeitsoptimierung zur Erfassung des jeweiligen Kamerabildes aufweisen, wobei sich die resultierende Helligkeit der verschiedenen Kamerabilder basierend auf den unterschiedlichen Erfassungsbereichen erheblich unterscheiden können. Durch das Verfahren erfolgt die Anpassung des jeweiligen Kamerabildes voreilhafterweise verstärkt in der Nähe des Nahtbereichs und zunehmend weniger stark mit dem Abstand beziehungsweise der Entfernung eines Pixels des Kamerabildes von der Nahtstelle. Mit anderen Worten weist das Verfahren den Vorteil auf, dass am oder in der Nähe des Nahtbereichs des Überlappungsbereich eine starke Anpassung zwischen dem ersten und zweiten Kamerabild durchgeführt wird, so das für einen Nutzer der Nahtbereich unauffällig angezeigt beziehungsweise kaschiert wird. Weiter entfernt vom Nahtbereich wird vorteilhafterweise eine reduzierte oder keine Anpassung des ersten und/oder zweiten Kamerabilds durchgeführt, so dass beispielsweise die basierend auf den Umgebungsbedingungen automatisch eingestellte Helligkeit und/oder die erfasste Farbe des beziehungsweise der jeweiligen erfassten Kamerabilder im Wesentlichen erhalten bleibt. Durch das Verfahren resultiert mit anderen Worten vorteilhafterweise eine lokale Harmonisierung der Helligkeits- und Farbwerte in der Nähe des jeweiligen Nahtbereichs zwischen jeweils erfassten Kamerabildern benachbarter Kameras, wodurch im Umgebungsmodell, insbesondere in der Repräsentation des Überlappungsbereichs, für den Fahrer Unterschiede bezüglich der Helligkeits- und/oder Farbwerte zwischen den Kamerabildern unterschiedlicher Kameras kaum wahrnehmbar sind, da am Nahtbereich die Unterschiede minimiert werden und die Anpassung mit der Entfernung beziehungsweise dem Abstand vom Nahtbereich kontinuierlich reduziert wird.The present invention relates to a method for displaying a model of an area surrounding a vehicle for the driver, in particular for displaying an all-round view—or surround view—representation of the vehicle in the area. The vehicle has at least a first camera and a second camera, which in particular each have wide-angle lenses. The vehicle advantageously comprises four cameras, each of which has wide-angle lenses, one of the four cameras being arranged in particular on each side of the vehicle. The at least first and second cameras are each set up to capture camera images of the surroundings of the vehicle, with the capture areas of the first and second cameras or neighboring cameras overlapping or overlapping. In particular, four cameras of the vehicle are set up using the wide-angle lenses to capture camera images of the area surrounding the vehicle, which together almost completely depict the area surrounding the vehicle, with the detection areas of the adjacent cameras overlapping in each case. The method includes at least capturing at least one first camera image by means of the first camera, with a sequence of first camera images being captured continuously in particular. The method also includes at least one acquisition of at least one second camera image by means of the second camera, in particular a sequence of second camera images being continuously acquired. At least one corrective measure is then determined as a function of the first and second camera images. Provision can be made for a first corrective measure to be determined for adapting the first camera image and a second corrective measure for adapting the second camera image as a function of the first and second camera images. The corrective measure or measures are determined in particular as a function of the overlapping area or overlapping area of the detection areas depicted in the first camera image and the second camera image. If there are more than two cameras in the vehicle, at least one corrective measure is determined for at least one of the camera images for each overlapping area or overlapping area, which has the overlapping area or overlapping area. Thereafter, the captured first camera image and/or the captured second camera image is adjusted as a function of the at least one specific corrective measure and as a function of a weighting function of the distance of a respective pixel from a seam region. The adjustment of the recorded first camera image and/or the recorded second camera image is carried out in particular with regard to the transparency, the brightness and/or the color of the pixels of the recorded first camera image and/or the recorded second camera image, in particular in the associated overlapping area and/or in the rest of the camera image without the overlap area. The distance of a respective pixel is advantageously determined from the seam area parallel to the longitudinal and/or transverse axis of the vehicle or perpendicular to the seam area. The seam area is the area in which camera images are joined together in the display of the environment model. It can It can advantageously be provided that the captured first camera image and/or the captured second camera image is adapted as a function of different corrective measures and/or weighting functions for different color channels and/or the brightness. The captured first camera image and/or the captured second camera image is adapted in particular with regard to the transparency, the brightness and/or the color for each pixel or a partial area of the pixels of the respective camera image. The environment model is then displayed as a function of the adapted first camera image and/or the adapted second camera image, with the environment model having the seam area in the representation of the overlapping area between the first and second camera images, at which the camera images are joined together in the display of the environment model. The method results in the advantage that camera images from neighboring cameras are matched to one another locally in terms of their brightness and/or color values at or near the respective seam area, so that an inconspicuous seam area or a realistic representation of the environment model is displayed. The first and second cameras can, for example, have automatic brightness optimization for capturing the respective camera image, with the resulting brightness of the various camera images being able to differ significantly based on the different capture areas. The method advantageously adapts the respective camera image to a greater extent in the vicinity of the seam area and to an increasingly lesser extent with the distance or distance of a pixel of the camera image from the seam. In other words, the method has the advantage that a strong adjustment between the first and second camera image is carried out at or in the vicinity of the seam area of the overlapping area, so that the seam area is unobtrusively displayed or concealed for a user. Advantageously, a reduced or no adjustment of the first and/or second camera image is carried out further away from the seam area, so that, for example, the brightness automatically set based on the environmental conditions and/or the captured color of the respective captured camera image(s) is/are essentially retained. In other words, the method advantageously results in a local harmonization of the brightness and color values in the vicinity of the respective seam area between respectively captured camera images of neighboring cameras, as a result of which differences in the environment model, in particular in the representation of the overlapping area, can be seen for the driver with regard to the brightness and/or or color values between the camera images from different cameras are hardly perceptible, since the differences in the seam area are minimized and the adjustment with the distance or distance from the seam area is continuously reduced.

In einer bevorzugten Ausgestaltung ist die Gewichtungsfunktion der Entfernung eine lineare Funktion, eine Polynomfunktion zweiten, dritten oder vierten Grades. Alternativ ist die Gewichtungsfunktion der Entfernung eine Sigmoidfunktion von der Entfernung. Die Gewichtungsfunktionen resultieren vorteilhafterweise jeweils in unterschiedlichen Anpassungsverläufen in Abhängigkeit der Entfernung eines Pixels von dem Nahtbereich. Beispielsweise nimmt ein Funktionswert einer linearen Gewichtungsfunktion der Entfernung schon bei geringen Abstand eines Pixels zum Nahtbereich relativ schnell ab. Für eine sigmoidale Gewichtungsfunktion der Entfernung resultiert dagegen ein zunächst stabilerer Funktionswert, so dass das erste und/oder zweite Kamerabild für Pixel mit relativ großen Abständen zum Nahtbereich merklich angepasst werden.In a preferred embodiment, the distance weighting function is a linear function, a polynomial function of the second, third or fourth degree. Alternatively, the distance weighting function is a sigmoid function of distance. The weighting functions advantageously result in different adaptation profiles depending on the distance of a pixel from the seam area. For example, a function value of a linear weighting function of the distance decreases relatively quickly even if the distance between a pixel and the seam area is small. For a sigmoidal weighting function of the distance, on the other hand, an initially more stable function value results, so that the first and/or second camera image is noticeably adjusted for pixels with relatively large distances to the seam area.

In einer Ausführung des Verfahrens erfolgt die Anpassung des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds bezüglich der Transparenz, der Helligkeit und/oder der Farbe durch unterschiedlicher Gewichtungsfunktionen der Entfernung. Beispielsweise kann die Helligkeit des ersten Kamerabildes mit einer anderen Gewichtungsfunktion angepasst werden als die Farbwerte. Dadurch resultieren kaum wahrnehmbaren Unterschiede bezüglich der Helligkeits- und Farbwerte zwischen den Kamerabildern unterschiedlicher Kameras in der Nähe des Überlappungsbereichs.In one embodiment of the method, the captured first camera image and/or the captured second camera image is/are adapted in terms of transparency, brightness and/or color using different weighting functions for the distance. For example, the brightness of the first camera image can be adjusted with a different weighting function than the color values. This results in barely perceptible differences in brightness and color values between the camera images from different cameras in the vicinity of the overlapping area.

In einer Weiterführung wird die Gewichtungsfunktion der Entfernung in Abhängigkeit einer erfassten Fahrzeuggeschwindigkeit und/oder der aktuellen Zeit angepasst. Beispielsweise werden für Tag- und Nachtzeiten unterschiedliche Gewichtungsfunktionen verwendet. Alternativ oder zusätzlich können für Parkvorgänge und Autobahnfahrten unterschiedliche Gewichtungsfunktionen verwendet werden.In a further development, the distance weighting function is adapted as a function of a detected vehicle speed and/or the current time. For example, different weighting functions are used for day and night times. Alternatively or additionally, different weighting functions can be used for parking processes and freeway driving.

In einer anderen Weiterführung wird die Gewichtungsfunktion der Entfernung in Abhängigkeit eines, insbesondere in dem Überlappungsbereich, ermittelten oder erfassten Farbunterschieds und/oder Helligkeitsunterschieds zwischen dem erfassten ersten und zweiten Kamerabild beziehungsweise zwischen den Kamerabildern benachbarter Kameras angepasst.In another development, the weighting function of the distance is adjusted as a function of a color difference and/or brightness difference between the detected first and second camera images or between the camera images of neighboring cameras that is determined or detected, in particular in the overlapping area.

Durch die Weiterführungen werden Unterschiede in den Helligkeits- und Farbwerten der Kamerabilder benachbarter Kameras mit einem Überlappungsbereich unauffälliger für den Fahrer beziehungsweise Nutzer reduziert. In der Nacht und bei Parkvorgängen ist in der Regel mit größeren Helligkeitsunterschieden zu rechnen, beispielsweise neben Laternen oder beim Parken in Garagen, als bei Autobahnfahrten des Fahrzeugs mit großer Geschwindigkeit am Tag. Größere Helligkeits- und/oder Farbunterschiede zwischen den erfassten Kamerabildern können anhand der Pixel in dem Überlappungsbereich bestimmt oder in Abhängigkeit der Tageszeit und/oder der Fahrzeuggeschwindigkeit prognostiziert werden. Bei größeren ermittelten oder prognostizierten Helligkeits- oder Farbunterschieden zwischen erfassten Kamerabildern resultiert vorteilhafterweise die Anwendung einer Sigmoidfunktion als Gewichtungsfunktion in unauffälligeren Helligkeits- oder Farbverläufen des angezeigten Umgebungsmodells mit den angepassten Kamerabildern, das heißt die Sigmoidfunktion als Gewichtungsfunktion ist beispielsweise beim Parken und in der Nacht vorteilhaft. Dagegen resultiert für kleinere ermittelte oder prognostizierte Helligkeits- oder Farbunterschiede zwischen erfassten Kamerabildern eine lineare Gewichtungsfunktion in unauffälligeren Helligkeits- oder Farbverläufen in dem angezeigten Umgebungsmodells, das heißt die lineare Gewichtungsfunktion ist beispielsweise bei einer Autobahnfahrt am Tag vorteilhaft.The continuations eliminate differences in the brightness and color values of the camera images from neighboring cameras with a Reduced overlap area less noticeable for the driver or user. At night and when parking, greater differences in brightness are generally to be expected, for example next to lanterns or when parking in garages, than when the vehicle is driving on the freeway at high speed during the day. Larger differences in brightness and/or color between the captured camera images can be determined using the pixels in the overlapping area or can be predicted as a function of the time of day and/or the vehicle speed. In the case of larger determined or predicted brightness or color differences between captured camera images, the use of a sigmoid function as a weighting function advantageously results in less conspicuous brightness or color gradients of the displayed environment model with the adjusted camera images, i.e. the sigmoid function as a weighting function is advantageous, for example, when parking and at night. On the other hand, for smaller determined or predicted differences in brightness or color between captured camera images, a linear weighting function results in less noticeable brightness or color gradients in the displayed environment model, ie the linear weighting function is advantageous when driving on the freeway during the day, for example.

Es kann vorgesehen sein, dass die Gewichtungsfunktion der Entfernung in Abhängigkeit eines erfassten Abstandes zwischen dem Fahrzeug und einem Objekt in der Umgebung des Fahrzeugs und/oder in Abhängigkeit eines erkannten Objektes und/oder in Abhängigkeit eines erkannten Segments angepasst wird, wobei das erkannte Objektes und/oder das erkannte Segment insbesondere in dem Überlappungsbereich liegt. Objekte und/oder Segmente können durch ein angelerntes maschinelles Erkennungsverfahren, beispielsweise ein neuronales Netz, in Abhängigkeit des ersten und/oder zweiten Kamerabilds erkannt werden. Falls ein Objekt in dem Überlappungsbereich zwischen dem ersten und/oder zweiten Kamerabild ermittelt beziehungsweise erfasst wird, kann beispielsweise der Nahtbereich verschoben werden (siehe im Folgenden). Falls beispielsweise der Nahtbereich an den Rand des Überlappungsbereichs verschoben wird, können Unterschiede in den Helligkeits- und/oder Farbewerten zwischen dem ersten und/oder zweiten Kamerabild unauffälliger in dem Umgebungsmodell dargestellt sein, wenn eine lineare statt einer sigmoidalen Gewichtungsfunktion verwendet wird, wobei eine sigmoidale Gewichtungsfunktion wiederum diese Unterscheide unauffälliger darstellt, wenn der Nahtbereich im Wesentlichen mittig im Überlappungsbereich angeordnet ist.Provision can be made for the weighting function of the distance to be adapted as a function of a detected distance between the vehicle and an object in the vicinity of the vehicle and/or as a function of a detected object and/or as a function of a detected segment, with the detected object and /or the recognized segment lies in particular in the overlapping area. Objects and/or segments can be recognized by a trained machine recognition method, for example a neural network, depending on the first and/or second camera image. If an object is determined or detected in the overlapping area between the first and/or second camera image, the seam area can be shifted, for example (see below). If, for example, the seam area is shifted to the edge of the overlapping area, differences in the brightness and/or color values between the first and/or second camera image can be represented more unobtrusively in the environment model if a linear instead of a sigmoidal weighting function is used, with a sigmoidal In turn, the weighting function represents these differences more unobtrusively if the seam area is arranged essentially in the middle of the overlapping area.

In einer vorteilhaften Ausgestaltung des angezeigten Umgebungsmodells wird in der Repräsentation des Überlappungsbereichs an dem Nahtbereich zusätzlich ein Alpha Blending zwischen dem ersten und zweiten Kamerabild durchgeführt. Das Alpha Blending resultiert in einer teiltransparenten Darstellung beider Kamerabilder im und/oder um den Nahtbereich, wodurch der Übergang zwischen dem ersten und zweiten Kamerabild beziehungsweise den Kamerabildern im Nahtbereich bei der Anzeige des Umgebungsmodells für den Nutzer beziehungsweise Fahrer unauffälliger wird.In an advantageous embodiment of the displayed environment model, alpha blending between the first and second camera images is additionally carried out in the representation of the overlapping area at the seam area. Alpha blending results in a partially transparent display of both camera images in and/or around the seam area, making the transition between the first and second camera image or the camera images in the seam area less noticeable to the user or driver when the environment model is displayed.

In einer besonders bevorzugten Ausgestaltung der Erfindung weist das Fahrzeug mindestens vier Kameras auf, welche so angeordnet sind, dass sie dazu eingerichtet sind, die Umgebung des Fahrzeugs nahezu vollständig zu erfassen. Der Erfassungsbereich einer jeweiligen Kamera überschneidet sich dabei jeweils mit zwei Erfassungsbereichen der benachbarten Kameras. Mit anderen Worten liegt für jeden Erfassungsbereich ein rechter Überlappungsbereich mit dem Erfassungsbereich einer benachbarten rechten Kamera und ein linker Überlappungsbereich mit dem Erfassungsbereich einer benachbarten linken Kamera vor. Die Anpassung des jeweiligen Kamerabilds wird für jeden der Überlappungsbereiche beziehungsweise für jeden Nahtbereich separat durchgeführt. Mit anderen Worten werden die Pixel des jeweiligen Kamerabildes in Abhängigkeit der bestimmten Korrekturmaßnahme für den rechten Überlappungsbereich und in Abhängigkeit einer Gewichtungsfunktion der Entfernung eines jeweiligen Pixels von dem Nahtbereich des rechten Überlappungsbereichs bezüglich der Helligkeits- und/oder Farbwerte angepasst. Zusätzlich oder alternativ werden die Pixel des jeweiligen Kamerabildes, insbesondere des bereits bezüglich des rechten Überlappungsbereiches angepassten Kamerabildes, in Abhängigkeit der bestimmten Korrekturmaßnahme für den linken Überlappungsbereich und in Abhängigkeit einer Gewichtungsfunktion der Entfernung eines jeweiligen Pixels von dem Nahtbereich des linken Überlappungsbereich bezüglich der Helligkeits- und/oder Farbwerte angepasst. In dieser Ausgestaltung resultiert eine Rundumsicht beziehungsweise eine Surround View - Darstellung des Fahrzeugs in der erfassten Umgebung, wobei die Helligkeits- und Farbwertunterschiede zwischen den Kamerabildern vorteilhafterweise unauffällig sind, so dass der Nutzer vorteilhafterweise die Nahtbereiche beziehungsweise Übergänge zwischen den abgebildeten (und angepassten) mindestens vier Kamerabildern der wenigstens vier unterschiedlichen Kameras in dem angezeigten Umgebungsmodell zur Rundumsicht beziehungsweise dem Surround-View - Darstellung nicht oder kaum erkennen kann. Trotz großer Helligkeits- und/oder Farbwertunterschiede zwischen den vier Kamerbildern der vier Kameras kann ein Umgebungsmodell ohne auffällige Helligkeits- und Farbwertunterschiede zwischen den Kamerabildern erzeugt beziehungsweise angezeigt werden.In a particularly preferred embodiment of the invention, the vehicle has at least four cameras, which are arranged in such a way that they are set up to record the surroundings of the vehicle almost completely. The detection area of a respective camera overlaps in each case with two detection areas of the neighboring cameras. In other words, for each detection area there is a right overlapping area with the detection area of an adjacent right camera and a left overlapping area with the detection area of an adjacent left camera. The respective camera image is adjusted separately for each of the overlapping areas or for each seam area. In other words, the pixels of the respective camera image are adjusted with regard to the brightness and/or color values depending on the corrective measure determined for the right overlapping area and depending on a weighting function of the distance of a respective pixel from the seam area of the right overlapping area. Additionally or alternatively, the pixels of the respective camera image, in particular the camera image that has already been adjusted with regard to the right overlapping area, depending on the corrective measure determined for the left overlapping area and depending on a weighting function of the distance of a respective pixel from the seam area of the left overlapping area with regard to the brightness and /or color values adjusted. This configuration results in an all-round view or a surround view - representation of the vehicle in the recorded environment, with the brightness and color value differences between the camera images being advantageously inconspicuous, so that the user can advantageously see the seam areas or transitions between the imaged (and adapted) at least four Camera images of at least four different cameras in the displayed environment model for all-round view or the surround view - representation can not or hardly recognize. Despite large brightness and / or color value differences between the four camera images of the four cameras, an environment model without noticeable brightness and color value differences between the Camera images are generated or displayed.

In einer weiteren Ausführung werden Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs erfasst. Anschließend erfolgt eine Erkennung eines Objektes in Abhängigkeit des ersten und/oder zweiten Kamerabildes und/oder in Abhängigkeit der erfassten Abstandsdaten, wobei das Objekt in dem Überlappungsbereich des ersten Kamerabilds und des zweiten Kamerabilds liegt und, wobei das Objekt einen erfassten Abstand kleiner einem vorgegebenen Schwellenwert von dem Fahrzeug aufweist. Des Weiteren wird in dieser Ausführung eine Verschiebung des Nahtbereiches in Abhängigkeit der Lage des erkannten Objektes durchgeführt. Diese Ausführung reduziert Artefakte in dem angezeigten Umgebungsmodell, welche basierend auf nahe am Fahrzeug befindlichen Objekten im Überlappungsbereich resultieren können, wodurch auch auffällige Helligkeits- und Farbwertunterschiede zwischen den Kamerabildern, welche insbesondere bei naheliegenden Objekten resultieren können, weiter reduziert werden.In a further embodiment, distance data between the vehicle and objects in the vicinity of the vehicle are recorded. An object is then recognized as a function of the first and/or second camera image and/or as a function of the detected distance data, with the object lying in the overlapping area of the first camera image and the second camera image and with the object having a detected distance less than a specified threshold value from the vehicle. Furthermore, in this embodiment, the seam area is shifted depending on the position of the detected object. This embodiment reduces artifacts in the displayed environment model, which can result from objects located close to the vehicle in the overlapping area, which also further reduces conspicuous brightness and color value differences between the camera images, which can result in particular from close-by objects.

Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen.The invention also relates to a computer program, comprising instructions which, when the program is executed by a computer, cause the latter to carry out the steps of the method according to the invention.

Die Erfindung betrifft des Weiteren ein Steuergerät. Das Steuergerät weist einen ersten Signaleingang zur Bereitstellung eines ersten Bildsignals auf, welches ein erstes Kamerabild repräsentiert. Mit anderen Worten ist der erste Signaleingang vorteilhafterweise dazu eingerichtet, mit der ersten Kamera verbunden zu sein. Das Steuergerät umfasst außerdem einen zweiten Signaleingang zur Bereitstellung eines zweiten Bildsignals, welches ein zweites Kamerabild repräsentiert. Mit anderen Worten ist der zweite Signaleingang vorteilhafterweise dazu eingerichtet, mit der zweiten Kamera verbunden zu sein. Das Steuergerät umfasst des Weiteren einen Signalausgang zur Ausgabe eines Anzeigesignals für eine Anzeigevorrichtung zur Anzeige eines Umgebungsmodells der Umgebung eines Fahrzeugs. Das Steuergerät weist auch eine Recheneinheit auf, insbesondere ein Prozessor. Die Recheneinheit ist so konfiguriert, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt.The invention also relates to a control device. The control device has a first signal input for providing a first image signal, which represents a first camera image. In other words, the first signal input is advantageously set up to be connected to the first camera. The control device also includes a second signal input for providing a second image signal, which represents a second camera image. In other words, the second signal input is advantageously set up to be connected to the second camera. The control device also includes a signal output for outputting a display signal for a display device for displaying an environment model of the environment of a vehicle. The control device also has a computing unit, in particular a processor. The processing unit is configured in such a way that it executes the steps of the method according to the invention.

Die Erfindung betrifft auch ein Fahrzeug, umfassend das erfindungsgemäße Steuergerät.The invention also relates to a vehicle comprising the control device according to the invention.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

  • 1: Fahrzeug mit erster und zweiter Kamera von vier Kameras
  • 2: Ansicht einer angezeigten Rundumsicht
  • 3: Aufsicht der angezeigten Rundumsicht
  • 4: Gewichtungsfunktionen der Entfernung zur Anpassung der Kamerabilder
  • 5: Ablaufdiagramm des Verfahrens als Blockschaltbild
Further advantages result from the following description of exemplary embodiments with reference to the figures.
  • 1 : Vehicle with first and second camera of four cameras
  • 2 : View of a displayed surround view
  • 3 : Top view of the displayed surround view
  • 4 : Distance weighting functions to adjust camera images
  • 5 : Flow chart of the method as a block diagram

Ausführungsbeispieleexemplary embodiments

In 1 ist ein Fahrzeug 100 mit einer ersten Kamera 110 und einer zweiten Kamera 120 schematisch dargestellt, wobei in diesem Beispiel die erste Kamera 110 vorteilhafterweise mittig an der Vorderseite des Fahrzeugs 100 und die zweite Kamera 120 an der linken Fahrzeugseite in der Nähe der Fahrertür des Fahrzeugs 100 angeordnet ist. Das Fahrzeug umfasst des Weiteren eine dritte Kamera 130, welche an der rechten Fahrzeugseite angeordnet ist, und eine vierte Kamera 140, welche an der Rückseite des Fahrzeugs 100 angeordnet ist. Jede der Kameras 110, 120, 130 und 140 umfasst jeweils ein Weitwinkelobjektiv und ist des Weiteren dazu eingerichtet, wenigstens ein Kamerabild, insbesondere eine Abfolge von Kamerabildern, eines Teilbereichs der Umgebung des Fahrzeugs 100 zu erfassen. Die erste Kamera 110 erfasst einen ersten Erfassungsbereich 111 beziehungsweise ersten Teilbereich der Umgebung. Die zweite Kamera 120 erfasst einen zweiten Erfassungsbereich 121 beziehungsweise zweiten Teilbereich der Umgebung. Die dritte Kamera 130 erfasst einen dritten Erfassungsbereich 131 beziehungsweise dritten Teilbereich der Umgebung. Die vierte Kamera 140 erfasst einen vierten Erfassungsbereich 141 beziehungsweise vierten Teilbereich der Umgebung. Die durch die Kamerabilder erfassten Teilbereiche beziehungsweise Erfassungsbereiche 111, 121, 131 und 141 der verschiedenen Kameras 110, 120, 130 und 140 unterscheiden sich. Die vier Kameras 110, 120, 130, 140 sind dazu eingerichtet, Kamerabilder der Teilbereiche der Umgebung des Fahrzeugs 100 zu erfassen, welche zusammen die Umgebung des Fahrzeugs 100 nahezu vollständig abbilden. Der erste Erfassungsbereich 111 überschneidet sich beziehungsweise überlappt mit dem zweiten Erfassungsbereich 121 im Überlappungsbereich 150 beziehungsweise bezüglich der VorwärtsFahrtrichtung des Fahrzeugs im vorderen linken Überlappungsbereich. Der erste Erfassungsbereich 111 überschneidet sich außerdem beziehungsweise überlappt zusätzlich mit dem vierten Erfassungsbereich 141 im bezüglich der VorwärtsFahrtrichtung des Fahrzeugs hinteren linken Überlappungsbereich 153. Der zweite Erfassungsbereich 111 überschneidet sich außerdem beziehungsweise überlappt zusätzlich mit dem dritten Erfassungsbereich 131 im bezüglich der VorwärtsFahrtrichtung des Fahrzeugs vorderen rechten Überlappungsbereich 151. Der dritte Erfassungsbereich 131 überschneidet sich außerdem beziehungsweise überlappt zusätzlich mit dem vierten Erfassungsbereich 141 im bezüglich der VorwärtsFahrtrichtung des Fahrzeugs hinteren rechten Überlappungsbereich 152. Es kann vorgesehen sein, dass das Fahrzeug 100 zusätzlich zu den vier Kamerasensoren beziehungsweise Kameras 110, 120, 130 und 140 weitere Kameras und/oder weitere Sensoren aufweist (in 1 nicht dargestellt), beispielsweise wenigstens einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor. Insbesondere umfasst das Fahrzeug 100 an der Vorderseite und an der Rückseite der Karosserie des Fahrzeugs 100 Ultraschallsensoren zur Erfassung von Abstandsdaten zwischen dem Fahrzeug 100 und Objekten in der Umgebung beziehungsweise zur Erkennung von naheliegenden Objekten in der Umgebung des Fahrzeugs.In 1 a vehicle 100 is shown schematically with a first camera 110 and a second camera 120, in this example the first camera 110 advantageously being centrally located at the front of the vehicle 100 and the second camera 120 being on the left-hand side of the vehicle near the driver's door of the vehicle 100 is arranged. The vehicle also includes a third camera 130 which is arranged on the right-hand side of the vehicle and a fourth camera 140 which is arranged at the rear of the vehicle 100 . Each of cameras 110 , 120 , 130 and 140 includes a wide-angle lens and is also set up to capture at least one camera image, in particular a sequence of camera images, of a partial area of the surroundings of vehicle 100 . The first camera 110 captures a first detection area 111 or a first partial area of the environment. The second camera 120 captures a second detection area 121 or second partial area of the environment. The third camera 130 captures a third capture area 131 or third sub-area of the environment. The fourth camera 140 captures a fourth capture area 141 or fourth sub-area of the environment. The partial areas or areas of detection 111, 121, 131 and 141 of the various cameras 110, 120, 130 and 140 recorded by the camera images differ. The four cameras 110, 120, 130, 140 are set up to capture camera images of the partial areas of the surroundings of the vehicle 100, which together depict the surroundings of the vehicle 100 almost completely. The first detection area 111 intersects or overlaps with the second detection area 121 in the overlapping area 150 or with respect to the forward direction of travel of the vehicle in the front left overlapping area. The first detection area 111 also overlaps or additionally overlaps with the fourth detection area 141 in the rear left overlap area 153 with respect to the forward direction of travel of the vehicle. The second detection area 111 also overlaps or additionally overlaps with the third detection area 131 in the front right overlap area 151 with respect to the forward direction of travel of the vehicle. The third detection area 131 also overlaps or additionally overlaps with the fourth detection area 141 in the rear right overlap area 152 with respect to the forward direction of travel of the vehicle. It can be provided that the vehicle 100 in addition to the four Camera sensors or cameras 110, 120, 130 and 140 has further cameras and/or further sensors (in 1 not shown), for example at least one ultrasonic sensor, a radar sensor and/or a lidar sensor. In particular, vehicle 100 includes ultrasonic sensors on the front and rear of the body of vehicle 100 for acquiring distance data between vehicle 100 and objects in the vicinity or for detecting nearby objects in the vicinity of the vehicle.

In 2 ist eine Ansicht einer dreidimensionalen Rundumsicht 200 beziehungsweise einer Surround View- Darstellung aus einer erhöhten Vogelperspektive von schräg oben schematisch dargestellt. Das Fahrzeug 100 wird als dreidimensionales Modell 210 in einer schlüsselförmigen Projektionsebene 200 dargestellt, welche typischerweise eine ebenen Bodenfläche 230 aufweist. Die Projektionsebene 220 kann alternativ kastenförmig ausgestaltet sein, das hießt die Seitenwände 225 sind bei einer kastenförmigen Projektionsebene in der Regel eben. Es kann vorgesehen sein, dass die Seitenwände 225 in Abhängigkeit erfasster Objekte im Nahbereich des Fahrzeugs 100, beispielsweise im Bereich der ebenen Bodenfläche 230, verformt oder verschoben werden. Die erfassten Kamerabilder werden nach der Erfassung vorteilhafterweise beispielsweise mittels einer Transformationsmatrix zunächst entzerrt. Die entzerrten Kamerabilder der Kameras 110, 120, 130 und 140 werden anschließend auf die Projektionsebene projiziert beziehungsweise abgebildet, beispielsweise das erste Kamerabild der ersten Kamera 110 und das zweite Kamerabild der zweiten Kamera 120, wobei typischerweise feste Zuordnungen zwischen Pixelkoordinaten der erfassten Kamerabilder und der Gitterkoordinaten der Projektionsebene vorliegen. Der durch das erste und zweite Kamerabild abgebildeten Überlappungsbereich 150 wird im Umgebungsmodell als ein Überschneidungsbereich 250 zwischen dem ersten und zweiten Kamerabild dargestellt. Der Überschneidungsbereich 250 weist einen Nahtbereich 201 beziehungsweise einen ersten Nahtbereich auf. Der Nahtbereich 201 stellt die, insbesondere unmittelbare, Fügelinie zwischen dem ersten und zweiten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das erste und vierte Kamerabild abgebildeten Überlappungsbereich 153 wird im Umgebungsmodell als ein vierter Überschneidungsbereich 253 zwischen dem ersten und vierten Kamerabild dargestellt. Der vierte Überschneidungsbereich 253 weist einen vierten Nahtbereich 204 auf. Der vierte Nahtbereich 204 stellt die Fügelinie zwischen dem ersten und vierten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das zweite und dritte Kamerabild abgebildeten Überlappbereich 151 wird im Umgebungsmodell als ein zweiter Überschneidungsbereich 251 zwischen dem zweiten und dritten Kamerabild dargestellt. Der zweite Überschneidungsbereich 251 weist einen zweiten Nahtbereich 202 auf. Der zweite Nahtbereich 202 stellt die Fügelinie zwischen dem zweiten und dritten Kamerabild dar beziehungsweise repräsentiert diese. Der durch das dritte und vierte Kamerabild abgebildeten Überlappbereich 152 wird im Umgebungsmodell als ein dritter Überschneidungsbereich 252 zwischen dem dritten und vierten Kamerabild dargestellt. Der dritte Überschneidungsbereich 252 weist einen drittem Nahtbereich 203 auf. Der dritte Nahtbereich 203 stellt die Fügelinie zwischen dem dritten und vierten Kamerabild dar beziehungsweise repräsentiert diese. Die Nahtbereiche 201, 202, 203, 204 können, insbesondere innerhalb der jeweiligen Überschneidungsbereiche 250, 251, 252, 253, in Abhängigkeit von erfassten beziehungsweise erkannten zum Fahrzeug 100 naheliegenden Objekten in der Umgebung des Fahrzeugs 100 verschoben werden, wodurch ein Schnitt des Nahtbereichs 201, 202, 203, 204 durch das erfasste beziehungsweise erkannte Objekt vermieden wird. Dadurch werden vorteilhafterweise Bildartefakte reduziert. Jeder Nahtbereich 201 weist typischerweise eine Breite zwischen 2 bis 10 Pixeln auf, insbesondere weist der Nahtbereich 201, 202, 203, 204 jeweils eine Breite von 4 oder 5 Pixeln auf. Die Nahtbereiche 201, 202, 203, 204 erstrecken sich vorteilhafterweise zumindest über die Bodenfläche 230 und alternativ oder zusätzlich über die Seitenwände 225 der Projektionsebene 220. Die auf den Seitenwänden 225 der Projektionsebene dargestellten ersten bis vierten Kamerabilder der ersten bis vierten Kamera 110, 120, 130 und 140 können Helligkeits- und/oder Farbwertunterschiede aufweisen. Die Nahtbereiche 201, 202, 203, 204 oder die Überschneidungsbereiche 250, 251, 252, 253 werden vorteilhafterweise durch ein Alpha Blending beziehungsweise einen zunehmenden beziehungsweise abnehmenden Transparenzverlauf der jeweils überlappenden Kamerabilder kaschiert, so dass diese Bereiche für den Nutzer beziehungsweise Fahrer des Fahrzeugs weniger auffällig sind. Prinzipiell weisen die Kamerabilder der unterschiedlichen Kameras verschiedene Helligkeiten- und/oder Farbwerte auf. Beispielsweise wird die Helligkeit des ersten Kamerabildes automatisch gegenüber der zweiten Kamera angepasst, wenn die vordere Kamera von einer niedrig stehenden Sonne geblendet wird oder vor dem Fahrzeug eine Laterne oder Lampe angeordnet ist. Auch bei einer Einfahrt in eine Garage kann beispielsweise das erste Kamerabild deutlich dunkler sein als die restlichen Kamerabilder. Das erfindungsgemäße Verfahren wird unter anderem durchgeführt, um die Ansicht des Umgebungsmodells zu harmonisieren und diese Helligkeits- und/oder Farbwertunterschiede zumindest lokal in der Nähe der Überschneidungsbereiche 250, 251, 252, 253 unauffälliger zu gestalten.In 2 a view of a three-dimensional all-round view 200 or a surround view representation from an elevated bird's-eye view is shown schematically from diagonally above. The vehicle 100 is represented as a three-dimensional model 210 in a key-shaped projection plane 200 which typically has a flat floor surface 230 . The projection plane 220 can alternatively be box-shaped, that is to say the side walls 225 are generally flat in the case of a box-shaped projection plane. Provision can be made for the side walls 225 to be deformed or displaced depending on detected objects in the vicinity of the vehicle 100, for example in the area of the level floor surface 230. After the acquisition, the captured camera images are advantageously first rectified, for example by means of a transformation matrix. The rectified camera images of cameras 110, 120, 130 and 140 are then projected or imaged onto the projection plane, for example the first camera image of first camera 110 and the second camera image of second camera 120, with typically fixed assignments between pixel coordinates of the captured camera images and the grid coordinates the projection plane are available. The overlapping area 150 depicted by the first and second camera images is represented in the environment model as an overlapping area 250 between the first and second camera images. The overlapping area 250 has a seam area 201 or a first seam area. The seam area 201 shows or represents the, in particular direct, joining line between the first and second camera images. The overlapping area 153 depicted by the first and fourth camera images is represented in the environment model as a fourth overlapping area 253 between the first and fourth camera images. The fourth overlapping area 253 has a fourth seam area 204 . The fourth seam region 204 represents or represents the joining line between the first and fourth camera images. The overlapping area 151 depicted by the second and third camera images is represented in the environment model as a second overlapping area 251 between the second and third camera images. The second overlapping area 251 has a second seam area 202 . The second seam region 202 represents or represents the joining line between the second and third camera images. The overlapping area 152 depicted by the third and fourth camera images is represented in the environment model as a third overlapping area 252 between the third and fourth camera images. The third overlapping area 252 has a third seam area 203 . The third seam region 203 represents or represents the joining line between the third and fourth camera images. The seam regions 201, 202, 203, 204 can be shifted, in particular within the respective overlapping regions 250, 251, 252, 253, depending on detected or recognized objects in the vicinity of the vehicle 100 that are close to the vehicle 100, resulting in an intersection of the seam region 201 , 202, 203, 204 is avoided by the detected or recognized object. This advantageously reduces image artifacts. Each seam area 201 typically has a width of between 2 and 10 pixels, in particular the seam area 201, 202, 203, 204 each has a width of 4 or 5 pixels. The seam areas 201, 202, 203, 204 advantageously extend at least over the bottom surface 230 and alternatively or additionally over the side walls 225 of the projection plane 220. The first to fourth camera images of the first to fourth cameras 110, 120, 130 and 140 can have differences in brightness and/or color values. The seam areas 201, 202, 203, 204 or the overlapping areas 250, 251, 252, 253 are advantageously concealed by alpha blending or an increasing or decreasing transparency gradient of the respective overlapping camera images, so that these areas are less noticeable to the user or driver of the vehicle are. In principle, the camera images of the different cameras have different brightness and/or color values. For example, the brightness of the first camera image is automatically adjusted in relation to the second camera if the front camera is dazzled by a low-lying sun or if a lantern or lamp is arranged in front of the vehicle. This can also happen when entering a garage, for example first camera image must be significantly darker than the remaining camera images. The method according to the invention is carried out, among other things, in order to harmonize the view of the environment model and to make these brightness and/or color value differences less noticeable, at least locally in the vicinity of the overlapping regions 250, 251, 252, 253.

In 3 ist eine Aufsicht beziehungsweise eine Perspektive senkrecht von oben auf einen zentralen Teil der angezeigten Rundumsicht aus 2 um das Fahrzeug 100 schematisch dargestellt. Mit anderen Worten ist in 3 die Projektionsfläche des Umgebungsmodells für einen Nahbereich um das Fahrzeug 100 in einer Aufsicht schematisch dargestellt. Die Nahtbereiche 201, 202, 203, 204 sind jeweils in einem der jeweiligen Überschneidungsbereiche 250, 251, 252, 253 zwischen den jeweiligen Kamerabildern dargestellt. In dem gestrichelten dargestellten ersten Bereich 301 der Projektionsebene zwischen dem ersten Nahtbereich 201 und dem zweiten Nahtbereich 202 wird das entzerrte erste Kamerabild der ersten Kamera 110 dargestellt. In dem demgegenüber anders gestrichelten dargestellten zweiten Bereich 302 der Projektionsebene zwischen dem ersten Nahtbereich 201 und dem vierten Nahtbereich 204 das entzerrte zweite Kamerabild der zweiten Kamera 120 dargestellt beziehungsweise abgebildet. Die Nahtbereiche 201, 202, 203, 204 können, wie bereits erwähnt, angepasst werden, das heißt verformt und/oder in ihrer Lage beziehungsweise Position verschoben werden, insbesondere in Abhängigkeit erfasster beziehungsweise erkannter Objekte in dem jeweiligen Überschneidungsbereichen 250, 251, 252, 253. Die Anpassung der Nahtbereiche 201, 202, 203, 204 erfolgt bevorzugt bei erkannten beziehungsweise erfassten naheliegenden Objekte, welche einen Abstand zum Fahrzeug kleiner einem vorgegebenen Schwellenwert aufweisen. Der Abstand eines Objektes zum Fahrzeug kann in Abhängigkeit wenigstens eines Kamerabildes oder einer Abfolge von Kamerabildern und/oder in Abhängigkeit von mittels anderen Sensoren, beispielsweise Ultraschall- und/oder Radarsensoren, erfasster Abstandsdaten erfolgen. Zur Harmonisierung beziehungsweise Kaschierung gegebenenfalls vorliegender Helligkeits- und/oder Farbwertunterschiede zwischen den Kamerabildern wird mindestens eine Korrekturmaßnahme pro erfasstem Kamerabild ermittelt. Die Korrekturmaßnahme für das erste Kamerabild wird vorteilhafterweise durch einen Vergleich der erfassten Helligkeits- und/oder Farbwerte zwischen dem ersten Kamerabild und dem zweiten Kamerabild durchgeführt, wobei der Vergleich der erfassten Helligkeits- und/oder Farbwerte insbesondere im abgebildeten Überlappungsbereich 150 durchgeführt wird. Mit anderen Worten werden die Helligkeits- und/oder Farbwertsunterschiede zwischen dem ersten und zweiten Kamerabild ermittelt und darauf basierend mindestens eine Korrekturmaßnahme für das erste und/oder zweite Kamerabild abgeleitet beziehungsweise bestimmt. Es kann des Weiteren eine Korrekturmaßnahme für die Helligkeit des ersten und/oder zweiten Kamerabildes und eine davon unterschiedliche Korrekturmaßnahme für die Farbwerte des ersten und/oder zweiten Kamerabildes und/oder separate Korrekturmaßnahmen für jeden der Farbwerte des ersten und/oder zweiten Kamerabildes in Abhängigkeit der Helligkeits- und/oder Farbwertsunterschiede zwischen dem ersten und zweiten Kamerabild ermittelt werden, insbesondere in Abhängigkeit der Helligkeits- und/oder Farbwertsunterschiede im abgebildeten Überlappungsbereich 150 oder Überschneidungsbereich 250. Beispielsweise wird wenigstens eine Korrekturmaßnahme für die Helligkeit- und/oder Farbwerte zwischen dem ersten und dem zweiten Kamerabild basierend auf den Helligkeit- und/oder Farbwertunterschieden zwischen dem ersten und zweiten Kamerabild in dem abgebildeten Überlappungsbereich 250 durchgeführt. Die Korrekturmaßnahme wird vorteilhafterweise basierend auf einer Differenz des jeweiligen Helligkeit- und/oder Farbwertes an definierten Punkten der Projektionsebene zum jeweiligen Mittelwert des Helligkeit- und/oder Farbwertes zwischen dem ersten und zweiten Kamerabild an dem jeweiligen definierten Punkt beziehungsweise Pixel ermittelt. Die Korrekturmaßnahme wird vorteilhafterweise des Weiteren in Abhängigkeit der Vielzahl an ermittelten Differenzen für die Helligkeit- und/oder Farbwerte an den definierten Punkten bestimmt, beispielsweise durch Mittelwertbildung der ermittelten Differenzen. Anschließend erfolgt eine Anpassung des ersten und/oder zweiten Kamerabildes in Abhängigkeit der wenigstens einen ermittelten Korrekturmaßnahme. Erfindungsgemäß wird die Anpassung des ersten und/oder zweiten Kamerabildes zusätzlich in Abhängigkeit der jeweiligen Korrekturmaßnahme pixelbasiert durchgeführt, wobei die Anpassung zusätzlich in Abhängigkeit einer Gewichtungsfunktion von der Entfernung x1,11, x1,12, x1,21, x1,22 des jeweiligen Pixels von dem der Korrekturmaßnahme zugeordneten jeweiligen Nahtbereich 201, 202, 203, 204 erfolgt. Die Entfernung x1,11, x1,12, x1,21, x1,22 repräsentiert dabei bevorzugte die Entfernung beziehungsweise den Abstand des jeweiligen Pixels von dem Nahtbereich 201, 202, 203, 204 auf einer entlang einer parallel zu den Seitenflächen des Fahrzeugs verlaufenden Grade, das heißt beispielsweise den Abstand eines Pixels auf der Gerade x1,12 oder x1,22 zu dem Punkt 320 oder den Abstand eines Pixels auf der Gerade x1,11 oder x1,21 zu dem Punkt 310. Beispielsweise wird eine Korrekturmaßnahme für das erste Kamerabild in Abhängigkeit der Helligkeit- und/oder Farbwerte in dem abgebildeten Überlappungsbereich 150 zwischen dem ersten und dem zweiten Kamerabild ermittelt, wobei die Korrekturmaßnahme beispielsweise eine Reduktion der Helligkeit des ersten Kamerabildes um 20 Prozent repräsentiert. Mit anderen Worten weist das erste Kamerabild in diesem Beispiel eine höhere Helligkeit im durch das erste und zweite Kamerabild abgebildeten Überlappungsbereich 150 auf als das zweite Kamerabild. Diese ermittelte Korrekturmaßnahme, d.h. die Reduktion der Helligkeit des ersten Kamerabildes um 20 Prozent, wird pixelbasiert auf die Helligkeit- und/oder Farbwerte jedes Pixel des ersten Kamerabildes gewichtet beziehungsweise in Abhängigkeit der Gewichtungsfunktion von der Entfernung des jeweiligen Pixels zum Nahtbereich 201 des abgebildeten Überlappungsbereichs 150 zwischen dem ersten und zweiten Kamerabild angewandt. Die Gewichtungsfunktion weist dabei vorteilhafterweise Funktionswerte zwischen Null und Eins auf. Mit anderen Worten wird die Anpassung des ersten und/oder zweiten Kamerabildes durch die Gewichtungsfunktion der Entfernung mit zunehmenden Abstand beziehungsweise zunehmender Entfernung x1,11, x1,12, x1,21, x1,22 des jeweiligen Pixels von dem Nahtbereich 201 entlang einer zur jeweiligen Fahrzeugseite parallelen Gerade zunehmend reduziert, so dass die Anpassung der Helligkeit- und/oder Farbwerte der Pixel des ersten und/oder zweiten Kamerabildes insbesondere in Abhängigkeit des Verlaufs der Gewichtungsfunktion verstärkt im abgebildeten Überlappungsbereichs 150 und den angrenzenden Pixeln durchgeführt wird. Mit anderen Worten wird die Anpassung der Helligkeit- und/oder Farbwerte der Pixel des ersten und/oder zweiten Kamerabildes in Abhängigkeit der zum abgebildeten ersten Überlappungsbereich 150 ermittelten Korrekturmaßnahme mit zunehmenden Abstand beziehungsweise zunehmender Entfernung vom Nahtbereich 201 reduziert. Insbesondere erfolgt an dem zweiten Nahtbereich 202 des ersten Kamerabildes zum dritten Kamerabild und/oder an dem vierten Nahtbereich 204 des zweiten Kamerabildes zum vieren Kamerabild keine oder kaum noch eine Anpassung der Helligkeit- und/oder Farbwerte des ersten und/oder zweiten Kamerabildes an die zum abgebildeten ersten Überlappungsbereich 150 ermittelte Korrekturmaßnahme, da die Gewichtungsfunktion für diese Entfernungen x1,11, x1,12, x1,21, x1,22 insbesondere Funktionswerte nahe Null aufweist.In 3 is a top view or perspective perpendicularly from above of a central portion of the displayed surround view 2 around the vehicle 100 shown schematically. In other words is in 3 the projection surface of the environment model for a close range around vehicle 100 is shown schematically in a plan view. The seam areas 201, 202, 203, 204 are each shown in one of the respective overlapping areas 250, 251, 252, 253 between the respective camera images. The corrected first camera image of the first camera 110 is shown in the first region 301 of the projection plane shown in dashed lines between the first seam region 201 and the second seam region 202 . The rectified second camera image of the second camera 120 is shown or imaged in the second region 302 of the projection plane between the first seam region 201 and the fourth seam region 204 which is shown differently with dashed lines. As already mentioned, the seam areas 201, 202, 203, 204 can be adjusted, i.e. deformed and/or shifted in their location or position, in particular depending on detected or recognized objects in the respective overlapping areas 250, 251, 252, 253 The adjustment of the seam regions 201, 202, 203, 204 is preferably carried out in the case of recognized or detected nearby objects which are at a distance from the vehicle that is less than a predetermined threshold value. The distance between an object and the vehicle can be determined as a function of at least one camera image or a sequence of camera images and/or as a function of distance data recorded by means of other sensors, for example ultrasonic and/or radar sensors. In order to harmonize or conceal any differences in brightness and/or color value between the camera images, at least one corrective measure is determined for each captured camera image. The corrective measure for the first camera image is advantageously carried out by comparing the recorded brightness and/or color values between the first camera image and the second camera image, with the comparison of the recorded brightness and/or color values being carried out in particular in the overlapping area 150 shown. In other words, the brightness and/or color value differences between the first and second camera image are determined and based on this, at least one corrective measure for the first and/or second camera image is derived or determined. Furthermore, a corrective measure for the brightness of the first and/or second camera image and a different corrective measure for the color values of the first and/or second camera image and/or separate corrective measures for each of the color values of the first and/or second camera image depending on the Brightness and/or color value differences between the first and second camera image are determined, in particular as a function of the brightness and/or color value differences in the overlapping area 150 or overlapping area 250 shown. For example, at least one corrective measure for the brightness and/or color values between the first and the second camera image based on the brightness and/or color value differences between the first and second camera images in the overlapping area 250 shown. The corrective measure is advantageously determined based on a difference between the respective brightness and/or color value at defined points of the projection plane and the respective mean value of the brightness and/or color value between the first and second camera image at the respective defined point or pixel. The corrective measure is advantageously also determined as a function of the large number of determined differences for the brightness and/or color values at the defined points, for example by averaging the determined differences. The first and/or second camera image is then adjusted as a function of the at least one corrective measure determined. According to the invention, the adjustment of the first and/or second camera image is also carried out on a pixel-based basis as a function of the respective corrective measure, with the adjustment also being carried out as a function of a weighting function of the distance x 1.11 , x 1.12 , x 1.21 , x 1.22 of the respective pixel from the respective seam area 201, 202, 203, 204 assigned to the corrective measure. The distance x 1.11 , x 1.12 , x 1.21 , x 1.22 preferably represents the distance or the spacing of the respective pixel from the seam area 201 , 202 , 203 , 204 on a line parallel to the side surfaces of the vehicle, that is, for example, the distance of a pixel on the straight line x 1.12 or x 1.22 to the point 320 or the distance of a pixel on the straight line x 1.11 or x 1.21 to the point 310. For example, a corrective measure for the first camera image is determined as a function of the brightness and/or color values in the mapped overlapping area 150 between the first and the second camera image, the corrective measure representing a reduction in the brightness of the first camera image by 20 percent, for example sent. In other words, in this example, the first camera image has a higher brightness in the overlapping region 150 imaged by the first and second camera images than the second camera image. This determined corrective measure, i.e. reducing the brightness of the first camera image by 20 percent, is weighted pixel-based on the brightness and/or color values of each pixel of the first camera image or, depending on the weighting function, on the distance of the respective pixel from the seam area 201 of the overlapping area 150 shown applied between the first and second camera image. In this case, the weighting function advantageously has function values between zero and one. In other words, the first and/or second camera image is adjusted by the weighting function of the distance with increasing distance or increasing distance x 1.11 , x 1.12 , x 1.21 , x 1.22 of the respective pixel from the seam region 201 along a straight line parallel to the respective side of the vehicle, so that the adjustment of the brightness and/or color values of the pixels of the first and/or second camera image is carried out to a greater extent in the mapped overlapping area 150 and the adjacent pixels, in particular as a function of the course of the weighting function. In other words, the adjustment of the brightness and/or color values of the pixels of the first and/or second camera image is reduced as a function of the corrective measure determined for the imaged first overlapping area 150 as the distance from the seam area 201 increases. In particular, at the second seam region 202 of the first camera image to the third camera image and/or at the fourth seam region 204 of the second camera image to the fourth camera image, there is little or no adjustment of the brightness and/or color values of the first and/or second camera image to Corrective measure determined for the first overlapping area 150 shown, since the weighting function for these distances x 1.11 , x 1.12 , x 1.21 , x 1.22 has, in particular, function values close to zero.

In 4 sind Graphen 410, 420, 430 und 440 verschiedener möglicher Gewichtungsfunktionen der Entfernung x eines Pixels von einem jeweiligen Nahtbereich schematisch dargestellt. Gewichtungsfunktionen weisen in diesen Ausführungsbeispielen vorteilhafterweise Funktionswerte f(x) zwischen Null und Eins auf. Die Entfernung x des jeweiligen Pixels von dem jeweiligen Nahtbereich 201, 202, 203, 204 ist hier auf der x-Achse beispielhaft als relative Entfernung zwischen den jeweiligen Nahtstellen eines Kamerabildes dargestellt. Das heißt, dass beispielsweise zur Anpassung des ersten Kamerabildes eine Entfernung von Null eine Lage des Pixels am ersten Nahtbereich 201 und eine Entfernung von Eins eine Lage des Pixels am zweiten Nahtbereich 202 repräsentiert. Eine Entfernung von 0,5 stellt eine Lage des Pixels entlang einer Geraden parallel zur Fahrzeugvorderseite genau in der Mitte zwischen dem ersten und zweiten Nahtbereich 202 dar, was vorzugsweise auch einer Pixellage in der Mitte des ersten Kamerabildes entspricht. Der erste Graph 410 stellt eine lineare Gewichtungsfunktion dar, das heißt die Anpassung des jeweiligen Kamerabildes in Abhängigkeit der jeweiligen Korrekturmaßnahme wird mit zunehmenden Abstand beziehungsweise zunehmender Entfernung x des jeweiligen Pixels von dem jeweiligen Nahtbereich 201, 202, 203, 204 mit linearem Verlauf reduziert. Alternativ erfolgt eine Reduktion der Anpassung des jeweiligen Kamerabildes nach den Verläufen der Graphen 420, 430 oder 440 der zugehörigen Gewichtungsfunktionen, beispielsweise ist die Gewichtungsfunktion eine Sigmoidfunktion. Es kann vorgesehen sein, dass die Gewichtungsfunktion der Entfernung angepasst beziehungsweise gewechselt wird, insbesondere in Abhängigkeit der Helligkeit- und/oder Farbwerte in einem jeweiligen anzupassenden Kamerabild und/oder in Abhängigkeit eines erfassten Abstandes eines Objektes zum Fahrzeug in einem jeweiligen anzupassenden Kamerabild und/oder in Abhängigkeit einer Fahrtgeschwindigkeit des Fahrzeugs.In 4 Graphs 410, 420, 430 and 440 of various possible weighting functions of the distance x of a pixel from a respective seam region are shown schematically. In these exemplary embodiments, weighting functions advantageously have function values f(x) between zero and one. The distance x of the respective pixel from the respective seam area 201, 202, 203, 204 is shown here on the x-axis as an example as a relative distance between the respective seams of a camera image. This means that, for example, to adapt the first camera image, a distance of zero represents a position of the pixel in the first seam area 201 and a distance of one represents a position of the pixel in the second seam area 202 . A distance of 0.5 represents a position of the pixel along a straight line parallel to the front of the vehicle exactly in the middle between the first and second seam area 202, which preferably also corresponds to a pixel position in the middle of the first camera image. The first graph 410 represents a linear weighting function, i.e. the adaptation of the respective camera image as a function of the respective corrective measure is reduced with an increasing distance or increasing distance x of the respective pixel from the respective seam region 201, 202, 203, 204 with a linear progression. Alternatively, the adaptation of the respective camera image is reduced according to the profiles of the graphs 420, 430 or 440 of the associated weighting functions, for example the weighting function is a sigmoid function. Provision can be made for the distance weighting function to be adjusted or changed, in particular depending on the brightness and/or color values in a respective camera image to be adjusted and/or depending on a detected distance of an object from the vehicle in a respective camera image to be adjusted and/or depending on a driving speed of the vehicle.

5 stellt schematisch ein Ablaufdiagramm des Verfahrens zur Anzeige eines Umgebungsmodells für den Fahrer eines Fahrzeugs 100 als Blockschaltbild dar. Das Verfahren umfasst eine Erfassung 510 des wenigstens einen ersten Kamerabildes mittels der ersten Kamera und eine Erfassung 520 des wenigstens einen zweiten Kamerabildes mittels der zweiten Kamera 120, wobei insbesondere jeweils Abfolgen von ersten beziehungsweise zweiten Kamerabildern erfasst werden. Vorzugsweise umfasst das Fahrzeug 100 mindestens vier Kameras, wie in 1 dargestellt, wobei jede der vier Kameras dazu eingerichtet ist, einen Teilbereich der Umgebung zu erfassen. Die Erfassungsbereiche der jeweiligen Kameras unterscheiden sich und jeder Erfassungsbereich überschneidet sich mit jeweils zwei angrenzenden Erfassungsbereichen benachbarter Kameras. Die Umgebung des Fahrzeugs wird durch vier Kameras insbesondere nahezu vollständig erfasst. Anschließend wird im Schritt 530 eine Korrekturmaßnahme in Abhängigkeit der benachbarten Kamerabilder beziehungsweise des erfassten ersten und zweiten Kamerabilds bestimmt, wobei die Bestimmung 530 der Korrekturmaßnahme insbesondere in Abhängigkeit des abgebildeten Überlappungsbereichs 150 der benachbarten Kamerabilder beziehungsweise des erfassten ersten und zweiten Kamerabilds erfolgt. Eine mögliche Korrekturmaßnahme ist beispielsweise eine Verstärkung oder eine Reduktion (Gains) oder/und Offsets, welche die auf die unterschiedlichen Farbkanäle oder die Helligkeit eines Kamerabildes angewendet werden kann. In einem optionalen Schritt 540 kann eine Erfassung von Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs vorgesehen sein. Die erfassten Abstandsdaten können mittels wenigstens eines anderen Sensors erfasst, wie beispielsweise mittels eines Ultraschallsensors, Radarsensors und/oder Lidarsensors, und/oder in Abhängigkeit einer Abfolge von Kamerabildern ermittelt werden (structure-from-motion). Anschließend erfolgt optional eine Erkennung 550 eines Objektes in Abhängigkeit des ersten und/oder zweiten Kamerabildes, wobei dessen Abbildung in dem Überlappungsbereich des ersten Kamerabilds und des zweiten Kamerabilds liegt, wobei das erkannte Objekt vorzugsweise einen erfassten Abstand kleiner einem vorgegebenen Schwellenwert von dem Fahrzeug aufweist. Die spätere Anzeige des Umgebungsmodells umfasst einen Nahtbereich zwischen jeweils zwei Kamerabildern, welcher eine Fügelinie zwischen den zwei Kamerabildern repräsentiert. Dieser Nahtbereich kann im optionalen Schritt 560 in Abhängigkeit der Lage beziehungsweise Position des erkannten Objektes in der Umgebung des Fahrzeugs verschoben werden, insbesondere so, dass der Nahtbereich 201 das Objekt in der späteren Anzeige nicht schneidet. Anschließend erfolgt eine Anpassung 570 des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds in Abhängigkeit der bestimmten Korrekturmaßnahme und in Abhängigkeit der Gewichtungsfunktion f(x) der Entfernung x eines jeweiligen Pixels von dem Nahtbereich 201. Die Gewichtungsfunktion der Entfernung ist vorzugsweise eine lineare Funktion, eine Polynomfunktion zweiten, dritten oder vierten Grades oder eine Sigmoidfunktion von der Entfernung x. Es kann optional im Schritt 570 vorgesehen sein, dass für die Anpassung 570 des erfassten ersten Kamerabilds und des erfassten zweiten Kamerabilds bezüglich der Helligkeit und/oder der Farbewerte unterschiedliche Gewichtungsfunktionen f(x) der Entfernung x verwendet werden. Es kann auch im Schritt 570 vorgesehen sein, dass die Gewichtungsfunktion f(x) der Entfernung x in Abhängigkeit einer erfassten Fahrzeuggeschwindigkeit und/oder der aktuellen Zeit und/oder in Abhängigkeit eines Farbunterschieds und/oder einer erfassten Helligkeit in der Umgebung des Fahrzeugs angepasst beziehungsweise geändert beziehungsweise gewechselt wird. Alternativ oder zusätzlich kann im Schritt 570 optional die Gewichtungsfunktion f(x) der Entfernung x in Abhängigkeit eines erfassten Abstandes zwischen dem Fahrzeug und einem Objekt in der Umgebung des Fahrzeugs und/oder in Abhängigkeit eines erkannten Objektes und/oder in Abhängigkeit eines erkannten Segments angepasst beziehungsweise geändert beziehungsweise gewechselt werden. Die Anpassung 570 des jeweiligen Kamerabilds erfolgt bevorzugt für jeden der Überlappungsbereiche separat. Mit anderen Worten wird vorteilhafterweise, wenn das Fahrzeug 100 vier Kameras 110, 120, 130 und 140 aufweist, welche zusammen dazu eingerichtet sind, die Umgebung nahezu vollständig zu erfassen (siehe 1), jedes Kamerabild zweimal angepasst, das heißt jeweils einmal basierend auf der jeweilig bestimmten Korrekturmaßnahme und der jeweiligen Gewichtungsfunktion der Entfernung von den jeweiligen zwei Nahtbereichen zu den Kamerabildern der benachbarten Kameras. Beispielsweise werden für ein Vierkamerasystem für alle vier Überlappungsbereiche der vier Kameras, insgesamt acht Korrekturmaßnahmen ermittelt und zur Anpassung des jeweiligen Kamerabildes gemäß der jeweiligen Gewichtungsfunktion der Entfernung gewichtet und pixelweise angewendet. Alternativ könnte die Anpassung 570 der Kamerabilder von vier Kameras nur für das zweite Kamerabild der zweiten Kamera und für das dritte Kamerabild der dritten Kamera durchgeführt werden, da ein resultierender linearer Farbverlauf in den seitlich projizierten Kamerabildern eines angezeigten Umgebungsmodells besonders harmonisierend wirkt und dieses Verfahren besonders effizient ist. In einem weiteren Schritt 580 wird das Umgebungsmodell in Abhängigkeit des ersten Kamerabilds und/oder des zweiten Kamerabilds angezeigt, wobei das Umgebungsmodell in der Repräsentation des Überlappungsbereichs 150 zwischen dem ersten und zweiten Kamerabild einen Nahtbereich 201 aufweist, an welchen das erste und zweite Kamerabild aneinandergefügt werden. An dem Nahtbereich 201 wird im Schritt 590 optional ein zusätzliches Alpha Blending zwischen dem ersten und zweiten Kamerabild durchgeführt. 5 schematically represents a flow chart of the method for displaying an environment model for the driver of a vehicle 100 as a block diagram. The method comprises a detection 510 of the at least one first camera image using the first camera and a detection 520 of the at least one second camera image using the second camera 120, wherein in particular sequences of first and second camera images are recorded. The vehicle 100 preferably comprises at least four cameras, as in 1 shown, each of the four cameras being set up to capture a portion of the environment. The detection areas of the respective cameras differ and each detection area overlaps with two adjacent detection areas of neighboring cameras. The surroundings of the vehicle are recorded almost completely by four cameras. Then, in step 530, a corrective measure is determined as a function of the adjacent camera images or the captured first and second camera images, with the determination 530 of the corrective measure taking place in particular as a function of the mapped overlapping area 150 of the adjacent camera images or the captured first and second camera images. A possible corrective measure is, for example, an increase or a reduction (gains) and/or offsets, which are applied to the different color channels or the brightness of a camera image the can. In an optional step 540, distance data between the vehicle and objects in the vicinity of the vehicle can be recorded. The detected distance data can be detected using at least one other sensor, such as an ultrasonic sensor, radar sensor and/or lidar sensor, and/or can be determined as a function of a sequence of camera images (structure-from-motion). An object is then optionally recognized 550 as a function of the first and/or second camera image, with its image being in the overlapping area of the first camera image and the second camera image, with the recognized object preferably having a detected distance of less than a predefined threshold value from the vehicle. The later display of the environment model includes a seam area between each two camera images, which represents a joining line between the two camera images. This seam area can be shifted in optional step 560 as a function of the location or position of the detected object in the area surrounding the vehicle, in particular in such a way that the seam area 201 does not intersect the object in the subsequent display. The captured first camera image and/or the captured second camera image is then adjusted 570 depending on the corrective measure determined and depending on the weighting function f(x) of the distance x of a respective pixel from the seam region 201. The weighting function of the distance is preferably a linear function , a polynomial function of the second, third or fourth degree or a sigmoid function of distance x. It can optionally be provided in step 570 that different weighting functions f(x) of the distance x are used for the adaptation 570 of the captured first camera image and the captured second camera image with regard to the brightness and/or the color values. It can also be provided in step 570 that the weighting function f(x) of the distance x is adjusted or adapted depending on a detected vehicle speed and/or the current time and/or depending on a color difference and/or a detected brightness in the area surrounding the vehicle is changed or changed. Alternatively or additionally, in step 570, the weighting function f(x) of the distance x can optionally be adapted depending on a detected distance between the vehicle and an object in the vicinity of the vehicle and/or depending on a detected object and/or depending on a detected segment or changed or changed. The adaptation 570 of the respective camera image is preferably carried out separately for each of the overlapping areas. In other words, it is advantageous if vehicle 100 has four cameras 110, 120, 130 and 140, which together are set up to record the surroundings almost completely (see 1 ), each camera image is adjusted twice, i.e. once in each case based on the respectively determined corrective measure and the respective weighting function of the distance from the respective two seam areas to the camera images of the neighboring cameras. For example, for a four-camera system, a total of eight corrective measures are determined for all four overlapping areas of the four cameras and are weighted according to the respective weighting function of the distance and applied pixel by pixel to adapt the respective camera image. Alternatively, the adjustment 570 of the camera images from four cameras could only be carried out for the second camera image of the second camera and for the third camera image of the third camera, since a resulting linear color gradient in the laterally projected camera images of a displayed environment model has a particularly harmonizing effect and this method is particularly efficient is. In a further step 580, the environment model is displayed as a function of the first camera image and/or the second camera image, with the environment model having a seam area 201 in the representation of the overlapping area 150 between the first and second camera images, at which the first and second camera images are joined . In step 590, an additional alpha blending between the first and second camera images is optionally carried out in the seam area 201.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2015/0138312 A1 [0002]US 2015/0138312 A1 [0002]

Claims (12)

Verfahren zur Anzeige eines Umgebungsmodells für den Fahrer eines Fahrzeugs (100), wobei das Fahrzeug (100) mindestens eine erste Kamera (110) und eine zweite Kamera (120) aufweist, welche dazu eingerichtet sind, Kamerabilder von der Umgebung des Fahrzeugs (100) zu erfassen, wobei sich der erste Erfassungsbereich (111) der ersten Kamera (110) und der zweite Erfassungsbereich (121) der zweiten Kamera (120) überlappen, umfassend wenigstens folgenden Verfahrensschritte • Erfassung (510) wenigstens eines ersten Kamerabilds mittels der ersten Kamera (110), • Erfassung (520) wenigstens eines zweiten Kamerabilds mittels der zweiten Kamera (120), • Bestimmung (530) einer Korrekturmaßnahme in Abhängigkeit des erfassten ersten und zweiten Kamerabilds, und • Anzeige (580) des Umgebungsmodells (200) in Abhängigkeit des ersten Kamerabilds und/oder des zweiten Kamerabilds, wobei das Umgebungsmodell (200) in der Repräsentation des Überlappungsbereichs (150) zwischen dem ersten und zweiten Kamerabild einen Nahtbereich (201) aufweist, an welchen das erste und zweite Kamerabild aneinandergefügt werden, dadurch gekennzeichnet, dass folgender Schritt durchgeführt wird • Anpassung (570) des erfassten ersten Kamerabilds und/oder des erfassten zweiten Kamerabilds in Abhängigkeit der bestimmten Korrekturmaßnahme und in Abhängigkeit einer Gewichtungsfunktion (f(x)) der Entfernung (x) eines jeweiligen Pixels von dem Nahtbereich (201).Method for displaying an environment model for the driver of a vehicle (100), the vehicle (100) having at least a first camera (110) and a second camera (120), which are set up to display camera images of the environment of the vehicle (100) to capture, wherein the first capture area (111) of the first camera (110) and the second capture area (121) of the second camera (120) overlap, comprising at least the following method steps • capture (510) at least one first camera image by means of the first camera ( 110), • acquisition (520) of at least one second camera image by means of the second camera (120), • determination (530) of a corrective measure depending on the acquired first and second camera image, and • display (580) of the environment model (200) depending on the first camera image and/or the second camera image, wherein the environment model (200) in the representation of the overlapping area (150) between the first and second camera image has a seam area (201) at which the first and second camera image are joined, characterized in that the following step is carried out • Adaptation (570) of the captured first camera image and/or the captured second camera image depending on the corrective measure determined and depending on a weighting function (f(x)) of the distance (x) of a respective pixel from the seam region (201) . Verfahren nach Anspruch 1, wobei die Gewichtungsfunktion (f(x)) der Entfernung (x) eine lineare Funktion, eine Polynomfunktion zweiten, dritten oder vierten Grades oder eine Sigmoidfunktion von der Entfernung ist.procedure after claim 1 , where the weighting function (f(x)) of the distance (x) is a linear function, a second, third or fourth degree polynomial function, or a sigmoid function of the distance. Verfahren nach einem der vorhergehenden Ansprüche, wobei für die Anpassung (570) des erfassten ersten Kamerabilds und des erfassten zweiten Kamerabilds bezüglich der Transparenz, der Helligkeit und/oder der Farbewerte unterschiedliche Gewichtungsfunktionen (f(x)) der Entfernung (x) verwendet werden.Method according to one of the preceding claims, wherein different weighting functions (f(x)) of the distance (x) are used for the adjustment (570) of the captured first camera image and the captured second camera image with regard to transparency, brightness and/or color values. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewichtungsfunktion (f(x)) der Entfernung (x) in Abhängigkeit einer erfassten Fahrzeuggeschwindigkeit und/oder der aktuellen Zeit angepasst wird.Method according to one of the preceding claims, in which the weighting function (f(x)) of the distance (x) is adapted as a function of a detected vehicle speed and/or the current time. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewichtungsfunktion (f(x)) der Entfernung (x) in Abhängigkeit eines Farbunterschieds und/oder einer erfassten Helligkeit in der Umgebung des Fahrzeugs (100) in dem abgebildeten Überlappungsbereich (150) angepasst wird.Method according to one of the preceding claims, wherein the weighting function (f(x)) of the distance (x) is adjusted as a function of a color difference and/or a detected brightness in the area surrounding the vehicle (100) in the mapped overlapping area (150). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewichtungsfunktion (f(x)) der Entfernung (x) in Abhängigkeit eines erfassten Abstandes zwischen dem Fahrzeug (100) und einem Objekt in der Umgebung des Fahrzeugs (100) und/oder in Abhängigkeit eines erkannten Objektes und/oder in Abhängigkeit eines erkannten Segments angepasst wird.Method according to one of the preceding claims, wherein the weighting function (f(x)) of the distance (x) as a function of a detected distance between the vehicle (100) and an object in the vicinity of the vehicle (100) and/or as a function of a detected Object and / or is adjusted depending on a recognized segment. Verfahren nach einem der vorhergehenden Ansprüche, wobei im angezeigten Umgebungsmodell (200) in der Repräsentation des Überlappungsbereichs (150) an dem Nahtbereich (201) ein Alpha Blending zwischen dem ersten und zweiten Kamerabild durchgeführt wird.Method according to one of the preceding claims, wherein alpha blending between the first and second camera images is carried out in the displayed environment model (200) in the representation of the overlapping area (150) at the seam area (201). Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeug (100) mindestens vier Kameras aufweist, welche dazu eingerichtet sind, die Umgebung des Fahrzeugs (100) nahezu vollständig zu erfassen, wobei sich ein Erfassungsbereich (111, 121, 131, 141) einer jeweiligen Kamera (110, 120, 130, 140) jeweils mit zwei Erfassungsbereichen benachbarter Kameras überschneidet und die Anpassung (570) des jeweiligen Kamerabilds für jeden der abgebildeten Überlappungsbereiche (150, 151, 152, 153) separat durchgeführt wird.The method according to any one of the preceding claims, wherein the vehicle (100) has at least four cameras which are set up to capture the surroundings of the vehicle (100) almost completely, with a detection range (111, 121, 131, 141) of a respective Camera (110, 120, 130, 140) overlaps in each case with two detection areas of adjacent cameras and the adjustment (570) of the respective camera image for each of the overlapping areas (150, 151, 152, 153) shown is carried out separately. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgende Schritte durchgeführt werden, • Erfassung (540) von Abstandsdaten zwischen dem Fahrzeug (100) und Objekten in der Umgebung des Fahrzeugs (100), • Erkennung (550) eines Objektes in Abhängigkeit des ersten und/oder zweiten Kamerabildes, wobei dessen Abbildung in dem abgebildeten Überlappungsbereich (150) des ersten Kamerabilds und des zweiten Kamerabilds liegt, wobei das Objekt einen erfassten Abstand kleiner einem vorgegebenen Schwellenwert von dem Fahrzeug (100) aufweist, und • Verschiebung (560) des Nahtbereiches (201) in Abhängigkeit der Lage des erkannten Objektes.Method according to one of the preceding claims, wherein the following steps are carried out, • acquisition (540) of distance data between the vehicle (100) and objects in the vicinity of the vehicle (100), • Recognition (550) of an object as a function of the first and/or second camera image, the image of which lies in the mapped overlapping area (150) of the first camera image and the second camera image, the object being at a detected distance of less than a predetermined threshold value from the vehicle ( 100) and • Shift (560) of the seam area (201) depending on the position of the detected object. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.Computer program comprising instructions which, when the program is executed by a computer, cause it to carry out the steps of the method according to any one of the preceding claims. Steuergerät, umfassend mindestens folgende Komponenten • einen ersten Signaleingang zur Bereitstellung eines ersten Bildsignals, welches ein erstes Kamerabild repräsentiert, • einen zweiten Signaleingang zur Bereitstellung eines zweiten Bildsignals, welches ein zweites Kamerabild repräsentiert, • einen Signalausgang zur Ausgabe eines Anzeigesignals für eine Anzeigevorrichtung, und • eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 ausführt.Control unit, comprising at least the following components • a first signal input for providing a first image signal, which represents a first camera image, • a second signal input for providing a second image signal which represents a second camera image, • a signal output for outputting a display signal for a display device, and • a computing unit which is configured in such a way that it carries out the steps of the method according to one of Claims 1 until 9 executes Fahrzeug (100), umfassend ein Steuergerät nach Anspruch 11.Vehicle (100), comprising a control unit according to claim 11 .
DE102021212569.7A 2021-11-09 2021-11-09 Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle Pending DE102021212569A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021212569.7A DE102021212569A1 (en) 2021-11-09 2021-11-09 Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle
PCT/EP2022/080579 WO2023083665A1 (en) 2021-11-09 2022-11-02 Method for displaying a model of surroundings of a vehicle, computer program, control device, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021212569.7A DE102021212569A1 (en) 2021-11-09 2021-11-09 Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle

Publications (1)

Publication Number Publication Date
DE102021212569A1 true DE102021212569A1 (en) 2023-05-11

Family

ID=84361792

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021212569.7A Pending DE102021212569A1 (en) 2021-11-09 2021-11-09 Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle

Country Status (2)

Country Link
DE (1) DE102021212569A1 (en)
WO (1) WO2023083665A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018326A1 (en) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Method for imaging driver assistance system for mapping objects in surrounding area of vehicle e.g. land craft, involves enabling dynamic adaptation of joining camera images to approach cover-free circumspection function of objects
US20150138312A1 (en) 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
DE102018214602B3 (en) 2018-08-29 2019-11-28 Robert Bosch Gmbh A method for displaying a model of an environment, controller and vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9832378B2 (en) * 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018326A1 (en) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Method for imaging driver assistance system for mapping objects in surrounding area of vehicle e.g. land craft, involves enabling dynamic adaptation of joining camera images to approach cover-free circumspection function of objects
US20150138312A1 (en) 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
DE102018214602B3 (en) 2018-08-29 2019-11-28 Robert Bosch Gmbh A method for displaying a model of an environment, controller and vehicle

Also Published As

Publication number Publication date
WO2023083665A1 (en) 2023-05-19

Similar Documents

Publication Publication Date Title
DE102010030044A1 (en) Restoration device for weather-impaired images and driver assistance system hereby
DE102013019138A1 (en) A method for detecting a hidden state of a camera, camera system and motor vehicle
DE102012025322A1 (en) Motor vehicle with camera monitor system
DE102008060770A1 (en) Driver aiding method for use during parking of car, involves producing representation of trajectory via stored reference circle data in dependent of steering angle, vehicle data, and position and adjustment of camera
WO2022128014A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
DE102013103952B4 (en) Lane detection at full speed with an all-round vision system
EP4078941A2 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
DE102018124979A1 (en) Driver assistance system for determining a distance between two vehicles with a camera
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102019220168A1 (en) Brightness conversion of images from a camera
DE102013103953B4 (en) Lane detection at full speed using multiple cameras
EP3293971B1 (en) Method for reproducing a section of an image
EP2229770A1 (en) Method and device for image detection for motor vehicles
DE102020125232A1 (en) Color correction method for a camera system and a camera system
DE102021212569A1 (en) Method for displaying a model of an environment of a vehicle, computer program, control unit and vehicle
EP2192550A1 (en) Method for determining the change in position of a camera system and device for recording and processing images
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
DE102017219123A1 (en) Method for determining object boundaries of an object in an exterior area of a motor vehicle and control device and motor vehicle
WO2022128013A1 (en) Correction of images from a camera in case of rain, incident light and contamination
WO2019072451A1 (en) Method for processing images
DE102022120236B3 (en) Method for the harmonized display of camera images in a motor vehicle and a correspondingly equipped motor vehicle
DE102020215696B4 (en) Method for displaying an environment of a vehicle, computer program product, storage medium, control device and vehicle
DE102020213267A1 (en) Brightness conversion of stereo images
DE102021214952A1 (en) Method for displaying a virtual view of an environment of a vehicle, computer program, control unit and vehicle
DE102022119751A1 (en) Determining an area of interest from camera images

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001220000

R163 Identified publications notified